函数:函数图像:优点:从图片上 (1)可以看到sigmoid函数处处连续 ->便于求导; (2)可以将函数值的范围压缩到[0,1]->可以压缩数据,且幅度不变。 (3)便于前向传输 缺点:(1)在趋向无穷的地方,函数值变化很小,容易缺失梯度,不利于深层神经网络的反馈传输 (2)幂函数还是比较难算的 (3)函数均值不为0,当输出大于0时,则梯度方向将大于0,也就是说接下来的反向运算中将会持续正向更新;同理,当输出小于0时,接下来的方向运算将持续负向更新。
热门工具 换一换