当前标签: SGD

学习笔记13：随机梯度下降法（Stochastic gradient descent, SGD）

假设我们提供了这样的数据样本（样本值取自于y=3*x1+4*x2）： x1 x2 y 1 4 19 2 5 26 5 1 19 4 2 29 x1和x2是样本值，y是预测目标，我们需要以一条直线来拟合上面的数据，待拟合的函数如下：我们的目的就是要求出θ1和θ2的值，让h(θ)尽量逼近目标值y。这是...

2018-05-18 14:35 阅读(218)

梯度爆炸与梯度消失的原因以及解决方法，局部极小值问题以及学习率问题（对SGD的改进）

* 梯度爆炸与梯度消失的原因：简单地说，根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话（），那么即使这个结果是0.99，在经过足够多层传播之后，误差对输入层的偏导会趋于0（）。下面是数学推导推导。假设网络输出层中的第个神经元输出为，而要学习的目标为。这里的表示时序，...

2018-03-24 13:26 阅读(1280)

深度学习通用策略：SGD优化方法总结

转载：https://zhuanlan.zhihu.com/p/22252270 （标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。 SGD 此处的SGD指mini-batch gradient descent，关于batc...

2018-03-08 21:41 阅读(567)

1