【代价函数】MSE：均方误差（L2 loss） - 好文

<>MSE均方误差（L2 loss）

<>1.代码展示MAE和MSE图片特性
import tensorflow as tf import matplotlib.pyplot as plt sess = tf.Session()
x_val = tf.linspace(-1.,-1.,500) target = tf.constant(0.) #计算L2_loss l2_y_val =
tf.square(target - x_val) l2_y_out = sess.run(l2_y_val)#用这个函数打开计算图 #计算L1_loss
l1_y_val = tf.abs(target - x_val) l1_y_out = sess.run(l1_y_val)#用这个函数打开计算图
#打开计算图输出x_val，用来画图 #用画图来体现损失函数的特点 x_array = sess.run(x_val) plt.plot(x_array,
l1_y_out, 'b--', lable = 'L1_loss') plt.plot(x_array, l2_y_out, 'r--', lable =
'L2_loss')

<>2.MSE公式及导数推导

损失函数：

以单个样本举例：
，a=σ(z), where z=wx+b

利用SGD算法优化损失函数，通过梯度下降法改变参数从而最小化损失函数：
对两个参数权重和偏置进行求偏导（这个过程相对较容易）：

参数更新：
这边就说一种简单的更新策略（随机梯度下降）：

<>3.分析L2 Loss的特点

根据上面的损失函数对权重和偏置求导的公式我们发现：

其中，z表示神经元的输入，σ表示激活函数。从以上公式可以看出，w和b的梯度跟激活函数的梯度成正比，激活函数的梯度越大，w和b的大小调整得越快，训练收敛得就越快。但是L2
Loss的这个特点存在的缺陷在于，对于我们常用的sigmoid激活函数来说，并不是很符合我们的实际需求。
先介绍下sigmoid激活函数的特性：
sigmoid函数就是损失函数的输入：a=σ(z) 中的σ()的一种。这是一个激活函数，该函数的公式，导数以及导数的分布图如下图所示：

我们可以从sigmoid激活函数的导数特性图中发现，当激活值很大的时候，sigmoid的梯度（就是曲线的斜率）会比较小，权重更新的步幅会比较小，这时候网络正处在误差较大需要快速调整的阶段，而上述特性会导致网络收敛的会比较慢；而当激活值很小的时候，sigmoid的梯度会比较大，权重更新的步幅也会比较大，这时候网络的预测值正好在真实值的边缘，太大的步幅也会导致网络的震荡。这我们的期望不符，即：不能像人一样，错误越大，改正的幅度越大，从而学习得越快。而错误越小，改正的幅度小一点，从而稳定的越快。而交叉熵损失函数正好可以解决这个问题。

热门工具换一换