● 每周一言

坚持一定是有毅力,但有毅力不一定能坚持。

导语


统计学中,我们经常能听到极大似然估计,或者最大似然估计,它是一种参数估计方法。在机器学习中,逻辑回归就是基于极大似然估计来计算的损失函数。那么,如何直观理解极大似然估计?

极大似然估计

极大似然估计(maximum likelihood estimation,MLE)
,顾名思义,“极大”意为“最有可能的”,“似然”意为“看起来像的”,“估计”的意思则可以理解为“就是这样的”。

所以,极大似然估计的直译就是:最有可能看起来像的,就是这样的。就是说,以最大概率为标准来判断结果,即叫做极大似然估计。




比如,在你面前出现一个白人,你来判断这个人来自哪个大洲。不出意外,你会说来自欧洲。这便是用了极大似然估计的思想。

了解了极大似然估计的思想,下面通过一个具体的例子来说明极大似然估计的求解步骤。

一个黑色箱子里有黑白两种颜色的小球若干,每次有放回的拿球,已知拿到白球的概率范围是[0.2,0.8],拿三次结果两黑一白,问取出白球概率的极大似然估计是多少。

假设取球事件为y,取到白球时y=1,概率为p,取到黑球时y=0,概率为1-p。由于是独立事件,三次拿球两黑一白的概率可以表示为:P(y = 0 |
p)P(y = 0 | p)P(y = 1 | p) = (1 - p)(1 - p)p = p^3 - 2p^2 +
p。白球的极大似然估计就是求使得这个概率表达式最大的p值。




既然是求最大值,而上式可导,我们便可对上式进行求导并令其等于0,3p^2 - 4p + 1 =
0。求此一元二次方程的根得p=1/3或p=1,可知原式在[0, 1/3]区间单调递增,在[1/3,
1]区间单调递减。因此,在白球概率范围[0.2,0.8]内,当p=1/3时表达式取得最大值,取得白球的概率的极大似然估计为1/3。

至此,便可总结出极大似然估计的求解步骤:

1> 写出概率表达式,也可以叫似然表达式,似然表达式值的大小意味着这组样本值出现的可能性的大小。
2> 对似然表达式求导,必要时进行预处理,比如取对数(逻辑回归需要),令其导数为0,得到似然方程。
3> 求解似然方程,得到的参数解即为极大似然估计的解。


这里多说一句,由于逻辑回归的ω向量可能很大,参数个数很多,导致方程组很难求解。在这种情况下,一般通过梯度上升法逼近真实的ω,这也符合机器学习的训练过程。


以上便是极大似然估计的讲解,敬请期待下节内容。

结语

感谢各位的耐心阅读,后续文章于每周日奉上,敬请期待。欢迎大家关注小斗公众号 对半独白!



友情链接
ioDraw流程图
API参考文档
OK工具箱
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:637538335
关注微信