【ML数学知识】极大似然估计

【ML数学知识】极大似然估计 <https://www.cnblogs.com/kk17/p/9693323.html>

它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是，一个随机试验如有若干个可能的结果A，B，C，...
，若在一次试验中，结果A出现了，那么可以认为实验条件对A的出现有利，也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球，1个黑球；乙箱中有1个白球．99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。一般说来，事件A发生的概率与某一未知参数  
有关，  
取值不同，则事件A发生的概率  
也不同，当我们在一次试验中事件A发生了，则认为此时的  
值应是t的一切可能取值中使  
达到最大的那一个，极大似然估计法就是要选取这样的t值作为参数t的估计值，使所选取的样本在被选的总体中出现的可能性为最大。 [1] 

极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。
当然极大似然估计只是一种粗略的数学期望，要知道它的误差大小还要做区间估计。   -----百度百科





转自：https://blog.csdn.net/yanqingan/article/details/6125812

1. 作用

在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数
<http://hi.csdn.net/attachment/201101/9/0_1294581116DdRO.gif>作为真实
<http://hi.csdn.net/attachment/201101/9/0_1294581117bC0B.gif>的参数估计。

2. 离散型

设 <http://hi.csdn.net/attachment/201101/9/0_12945811170YS7.gif>为离散型随机变量，
<http://hi.csdn.net/attachment/201101/9/0_1294581118f0rI.gif>为多维参数向量，如果随机变量
<http://hi.csdn.net/attachment/201101/9/0_1294581118bh1N.gif>相互独立且概率计算式为P{
<http://hi.csdn.net/attachment/201101/9/0_129458111962ol.gif>，则可得概率函数为P{
<http://hi.csdn.net/attachment/201101/9/0_1294581119momT.gif>}=
<http://hi.csdn.net/attachment/201101/9/0_1294581120hwDl.gif>，在
<http://hi.csdn.net/attachment/201101/9/0_12945811200Xtd.gif>固定时，上式表示
<http://hi.csdn.net/attachment/201101/9/0_12945811213695.gif>的概率；当
<http://hi.csdn.net/attachment/201101/9/0_1294581125Tr8s.gif>已知的时候，它又变成
<http://hi.csdn.net/attachment/201101/9/0_1294581125Wccw.gif>的函数，可以把它记为
<http://hi.csdn.net/attachment/201101/9/0_1294581126Rz03.gif>
，称此函数为似然函数。似然函数值的大小意味着该样本值出现的可能性的大小，既然已经得到了样本值
<http://hi.csdn.net/attachment/201101/9/0_1294581126td60.gif>
，那么它出现的可能性应该是较大的，即似然函数的值也应该是比较大的，因而最大似然估计就是选择使
<http://hi.csdn.net/attachment/201101/9/0_12945811273oKp.gif>达到最大值的那个
<http://hi.csdn.net/attachment/201101/9/0_12945811271KMA.gif>作为真实
<http://hi.csdn.net/attachment/201101/9/0_12945811282dK6.gif>的估计。

3. 连续型

设 <http://hi.csdn.net/attachment/201101/9/0_1294581128N9zS.gif>
为连续型随机变量，其概率密度函数为 <http://hi.csdn.net/attachment/201101/9/0_1294581129dyPv.gif>，
<http://hi.csdn.net/attachment/201101/9/0_12945811299Bd2.gif>为从该总体中抽出的样本，同样的如果
<http://hi.csdn.net/attachment/201101/9/0_1294581130W6FG.gif>
相互独立且同分布，于是样本的联合概率密度为
<http://hi.csdn.net/attachment/201101/9/0_1294581134EN8t.gif>。大致过程同离散型一样。

4. 关于概率密度(PDF)

我们来考虑个简单的情况(m=k=1)，即是参数和样本都为1的情况。假设进行一个实验，实验次数定为10次，每次实验成功率为0.2，那么不成功的概率为0.8，用y
来表示成功的次数。由于前后的实验是相互独立的，所以可以计算得到成功的次数的概率密度为：

<http://hi.csdn.net/attachment/201101/9/0_1294581135FSri.gif>=
<http://hi.csdn.net/attachment/201101/9/0_1294581138t3o0.gif> 其中y
<http://hi.csdn.net/attachment/201101/9/0_1294581139UII8.gif>



由于y的取值范围已定，而且 <http://hi.csdn.net/attachment/201101/9/0_1294581139DvOZ.gif>
也为已知，所以图1显示了y取不同值时的概率分布情况，而图2显示了当
<http://hi.csdn.net/attachment/201101/9/0_1294581143EGUI.gif>时的y值概率情况。

<http://hi.csdn.net/attachment/201101/9/0_1294581144Qe2r.gif>

图1  <http://hi.csdn.net/attachment/201101/9/0_12945811444b9b.gif>时概率分布图

<http://hi.csdn.net/attachment/201101/9/0_12945811482Gp7.gif>

图2  <http://hi.csdn.net/attachment/201101/9/0_1294581152ZihA.gif>时概率分布图

那么 <http://hi.csdn.net/attachment/201101/9/0_1294581155HtcC.gif>
在[0,1]之间变化而形成的概率密度函数的集合就形成了一个模型。

5. 最大似然估计的求法

由上面的介绍可以知道，对于图1这种情况y
=2是最有可能发生的事件。但是在现实中我们还会面临另外一种情况：我们已经知道了一系列的观察值和一个感兴趣的模型，现在需要找出是哪个PDF（具体来说参数
<http://hi.csdn.net/attachment/201101/9/0_1294581156KUb6.gif>
为多少时）产生出来的这些观察值。要解决这个问题，就需要用到参数估计的方法，在最大似然估计法中，我们对调PDF中数据向量和参数向量的角色，于是可以得到似然函数的定义为：

<http://hi.csdn.net/attachment/201101/9/0_1294581157Qevy.gif>

该函数可以理解为，在给定了样本值的情况下，关于参数向量
<http://hi.csdn.net/attachment/201101/9/0_1294581157ZkOk.gif>
取值情况的函数。还是以上面的简单实验情况为例，若此时给定y为7，那么可以得到关于
<http://hi.csdn.net/attachment/201101/9/0_1294581158ch6S.gif>的似然函数为：

<http://hi.csdn.net/attachment/201101/9/0_1294581158884Y.gif>

继续回顾前面所讲，图1,2是在给定 <http://hi.csdn.net/attachment/201101/9/0_12945811596HJJ.gif>
的情况下，样本向量y取值概率的分布情况；而图3是图1,2横纵坐标轴相交换而成，它所描述的似然函数图则指出在给定样本向量y
的情况下，符合该取值样本分布的各种参数向量
<http://hi.csdn.net/attachment/201101/9/0_1294581159GuYO.gif>的可能性。若
<http://hi.csdn.net/attachment/201101/9/0_1294581160kMY2.gif>相比于
<http://hi.csdn.net/attachment/201101/9/0_1294581161HB7C.gif>，使得y
=7出现的可能性要高，那么理所当然的 <http://hi.csdn.net/attachment/201101/9/0_1294581161VMmx.gif>
要比 <http://hi.csdn.net/attachment/201101/9/0_1294581162joAg.gif>更加接近于真正的估计参数。所以求
<http://hi.csdn.net/attachment/201101/9/0_1294581162V8zc.gif>的极大似然估计就归结为求似然函数
<http://hi.csdn.net/attachment/201101/9/0_1294581163HD55.gif>的最大值点。那么
<http://hi.csdn.net/attachment/201101/9/0_1294581164c5YY.gif>取何值时似然函数
<http://hi.csdn.net/attachment/201101/9/0_1294581164L6lz.gif>
最大，这就需要用到高等数学中求导的概念，如果是多维参数向量那么就是求偏导。

<http://hi.csdn.net/attachment/201101/9/0_1294581165rMzg.gif>

图3  <http://hi.csdn.net/attachment/201101/9/0_1294581165M0Oo.gif>的似然函数分布图

主要注意的是多数情况下，直接对变量进行求导反而会使得计算式子更加的复杂，此时可以借用对数函数。由于对数函数是单调增函数，所以
<http://hi.csdn.net/attachment/201101/9/0_1294581166V6K6.gif>与
<http://hi.csdn.net/attachment/201101/9/0_1294581169Ldys.gif>具有相同的最大值点，而在许多情况下，求
<http://hi.csdn.net/attachment/201101/9/0_12945811700815.gif>的最大值点比较简单。于是，我们将求
<http://hi.csdn.net/attachment/201101/9/0_1294581170TUBB.gif>的最大值点改为求
<http://hi.csdn.net/attachment/201101/9/0_1294581171dvSw.gif>的最大值点。

<http://hi.csdn.net/attachment/201101/9/0_1294581171uTr7.gif>



若该似然函数的导数存在，那么对 <http://hi.csdn.net/attachment/201101/9/0_1294581172eY6z.gif>
关于参数向量的各个参数求导数（当前情况向量维数为1），并命其等于零，得到方程组：

<http://hi.csdn.net/attachment/201101/9/0_1294581172WEb4.gif>



可以求得 <http://hi.csdn.net/attachment/201101/9/0_1294581176Qr0R.gif>
时似然函数有极值，为了进一步判断该点位最大值而不是最小值，可以继续求二阶导来判断函数的凹凸性，如果
<http://hi.csdn.net/attachment/201101/9/0_1294581177k0fb.gif>
的二阶导为负数那么即是最大值，这里再不细说。

还要指出，若函数 <http://hi.csdn.net/attachment/201101/9/0_1294581177a4iD.gif>关于
<http://hi.csdn.net/attachment/201101/9/0_12945811782bMB.gif>
的导数不存在，我们就无法得到似然方程组，这时就必须用其它的方法来求最大似然估计值，例如用有界函数的增减性去求
<http://hi.csdn.net/attachment/201101/9/0_1294581178X6iY.gif>的最大值点

6. 总结


最大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

求最大似然函数估计值的一般步骤： 
（1） 写出似然函数
（2） 对似然函数取对数，并整理
（3） 求导数
（4） 解似然方程

对于最大似然估计方法的应用，需要结合特定的环境，因为它需要你提供样本的已知模型进而来估算参数，例如在模式识别中，我们可以规定目标符合高斯模型。
而且对于该算法，我理解为，“知道”和“能用”就行，没必要在程序设计时将该部分实现，因为在大多数程序中只会用到我最后推导出来的结果
。个人建议，如有问题望有经验者指出。在文献[1]中讲解了本文的相关理论内容，在文献[2]附有3个推导例子。

7. 参考文献

[1]I.J. Myung. Tutorial on maximum likelihood estimation[J]. Journal of
Mathematical Psychology, 2003, 90-100.

[2] http://edu6.teacher.com.cn/ttg006a/chap7/jiangjie/72.htm

该文通过Windows Live Writer上传，如有版面问题影响视觉效果请见谅，可以通过点击看清晰图！^0^
posted @ 2018-09-23 18:16 向前奔跑的少年 <https://www.cnblogs.com/kk17/> 阅读(...) 评论(
...) 编辑 <https://i.cnblogs.com/EditPosts.aspx?postid=9693323> 收藏
<https://blog.csdn.net/weixin_44538273/article/details/88406247#>

• « 上一篇：一年Java的阿里电话面试全纪录
• » 下一篇：keras-文本图片文字识别