最近在学习吴恩达的机器学习,讲到里面了比较简单的求出的方法:正规方程。


视频里只告诉我们这个公式,但是没有具体告诉我们推到过程,对于我这种数学学渣来说实在一眼看不出来是什么意思,查了很久才稍微懂了点点,所以在此记录一下推导过程,也希望能帮助到和我一样的数学学渣。

 

 

首先列出代价函数,其中X,Y,是向量或者矩阵。

接下来我们要对代价函数Ĵ中预测值与真实值的差的平方的累加进行求导。

首先第一步,, 消除累加

这时候可能有朋友会和我有一样的问题:???什么情况

简单来复习一下现代知识:假设向量,则*=

知道如何消去累加之后再将式子做进一步化简:







好了现在终于把原式子化简完成,接下来就要进行求导了。大家应该都知道多项式求导等于对各项求导相加。

我们将上式对求导:

第一项:是一个标量,所以是标量对向量求导 得

第二项:同样是标量对向量求导 得

第三项:

第四项:0

综上,对上式求导的结果是:

为了取到代价函数对最小值,所以让导函数等于零。

就得到了

 

 

本文中省略了每一项具体求导的方法,因为博客里的公式实在是太难打了(大家有什么推荐的编辑公式的方法吗)。具体的求导公式在这里可以看:
https://wenku.baidu.com/view/70e4a60ff90f76c660371a28.html
<https://wenku.baidu.com/view/70e4a60ff90f76c660371a28.html>

 

 

参考文章:https://blog.csdn.net/chenlin41204050/article/details/78220280
<https://blog.csdn.net/chenlin41204050/article/details/78220280>