吴恩达《deeplearning深度学习》课程学习笔记【1】（精简总结）
毕业以后就没再写过博客，又想起来了。
Ps：本文只是个人笔记总结，没有大段的详细讲解，仅仅是将自己不熟悉和认为重要的东西总结下来，算是一个大纲，用的时候方便回忆和查找。
Ps2：部分笔记内容见图片。
相关课程内容
一、神经网络和深度学习
* 第一周 深度学习概论
* 第二周 神经网络基础
知识点总结
1. 神经网络
* 神经元：neuron
2. 房屋价格预测
* 若干输入特征→输出
3. 标准神经网络
4. 猫的图像识别
* 二元分类
* 逻辑回归
（1）图像表示/转换
（2）数据集表示
* X维度：(n, m)
* Y维度：(1, m)
5. 激活函数
（1）Sigmoid函数（可以作二元分类输出层激活函数）及tanh函数
* 在Sigmoid函数和tanh函数（双曲正切）两端的斜率很小，梯度接近于0，在使用梯度下降法时，参数变化会非常缓慢，因此学习会变得非常缓慢。
* tanh函数通常比Sigmoid函数表现好。
（2）ReLU函数
* 对于所有的正值，斜率都为1。 大多数地方斜率远离0，能够使梯度下降法运行得更快。 缺点是左侧导数为0。
* 线性修正单元（Rectified Linear Unit），修正：取不小于0的值。
6. 成本函数（cost function）
* 衡量参数W和b在全部训练集上的效果。
* 成本函数是损失函数在全部训练集上的平均值。
* 成本函数计算公式如下：
7. 损失函数（Loss function）/误差函数（error function）
* 用于衡量单一训练样例预测输出值y_hat与实际值y的差距。
* 例如：误差平方可以用，但是不适合梯度下降法。
8. 梯度下降法（Gradient Descent）
我们需要找到能够使成本函数J(W, b)最小化的参数W和b。
（1）随机化一个初始点（例如全0）
（2）朝最陡的下坡方向走一步
（3）经过N次迭代后到达/接近全局最优解（global optimum）
* 凸函数（convex）：
* 非凸函数（non-convex）：有很多不同的局部最优
9. 导数
* 梯度下降法，需要计算成本函数J(W, b)对各个参数（W，b等）的导数。
*
正向计算：
*
计算损失函数L(a, y)对参数a，z，w，b的导数：
（1）★★★ da计算：
（2）★★★ dz计算：（结果为a-y）
* 链式法则：
* 【第一项】dL/da上面已经计算出来了
*
【第二项】da/dz即为激活函数求导
a的公式（Sigmoid函数）：
sigmoid函数求导：
* 最终dz = 【第一项】·【第二项】= a - y
（3）★★★ dw，db计算：
* dw1 = x1 * dz
* dw2 = x2 * dz …
* dw = x * dz
* db = dz
10. 参数更新
* 最终da，dz，dw，db都能够通过x，y，a来计算。
* 学习率α：learning rate（新的参数）
* w1 = w1 - α*dw1
* w2 = w2 - α*dw2
* b = b - α*db
11. m个样本的梯度下降及向量化表示
* 成本函数 = sum(m个损失函数) / m
* dA，dZ，dW，db都能够通过X，Y，A来计算，其中(X, Y)有m个。
* 注意点：
（1）W的转置问题
（2）dW，db的计算要除以m取均值
（3）后续神经网络会有多层
12. 总结
* 公式不好输入，下面是图片