机器学习-与最优化（运筹学）的关系 - 好文

随写啊。--题记

可以理解机器学习用到了最优化，但是最优化却没有用到机器学习的方法（至少很少，难道最优化是自成一体吗）。

机器学习常常是为了训练模型的得到模型参数。为了达到目的，模型的训练往往首先给参数赋上随机初值，然后用各种下降法
来寻找能让分类错误率更小的参数设置，此时用到了最优化方法：梯度下降、牛顿法、共轭梯度法和Levenberg—Marquard法都是常见的方法。

但是在优化的方法论里面，如何使用机器学习呢？这是一个开放性的问题