Logistic 回归与 Softmax 回归是两个基础的分类模型,虽然听名字像是回归模型,实际上并非如此。Logistic 回归,Softmax
回归以及线性回归都是基于线性模型。其实 Softmax 就是 Logistic 的推广,Logistic 一般用于二分类,而softmax 是多分类。



逻辑回归的激活函数是 sigmoid 函数,可理解成一个被 sigmoid 函数归一化后的线性回归,sigmoid 函数把实数映射到了 [0,1]
区间。关于 Logistic 回归的参数估计求解,在此不详说。如果要预测一个未知数据 x 属于哪个类,只需要带入 sigmoid
假设函数,最简单的决策方法,如果其值在 0.5~1 之间,属于类别 1,反之属于类别 0。

当类别数 k = 2 时,SoftMax 回归退化为逻辑回归。

SoftMax 回归与多个 Logistic 回归二分类的区别

Logistic 回归可以通过推广到 SoftMax 回归来解决多分类问题。下面通过实例介绍 SoftMax 回归与多个 Logistic 回归二分类的区别。

使用 SoftMax 回归或者是多个 Logistic
回归二分类解决多分类问题,取决于类别之间是否互斥,例如,如果有四个类别的音乐,分别为:古典音乐、乡村音乐、摇滚乐和爵士乐,那么可以假设每个训练样本只会被打上一个标签(即:一首歌只能属于这四种音乐类型的其中一种),此时你应该使用类别数
k = 4 的 SoftMax 回归。(如果在你的数据集中,有的歌曲不属于以上四类的其中任何一类,那么你可以添加一个“其他类”,并将类别数 k 设为5)。

如果四个类别如下:人声音乐、舞曲、影视原声、流行歌曲,那么这些类别之间并不是互斥的。例如:一首歌曲可以来源于影视原声,同时也包含人声 。这种情况下,使用 4
个二分类的 Logistic 回归分类器更为合适。这样,对于每个新的音乐作品 ,我们的算法可以分别判断它是否属于各个类别。

Logistic 回归以及 Softmax 回归与神经网络的关系




一般的神经网络有输入层,隐含层以及输出层构成,而上图中只有输入层和输出层,而没有隐含层。神经网络处理二分类时,输出层为一个节点,但处理K(K>2)分类问题时,数据节点为K个。值得注意的,在神经网络中的最后一层隐含层和输出层就可以看成是
Logistic 回归或 SoftMax 回归模型,之前的层只是从原始输入数据从学习特征,然后把学习得到的特征交给 Logistic 回归或 SoftMax
回归处理。
因此,可以把处理分类问题的神经网络分成两部分,特征学习和 Logistic 回归或 SoftMax 回归。