【机器学习-分类】一句话+一张图说清楚朴素贝叶斯算法（附案例+代码）

说在前面

同一个算法本身存在各种不同的变体，即各种改进版本。一句话+一张图并不能涵盖所有情况，只是尽量用通俗的语言介绍其中经典的算法版本。希望对某算法本身不了解的人看完能迅速get到该算法在干什么；二刷该算法的人能够迅速回忆起算法核心思想和做法，做到能随口讲给别人听。

往期回顾
【机器学习-分类】一句话+一张图 说清楚kNN算法（附案例+代码）
<https://blog.csdn.net/qq_33414271/article/details/86547806>
【机器学习-分类】一句话+一张图说清楚决策树算法（附案例+代码）
<https://blog.csdn.net/qq_33414271/article/details/86723306>

<>一句话

朴素贝叶斯算法，是一种通过根据新样本的已有特征在数据集中的条件概率
来判断新样本所属类别的算法；之所以称之为朴素，因为它假设①每个特征之间相互独立、②每个特征同等重要。

<>一张图



<>实例

下面是一个用朴素贝叶斯进行疾病分类的例子

某个医院早上收了六个门诊病人，如下表。

症状 职业 疾病
打喷嚏 护士 感冒
打喷嚏 农夫 过敏
头痛 建筑工人 脑震荡
头痛 建筑工人 感冒
打喷嚏 教师 感冒
头痛 教师 脑震荡
现在又来了第七个病人，是一个打喷嚏的建筑工人。请问他患上感冒的概率有多大？
根据贝叶斯定理，P(H∣D)=P(D∣H)P(H)P(D)P(H|D)=\frac{P(D|H)P(H)}{P(D)}P(H∣D)=P(D)P(D∣H)P(
H)​，可以得到：

可以看出分子其实就是联合概率分布

假定"打喷嚏"和"建筑工人"这两个特征是独立的，因此，上面的等式就变成了：
P(感冒∣打喷嚏×建筑工人)=P(打喷嚏∣感冒)×P(建筑工人∣感冒)×P(感冒)P(打喷嚏)×P(建筑工人)P(感冒|打喷嚏\times建筑工人)
=\frac {P(打喷嚏|感冒) \times P(建筑工人|感冒) \times P(感冒)}{P(打喷嚏) \times P(建筑工人)}P(感冒∣打喷嚏
×建筑工人)=P(打喷嚏)×P(建筑工人)P(打喷嚏∣感冒)×P(建筑工人∣感冒)×P(感冒)​

所以：　　P(感冒|打喷嚏x建筑工人)
　　　　= 0.66 x 0.33 x 0.5 / 0.5 x 0.33
　　　　= 0.66
　　　　
因此，这个打喷嚏的建筑工人，有66%的概率是得了感冒。同理，可以计算这个病人患上过敏或脑震荡的概率。比较这几个概率，就可以知道他最可能得什么病。

<>案例——区分敏感词汇

实际应用场景
文本分类
垃圾邮件过滤
病人分类
拼写检查

朴素贝叶斯常用的三个模型有：
高斯模型：处理特征是连续型变量的情况
多项式模型：最常见，要求特征是离散数据
伯努利模型：要求特征是离散的，且为布尔类型，即true和false，或者1和0
#!/usr/bin/env python # -*- coding:utf-8 -*- from __future__ import
print_functionfrom numpy import * """ p(xy)=p(x|y)p(y)=p(y|x)p(x)
p(x|y)=p(y|x)p(x)/p(y) """ # 项目案例1: 屏蔽社区留言板的侮辱性言论 def loadDataSet(): """ 创建数据集
:return: 单词列表postingList, 所属类别classVec """ postingList = [['my', 'dog', 'has',
'flea', 'problems', 'help', 'please'], #[0,0,1,1,1......] ['maybe', 'not',
'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my', 'dalmation', 'is', 'so',
'cute', 'I', 'love', 'him'], ['stop', 'posting', 'stupid', 'worthless',
'garbage'], ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], [
'quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] classVec = [0, 1, 0, 1,
0, 1] # 1 is abusive, 0 not return postingList, classVec def createVocabList(
dataSet): """ 获取所有单词的集合 :param dataSet: 数据集 :return: 所有单词的集合(即不含重复元素的单词列表) """
vocabSet= set([]) # create empty set for document in dataSet: # 操作符 | 用于求两个集合的并集
vocabSet= vocabSet | set(document) # union of the two sets return list(vocabSet
) def setOfWords2Vec(vocabList, inputSet): """ 遍历查看该单词是否出现，出现该单词则将该单词置1 :param
vocabList: 所有单词集合列表 :param inputSet: 输入数据集 :return: 匹配列表[0,1,0,1...]，其中 1与0
表示词汇表中的单词是否出现在输入的数据集中 """ # 创建一个和词汇表等长的向量，并将其元素都设置为0 returnVec = [0] * len(
vocabList)# [0,0......] # 遍历文档中的所有单词，如果出现了词汇表中的单词，则将输出的文档向量中的对应值设为1 for word in
inputSet: if word in vocabList: returnVec[vocabList.index(word)] = 1 else: print
("the word: %s is not in my Vocabulary!" % word) return returnVec def _trainNB0(
trainMatrix, trainCategory): """ 训练数据原版 :param trainMatrix: 文件单词矩阵
[[1,0,1,1,1....],[],[]...] :param trainCategory:
文件对应的类别[0,1,1,0....]，列表长度等于单词矩阵数，其中的1代表对应的文件是侮辱性文件，0代表不是侮辱性矩阵 :return: """ # 文件数
numTrainDocs= len(trainMatrix) # 单词数 numWords = len(trainMatrix[0]) #
侮辱性文件的出现概率，即trainCategory中所有的1的个数， # 代表的就是多少个侮辱性文件，与文件的总数相除就得到了侮辱性文件的出现概率
pAbusive= sum(trainCategory) / float(numTrainDocs) # 构造单词出现次数列表 p0Num = zeros(
numWords) # [0,0,0,.....] p1Num = zeros(numWords) # [0,0,0,.....] # 整个数据集单词出现总数
p0Denom= 0.0 p1Denom = 0.0 for i in range(numTrainDocs): #
遍历所有的文件，如果是侮辱性文件，就计算此侮辱性文件中出现的侮辱性单词的个数 if trainCategory[i] == 1: p1Num +=
trainMatrix[i] #[0,1,1,....]->[0,1,1,...] p1Denom += sum(trainMatrix[i]) else:
# 如果不是侮辱性文件，则计算非侮辱性文件中出现的侮辱性单词的个数 p0Num += trainMatrix[i] p0Denom += sum(
trainMatrix[i]) #
类别1，即侮辱性文档的[P(F1|C1),P(F2|C1),P(F3|C1),P(F4|C1),P(F5|C1)....]列表 # 即
在1类别下，每个单词出现次数的占比 p1Vect = p1Num / p1Denom# [1,2,3,5]/90->[1/90,...] #
类别0，即正常文档的[P(F1|C0),P(F2|C0),P(F3|C0),P(F4|C0),P(F5|C0)....]列表 # 即
在0类别下，每个单词出现次数的占比 p0Vect = p0Num / p0Denom return p0Vect, p1Vect, pAbusive def
trainNB0(trainMatrix, trainCategory): """ 训练数据优化版本 :param trainMatrix: 文件单词矩阵
:param trainCategory: 文件对应的类别 :return: """ # 总文件数 numTrainDocs = len(trainMatrix
) # 总单词数 numWords = len(trainMatrix[0]) # 侮辱性文件的出现概率 pAbusive = sum(
trainCategory) / float(numTrainDocs) # 构造单词出现次数列表 # p0Num 正常的统计 # p1Num 侮辱的统计 #
避免单词列表中的任何一个单词为0，而导致最后的乘积为0，所以将每个单词的出现次数初始化为 1 p0Num = ones(numWords)
#[0,0......]->[1,1,1,1,1.....] p1Num = ones(numWords) #
整个数据集单词出现总数，2.0根据样本/实际调查结果调整分母的值（2主要是避免分母为0，当然值可以调整） # p0Denom 正常的统计 # p1Denom
侮辱的统计 p0Denom = 2.0 p1Denom = 2.0 for i in range(numTrainDocs): if trainCategory
[i] == 1: # 累加辱骂词的频次 p1Num += trainMatrix[i] # 对每篇文章的辱骂的频次 进行统计汇总 p1Denom += sum
(trainMatrix[i]) else: p0Num += trainMatrix[i] p0Denom += sum(trainMatrix[i]) #
类别1，即侮辱性文档的[log(P(F1|C1)),log(P(F2|C1)),log(P(F3|C1)),log(P(F4|C1)),log(P(F5|C1))....]列表
p1Vect= log(p1Num / p1Denom) #
类别0，即正常文档的[log(P(F1|C0)),log(P(F2|C0)),log(P(F3|C0)),log(P(F4|C0)),log(P(F5|C0))....]列表
p0Vect= log(p0Num / p0Denom) return p0Vect, p1Vect, pAbusive def classifyNB(
vec2Classify, p0Vec, p1Vec, pClass1): """ 使用算法： # 将乘法转换为加法 乘法：P(C|F1F2...Fn) =
P(F1F2...Fn|C)P(C)/P(F1F2...Fn) 加法：P(F1|C)*P(F2|C)....P(Fn|C)P(C) ->
log(P(F1|C))+log(P(F2|C))+....+log(P(Fn|C))+log(P(C)) :param vec2Classify:
待测数据[0,1,1,1,1...]，即要分类的向量 :param p0Vec:
类别0，即正常文档的[log(P(F1|C0)),log(P(F2|C0)),log(P(F3|C0)),log(P(F4|C0)),log(P(F5|C0))....]列表
:param p1Vec:
类别1，即侮辱性文档的[log(P(F1|C1)),log(P(F2|C1)),log(P(F3|C1)),log(P(F4|C1)),log(P(F5|C1))....]列表
:param pClass1: 类别1，侮辱性文件的出现概率 :return: 类别1 or 0 """ # 计算公式
log(P(F1|C))+log(P(F2|C))+....+log(P(Fn|C))+log(P(C)) # 使用 NumPy
数组来计算两个向量相乘的结果，这里的相乘是指对应元素相乘，即先将两个向量中的第一个元素相乘，然后将第2个元素相乘，以此类推。 # 我的理解是：这里的
vec2Classify * p1Vec 的意思就是将每个词与其对应的概率相关联起来 # 可以理解为 1.单词在词汇表中的条件下，文件是good 类别的概率
也可以理解为 2.在整个空间下，文件既在词汇表中又是good类别的概率 p1 = sum(vec2Classify * p1Vec) + log(pClass1
) p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1) if p1 > p0: return 1 else:
return 0 def bagOfWords2VecMN(vocabList, inputSet): returnVec = [0] * len(
vocabList) for word in inputSet: if word in vocabList: returnVec[vocabList.index
(word)] += 1 return returnVec def testingNB(): """ 测试朴素贝叶斯算法 """ # 1. 加载数据集
listOPosts, listClasses = loadDataSet() # 2. 创建单词集合 myVocabList =
createVocabList(listOPosts) # 3. 计算单词是否出现并创建数据矩阵 trainMat = [] for postinDoc in
listOPosts: # 返回m*len(myVocabList)的矩阵， 记录的都是0，1信息 trainMat.append(setOfWords2Vec
(myVocabList, postinDoc)) # 4. 训练数据 p0V, p1V, pAb = trainNB0(array(trainMat),
array(listClasses)) # 5. 测试数据 testEntry = ['love', 'my', 'dalmation'] thisDoc =
array(setOfWords2Vec(myVocabList, testEntry)) print(testEntry, 'classified as: '
, classifyNB(thisDoc, p0V, p1V, pAb)) testEntry = ['stupid', 'garbage'] thisDoc
= array(setOfWords2Vec(myVocabList, testEntry)) print(testEntry, 'classified
as: ', classifyNB(thisDoc, p0V, p1V, pAb)) if __name__ == "__main__": testingNB(
)
<>代码框架



<>运行结果



<>系统性学习

如果想了解和系统学习更多机器学习理论和项目实践，CSDN学院中有一系列精品AI课，分为大课和小课，包含数学基础、Python基础、算法和企业级项目
等，适合并不同类型的人群，值得拥有！
CSDN学院⼤课链接：
https://edu.csdn.net/topic/ai30?utm_source=lqy
<https://edu.csdn.net/topic/ai30?utm_source=lqy>
CSDN学院⼩课链接：
https://edu.csdn.net/course/detail/6601?utm_source=lqy
<https://edu.csdn.net/course/detail/6601?utm_source=lqy>

• « 上一篇：大学生活篇一
• » 下一篇：Paper之AI：人工智能发展历史中一些重要的时间节点以及大牛们对重要概念的定义