[贝叶斯三]之决策函数和决策面 - 好文

一、决策面(Decision Surfaces)

1.1 概念

如果输入的数据是一个LL维空间特征，考虑一个MM分类问题，那么分类器将会把这个LL维空间的特征点分为MM个区域。每个区域显然就属于一个类别，如果输入一个点xx
落在第ii个区域，那么xx就属于第ii类。分割成这些区域的边界就称为决策面。

1.2 例子

下面是一个简答的例子：

输入是一维，决策函数是p(x|w)p(x|w)，将两个类别的函数取值画出(如图的高斯函数图形)。如图虚线部分就是决策面(该决策面其实就是一个点x0x0
)，点的左边因为w1w1函数值大，所以判定为第一类。

1.3 数学化

对于两个相邻的区域RiRi和RjRj来说，如果输入样本xx，我们分别计算该样本属于第ii的概率P(wi|x)P(wi|x)和第jj类的概率P(wj|x)P(w
j|x)，并定义函数g(x)=P(wi|x)−P(wj|x)g(x)=P(wi|x)−P(wj|x) , 那么此时g(x)g(x)有如下三种情况。

g(x)=0g(x)=0就是分割区域RiRi和RjRj的决策面。

二、判决函数

如果ff函数是单调递增函数，那么判决函数可以定义为如下：

gi(x)=f(p(wi|x))gi(x)=f(p(wi|x))
决策规则和之前所阐述的一致。
ifgi(x)>gj(x),∀ i≠j→x∈wiifgi(x)>gj(x),∀ i≠j→x∈wi

常用的判决函数有如下几种。

gi(x)gi(x)gi(x)gi(x)=p(wi|x)=p(x|wi)p(wi)=ln p(x|wi)+ln p(wi)=f(p(x|wi))+h(x)
(1)(2)(3)(4)(1)gi(x)=p(wi|x)(2)gi(x)=p(x|wi)p(wi)(3)gi(x)=ln p(x|wi)+ln p(wi)(4)
gi(x)=f(p(x|wi))+h(x)

三、小节

* 1维特征空间：决策面是一个点
* 2维特征空间：决策面是一条线
* 3维特征空间：决策面是超平面(Hyperplane)
* 决策区域是由决策面决定的
<个人网页blog已经上线，一大波干货即将来袭：https://faiculty.com/ <https://faiculty.com/>>

/* 版权声明：公开学习资源，只供线上学习，不可转载，如需转载请联系本人 .*/

热门工具换一换