一、决策面(Decision Surfaces)
1.1 概念
如果输入的数据是一个LL维空间特征,考虑一个MM分类问题,那么分类器将会把这个LL维空间的特征点分为MM个区域。每个区域显然就属于一个类别,如果输入一个点xx
落在第ii个区域,那么xx就属于第ii类。分割成这些区域的边界就称为决策面。
1.2 例子
下面是一个简答的例子:
输入是一维,决策函数是p(x|w)p(x|w),将两个类别的函数取值画出(如图的高斯函数图形)。如图虚线部分就是决策面(该决策面其实就是一个点x0x0
),点的左边因为w1w1函数值大,所以判定为第一类。
1.3 数学化
对于两个相邻的区域RiRi和RjRj来说,如果输入样本xx,我们分别计算该样本属于第ii的概率P(wi|x)P(wi|x)和第jj类的概率P(wj|x)P(w
j|x),并定义函数g(x)=P(wi|x)−P(wj|x)g(x)=P(wi|x)−P(wj|x) , 那么此时g(x)g(x)有如下三种情况。
g(x)=0g(x)=0就是分割 区域RiRi和RjRj的决策面。
二、判决函数
如果ff函数是单调递增函数,那么判决函数可以定义为如下:
gi(x)=f(p(wi|x))gi(x)=f(p(wi|x))
决策规则和之前所阐述的一致。
ifgi(x)>gj(x),∀ i≠j→x∈wiifgi(x)>gj(x),∀ i≠j→x∈wi
常用的判决函数有如下几种。
gi(x)gi(x)gi(x)gi(x)=p(wi|x)=p(x|wi)p(wi)=ln p(x|wi)+ln p(wi)=f(p(x|wi))+h(x)
(1)(2)(3)(4)(1)gi(x)=p(wi|x)(2)gi(x)=p(x|wi)p(wi)(3)gi(x)=ln p(x|wi)+ln p(wi)(4)
gi(x)=f(p(x|wi))+h(x)
三、小节
* 1维特征空间:决策面是一个点
* 2维特征空间:决策面是一条线
* 3维特征空间:决策面是超平面(Hyperplane)
* 决策区域是由决策面决定的
<个人网页blog已经上线,一大波干货即将来袭:https://faiculty.com/ <https://faiculty.com/>>
/* 版权声明:公开学习资源,只供线上学习,不可转载,如需转载请联系本人 .*/