- 相關(guān)推薦
貝葉斯決策
模式識別
第2章 貝葉斯決策理論與統(tǒng)計判別方法
武漢大學電子信息學院
1
貝葉斯決策理論
模式識別
學習指南
主要內(nèi)容是說明分類識別中為什么會有錯分類, 在何種情況下會出現(xiàn)錯分類?錯分類的可能性會 有多大?在理論上指明了怎樣才能使錯分類最少? 不同的錯分類造成的危害是不同的,有的錯分類 種類造成的危害更大,因此控制這種錯分類則是 更重要的.為此引入了一種"風險"與"損失" 概念,希望做到使風險最小.要著重理解"風險" 與"損失"的概念,以及在引入"風險"概念后 的處理方法.
武漢大學電子信息學院
2
貝葉斯決策理論
模式識別
理解這一章的關(guān)鍵是要正確理解先驗概率, 類概率密度函數(shù),后驗概率這三種概率, 對這三種概率的定義,相互關(guān)系要搞得清 清楚楚.Bayes公式正是體現(xiàn)這三者關(guān)系的 式子,要透徹掌握.
武漢大學電子信息學院
3
貝葉斯決策理論
模式識別
2.1 引 言
模式識別是一種分類(classify)問題,即根據(jù) 識別對象所呈現(xiàn)的觀察值,將其分到某個 類別中去.統(tǒng)計決策理論是處理模式分類 問題的基本理論之一,對模式分析和分類 器(classifier)的設(shè)計起指導作用.貝葉斯決 策理論是統(tǒng)計模式識別中的一個基本方法, 我們先討論這一決策理論,然后討論涉及 統(tǒng)計判別方法的一些基本問題.
武漢大學電子信息學院
4
貝葉斯決策理論
模式識別
特征向量與特征空間
例:蘋果的直徑尺寸限定在7厘米到15厘米 之間,它們的重量在3兩到8兩之間變化. 如果直徑長度x用厘米為單位,重量y以兩 為單位.那么,由x值從7到15,y值從3到8 包圍的二維空間就是對蘋果進行度量的特 征空間.
總體概率分布已知 要決策分類的類別數(shù)一定
武漢大學電子信息學院
5
貝葉斯決策理論
模式識別
貝葉斯決策理論所要討論的問題
各類別ωi=1,2,…,c的先驗概率P(ωi)及類條 件概率密度函數(shù)p(x|ωi)已知的條件下,如 何對某一樣本按其特征向量分類的問題. 幾種常用的決策規(guī)則 正態(tài)分布時統(tǒng)計決策的問題以及錯誤概率 等問題
武漢大學電子信息學院
6
貝葉斯決策理論
模式識別
2.2 幾種常用的決策規(guī)則
不同的決策規(guī)則反映了分類器設(shè)計者的不 同考慮,對決策結(jié)果有不同的影響.其中 最有代表性的是: 基于最小錯誤率的貝葉斯決策 基于最小風險的貝葉斯決策
武漢大學電子信息學院
7
貝葉斯決策理論
模式識別
2.2.1 基于最小錯誤率的貝葉斯決策
分類識別中為什么會有錯分類,在何種情況下會出現(xiàn) 錯分類?錯分類的可能性會有多大? 當某一特征向量值X只為某一類物體所特有,即
對其作出決策是容易的,也不會出什么差錯.問題在 于出現(xiàn)模棱兩可的情況.此時,任何決策都存在
判錯 的可能性. 條件概率 :P(*|#)是條件概率的通用符號,P(ωK|X) 是表示在X出現(xiàn)條件下,樣本為ωK類的概率.
武漢大學電子信息學院
8
貝葉斯決策理論
模式識別
先驗概率,后驗概率,概率密度函數(shù)
先驗概率 P(ω1) 及P(ω2)
由先驗知識在識別前就得到的概率
后驗概率 P(ω1|X) 概率密度函數(shù) P(X|ω1) 及P(X|ω2) 聯(lián)合概率 P(X, ωi)
武漢大學電子信息學院
9
貝葉斯決策理論
模式識別
先驗概率,后驗概率,概率密度函數(shù)
Bayes(貝葉斯)公式是根據(jù)聯(lián)合概率這一概 念推出的 P(x,ωi)=P(x|ωi)P(ωi)=P(ωi|x)P(x)
貝葉斯公式實質(zhì)上是通過觀察x,把狀態(tài)的 先驗概率P(i)轉(zhuǎn)化為后驗概率P(i|x)
武漢大學電子信息學院
10
貝葉斯決策理論
模式識別
圖2.1
武漢大學電子信息學院
11
貝葉斯決策理論
模式識別
圖2.2
武漢大學電子信息學院
12
貝葉斯決策理論
模式識別
基于最小錯誤率的貝葉斯決策
基于最小錯誤概率的貝葉斯決策理論就是 按后驗概率的大小作判決的 (1)后驗概率: 如果 則
武漢大學電子信息學院
13
貝葉斯決策理論
模式識別
(2)如果 則 (3)似然比: 如果 則
否則
武漢大學電子信息學院
14
貝葉斯決策理論
模式識別
(4)似然比寫成相應(yīng)的負對數(shù)形式: 如果
則 否則
武漢大學電子信息學院
15
貝葉斯決策理論
模式識別
例2.1
假設(shè)在某地區(qū)切片細胞中正常(ω1)和異常 (ω2)兩類的先驗概率分別為P(ω1)=0.9, P(ω2)=0.1.現(xiàn)有一待識別細胞呈現(xiàn)出狀態(tài) x,由其類條件概率密度分布曲線查得 p(x|ω1)=0.2,p( x|ω2)=0.4,試對細胞x 進行分類. 解:利用貝葉斯公式,分別計算出狀態(tài)為x 時ω1與ω2的后驗概率
武漢大學電子信息學院
16
貝葉斯決策理論
模式識別
P(ω1|x)=0.818>P(ω2|x)=0.0182 因此判定該細胞為正常細胞比較合理.
武漢大學電子信息學院
17
貝葉斯決策理論
模式識別
基于最小錯誤率的貝葉斯決策的證明
平均錯誤率 :在觀測值可能取值的整個范 圍內(nèi)錯識率的均值
武漢大學電子信息學院
18
貝葉斯決策理論
模式識別
兩類別情況:
當P(w2|x)>p(w1|x)時決策為w2,對觀測 值x有P(w1|x)概率的錯誤率
R1:作出w1決策的所有觀測值區(qū)域,條件錯誤概率為p(w2|x) R2: 條件錯誤概率為p(w1|x).因此平均錯誤率P(e)可表示成
武漢大學電子信息學院
19
貝葉斯決策理論
模式識別
在R1區(qū)內(nèi)任一個x值都有P(w2|x)
(2-9)
武漢大學電子信息學院
20
模式識別
錯誤率為圖中兩個劃線部分之和, 對應(yīng)的錯誤率區(qū)域面積為最小.
武漢大學
電子信息學院
貝葉斯決策理論
21
貝葉斯決策理論
模式識別
C類別情況 :
最小錯誤率貝葉斯決策規(guī)則: 如果 則 X∈ω i (2-10) 用先驗概率與類條件概率密度相聯(lián)系的形 式,得 : 如果
武漢大學電子信息學院
22
(2-11)
貝葉斯決策理論
模式識別
計算平均正確分類概率P(c)即
(2-12)
平均錯誤率 :P(e)=1-P(c)
武漢大學電子信息學院
23
貝葉斯決策理論
模式識別
例: 應(yīng)用貝葉斯決策的膚色提取
武漢大學電子信息學院
24
貝葉斯決策理論
模式識別
利用貝葉斯原理,可以建立簡單的膚色模型,并 用來從圖像中提取手部,臉部膚色,進而得到人 的身體姿勢. 1.先在一副訓練圖象中手工描繪出膚色區(qū)域, 2.然后統(tǒng)計每種顏色點在膚色區(qū)域中出現(xiàn)的次數(shù) 和在區(qū)域外出現(xiàn)的次數(shù)的比值,作為這種顏色是 膚色的概率
武漢大學電子信息學院
25
貝葉斯決策理論
模式識別
3.這樣就得到了一張查找表,表中的每個元 素是這個點是膚色的概率.我們就得到了一個 點是不是膚色的概率分布.以上的"顏色訓練 結(jié)果窗口"就是這樣一張表的直觀顯示.實際 表格是三維的(HSI顏色空間,32×32×8)把這 個條形區(qū)域分成八塊以后,每一塊是個32×32 的正方形,表示HS空間下的概率分布,顏色越 亮,說明這種顏色是膚色的概率越大. 4.再加上域值限制之后,認為只有概率大于 一定域值的才是膚色.
武漢大學電子信息學院
26
貝葉斯決策理論
模式識別
2.2.2基于最小風險的貝葉斯決策
使錯誤率最小并不一定是一個普遍適用的最佳選擇. 一個與損失有關(guān)聯(lián)的,更為廣泛的概念——風險
(2-13) 觀測樣本X實屬類別j,而被判為狀態(tài)i時所造成的損失, Ri則表示了觀測值X被判為i類時損失的均值 分類則依據(jù)Ri,(i=1,…,c)中的最小值,即最小風險來定.
武漢大學電子信息學院
27
貝葉斯決策理論
模式識別
例 :病理切片
ω1表示病理切片正常 ω2表示病理切片異常 P(ω1|X)與P(ω2|X)分別表示了兩種可能性的大 小 : X確實是癌細胞(ω2),但被判作正常(ω1) 損失 : X確實是正常(ω1),卻被判定為異常(ω2) 損失
武漢大學電子信息學院
28
貝葉斯決策理論
模式識別
定義:
自然狀態(tài) :指待識別對象的類別 A={ α1,α2,……αn} 狀態(tài)空間:由所有自然狀態(tài)所組成的空間 , Ω={ω1,ω2,…,ωc} 決策 :不僅包括根據(jù)觀測值將樣本劃歸哪 一類別(狀態(tài)),還可包括其它決策,如"拒 絕"等 決策空間 :由所有決策組成的空間
武漢大學電子信息學院
29
貝葉斯決策理論
模式識別
損失函數(shù)λ(αi|ωj)(或?qū)懗搔?αi,ωj) ) 觀測值X條件下的期望損失R(αi|X), i=1,2,…,a (2-14) Ri: 條件風險
武漢大學電子信息學院
30
貝葉斯決策理論
模式識別
最小風險貝
葉斯決策規(guī)則
如果 期望風險R 則α=αk
(2-15)
(2-16)
它表示對所有X取值所作的決策α(X)所帶 來的平均風險
武漢大學電子信息學院
31
貝葉斯決策理論
模式識別
最小風險貝葉斯決策步驟
根據(jù)貝葉斯公式計算出后驗概率 : j=1,…,x 利用計算出的后驗概率及決策表,計算出 采取αi,i=1,…,a的條件風險
j=1,…,x
找出使條件風險最小的決策αk,即
武漢大學電子信息學院
32
貝葉斯決策理論
模式識別
例2.2
P(ω1)=0.9, P(ω2)=0.1 p(X|ω1)=0.2, p(X|ω2)=0.4 λ11=0, λ12=6, λ21=1, λ22=0 后驗概率 P(ω1|X)=0.818, P(ω2|X)=0.182
武漢大學電子信息學院
33
貝葉斯決策理論
條件風險
模式識別
由于R(α1|X)>R(α2|X) 判待識別的細胞X為ω2類——異常細胞 比較例2.1 P(ω1|X)=0.818, P(ω2|X)=0.182 ,正常細胞
武漢大學電子信息學院
34
貝葉斯決策理論
模式識別
兩種決策方法之間的關(guān)系
基于最小錯誤率的決策是基于最小風險決 策的一個特例 設(shè)損失函數(shù)為
式中假定對C類只有C個決策,即不考慮 "拒絕"等其它情況,(2-17)表明,當作出 正確決策(即i=j)時沒有損失,而對于任何 錯誤決策,其損失均為1.這樣定義的損失 函數(shù)稱為0—1損失函數(shù).
武漢大學電子信息學院
35
貝葉斯決策理論
模式識別
兩種決策方法之間的關(guān)系
根據(jù)(2-14)式條件風險為
最小錯誤率貝葉斯決策就是在0—1損失函 數(shù)條件下的最小風險貝葉斯決策
武漢大學電子信息學院
36
貝葉斯決策理論
模式識別
圖2.4
武漢大學電子信息學院
37
貝葉斯決策理論
模式識別
圖2.3 與圖2.4
武漢大學電子信息學院
38
貝葉斯決策理論
模式識別
2.2.4判別函數(shù),決策面與分類器設(shè)計
決策域 :待識別的特征向量落在哪個決策 域,該樣本就被判為哪一類. 決策面 :決策域的邊界面 判別函數(shù) :用于表達決策規(guī)則的某些函數(shù)
武漢大學電子信息學院
39
貝葉斯決策理論
模式識別
例 :兩類別問題按最小錯誤率作決策
相應(yīng)的判別函數(shù): gi(X)=P(ωi|X), i=1,2 決策面方程 : g1(X)=g2(X) 決策規(guī)則 如果gi(X)>gj(X) i,j=1,2 且 i≠j 則X∈ωi
武漢大學電子信息學院
40
貝葉斯決策理論
模式識別
多類別情況決策規(guī)則:
如果 則將X歸于ωi類 決策面 : 當ωi的決策域與ωj的決策域相鄰時,以下 關(guān)系決定了相應(yīng)的決策面 gi(X)=gj(X)
武漢大學電子信息學院
41
貝葉斯決策理論
模式識別
圖2.5(a)表示了一個三類別問題用一維特征空 間時的所有決策邊界,而圖2.5(b)則表示了相 應(yīng)的二維特征空間中的決策邊界
武漢大學電子信息學院
42
貝葉斯決策理論
模式識別
兩類別問題分類器的框圖:
武漢大學電子信息學院
43
貝葉斯決策理論
模式識別
多類別分類器的結(jié)構(gòu)框圖:
武漢大學電子信息學院
44
貝葉斯決策理論
模式識別
§2.3 正態(tài)分布時的統(tǒng)計決策
具體的決策域劃分與樣本的概率分布有關(guān). 下面結(jié)合正態(tài)分布概率密度函數(shù)進行討論, 在討論結(jié)束時我們會發(fā)現(xiàn)從中可以得到不 少啟示.
武漢大學電子信息學院
45
貝葉斯決策理論
模式識別
2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)
單變量正態(tài)分布
正態(tài)分布是指一個隨機實數(shù)度量值在整個實數(shù)域 上的分布規(guī)律,屬于概率密度函數(shù)類
武漢大學電子信息學院
46
貝葉斯決策理論
模式識別
多元正態(tài)分布
多元正態(tài)分布的概率密度函數(shù):
μ是X的均值向量,d維 μ=E{X}=[μ1,μ2,…,μd]T ∑是d×d維協(xié)方差矩陣,而∑-1是∑的逆 矩陣,|∑|是∑的行列式 ∑=E{(X-μ)(X-μ)T}
武漢大學電子信息學院
47
貝葉斯決策理論
模式識別
多元正態(tài)分布的重要的特性
多元正態(tài)分布的概率密度函數(shù)中的元就是 我們前面說得特征向量的分量數(shù),也就是 維數(shù) . 多維向量:每一個分量都是隨機變量,服 從正態(tài)分布.http://http://www.ishadingyu.com/news/5587D97E021E5268.html但是一個二維隨機向量不僅 要求考慮每個分量單獨的分布,還要考慮 兩個隨機變量之間的關(guān)系 ——相關(guān)性
武漢大學電子信息學院
48
貝葉斯決策理論
模式識別
例:兩個二元正態(tài)分布
武漢大學電子信息學院
49
貝葉斯決策理論
模式識別
協(xié)方差矩陣:
用 E[x1-μ1)(x2-μ2)]來衡量這種相關(guān)性,稱 為協(xié)方差矩陣 非對角元素正表示了兩個分量之間的相關(guān) 性 主對角元素則是各分量本身的方差 協(xié)方差矩陣的重要屬性:正定的對稱矩陣
武漢大學電子信息學院
50
貝葉斯決策理論
模式識別
多元正態(tài)分布的性質(zhì)
參數(shù)μ與∑對分布具有決定性,記作p(X)～ N(μ,∑). 等密度點分布在超橢球面上. 等密度點對應(yīng): (x-μ)T∑-1(x-μ)=常數(shù)
武漢大學電子信息學院
51
貝葉斯決策理論
模式識別
向量X到向量μ的Mahalanobis距離的平方 r2=(x-μ)T∑-1(x-μ) 多元正態(tài)分布的離散程度由參數(shù)|∑|1/2決定, 這與單變量時由標準差σ決定是對應(yīng)一致的. 不相關(guān)性等價于獨立性. —不相關(guān) :E[xixj]=E[xi]〃E[xj] —相關(guān) :(xi,xj)=p(xi)p(xj),
武漢大學電子信息學院
52
貝葉斯決策理論
模式識別
邊緣分布和條件分布的正態(tài)性 多元正態(tài)分布的邊緣分布和條件分布仍然是 正態(tài)分布. 線性變換的正態(tài)性 Y=αTx,則Y的分布仍然是正態(tài)的.
武漢大學電子信息學院
53
模式識別 貝葉斯決策理論 2.3.2正態(tài)分布概率模型下的最小錯誤率貝葉斯決 策
如果 則X∈ωi 判別函數(shù)為 p(x| ωi) p(ωi) ,采用對數(shù)形 式
武漢大學電子信息學院
54
貝葉斯決策理論
模式識別
決策規(guī)則:
相應(yīng)的決策面方程為
武漢大學電子信息學院
55
貝葉斯決策理論
模式識別
最小
距離分類器情況
定義:每個樣本以它到每類樣本均值的歐 氏距離的最小值確定其分類 . 如果 則 X∈ωi 樣本分布滿足以下正態(tài)分布條件時,最小 錯誤分類器與(2-39)表示的決策規(guī)則相當:
武漢大學電子信息學院
56
貝葉斯決策理論
模式識別
在這種條件下,由于|∑|=σ2d及 ∑i-1=σ2I ,代入(2-37)得
武漢大學電子信息學院
57
貝葉斯決策理論
模式識別
由于決策是根據(jù)各判別函數(shù)之間的大小,因而在 (2-48)中一些與類別無關(guān)的項可以忽略,再加上 先驗概率相等這個條件,判別函數(shù)可簡化成
最小距離分類器就可看作模板匹配.每個類有一 個典型樣本(即均值向量),稱為模板,而待分類 樣本X只要按歐氏距離計算與哪個模板最相似(歐 氏距離最短)即可作決定.
武漢大學電子信息學院
58
貝葉斯決策理論
模式識別
線性分類器
∑i=σ2I i=1,…,c
其中
武漢大學電子信息學院
59
貝葉斯決策理論
模式識別
決策面方程
利用 以及 代入(2-46)并整理,可得 WT(X-X0)=0 (2-47) W=μi-μj
武漢大學電子信息學院
60
貝葉斯決策理論
模式識別
另一種簡單情況
∑i=∑
表示在二維特征空間的情況
武漢大學電子信息學院
61
貝葉斯決策理論
模式識別
判別函數(shù)
如果c類先驗概率都相等,
其中
武漢大學電子信息學院
62
貝葉斯決策理論
模式識別
決策面方程
gi(X)-gj(X)=0 即 其中
武漢大學電子信息學院
63
貝葉斯決策理論
模式識別
線性分類器總結(jié)
在正態(tài)分布條件下,基于最小錯誤率貝葉 斯決策只要能做到兩類協(xié)方差矩陣是一樣 的,那么無論先驗概率相等不相等,都可 以用線性分界面實現(xiàn). 小歐氏距離分類器則要求正態(tài)分布協(xié)方差 矩陣為單位陣,先驗概率相等.
武漢大學電子信息學院
64
貝葉斯決策理論
模式識別
各類協(xié)方差矩陣不相等的情況
∑i≠∑j i,j=1,2,…,c
(d×d矩陣) (d維列向量)
武漢大學電子信息學院
65
貝葉斯決策理論
模式識別
決策面方程(當兩個決策域毗鄰)
根據(jù)gi(X)-gj(X)=0有
武漢大學電子信息學院
66
貝葉斯決策理論
模式識別
圖2.10
武漢大學電子信息學院
67
貝葉斯決策理論
模式識別
討論與分析
分析了在何種正態(tài)分布條件下,最小錯誤 率貝葉斯決策具有線性決策面. 最小距離分類器與統(tǒng)計上最小錯誤率決策 上一致的條件.
武漢大學電子信息學院
68
貝葉斯決策理論
模式識別
本章小結(jié)
主要的知識: 使用什么樣的決策原則我們可以做到錯誤 率最小Bayes決策 錯分類最小并不一定是一個識別系統(tǒng)最重 要的指標風險,損失 學習獲得對樣本概率分布的估計
武漢大學電子信息學院
69
貝葉斯決策理論
模式識別
貝葉斯決策理論是統(tǒng)計模式識別
的重要理論基礎(chǔ) 理論上講,貝葉斯決策方法是最優(yōu)的(在最小錯誤 率或最小風險意義上) 應(yīng)用中:需要首先得到先驗概率和類條件概率密度 方法一: 先估計概率密度,后求解決策規(guī)則 方法二: 若已知或可假設(shè)概率密度為某種形式(比 如正態(tài)分布),可先求出判決函數(shù)形式,再從樣本 估計其中的參數(shù). 方法三: 直接選擇或假設(shè)某種判決函數(shù)形式,用樣 本確定其參數(shù).
武漢大學電子信息學院
70
貝葉斯決策理論
模式識別
習題
1. 試簡述先驗概率,類條件概率密度函數(shù)和 后驗概率等概念間的關(guān)系: 2. 試寫出利用先驗概率和分布密度函數(shù)計算 后驗概率的公式 3. EX2.5 4. EX2.15 5. 寫出最小錯誤率和最小風險決策規(guī)則相應(yīng) 的判別函數(shù)(兩類問題). 6. 用Matlab計算兩類識別問題:根據(jù)血液中 白細胞的濃度來判斷病人是否患血液病.
武漢大學電子信息學院
71
【貝葉斯決策】相關(guān)文章：
基于貝葉斯理論的指揮引導決策研究05-02
基于參數(shù)的貝葉斯先驗選擇方法04-27
ARFIMA模型參數(shù)貝葉斯估計的漸近性質(zhì)04-27
機匣包容性的貝葉斯評價方法04-27
基于貝葉斯網(wǎng)絡(luò)的飛機易損性評估方法04-27
基于貝葉斯粗糙集模型的屬性約簡算法04-29