人工智能樣板

1、人工智能樣板第1頁，共37頁，2022年，5月20日，10點57分，星期日2.1 引言貝葉斯決策論是解決模式分類問題的一種基本統(tǒng)計途徑。它做了如下假設，即決策問題可以用概率的形式來描述，并且假設所有的概率結構已知。 例：鮭魚和鱸魚分類兩類魚自然狀態(tài)下的先驗概率先驗概率是一個隨機變量(=1鱸魚; = 2鮭魚) 等概率假設下有：P(1) = P(2)P(1) + P( 2) = 1第2頁，共37頁，2022年，5月20日，10點57分，星期日僅根據(jù)先驗概率的判決規(guī)則if P(1) P(2)則 判為1否則 判為 2連續(xù)判決和誤差概率使用類條件概率信息（ P(x | )類條件概率密度函數(shù) ）P(x |

2、 1) 和 P(x | 2) 描述兩類魚光澤度的不同2.1 引言第3頁，共37頁，2022年，5月20日，10點57分，星期日2.1 引言第4頁，共37頁，2022年，5月20日，10點57分，星期日2.1 引言處于類別j并具有特征值x的模式的聯(lián)合概率密度如下： p(j,x) = P(j | x) . p(x)=p(x| j ) .P(j ) 由上可得貝葉斯公式： 兩類問題情況下非正式表示：第5頁，共37頁，2022年，5月20日，10點57分，星期日第6頁，共37頁，2022年，5月20日，10點57分，星期日根據(jù)后驗概率判決X 是觀測屬性if P(1 | x) P(2 | x) 判決狀態(tài)為

3、 1if P(1 | x) P(2 | x) 判為 1 否則判為 2 ; 所以: P(error | x) = min P(1 | x), P(2 | x) 第8頁，共37頁，2022年，5月20日，10點57分，星期日2.2 貝葉斯決策論連續(xù)特征貝葉斯推廣使用多余一個的特征允許多余兩種類別狀態(tài)的情形允許有其他行為而不是僅僅是判定類別通過引入一個更一般的損失函數(shù)來替代誤差概率第9頁，共37頁，2022年，5月20日，10點57分，星期日2.2 貝葉斯決策論連續(xù)特征令1, 2, c 表示有限的c個類別集 1, 2, a 表示有限的a種可能的行為集 (i | j)為類別狀態(tài)j 時采取行動i的風險。

4、則有下面的幾個等式：總風險：第10頁，共37頁，2022年，5月20日，10點57分，星期日 兩類情況下1 : 判為 12 : 判為 2ij = (i | j) :類別為j 時誤判為i所引起的損失 條件風險: R(1 | x) = 11P(1 | x) + 12P(2 | x) R(2 | x) = 21P(1 | x) + 22P(2 | x) 2.2 貝葉斯決策論連續(xù)特征第11頁，共37頁，2022年，5月20日，10點57分，星期日判決規(guī)則如下: 如果 R(1 | x) (12- 22) P(2 |x) 判為 1 否則判為22.2 貝葉斯決策論連續(xù)特征第12頁，共37頁，2022年，5月

5、20日，10點57分，星期日2.2 貝葉斯決策論連續(xù)特征等價判別規(guī)則2：如果：(21- 11) P(x | 1) P(1) (12- 22) P(x | 2) P(2) 判為 1 否則判為2 等價判別規(guī)則3(合理假設21 11)：成立，則判為1 否則判為2似然比超過某個不依賴x 的閥值，那么可判決為1 第13頁，共37頁，2022年，5月20日，10點57分，星期日2.3 最小誤差率分類基于類別的行為如果采取行為i 而實際類別為j，那么在i = j 的情況下判決是正確的，如果i j，則產(chǎn)生誤判。為避免誤判，需要尋找一種判決規(guī)則使誤判概率最小化。對稱損失或0-1損失函數(shù):則,條件風險為:第14頁

6、，共37頁，2022年，5月20日，10點57分，星期日最小化誤差概率，需要最大化后驗概率 P(i | x) (因為 R(i | x) = 1 P(i | x)基于最小化誤差概率，有：對任給j i，如果P (i | x) P(j | x)，則判為 i2.3 最小誤差率分類第15頁，共37頁，2022年，5月20日，10點57分，星期日2.4 分類器、判別函數(shù)及判定面多類別情況 判別函數(shù) gi(x), i = 1, c如果：gi(x) gj(x) j i 分類器將特征向量x判為i 第16頁，共37頁，2022年，5月20日，10點57分，星期日第17頁，共37頁，2022年，5月20日，10點5

7、7分，星期日2.4 分類器、判別函數(shù)及判定面一般風險情況下，可令gi(x) = - R(i | x)(最大判別函數(shù)與最小的條件風險相對應)根據(jù)最小誤差率情況下gi(x) = P(i | x)(最大判別函數(shù)與最大后驗概率相對應)其他判別函數(shù)：第18頁，共37頁，2022年，5月20日，10點57分，星期日2.4 分類器、判別函數(shù)及判定面每種判決規(guī)則將特征空間分為c個判決區(qū)域if gi(x) gj(x) j i 則 x屬于Ri(也就是把x判為i)第19頁，共37頁，2022年，5月20日，10點57分，星期日2.4 分類器、判別函數(shù)及判定面兩類情況（二分分類器）令 g(x) g1(x) g2(x)

8、如果 g(x) 0判為1 ; 否則判為 2g(x)的另類計算：第20頁，共37頁，2022年，5月20日，10點57分，星期日2.5 正態(tài)密度分析的簡易型連續(xù)性很多處理都是漸進高斯的，大量小的獨立的隨機分布的和手寫字符, 語音等都是高斯的單變量密度函數(shù)：其中: 是x的期望值 2 是方差第21頁，共37頁，2022年，5月20日，10點57分，星期日2.5 正態(tài)密度第22頁，共37頁，2022年，5月20日，10點57分，星期日多元密度函數(shù)一般的d維多元正態(tài)密度的形式如下:x = (x1, x2, , xd)t = (1, 2, , d)t 均值向量 = d*d 協(xié)方差矩陣 |行列式值 -1逆矩

9、陣2.5 正態(tài)密度第23頁，共37頁，2022年，5月20日，10點57分，星期日2.6 正態(tài)分布的判別函數(shù)最小誤差概率分類可以通過使用判別函數(shù)獲得gi(x) = ln P(x | i) + ln P(i)多元情況下：第24頁，共37頁，2022年，5月20日，10點57分，星期日2.6 正態(tài)分布的判別函數(shù)情況1： i = 2.I (I 是單位矩陣) 第25頁，共37頁，2022年，5月20日，10點57分，星期日“線性機器”使用線性判別函數(shù)的分類器。線性機器的決策面是一個由下式定義的超平面:gi(x) = gj(x)2.6 正態(tài)分布的判別函數(shù)第26頁，共37頁，2022年，5月20日，10點

10、57分，星期日第27頁，共37頁，2022年，5月20日，10點57分，星期日情況：2 i = (有所類的協(xié)方差矩陣都相等，但各自均值向量任意!)2.6 正態(tài)分布的判別函數(shù)第28頁，共37頁，2022年，5月20日，10點57分，星期日2.6 正態(tài)分布的判別函數(shù)第29頁，共37頁，2022年，5月20日，10點57分，星期日第30頁，共37頁，2022年，5月20日，10點57分，星期日第31頁，共37頁，2022年，5月20日，10點57分，星期日第32頁，共37頁，2022年，5月20日，10點57分，星期日第33頁，共37頁，2022年，5月20日，10點57分，星期日情況3： i = 任意，每一類的協(xié)方