模式識(shí)別與分類

1、模式識(shí)別與分類第1頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類導(dǎo)言 Clustering/Classification 統(tǒng)稱 如下問(wèn)題 人眼識(shí)別物 中醫(yī)看舌苔/脈搏 圖譜辨別化合物 低維與高維數(shù)據(jù) 一次觀察的矢量表示n為空間維數(shù)，變量數(shù)變量即特征各特征類型/量綱/大小相差大第2頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類數(shù)據(jù)預(yù)處理 值域調(diào)整range scaling 自標(biāo)度化 Autoscaling均值0方差1模長(zhǎng)第3頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類數(shù)據(jù)預(yù)處理 標(biāo)準(zhǔn)化 Normalization模長(zhǎng)為1色

2、譜面積歸1質(zhì)譜最大為1第4頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類數(shù)據(jù)預(yù)處理 變換法原變量相加/減/除等 組合法第5頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類數(shù)據(jù)預(yù)處理 特征的選擇偏差權(quán)重法s大的變量更重要Fisher比率法F大的變量更重要第6頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類數(shù)據(jù)預(yù)處理協(xié)方差矩陣C與相關(guān)矩陣R對(duì)于n為對(duì)象數(shù)，p為特征數(shù)方差j=1,p 協(xié)方差j,k=1,p;jk 第7頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類數(shù)據(jù)預(yù)處理方差-協(xié)方差矩陣，簡(jiǎn)稱協(xié)方差矩陣如下：對(duì)

3、稱矩陣第8頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類數(shù)據(jù)預(yù)處理相關(guān)矩陣如下：其中但對(duì)于Autoscaling后的數(shù)據(jù)，s=1。C即為R。第9頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類主成分分析PCA因子分析FA聚類分析clustering無(wú)監(jiān)督方法第10頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類PCA得分score載荷loading d為主成分?jǐn)?shù) 第11頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類PCA投影判別法 數(shù)據(jù)重構(gòu)組成互不相關(guān)的新變量 取較少的主成分?jǐn)?shù)(常為2)，完成分類第12

4、頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類PCA實(shí)例1 不同嫌疑人頭發(fā)中元素的含量(g/g) 樣品CuMnClBrI19.20.30 173012.0 3.6 212.40.39 93050.0 2.3 37.20.32 275065.3 3.4 410.20.36 15003.4 5.3 510.10.50 104039.2 1.9 66.50.20 249090.0 4.6 75.60.29 294088.0 5.6 811.80.42 86743.1 1.5 98.50.25 16205.2 6.2 原始數(shù)據(jù)X(95)autoscaling計(jì)算相關(guān)矩陣計(jì)算特征

5、值返回第13頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類方差百分?jǐn)?shù)主成分?jǐn)?shù)的確定指定 ,如90% 相應(yīng)的dPCA實(shí)例1 頭發(fā)樣品中的特征值與方差 成分?jǐn)?shù) 特征值 方差% 累計(jì)方差% 1 3.352 67.05 67.05 2 1.182 23.65 90.70 3 0.285 5.70 96.40 4 0.135 2.70 99.10 5 0.045 0.90 100.00特征值1對(duì)于相關(guān)矩陣, 1的成分為主成分Scree檢驗(yàn)nPC在2-3間斜率下降 因此d=2合適第14頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類得分圖主成分圖形解釋PCA實(shí)

6、例13個(gè)聚類分屬三人t1對(duì)t2作圖t1最重要第15頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類主成分圖形解釋PCA實(shí)例1載荷圖l1對(duì)l2作圖特征在主成分上的投影各變量的相關(guān)信息夾角越小，相關(guān)性越高高度相關(guān)的特征取1即可載荷大小是重要性的度量位于原點(diǎn)的載荷不重要金屬間的相關(guān)性大于鹵素間的Cu與Cl反性相關(guān)l1最重要，距原點(diǎn)距離越大，該特征權(quán)重越大，Cu第16頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類主成分圖形解釋PCA實(shí)例1 相似系數(shù)或相關(guān)系數(shù)表 CuCu 1.000 MnMn 0.697 1.000 ClCl -0.950 -0.692 1

7、.000 BrBr -0.530 -0.233 0.588 1.000 I -0.645 -0.749 0.581 -0.084 相似系數(shù)相關(guān)系數(shù)Br/I接近正交Cu/Cl負(fù)相關(guān)1：完全相同0：完全正交自標(biāo)度化的數(shù)據(jù)cos=r第17頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類得分圖主成分圖形解釋PCA實(shí)例1特征的選擇5個(gè)全取取Cu/Br/I仍能分類效果略差取Cu/Mn/Cl分類效果差l2無(wú)效果3個(gè),僅1個(gè)12.57,0.38,0.05一維投影結(jié)果原始數(shù)據(jù)第18頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類主成分圖形解釋PCA實(shí)例1雙重圖bipl

8、ott1各元素均有貢獻(xiàn)t2由Br和I表征Cu/Mn/Cl/I將對(duì)象聚為2組Br將對(duì)象聚為另2組第19頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類PCA實(shí)例1應(yīng)用示例煙葉硅烷化色譜 遼寧鳳城煙葉不同部位煙葉的區(qū)分下部上部中部第20頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類FA 用少數(shù)幾個(gè)通用因子描述矩陣中的特征 抽象因子需經(jīng)旋轉(zhuǎn)變換成實(shí)因子TTFA包含d個(gè)因子的特征參數(shù)，各因子對(duì)應(yīng)1個(gè)起因與對(duì)應(yīng)因子相關(guān)的載荷分?jǐn)?shù)由剩余p-d個(gè)和通用因子無(wú)關(guān)的特殊因子構(gòu)成，如噪聲因子第21頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類F

9、A目標(biāo)轉(zhuǎn)換因子分析Target Transformation FA變換矩陣抽象載荷目標(biāo)預(yù)測(cè)目標(biāo)均值相對(duì)偏差relative deviation估計(jì)兩者的一致性第22頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類FA實(shí)例TTFA多環(huán)芳烴HPLC-DAD數(shù)據(jù)有3個(gè)重要因子第23頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類多環(huán)芳烴HPLC-DAD數(shù)據(jù)FA實(shí)例TTFA已知4物的純光譜但僅3個(gè)主因子F補(bǔ)一列第24頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類多環(huán)芳烴HPLC-DAD數(shù)據(jù)FA實(shí)例TTFA283.331545.9112

10、6.4-58.497102.72120.36217.71172.223.665-106.13-223.13-169.66-63.573-628.81-435.2476.663111.23112.88282.74274.6138.03685.85873.30428.34552.66370.73415.276-24.929110.5432.7193.991310.64514.72625.2127.38911.377存在不存在第25頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類聚類分析 無(wú)監(jiān)督學(xué)習(xí)方法 根據(jù)相似性度量，物以類聚 分類方法是把未知對(duì)象分配到已存在類中聚類分析步驟

11、n個(gè)樣本n類計(jì)算距離最近的2類合并 繼續(xù)合并最近的2類經(jīng)n-1次合并最后成1類第26頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類聚類分析距離與相似性度量的方法明氏Minkowski距離歐氏Euclidean距離曼哈頓Manhattan距離city-block距離第27頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類聚類分析距離與相似性度量的方法馬氏Mahalanobis距離基于協(xié)方差矩陣C的向量運(yùn)算基于馬氏距離的相似性量度完全相似 Sij=1完全不相似 Sij=0馬氏距離可避免特征向量的相關(guān)性引起的失真無(wú)需對(duì)數(shù)據(jù)進(jìn)行調(diào)整第28頁(yè)，共39頁(yè)，202

12、2年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類聚類分析實(shí)例6個(gè)血清樣本的分級(jí)聚類對(duì)象1、2距離最短，聚為新對(duì)象1*設(shè)其距離為0與其余各對(duì)象用平均法或新距離第29頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類聚類分析實(shí)例6個(gè)血清樣本的分級(jí)聚類4，6并4*4*，5并5*1*，3并3*第30頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類聚類分析實(shí)例6個(gè)血清樣本的分級(jí)聚類1231234651*3*4*5*歐氏距離6個(gè)血清樣本實(shí)際上可分為兩類第31頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類聚類分析A、B聚后新距離的算法加權(quán)均

13、連weighted average linkage單連法(最近距離)single linkage全連法(最遠(yuǎn)距離)complete linkage其他方法第32頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類線性學(xué)習(xí)機(jī)LLMK最近鄰法KFASIMCA法有監(jiān)督方法第33頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類LLM11111111122222222判別面以分類(疾病判斷)為例存在一判別面,用垂直的法線(權(quán))矢量w表示 與類1中任一樣本矢量的夾角 ,與類2中 線性判別函數(shù)s(標(biāo)量) ，s0 ，s0第34頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)2

14、6分，星期四模式識(shí)別與分類LLM步驟已知樣本作訓(xùn)練得法線矢量w未知樣本計(jì)算s并預(yù)測(cè)分類初值w，可隨機(jī)確定第1個(gè)已知樣本計(jì)算s 不符下一個(gè)樣本計(jì)算s繼續(xù)調(diào)整w 第35頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類LLM實(shí)例數(shù)據(jù)初值第36頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類LLM實(shí)例修正w不修正須修正以后還需修正1次，最終判別第37頁(yè)，共39頁(yè)，2022年，5月20日，6點(diǎn)26分，星期四模式識(shí)別與分類LLM實(shí)例程序clear;close all;Y= load(E:bkjshxjiazx.txt);Y(:,1)=; n,p = size(Y

15、); cluster = Y(:,p);cluster = cluster*(-2)+3*ones(n,1); %let symbol of first cluster=1 and second cluster=-1Y(:,p)=; Y_std = Y(1:16,:); clu_std = cluster(1:16,:);Y_unk = Y(17:20,:); clu_unk = cluster(17:20,:);n_std,p = size(Y_std); n_unk,p = size(Y_unk);Part I 數(shù)據(jù)準(zhǔn)備w = ones(1,p)*(-1); % 給初值，w設(shè)為行矢量 for i = 1:n_std s = w*Y_std(i,:); % s 是標(biāo)量 if s*clu_std(i,1)0 c = (-2)*s/(Y_std(i,:)*Y_std(i,:); w = w+c*Y_std(i,:); endendPart II 訓(xùn)練確定wfor i = 1:n_unk s = w*Y_unk(i,:); fprintf( For unknown sample No.:%3.0ft,i); if s*clu_unk(i,1)0 fprintf( the judgement is WRONG. n); else fprintf( the judgement