主成分分析與主成分回歸

1、先發(fā)布今日網絡討論題查閱PCA的各種應用實例。討論你擅長的數(shù)據(jù)處理/編程方式？如何數(shù)理解“主成分？ 有關這個分類的一系列疑問特征通常會很多嗎？每個特征的差異都很大嗎？要直觀的分類圖維數(shù)有限制嗎？ 提前的特征都像身高 那樣意義明確嗎？許多特征到底取哪2個呢？YESNO123 NO 新學問 1. Introduction主成分分析與主成分回歸Principal Component Analysis and Regression2. PCA3. PCR1. Introduction1.1 Chemometrics1.2 Necessary Knowledge1.1 Chemometrics1) 19

2、70S開展2) 穿插學科3) 現(xiàn)代儀器4) 一個例子1971：瑞典人S. Wold 基金工程定名時首提1974：S. Wold 和B.R. Kowalski 建議在西雅圖首開學術會議 新創(chuàng)學術刊物 J. Chem. Info. Comp. Sci. J. Chemometrics Chemom. Intell. Lab. Syst.化學計量學與計量關系Chemometrics Stoichiometry需要化學計量學獲得更多信息BACK應用數(shù)學、統(tǒng)計學、與計算機科學的手段設計或優(yōu)化量測方法，并通過解析數(shù)據(jù)最大限度地獲取化學及相關信息?；瘜W 分析化學數(shù)學 統(tǒng)計學計算機科學 接口Hyphenate

3、d InstrumentSeparation InstrumentSignalInstrumentHPLC DAD (diode-array detector)GC MS (Mass-spectrometer)HPLC-DADGet more data3D chromatogramHPLC chromatogram of nuclueside of Cordyceps Sinensis (冬蟲草) at one wavelengthGC-MSGC chromatogram of peptic powder (平胃散)Mass spectrum taken at retention time 1

4、0.2 minutesBACKTwo-way data containing both chromatography and spectra;Data matrix with more than 80 Megabytes;Data base of lots of chemical standards 梁逸曾教授的經歷美國標準局16組分PAH混合物標樣(Sulpeco)峰9為苯并a蒽和屈，峰14為苯并芘和二苯并蒽的二組分重疊峰BACKNext芴、苊、菲三混合Peaks 5 and 6 in the plot峰5、峰6的特征投影圖峰5的前5個特征值依次為16382，2436，1294，22，11峰

5、6直線表示單組分3個大特征值分辨所得的芴、苊、菲、蒽的色譜與光譜化學學報 1998，中國科學 1998，ChemLab. 1999BACK1.2 Necessary Knowledge on Linear Algebra線性代數(shù)1 矢量Vector2 線性相關3 矩陣Matrix4 秩Rank一組溶液的光譜集合一條光譜同物質不同濃度的光譜混合溶液中的物種數(shù)BACK1.2 Necessary Knowledge on Linear Algebra矢量：n個有順序的數(shù)a1, a2, an組成的數(shù)組。k11+ k22+ + kmm=0線性組合：k1+ k2。 就稱為，的行矢量：a1, a2, an；

6、列矢量t 。問：由,組成的矩陣, rank最大為幾？ 1 =( 1 2 3 4 5 6 ) 2 =( 6 5 4 3 2 1 ) 3 =( 1 1 1 1 1 1 )1+ 23 =0BACKGrade dik received by student i from professor k is矩陣: 一組一樣大小的矢量組合經典例子: 教授推薦信給學生打分True score of student iRelative loading(importance) given by professor kj: factors (i,e., subjects) chem., physics, math.,

7、etc. Four students three professortwo subject: Chemistry and EnglishProfessors 1 2 3Students1234Students1234Professors 1 2 3factors 1 212Factors3教授給4學生寫留學推薦信S is the matrix of true scores, called the score matrixL is the matrix of importance, called the loading matrix得分矩陣載荷矩陣矩陣的秩：對于A(mn), 其秩是A中 最大線性

8、無關的行數(shù)或列數(shù)。 秩組分數(shù)？秩為幾？三種組分，吸收光譜各不一樣(s1, s2 ,s3) 6組溶液，各組分濃度不同 吸光度矩陣A(206)Rank =Number of Eigenvalue秩=不為0的特征值的數(shù)目矩陣: 一組不同濃度組合的混合溶液測得的光譜集合矢量: 一條光譜Eigenvalue 特征值奇異值分解法：Y=USVt S: 對角矩陣，收集了Y的特征值 U: 標準列正交矩陣(Scores Matrix) Vt:標準行正交矩陣(Loadings Matrix) 用Matlab 很方便！一句話！BACK2. PCA 主成分分析 Principal Component Analysis2

9、.1 目的12.2 根本步驟22.3 應用實例32.1 主成分分析(PCA)的目的BACK現(xiàn)代儀器獲得兩維數(shù)據(jù)(矩陣)矩陣處理確定秩為多少確定復雜分析體系中的物種數(shù)PCA的目的-定性有幾種物種species定性2.2 PCA的步驟BACK矩陣分解真實誤差法收集特征值特征值比值法Y=USVt在S中比較RSD與REMax矩陣分解BACKNIPALS分解獎金10000元=10000150002100100110000Y=TP奇異值(SVD)分解Single Value DecompositionY=USVt S: 對角矩陣，收集了Y的特征值 U: 標準列正交矩陣(Scores Matrix) Vt:

10、標準行正交矩陣(Loadings Matrix) 用Matlab 很方便！一句話！怎么分解？看了頭大！分解成正交矩陣的乘積真實誤差法-確定主成分數(shù)dY(mn)有d個主成分+表示來自主因子0表示來誤差=真實誤差RE (Real Error,可以知道?)RE=RSD (剩余標準偏差)Residual Standard Deviation確定或設定RE d=1n-1計算RSD(d) d=1RSD(d)REYES此時d即為主成分數(shù)Nod=d+1RSD與實際誤差是否吻合判斷標準BACK相鄰特征值比值法出現(xiàn)最大值時相應的d 表示最小成分信號的表示最大噪聲信號的 顯著差異BACK2.3 PCA的應用實例BA

11、CK混合色素中組分數(shù)確實定反響過程中組分數(shù)確實定一組食用色素混合溶液測得吸光度矩陣Y156ddd/d+1 RSD14.6084.10.117421.1301.80.059930.614564.00.001740.00961.150.001550.00841.160.0013PCA結果組分數(shù) nc=3722的噪聲水平3 0.同樣的樣品用Agilent 8453ddd/d+1 RSD15.73611.70.046420.4902.50.019530.19964.30.000440.00312.10.000350.00151.90.0002PCA結果組分數(shù) nc=3噪聲水平 3 0.實際上有3種色素

12、胭脂紅檸檬黃日落黃反過來，主成分數(shù)時PCA: 通?？梢哉_判定主成分數(shù)根據(jù)RSD判斷儀器的噪聲水平判斷操作者的操作水平使用7220.00100.0040實驗內容之一3種色素看操作水平實驗數(shù)據(jù)PCA確定RSD(3)下學期完成1人1組考核根本功誰來挑戰(zhàn)記錄？BACK實例討論-for a chemical reaction三種化學成分A、B、C，光譜線性無關Model 1：Consecutive 1st order reactionResult: Rank=number of component=3Matrix two-way data 光譜矩陣 S動力學矩陣 Q兩維數(shù)據(jù)矩陣YY = QST日落黃電

13、解降解最終產物無吸收有中間體嗎?日落黃電解降解ddd/d+1 RSD14.1476.000.025520.69125.800.001230.02682.350.000740.01141.180.000550.00970.0003組分數(shù) d=2PCA 結果PCA確定組分數(shù)nnn/n+1 RSD123.06010.60.0617122.1862.40.0241130.910215.70.0001440.0043.50.0000850.0011.20.0000760.0010.00007最終產物有吸收d=3實例討論三種化學成分A、B、C，光譜線性無關Model 2：nc=3, rank=2Y = Q

14、ST實例討論Model 3：Parallel reactionnc=3, rank=?ACBo1o2o1= or o2o1= o2=1k2qB-k1qC=0線性相關rank=2實例討論Model 3：Parallel reactionnc=3, rank=?ACBo1o2o1=0， o2=1-dA/dt=k1+k2AdB/dt=k1dC/dt=k2A線性無關rank=3PCA確定組分數(shù)Y = load(E:Hp8453BBOH15.txt);U, S, V = svd(Y);lmd=diag(S);n=size(lmd,1);for k=1:n-1 sumlmd=0; for j=(k+1):

15、n sumlmd=sumlmd+lmd(j)*lmd(j); end RSD(k)=sqrt(sumlmd/(nw*(nt-k);endPCA：Conclusions 根據(jù)矩陣的秩確定化學成分數(shù)組分無吸收No!譜線性相關虧秩！ 某組分信號太弱復雜!好大學問! BACK3. PCR 回歸 Principal Component Regression3.1 概念13.2 根本步驟23.3 應用實例33.4 提醒33.1 PCR：概念BACK主成分分析PCA PCR多元校正之一因子分析FA 主成分回歸PCR 多元校正MC 相似概念常?；煊貌襟E略異側重不同解決多組分同時測定問題定量3.2 PCR：根本

16、步驟K-矩陣法 K-Matrix Method數(shù)學模型實驗測量數(shù)據(jù)矩陣Size: nwns吸光系數(shù)矩陣Size:nwnc混合濃度矩陣Size:ncns建模/校正See next預測K，解出未知樣濃度單樣品多樣品3.2 PCR：根本步驟SVD分解SVD分解別離重組廣義逆建模未知樣預報與K矩陣法相比僅一次求逆過程剔除了主成分模型誤差系數(shù)矩陣P意義不明確但用于預報是正確的 BACKY :波長數(shù)nw=8; 溶液數(shù)ns=6; 組分數(shù)nc=3YV tUSnc=3U后3列Vt后3行誤差信息剔除后Y0V *tU*S*廣義逆矩陣多元線性回歸MLRMultiple Linear RegressionK-矩陣法 建

17、模相當于單波長單組分的工作曲線矩陣除法即乘以其逆矩陣方陣可求逆已知C BACK多元線性回歸MLRMultiple Linear RegressionK-矩陣法 建模建模/校正(相當于單波長單組分的工作曲線) 矩陣除法即乘以其逆矩陣 方陣可求逆PCR：應用BACK光度法多組分同時測定速差動力學多組分同時測定電化學譜的分辨及多組分測定多元校正滴定其他矩陣數(shù)據(jù)3.4 PCR：注意線性關系-比耳定律加和性-共同響應，最好無協(xié)同正交程度-波譜不嚴重重疊標準集C-混合組成,不必純組分一些作者報道了幾乎完全線性相關的體系固定系列波長/電位/時間/pH/etc 矩陣行列-一一對應3.4 PCR：編程clear; nc=3;Y = load(Y_standard.dat); C = load(C_standard.dat); nw,ns = size(Y); Y_sample = load(Y_sample.dat); U, S, V = svd(Y);U = U(:,1:nc);S = S(1:nc,1:nc);V = V(:,1:nc); % KEY STEPPmat = C*V*inv(S)*U;C_sample = Pmat*Y_sampleY(217) C(37)P=CY0+(721