奇異值分解及應(yīng)用

1、.定理定理：設(shè)：設(shè),0rCAnmr則存在則存在,nnnnmmCTCS使得使得000rISAT右式稱(chēng)為矩陣右式稱(chēng)為矩陣A A的的等價(jià)標(biāo)準(zhǔn)型等價(jià)標(biāo)準(zhǔn)型酉等價(jià)酉等價(jià)：設(shè)：設(shè),nmCBA若存在若存在m m階酉矩陣階酉矩陣U U和和n n階酉矩陣階酉矩陣V V，使得，使得,BAVUH則稱(chēng)則稱(chēng)A A與與B B酉等價(jià)酉等價(jià)。矩陣的奇異值分解矩陣的奇異值分解就是矩陣在就是矩陣在酉等價(jià)酉等價(jià)下的一種下的一種標(biāo)準(zhǔn)型標(biāo)準(zhǔn)型。.引理引理1 證明證明 設(shè)設(shè) 是是AHA的特征值，的特征值，x是相應(yīng)的特征向量，是相應(yīng)的特征向量，則則 AHAx= x由于由于AHA為為Hermite 矩陣，故矩陣，故 是實(shí)數(shù)。又是實(shí)數(shù)。又。的

2、特征值均為非負(fù)實(shí)數(shù)與設(shè)HHnmAAAACA,0, 0)()(),(0 xxxxAxAxAxAxHHH同理可證同理可證AAH的特征值也是非負(fù)實(shí)數(shù)。的特征值也是非負(fù)實(shí)數(shù)。.證明證明 設(shè)設(shè)x x是方程組是方程組A AH HAx=0Ax=0的非的非0 0解解，引理引理2 2 )()()(,ArankAArankAArankCAHHnmr則設(shè)mCAx0)(),(AxAxAxAxHH故故則由則由同解。與線(xiàn)性方程組因此00,AxAAxH得得; 0Ax的解；的解也是反之，00AxAAxH)()()(HHAArankAArankArank)()(AArankArankH得替換用,AAH.對(duì)于Hermite 矩陣

3、AHA， AAH，設(shè) AHA， AAH有r個(gè)非0特征值，分別記為00121121nrrmrrriii, 2 , 1,則,nmrCA設(shè)即： AHA與AAH非0特征值相同，并且非零特征值的個(gè)數(shù)為)(Arank.奇異值的定義奇異值的定義簡(jiǎn)稱(chēng)奇異值的正奇異值，為矩陣稱(chēng)Ariii, 1,0,121mrrHnmrAACA的特征值為且設(shè)說(shuō)明：說(shuō)明：A的正奇異值個(gè)數(shù)等于的正奇異值個(gè)數(shù)等于 ，并且，并且A與與AH有相同的奇有相同的奇異值。異值。)(Arank.則則酉酉等等價(jià)價(jià)與與設(shè)設(shè)證證明明,BACBAnmr,)(BVBVUBVUBVAAHHHH）（有相同的奇異值。與故征值，是酉相似的，有相同特與所以BABBA

4、AHH定理定理 酉等價(jià)酉等價(jià)的矩陣有的矩陣有相同的奇異值相同的奇異值由由UBVACVCUnnmm使使存在酉矩陣存在酉矩陣,.奇異值分解定理奇異值分解定理 設(shè)設(shè)A是秩為是秩為(0)r r 的的mn則存在則存在 階酉矩陣階酉矩陣矩陣矩陣, ,mU與與 階酉矩陣階酉矩陣,V使得使得HOU AVSOO 其中其中12diag(,)r (1,2, )ir10r為矩陣為矩陣A的全部奇異值的全部奇異值. .n.證明證明 設(shè)矩陣 的特征值為HA A1210rrn 則存在n階酉矩陣 ，使得 V12HH()n OVA AVOO將 分塊為V12()VVV其中 ， 分別是 的前 r 列與后 列.1V2VVnr.并改寫(xiě)式

5、為2H OAAVVOO則有H2T112， A AVVA AVO由的第一式可得HH21 H11111() ()rI， 或者 V A AVAVAV由的第二式可得H222()() 或 者A VA VOA VO令 ，則 ，即 的r個(gè)列是兩兩正交的單位向量.記111 UAV11HrIU U1U.112(,)rUuuu因此可將 擴(kuò)充成標(biāo)準(zhǔn)正交基，記增添的向量為 ，并構(gòu)造矩陣則是m階正交矩陣,且有于是可得12,ruuu1,rmuu21(,)rmUuu12121( ,) ( , , ,)rrmUU Uu uu uuH1121 HrI，U UU UOHHH1121H2()()， OUU AVUAVAVUOOOU

6、.HHHH1 1 122 2rrr OAUVuvu vu vOO稱(chēng)上式為矩陣A的奇異值分解.推論推論 在矩陣在矩陣A A的的奇異值分解奇異值分解A A= =UDVUDVH H中，中，U U的列向量為的列向量為AAAAH H的特征向量，的特征向量， V V的列向量為的列向量為A AH HA A的特征向量的特征向量. .HHHHUDVUDVAA)(證明)0 , 0 ,()(212rHUdiagUDUAAHHHUUDVDUUDV2），（記nuuuU21niuuAAiiiH, 2 , 1,)(則.11求矩陣求矩陣A AH HA A的酉相似對(duì)角矩陣及酉相似矩陣的酉相似對(duì)角矩陣及酉相似矩陣V V; ;00

7、0)(2VAAVHH,),()(2121rnnrnCVCVVVVrmCAVU1115 5 構(gòu)造奇異值分解構(gòu)造奇異值分解 44擴(kuò)充擴(kuò)充U U1 1為酉矩陣為酉矩陣U=(U=(U U1 1 , ,U U2 2) )33令令22記記奇異值分解方法奇異值分解方法11利用矩陣?yán)镁仃嘇 AH HA A求解求解HVUA000.例例1、求矩陣、求矩陣000110101A的奇異值分解的奇異值分解可求得可求得 的特征值為的特征值為211110101AAHAAH, 0, 1, 3321對(duì)應(yīng)的特征向量依次為對(duì)應(yīng)的特征向量依次為,2 , 1 , 11Tx ,0 , 1, 12Tx,1, 1 , 13Tx于是可得：于是

8、可得：, 2rankA,1003令令,21VVV 其中其中3221131,21,61xVxxV計(jì)算：計(jì)算：111AVU0021212121.構(gòu)造：構(gòu)造：TU1 , 0 , 02則則1000212102121,21UUUA的奇異值分解為的奇異值分解為T(mén)VUA000010003.奇異值分解方法奇異值分解方法2-2-利用矩陣?yán)镁仃嘇AAAH H求解求解11先求矩陣先求矩陣AAAAH H的酉相似對(duì)角矩陣及酉相似矩陣的酉相似對(duì)角矩陣及酉相似矩陣U U; ;000)(2UAAUHH,),()(2121rmmrmCVCUUUUrnHCUAV11144擴(kuò)充擴(kuò)充V V1 1為酉矩陣為酉矩陣V=(V=(V V1

9、 1 , ,V V2 2) )5 5 構(gòu)造奇異值分解構(gòu)造奇異值分解 22記記33令令HVUA000.例例 求矩陣求矩陣A的奇異值分解的奇異值分解000021A利用矩陣?yán)镁仃嘇AH求解求解0, 5,5,5,0000000053211的特征值HHAAAA.;100,010,001321xxx對(duì)應(yīng)的特征向量分別為）（）（取32211321,xxUxUxxxU,510010020015251111UAVH令.515252512151522),(,VVVV則取51525251000005100010001HUAVA因此.第二節(jié)第二節(jié) 奇異值分解的性質(zhì)奇異值分解的性質(zhì)與應(yīng)用與應(yīng)用1.1.奇異值分解可以降

10、維奇異值分解可以降維 A表示 個(gè) 維向量，可以通過(guò)奇異值分解表示成 個(gè) 維向量.若A的秩 遠(yuǎn)遠(yuǎn)小于 和 , 則通過(guò)奇異值分解可以降低A的維數(shù).可以計(jì)算出，當(dāng) 時(shí)，可以達(dá)到降維的目的，同時(shí)可以降低計(jì)算機(jī)對(duì)存貯器的要求.1mnrmnnmmnrmnr.2. 奇異值對(duì)矩陣的擾動(dòng)不敏感奇異值對(duì)矩陣的擾動(dòng)不敏感 特征值對(duì)矩陣的擾動(dòng)敏感. 在數(shù)學(xué)上可以證明，奇異值的變化不會(huì)超過(guò)相應(yīng)矩陣的變化，即對(duì)任何的相同階數(shù)的實(shí)矩陣A、B的按從大到小排列的奇異值 和有i i 2iiAB .3. 3. 奇異值的比例不變性奇異值的比例不變性, ,即即 的奇異值是的奇異值是A的的奇異值的奇異值的 倍倍. .A 4.4.奇異值的

11、旋轉(zhuǎn)不變性奇異值的旋轉(zhuǎn)不變性. .即若即若P是正交陣，是正交陣，PA的奇的奇異值與異值與A的奇異值相同的奇異值相同. . 奇異值的比例和旋轉(zhuǎn)不變性特征在數(shù)字圖象的旋轉(zhuǎn)、鏡像、平移、放大、縮小等幾何變化方面有很好的應(yīng)用.5. 容易得到矩陣A的秩為 的一個(gè)最佳逼近矩陣. krkA是矩陣的加權(quán)和，其中權(quán)系數(shù)按遞減排列：TTT1 1 122 2rrrAuvu vuv120r.假設(shè)推薦系統(tǒng)中有用戶(hù)集合有6個(gè)用戶(hù)，即U=u1,u2,u3,u4,u5,u6，項(xiàng)目（物品）集合有7個(gè)項(xiàng)目，即V=v1,v2,v3,v4,v5,v6,v7，用戶(hù)對(duì)項(xiàng)目的評(píng)分結(jié)合為R，用戶(hù)對(duì)項(xiàng)目的評(píng)分范圍是0, 5，如圖所示。推薦系統(tǒng)推薦系統(tǒng).推薦系統(tǒng)的目標(biāo)就是預(yù)測(cè)出符號(hào)“？”對(duì)應(yīng)位置的分值。推薦系統(tǒng)基于這樣一個(gè)假設(shè)：用