第四章矩陣的因子分解..ppt

第4章矩陣的因子分解 MatrixFactorizationandDecomposition 教學(xué)要求掌握矩陣的滿(mǎn)秩分解 掌握矩陣的三角分解 掌握矩陣的正交分解 掌握Schur定理和正規(guī)矩陣的定義 熟練掌握矩陣的奇異值分解 數(shù)據(jù)集中可能包含大量特征 維災(zāi)難使得數(shù)據(jù)分析很困難 1 維歸約 降維 利用舊屬性的線(xiàn)性組合得到新屬性 使得新屬性相互正交 捕獲到數(shù)據(jù)的最大變差 PCA 主成分分析 principlecomponentsanalysis 和SVD 2 選擇特征子集 嵌入 決策樹(shù)分類(lèi)其 過(guò)濾和包裝 搜索 特征加權(quán)等 矩陣的各種分解在矩陣計(jì)算中也扮演相當(dāng)重要的角色 由于變換即矩陣 所以各種分解從根本上看是各種變換 其目的是將矩陣變換成特殊的矩陣 4 2矩陣的滿(mǎn)秩分解滿(mǎn)秩分解定理 設(shè)為任意矩陣 則存在使得A BC 其中B為列滿(mǎn)秩矩陣 C為行滿(mǎn)秩矩陣 任一非 行或列 滿(mǎn)秩的非零矩陣可表示為一列滿(mǎn)秩矩陣和一行滿(mǎn)秩矩陣的積 B的列可取為A的列的任一極大線(xiàn)性無(wú)關(guān)組 C可取為其行為A的行所生成的空間的基 然后用定理確定矩陣B 應(yīng)用于極小最小二乘解和極小范數(shù)最小二乘解的算法中 例1求下面矩陣的滿(mǎn)秩分解 解思路 對(duì)矩陣A實(shí)施初等行變換得簡(jiǎn)化階梯形矩陣H 階梯型的非零行的第一個(gè)非零元為1 其所在的列其它元素為0 取A的r個(gè)使H陣滿(mǎn)秩的列為B 將H全為零的行去掉后即可構(gòu)成行滿(mǎn)秩矩陣C 由此可知rank A 2 且該矩陣第一列 第三列是線(xiàn)性無(wú)關(guān)的 選取 同樣 我們也可以選取 由上述例子可以看出矩陣的滿(mǎn)秩分解形式并不唯一 但是不同的分解形式之間有如下聯(lián)系 注 如果均為矩陣A的滿(mǎn)秩分解 那么存在矩陣滿(mǎn)足 則稱(chēng)其為A的LU分解或三角分解 4 3矩陣的三角分解 定義1如果方陣A可以分解成一個(gè)單位下三角矩陣L與一個(gè)上三角矩陣U的乘積 初等下三角矩陣 初等下三角矩陣性質(zhì) 1 det Li 1 2 用初等下三角矩陣左乘矩陣A 等于將A的第i行依次乘以 li 1i lni分別加到第i 1行到第n行上去 3 設(shè)A aij n n 且ajj 0 并且取 則LiA在 i 1 j i 2 j n j 的位置上為0 4 定理1 LU分解定理 設(shè)A是n階非奇異矩陣 則存在唯一的單位下三角矩陣L 主對(duì)角線(xiàn)上元素全為1的下三角矩陣 與唯一的上三角矩陣U 使得的充要條件是A的所有順序主子式均非零 即 矩陣的LU分解也稱(chēng)為Doolitte分解若L為下三角矩陣 U為單位上三角矩陣 稱(chēng)為Crout分解 定理2 LDU分解定理 設(shè)A是n階非奇異矩陣 則存在唯一的單位下三角矩陣L 對(duì)角矩陣D diag d1 d2 dn 和單位上三角矩陣U 使得A LDU的充要條件是A的所有順序主子式均非零 即 矩陣的LU分解方法 矩陣的LU分解方法有很多種 這里主要介紹初等行變換消元法步驟 1 通過(guò)初等行變換將A化為上三角矩陣U A I U L1 2 取L 因?yàn)長(zhǎng)1是一系列初等下三角矩陣乘積 對(duì)應(yīng)初等行變換 所以L(fǎng)是單位下三角矩陣 例1求下列矩陣的LU分解 解 從而得這里 因?yàn)?所以 1 即使矩陣A非奇異 如果A不滿(mǎn)足前n 1個(gè)順序主子式非零 未必能做LU分解 2 適當(dāng)改變非奇異矩陣的行的次序 可使改變后的矩陣做LU分解 引入排列陣的概念 說(shuō)明 定義1設(shè)e1 e2 en是n階單位矩陣I的n個(gè)列向量 矩陣P ei1 ei2 ein 稱(chēng)為一個(gè)n階排列陣 其中i1 i2 in是1 2 n的一個(gè)排列 P是排列陣的充要條件是P為一系列形如P i j 的初等交換矩陣的乘積 排列陣的性質(zhì) 1 P是排列陣 則PT和P 1也是排列陣 且PT P 12 P1 P2是排列陣 則P1P2是排列陣3 即 用排列陣左乘矩陣A相當(dāng)于將A的行按照排列陣的次序重排 右乘對(duì)A的列按排列陣的次序重排 引理1設(shè)A是n階非奇異矩陣 則存在排列陣P 使得PA的所有順序主子式要條件均非零 定理3設(shè)A是n階非奇異矩陣 則存在排列陣P 使得PA LDU所其中L是單位下三角矩陣 U是單位上三角矩陣 D是對(duì)角矩陣 三角方程組易于求解 矩陣LU分解的一個(gè)應(yīng)用 解線(xiàn)性方程組 定理 設(shè)矩陣A對(duì)稱(chēng)正定 則存在唯一的對(duì)角元為正的下三角陣L 使得 稱(chēng)為對(duì)稱(chēng)正定矩陣A的喬累斯基分解 利用喬累斯基 Cholesky 分解式來(lái)求解Ax b的方法也稱(chēng)Cholesky方法或平方根法MATLAB函數(shù) Chol A lu A 是求矩陣的LU分解函數(shù) 喬累斯基 Cholesky 分解 4 4QR分解 QR分解在矩陣計(jì)算中占據(jù)相當(dāng)重要的地位 利用QR分解 可以解決各種應(yīng)用中 例如圖像壓縮處理 結(jié)構(gòu)分析等 出現(xiàn)的最小二乘問(wèn)題 特征值問(wèn)題等矩陣計(jì)算中的核心問(wèn)題 以初等變換為工具的三角分解無(wú)法消除病態(tài)矩陣的不穩(wěn)定性 因此引入以正交變換為工具的QR分解方法 定理1 QR分解定理 設(shè)A是n階非奇異實(shí) 復(fù) 矩陣 則存在正交 酉 矩陣Q與非奇異實(shí) 復(fù) 上三角矩陣R 使得A QR且除去相差一個(gè)對(duì)角元絕對(duì)值全等于1的對(duì)角矩陣因子 分解式是唯一的 矩陣的QR分解也稱(chēng)為正交三角分解 若規(guī)定上三角矩陣R的對(duì)角元符號(hào) 則A的QR分解唯一 證明 先證明分解的存在性 將矩陣A按列分塊得到由于 所以是線(xiàn)性無(wú)關(guān)的 利用Schmidt正交化與單位化方法 先得到一組正交向量組 再單位化 這樣得到一組標(biāo)準(zhǔn)正交向量組 并且向量組之間有如下關(guān)系 于是有 為正交矩陣 證畢 唯一性 設(shè)A QR Q1R1 則Q Q1R1R 1 Q1D 其中D R1R 1為非奇異上三角矩陣 于是I QHQ Q1D H Q1D DHD所以D為酉矩陣 比較DHD DDH I的對(duì)角元 可得D為對(duì)角矩陣 且對(duì)角元的模為1 于是R1 DR Q1 QD 1 證畢 定理2設(shè)A是列滿(mǎn)秩的m n實(shí) 復(fù) 矩陣 則存在m階正交 酉 矩陣Q和n階非奇異實(shí) 復(fù) 上三角矩陣R 使得定理3設(shè)A是m n矩陣 且rank A r 0 則存在m階正交 酉 矩陣Q和r n階行滿(mǎn)秩矩陣R 使得 非奇異矩陣的QR分解的推廣 推論設(shè)A是m n矩陣 且rank A r 0 則存在m r列正交規(guī)范矩陣Q1和r n行滿(mǎn)秩矩陣R 使得A Q1R 列正交規(guī)范矩陣指的是m r矩陣Q1滿(mǎn)足 矩陣Q1是列正交規(guī)范矩陣的充要條件是Q1的列向量組是標(biāo)準(zhǔn)正交向量組 一 Schmidt方法步驟 1 將矩陣A的列向量 1 2 n施以Schmidt標(biāo)準(zhǔn)正交化 得到 1 2 n標(biāo)準(zhǔn)正交組 2 取Q 1 2 n 則Q為正交矩陣3 取R QTA 矩陣的QR分解方法 例1利用Schmidt方法將下列矩陣進(jìn)行QR分解 解先將A 1 2 3 的三個(gè)列向量正交化與單位化 所以A的QR分解為 A QR 從而 1 取A的列向量 1 2 n 對(duì) 1 由Householder矩陣性質(zhì)知存在Householder矩陣H1 使得 為方便說(shuō)明 不妨取負(fù)號(hào) 二 Householder變換法 步驟 從而 2 對(duì) 當(dāng)時(shí) 存在Householder矩陣H2 使得 則得 取 如果 則 直接進(jìn)行下一步 使得 3 對(duì)An 2繼續(xù)類(lèi)似的變換 如此最多n 1步 也即至多可以找到n 1個(gè)矩陣 令Q Hn 1 H2H1 則Q為正交矩陣 從而得到QR分解 例2利用Householder變換將下列矩陣進(jìn)行QR分解 對(duì)向量 令 解 從而得Householder矩陣 使得 注意 即被反射到 對(duì)向量 令 可得Householder矩陣 因此取 從而有 所求的QR分解為 定義1設(shè)A B Rn n Cn n 若存在n階正交 酉 矩陣U使得UTAU U 1AU B UHAU U 1AU B 稱(chēng)A正交 酉 相似B 4 5Schur定理和正規(guī)矩陣 SchurtheoryandNormalMatrices 定理1 Schur定理 任何一個(gè)n階復(fù)矩陣A都酉相似于一個(gè)上三角矩陣 即存在一個(gè)n階酉矩陣U和一個(gè)n階上三角矩陣R使得UHAU R其中R的對(duì)角元是A的特征值 可以按要求的順序排列 定義2設(shè)A Cn n 若AHA AAH 稱(chēng)A為正規(guī)矩陣 常見(jiàn)的正規(guī)矩陣 對(duì)角矩陣 對(duì)稱(chēng)和反對(duì)稱(chēng)矩陣 AT A AT A Hermite矩陣和反Hermite矩陣 AH A AH A正交矩陣和酉矩陣 ATA AAT I AHA AAH I 正規(guī)矩陣 正規(guī)矩陣的性質(zhì) 1 正規(guī)矩陣有n個(gè)線(xiàn)性無(wú)關(guān)的特征向量 2 正規(guī)矩陣屬于不同特征值的特征向量是正交的 3 與正規(guī)矩陣酉相似的矩陣都是正規(guī)矩陣 由定理2若A是n階正規(guī)矩陣 則A酉相似于一個(gè)對(duì)角陣 即存在一個(gè)n階酉矩陣U使得UHAU 其中 diag 1 n i i 1 2 n 是A的特征值 該式稱(chēng)為正規(guī)矩陣的譜分解式 正規(guī)是酉相似的不變性質(zhì) 定理2n階矩陣A酉相似于一個(gè)對(duì)角陣的充要條件是A是正規(guī)矩陣 即 i是矩陣A的特征值 i所對(duì)應(yīng)的單位特征向量 設(shè)U 1 2 n 則由定理2知UHAU diag 1 n 可得 即A i i i 1 2 n 求譜分解式的步驟 例1 求正規(guī)矩陣 的譜分解表達(dá)式 解 首先求出矩陣A的特征值與特征向量 容易計(jì)算 從而A的特征值為 1 2 3 1 4 3當(dāng) 1時(shí) 求得三個(gè)線(xiàn)性無(wú)關(guān)的特征向量為 1 1 1 0 0 T 2 1 0 1 0 T 3 1 0 0 1 T 當(dāng) 3時(shí) 求得一個(gè)線(xiàn)性無(wú)關(guān)的特征向量為 4 1 1 1 1 T將 1 2 3正交化與單位化可得 將 4單位化可得 于是有 這樣可得其譜分解表達(dá)式為A U UH 推論1設(shè)A是n階Hermite矩陣 則A必酉相似于對(duì)角矩陣 即存在一個(gè)n階酉矩陣U使得UHAU 其中 diag 1 n i i 1 2 n 是A的實(shí)特征值 該分解式稱(chēng)為Hermite矩陣A的譜分解式 是一種通用的降維工具 在我們處理高維數(shù)據(jù)的時(shí)候 為了能降低后續(xù)計(jì)算的復(fù)雜度 在 預(yù)處理 階段通常要先對(duì)原始數(shù)據(jù)進(jìn)行降維 原則 降維后的數(shù)據(jù)不能失真 也就是說(shuō) 被PCA降掉的那些維度只能是那些噪聲或是冗余的目的就是 降噪 和 去冗余 降噪 的目的就是使保留下來(lái)的維度間的相關(guān)性盡可能小 去冗余 的目的就是使保留下來(lái)的維度含有的 能量 盡可能大 著名的PCA PrincipalComponentAnalysis 形成樣本矩陣SN d 假設(shè)我們有一個(gè)樣本集X 里面有N個(gè)樣本 每個(gè)樣本的維度為d 即 即每行為一個(gè)樣本 每一列為一個(gè)維度 得到樣本矩陣S 著名的PCA PrincipalComponentAnalysis 2 計(jì)算樣本矩陣的協(xié)方差矩陣 協(xié)方差矩陣度量的是維度與維度之間的關(guān)系 主對(duì)角線(xiàn)上的元素是各個(gè)維度上的方差 即能量 其他元素是兩兩維度間的協(xié)方差 即相關(guān)性 著名的PCA PrincipalComponentAnalysis 3 1 去噪對(duì)協(xié)方差矩陣S進(jìn)行譜分解 去不同維度的相關(guān)性 非對(duì)角元素化為0 找到一個(gè)正交矩陣P 滿(mǎn)足 2 降維選取 中最大的p個(gè)特征值對(duì)應(yīng)的特征向量組成投影矩陣P1 取最大的前p p d 個(gè)特征值對(duì)應(yīng)的維度 對(duì)應(yīng)的p個(gè)特征向量組成了新的特征向量矩陣P1 該P(yáng)1就是投影矩陣 著名的PCA PrincipalComponentAnalysis 4 對(duì)原始樣本矩陣S進(jìn)行投影 得到降維后的新樣本矩陣S1 即S1 SP1 理由 假設(shè)PCA降維后的樣本矩陣為S1 顯然 根據(jù)PCA的目的 S1中的各個(gè)維度間的協(xié)方差基本為零 也就是說(shuō)S1的協(xié)方差矩陣應(yīng)該為對(duì)角矩陣 即滿(mǎn)足 著名的PCA PrincipalComponentAnalysis 由 3 著名的PCA PrincipalComponentAnalysis 由于樣本矩陣的每一行是一個(gè)樣本 特征向量矩陣的每一列是一個(gè)特征向量 右乘相當(dāng)于以每個(gè)樣本的特征向量為基進(jìn)行線(xiàn)性變換 得到的新樣本矩陣中每個(gè)樣本的維數(shù)變?yōu)榱藀 完成了降維操作 實(shí)際上 P1中的特征向量就是低維空間新的坐標(biāo)系 稱(chēng)之為 主成分 這就是 主成分分析 的名稱(chēng)由來(lái) 從Beltrami 1873 和Jordan 1874 提出奇異值分解 SVD SingularValueDecomposition 至今 SVD已經(jīng)成為矩陣計(jì)算中最有用和最有效的工具之一 由于奇異值良好的數(shù)學(xué)特征 奇異值分解不僅僅應(yīng)用在主成分分析 圖像壓縮 數(shù)字水印和文章分類(lèi)中 而且在信號(hào)分解 信號(hào)重構(gòu) 信號(hào)降躁 數(shù)據(jù)融合 目標(biāo)識(shí)別 目標(biāo)跟蹤 故障檢測(cè)和神經(jīng)網(wǎng)絡(luò)等方面有很好的應(yīng)用 4 6奇異值分解 SVD SingularValueDecomposition 引理1設(shè)A Cm n 則AHA Cn n AAH Cm m 且 1 Rank AHA Rank AAH Rank A 2 AHA與AAH的特征值均為非負(fù)實(shí)數(shù) 3 AHA與AAH的非零特征值相同 并且非零特征值的個(gè)數(shù) 重特征值按重?cái)?shù)計(jì)算 等于rank A 4 AHA 0 A 0 定義1設(shè)A Cm n 若存在非負(fù)實(shí)數(shù) 和非零向量u Cn v Cm 使得Au v AHv u 稱(chēng) 為矩陣A的奇異值 相應(yīng)地 u和v分別稱(chēng)為A對(duì)應(yīng)于奇異值 的右奇異向量和左奇異向量 說(shuō)明 由 式得 AHA u AHv 2u AAH v Au 2v所以 2是AHA的特征值也是AAH的特征值 而u和v分別是對(duì)應(yīng)于 2的特征向量 所以有 設(shè)A Cm n rank A r 設(shè)AHA的特征值 1 2 r 0 r 1 r 2 n 0 稱(chēng)為矩陣A的奇異值 若 i 0 稱(chēng) i為A的正奇異值 另一種定義 定理1 正規(guī)矩陣A的奇異值等于A(yíng)的特征值的模長(zhǎng) 證 根據(jù)正規(guī)矩陣的性質(zhì) 知存在酉矩陣U使得A Udiag 1 2 n UH 其中 1 2 n是A的特征值 所以AHA Udiag 1 2 2 2 n 2 UH所以A的奇異值為 1 2 n 定理2 奇異值分解定理 設(shè)A Cm n 秩 A r 則存在m階酉矩陣V和n階酉矩陣U使得其中 diag 1 r 且 1 r 0 1 U的列向量是AHA的標(biāo)準(zhǔn)正交特征向量 也稱(chēng)為懸掛矩陣 2 U的前r列向量是AHA對(duì)應(yīng)于r個(gè)非零特征值 12 r2的標(biāo)準(zhǔn)正交特征向量 3 V的列向量是AAH的標(biāo)準(zhǔn)正交特征向量 也稱(chēng)為對(duì)準(zhǔn)矩陣 4 V的前r列向量是AHA對(duì)應(yīng)于特征值 12 r2的標(biāo)準(zhǔn)正交特征向量 注記 第二步 令U1 u1 ur 計(jì)算 求矩陣SVD的算法 第一步 計(jì)算 并計(jì)算特征值 1 n和對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量u1 un 取U u1 un 注 根據(jù)這樣的取法得AAHV1 A AHAU1 1 A U1 2 1 AU1 V1 2即 V1對(duì)應(yīng)于特征值 12 r2的標(biāo)準(zhǔn)正交特征向量 第三步 求解線(xiàn)性方程組的標(biāo)準(zhǔn)正交基礎(chǔ)解系vr 1 vm 令V v1 vr vr 1 vm 則U和V即為所求 例1求下列矩陣的SVD分解 解 第一步 矩陣AHA的特征值為3 1 0 對(duì)應(yīng)的特征向量為 標(biāo)準(zhǔn)正交化得 第二步令 計(jì)算 其中 第三步解 得其基礎(chǔ)解系為 從而 因此所求SVD為 例2 求下列矩陣的奇異值分解表達(dá)式 解 1 計(jì)算AHA的特征值分別為5 0 對(duì)應(yīng)的兩個(gè)標(biāo)準(zhǔn)正交特征向量 由這兩個(gè)標(biāo)準(zhǔn)正交特征向量組成矩陣U 2 計(jì)算AAH的特征值為5 0 0 所以A的奇異值為 下面計(jì)算AAH的標(biāo)準(zhǔn)正交特征向量 解得分別與5 0 0對(duì)應(yīng)的三個(gè)標(biāo)準(zhǔn)正交特征向量 由這三個(gè)標(biāo)準(zhǔn)正交特征向量組成矩陣V 所以有 于是可得奇異值分解式為 注 使用第二種方法時(shí)選取的U和V不唯一 他們的對(duì)應(yīng)列之間相差一個(gè)符號(hào) 因此當(dāng)分解式不成立時(shí) 需要調(diào)整相應(yīng)的特征向量符號(hào) SVD的幾何意義 圓S經(jīng)過(guò)變換A 變成橢圓AS 圓的正交方向u1 u2變成橢圓的長(zhǎng) 短軸方向 設(shè)矩陣A的奇異值分解為A V UT 考慮A對(duì)應(yīng)的線(xiàn)性變換A u1 u2 1v1 2v2 AS 1v1 2v2 從變換的角度理解SVD 酉變換U保持球面不變 對(duì)角矩陣 將球面拉伸到一個(gè)有標(biāo)準(zhǔn)基的橢圓 1 2是A的兩個(gè)奇異值 對(duì)應(yīng)橢圓的長(zhǎng)半軸和短半軸 最后酉變換V旋轉(zhuǎn)或鏡射這個(gè)橢圓 但不改變它的形狀 矩陣奇異值分解的特點(diǎn) 1 數(shù)據(jù)壓縮 矩陣Am n的奇異值分解為 A V UT 其展開(kāi)式 A有nm個(gè)數(shù)據(jù) 分解后為 m n 1 r個(gè)數(shù)據(jù) 若A的秩r遠(yuǎn)遠(yuǎn)小于m和n 則通過(guò)奇異值分解可以大大降低A的維數(shù) 可以達(dá)到降維的目的 同時(shí)可以降低計(jì)算機(jī)對(duì)存貯器的要求 常用于圖像壓縮 奇異值的減少特別的快 在很多情況下 前10 甚至1 的奇異值的和就占了全部的奇異值之和的99 以上了 也就是說(shuō) 我們也可以用前k個(gè)大的奇異值來(lái)近似描述矩陣 圖像的數(shù)字化技術(shù)與矩陣的奇異值分解 計(jì)算機(jī)處理圖像技術(shù)的第一步是圖像的數(shù)字化存儲(chǔ)技術(shù) 即將圖像轉(zhuǎn)換成矩陣來(lái)存儲(chǔ) 轉(zhuǎn)換的原理是將圖形分解成象素 pixels 的一個(gè)矩形的數(shù)陣 其中的信息就可以用一個(gè)矩陣A aij m n來(lái)存儲(chǔ) 矩陣A的元素aij是一個(gè)正的數(shù) 它相應(yīng)于象素的灰度水平 graylevel 的度量值 由于一般來(lái)講 相鄰的象素會(huì)產(chǎn)生相近的灰度水平值 因此有可能在滿(mǎn)足圖像清晰度要求的條件下 將存儲(chǔ)一個(gè)m n階矩陣需要存儲(chǔ)的m n個(gè)數(shù)減少到n m 1的一個(gè)倍數(shù) 壓縮數(shù)字化圖形存儲(chǔ)量的方法主要是應(yīng)用矩陣的奇異值分解和矩陣范數(shù)下的逼近 如果圖象的數(shù)字矩陣A的奇異值分解為 A U VT 其展開(kāi)式 壓縮矩陣A的方法是取一個(gè)秩為k k r 的矩陣Ak來(lái)逼近矩陣A Ak按如下方法選取 這是矩陣A的秩1分解式 在秩為k k n 的所有矩陣中 矩陣Ak所對(duì)應(yīng)的圖象和矩陣A所對(duì)應(yīng)的圖象最相近 一般的 k越大圖象就越清晰 壓縮比 m n 1 mn 經(jīng)典的方法是選取接近k 使Ak的存儲(chǔ)量比A的存儲(chǔ)量減少20 矩陣奇異值分解的特點(diǎn) 2 奇異值對(duì)矩陣的擾動(dòng)不敏感 而特征值對(duì)矩陣的擾動(dòng)敏感 3 奇異值的比例不變性 即kA的奇異值是A的奇異值的 k 倍 4 奇異值的旋轉(zhuǎn)不變性 即若P是正交陣 PA的奇異值與A的奇異值相同 奇異值的比例和旋轉(zhuǎn)不變性特征在數(shù)字圖像的旋轉(zhuǎn) 鏡像 平移 放大 縮小等幾何變化方面有很好的應(yīng)用 5 容易得到矩陣A的秩為k k r 低秩 的一個(gè)最佳逼近矩陣 奇異值的這個(gè)特征可以應(yīng)用于信號(hào)的分解和重構(gòu) 提取有用信息 消除信號(hào)噪聲等6 若A B都有相同的奇異向量 則 A B 2 即 我們可以通過(guò)控制奇異值的大小來(lái)控制兩個(gè)矩陣空間的距離 存儲(chǔ)矩陣Ak只需要存儲(chǔ)k個(gè)奇異值 k個(gè)m維向量ui和n維向量vj的所有分量 共計(jì)k m n 1 個(gè)元素 如果m n 1000 存儲(chǔ)原矩陣A需要存儲(chǔ)1000 1000個(gè)元素 取k 100時(shí) 圖象已經(jīng)非常清晰了 這時(shí)的存儲(chǔ)量是100 2000 1 200100個(gè)數(shù) 和矩陣A比較 存儲(chǔ)量減少了80 SVD用于文本分類(lèi) 用一個(gè)大矩陣A來(lái)描述一百萬(wàn)篇文章和五十萬(wàn)詞的關(guān)聯(lián)性