《線性代數(shù)之美：矩陣分析》課件

線性代數(shù)之美：矩陣分析課程概述課程目標(biāo)掌握矩陣分析核心理論學(xué)習(xí)路徑從基礎(chǔ)到高級(jí)應(yīng)用的系統(tǒng)學(xué)習(xí)應(yīng)用領(lǐng)域第一部分：線性代數(shù)基礎(chǔ)1向量空間空間結(jié)構(gòu)和屬性2線性變換空間映射的數(shù)學(xué)描述3矩陣運(yùn)算向量空間定義滿足加法與數(shù)乘封閉性的集合性質(zhì)滿足八條公理的代數(shù)結(jié)構(gòu)子空間線性相關(guān)性與線性無(wú)關(guān)性線性相關(guān)性向量組中至少一個(gè)向量可表示為其他向量的線性組合線性無(wú)關(guān)性僅當(dāng)所有系數(shù)為零時(shí)線性組合為零向量判斷方法基與維數(shù)基的定義線性無(wú)關(guān)且張成整個(gè)空間的向量組維數(shù)的概念空間基向量的個(gè)數(shù)坐標(biāo)系統(tǒng)線性變換1幾何意義保持向量加法和數(shù)乘運(yùn)算的映射2矩陣表示通過(guò)矩陣完全描述線性變換3核與像描述變換的本質(zhì)特征矩陣的基本概念矩陣定義按行列排列的數(shù)表方陣行數(shù)等于列數(shù)的矩陣對(duì)角矩陣只有主對(duì)角線上有非零元素單位矩陣主對(duì)角線元素為1，其余為0矩陣運(yùn)算（一）矩陣加法對(duì)應(yīng)元素相加矩陣減法對(duì)應(yīng)元素相減標(biāo)量乘法所有元素乘以同一數(shù)矩陣運(yùn)算（二）矩陣乘法行與列的內(nèi)積運(yùn)算矩陣轉(zhuǎn)置行列互換矩陣冪矩陣自乘行列式行列式的計(jì)算1定義法根據(jù)排列的定義直接計(jì)算2余子式展開(kāi)按行或列展開(kāi)3三角化方法初等變換化為上三角矩陣矩陣的秩r秩的定義線性無(wú)關(guān)行（列）向量的最大個(gè)數(shù)n-r零空間維數(shù)核空間的維數(shù)r(AB)秩不等式矩陣乘積的秩關(guān)系線性方程組矩陣表示Ax=b形式唯一解滿秩方程組無(wú)窮解欠定方程組第二部分：高級(jí)矩陣?yán)碚摼仃嚨哪婵赡鏃l件與計(jì)算特征值理論矩陣的內(nèi)在特性矩陣對(duì)角化簡(jiǎn)化矩陣結(jié)構(gòu)二次型矩陣的幾何表示矩陣的逆可逆條件行列式非零伴隨矩陣法A^(-1)=adj(A)/|A|初等變換法[A|I]→[I|A^(-1)]逆的性質(zhì)(AB)^(-1)=B^(-1)A^(-1)正交矩陣定義A^TA=I的矩陣性質(zhì)保持向量長(zhǎng)度和角度應(yīng)用旋轉(zhuǎn)變換、坐標(biāo)變換相似矩陣定義A=P^(-1)BP形式的矩陣關(guān)系性質(zhì)有相同的特征值應(yīng)用矩陣對(duì)角化的理論基礎(chǔ)特征值與特征向量定義Ax=λx中的λ和x特征向量方向不變的向量特征值伸縮比例幾何意義揭示線性變換的本質(zhì)特征值計(jì)算特征多項(xiàng)式det(A-λI)=0求解多項(xiàng)式找出所有根代數(shù)與幾何重?cái)?shù)特征值的重復(fù)性質(zhì)矩陣對(duì)角化1對(duì)角化條件n個(gè)線性無(wú)關(guān)特征向量2尋找特征向量解(A-λI)x=03構(gòu)造P矩陣特征向量作為列向量4對(duì)角化結(jié)果D=P^(-1)APJordan標(biāo)準(zhǔn)型二次型定義形如x^TAx的二次函數(shù)矩陣表示對(duì)稱矩陣A確定二次型幾何意義表示二維曲線、三維曲面正定矩陣定義對(duì)所有非零向量x，x^TAx>0判定條件特征值全為正順序主子式全部大于零應(yīng)用最優(yōu)化問(wèn)題、穩(wěn)定性分析第三部分：矩陣分解LU分解三角矩陣分解QR分解正交矩陣與三角矩陣奇異值分解最一般的矩陣分解譜分解對(duì)稱矩陣的特征分解LU分解定義A=LU，L為下三角，U為上三角計(jì)算方法高斯消元過(guò)程的代數(shù)表示應(yīng)用解線性方程組、計(jì)算行列式QR分解1定義A=QR，Q為正交矩陣，R為上三角2Gram-Schmidt正交化構(gòu)造正交基的過(guò)程3計(jì)算步驟逐列進(jìn)行正交化并歸一化4應(yīng)用最小二乘問(wèn)題、特征值計(jì)算奇異值分解（SVD）1幾何解釋旋轉(zhuǎn)-拉伸-旋轉(zhuǎn)變換2數(shù)學(xué)表示A=UΣV^T3奇異值Σ對(duì)角線上的元素譜分解定義A=PDP^(-1)，D為對(duì)角矩陣適用條件可對(duì)角化矩陣應(yīng)用求矩陣冪、矩陣函數(shù)第四部分：矩陣計(jì)算矩陣范數(shù)度量矩陣"大小"的方法矩陣條件數(shù)描述矩陣穩(wěn)定性迭代算法大型矩陣數(shù)值解法最小二乘法尋找最佳擬合解矩陣范數(shù)向量范數(shù)p-范數(shù)：||x||_p=(∑|x_i|^p)^(1/p)矩陣范數(shù)算子范數(shù)：||A||_p=max_{||x||_p=1}||Ax||_p常用范數(shù)Frobenius范數(shù)：||A||_F=√(∑|a_ij|^2)矩陣條件數(shù)κ(A)定義cond(A)=||A||·||A^(-1)||σ_max/σ_min計(jì)算公式最大奇異值與最小奇異值之比10^6病態(tài)矩陣大條件數(shù)導(dǎo)致數(shù)值不穩(wěn)定迭代法求解線性方程組Jacobi方法利用前一步所有變量值Gauss-Seidel方法利用當(dāng)前已更新的變量值收斂條件迭代矩陣譜半徑小于1最小二乘法xy第五部分：高級(jí)主題廣義逆矩陣非方陣或奇異矩陣的"逆"矩陣微積分矩陣函數(shù)的導(dǎo)數(shù)矩陣函數(shù)將標(biāo)量函數(shù)擴(kuò)展到矩陣廣義逆矩陣Moore-Penrose逆滿足四個(gè)條件的唯一廣義逆計(jì)算方法A^+=(A^TA)^(-1)A^T（全列秩）應(yīng)用解最小二乘問(wèn)題，求欠定方程組解矩陣微積分標(biāo)量對(duì)矩陣求導(dǎo)?f/?A形式矩陣鏈?zhǔn)椒▌t復(fù)合函數(shù)求導(dǎo)最優(yōu)化應(yīng)用求解矩陣優(yōu)化問(wèn)題矩陣指數(shù)函數(shù)定義e^A=I+A+A^2/2!+A^3/3!+...性質(zhì)e^(A+B)≠e^Ae^B（一般情況）計(jì)算方法特征值分解法、冪級(jí)數(shù)法矩陣多項(xiàng)式定義p(A)=a_0I+a_1A+a_2A^2+...+a_nA^nCayley-Hamilton定理矩陣滿足其特征多項(xiàng)式計(jì)算方法特征值分解、冪級(jí)數(shù)展開(kāi)矩陣函數(shù)1定義f(A)=Pf(D)P^(-1)2常見(jiàn)函數(shù)矩陣指數(shù)、三角函數(shù)、對(duì)數(shù)3計(jì)算方法冪級(jí)數(shù)展開(kāi)、特征值分解第六部分：應(yīng)用實(shí)例1數(shù)據(jù)分析PCA、線性回歸2計(jì)算機(jī)科學(xué)圖像壓縮、網(wǎng)頁(yè)排名3隨機(jī)過(guò)程馬爾可夫鏈主成分分析（PCA）協(xié)方差矩陣計(jì)算數(shù)據(jù)各維度相關(guān)性特征值分解獲取主成分方向數(shù)據(jù)投影降維保留主要特征線性回歸xy擬合線圖像壓縮原始圖像全部像素信息SVD低秩近似保留主要奇異值壓縮結(jié)果大幅減少存儲(chǔ)空間馬爾可夫鏈狀態(tài)空間系統(tǒng)可能的狀態(tài)集合轉(zhuǎn)移矩陣狀態(tài)轉(zhuǎn)移概率穩(wěn)態(tài)分布轉(zhuǎn)移矩陣的特征向量3應(yīng)用隨機(jī)過(guò)程、預(yù)測(cè)模型網(wǎng)頁(yè)排名算法PageRank原理基于網(wǎng)頁(yè)鏈接結(jié)構(gòu)的排序隨機(jī)游走模型用戶在網(wǎng)絡(luò)中隨機(jī)點(diǎn)擊特征向量方法網(wǎng)頁(yè)排名是轉(zhuǎn)移矩陣的主特征向量第七部分：數(shù)值計(jì)算1高性能算法快速高效解決問(wèn)題2數(shù)值穩(wěn)定性控制誤差累積3適用性針對(duì)不同問(wèn)題特點(diǎn)矩陣的特征值算法冪法迭代求解最大特征值反冪法求解最小特征值QR算法求解所有特征值線性方程組的直接解法Gaussian消元逐步消元成上三角形式LU分解分解后高效求解多右端項(xiàng)3Cholesky分解對(duì)稱正定矩陣專用方法線性方程組的迭代解法共軛梯度法對(duì)稱正定矩陣快速解法GMRES方法通用非對(duì)稱矩陣迭代法預(yù)處理技術(shù)提高收斂速度大規(guī)模稀疏矩陣計(jì)算壓縮存儲(chǔ)格式CSR、CSC、COO格式專用算法避免零元素運(yùn)算并行計(jì)算分布式解決大規(guī)模問(wèn)題第八部分：高級(jí)應(yīng)用量子計(jì)算中的矩陣量子態(tài)表示希爾伯特空間中的向量量子門(mén)幺正矩陣表示量子操作量子算法矩陣運(yùn)算實(shí)現(xiàn)量子加速機(jī)器學(xué)習(xí)中的矩陣神經(jīng)網(wǎng)絡(luò)層間連接的權(quán)重矩陣反向傳播通過(guò)矩陣梯度更新權(quán)重2支持向量機(jī)核矩陣定義變換空間3計(jì)算加速GPU矩陣并行計(jì)算信號(hào)處理中的矩陣N×N傅里葉變換矩陣實(shí)現(xiàn)信號(hào)頻域轉(zhuǎn)換2^j小波變換多分辨率信號(hào)分析M濾波器設(shè)計(jì)卷積矩陣實(shí)現(xiàn)信號(hào)處理控制理論中的矩陣狀態(tài)空間表示系統(tǒng)動(dòng)態(tài)的矩陣描述穩(wěn)定性分析通過(guò)特征值判斷系統(tǒng)穩(wěn)定性最優(yōu)控制利用Riccati方程求解控制器計(jì)算機(jī)圖形學(xué)中的矩陣旋轉(zhuǎn)矩陣3D物體的方向變換縮放矩陣改變物體大小平移