機(jī)器學(xué)習(xí)數(shù)學(xué)基礎(chǔ)-矩陣論

1、精選優(yōu)質(zhì)文檔-傾情為你奉上1.矩陣和線性變換：線性變換的定義：線性映射（ linear mapping）是從一個(gè)向量空間V到另一個(gè)向量空間W的映射且保持加法運(yùn)算和數(shù)量乘法運(yùn)算，而線性變換（linear transformation）是線性空間V到其自身的線性映射。一個(gè)矩陣對(duì)應(yīng)了一個(gè)線性變換這個(gè)說法，就可以知道這個(gè)說法并不嚴(yán)謹(jǐn)。（基）矩陣是對(duì)線性變換的表示；確定了定義域空間與目標(biāo)空間的兩組基，就可以很自然地得到該線性變換的矩陣表示。 兩個(gè)矩陣相乘，表示了三個(gè)線性空間的變換。要想從第一個(gè)空間轉(zhuǎn)換到第三個(gè)空間，則第一個(gè)變換的定義域空間U到目標(biāo)空間V1，第二個(gè)變換的定義域空間V2到目標(biāo)空間W，必須滿足

2、V1和V2是一個(gè)空間。矩陣把v'i換成vi的換基矩陣與把vi換成v'i的換基矩陣這兩個(gè)矩陣是互逆的.2恒等變換與伸縮變換3矩陣對(duì)角化條件：n個(gè)線性無關(guān)的特征向量；每個(gè)特征值的線性無關(guān)的特征向量的個(gè)數(shù)恰好等于該特征值的代數(shù)重?cái)?shù)；充分條件n個(gè)特征值互不相等（充分條件）；代數(shù)重?cái)?shù)：特征多項(xiàng)式的次數(shù)；幾何重?cái)?shù)：與某一個(gè)特征值相關(guān)聯(lián)的線性無關(guān)的特征向量的最大個(gè)數(shù)。所以對(duì)角化其實(shí)就是要用特征向量組成的基來代替標(biāo)準(zhǔn)基，描述線性變換，使得多個(gè)耦合的變量盡可能的解耦。 如果A為實(shí)對(duì)稱陣，則其必可以正交相似對(duì)角化。其中U內(nèi)的每個(gè)向量互相正交。即：u1.T=u1.I.線性變換：可以發(fā)現(xiàn)里面并不涉及矩

3、陣維度的變化。其中中間的對(duì)角矩陣相當(dāng)于對(duì)矩陣的每一列（t特征向量）進(jìn)行拉伸。兩邊的同維方陣使用的是同一組基，即上述的線性變換始終在一組基里面，所以相當(dāng)于在同一空間內(nèi)做旋轉(zhuǎn)。在一個(gè)n維空間里，標(biāo)準(zhǔn)正交基是唯一存在的，該n維空間里面所有的向量都可由該組正交基線性變換得到。所以矩陣的對(duì)角化涉及到的運(yùn)動(dòng)包括：旋轉(zhuǎn)和縮放。A矩陣將一個(gè)向量從x這組基的空間旋轉(zhuǎn)到x這組基的空間，并在每個(gè)方向進(jìn)行了縮放。4.SVD證明：AA.T的特征向量組就是P矩陣：得證對(duì)A進(jìn)行矩陣分解得到的P矩陣就是AA.T的特征向量組成的P矩陣。SVD的一些應(yīng)用1.降維左奇 用于行數(shù)的壓縮。右奇異矩陣可以用于列數(shù)即特征維度的壓縮，也就是

4、我們的PCA降維。2.PCA使用SVD求解PCA求解過程中的協(xié)方差矩陣為特征之間（列之間）的關(guān)系矩陣（m*m）。而SVD的右奇異矩陣也是關(guān)于特征之間（矩陣列之間）的關(guān)系，所以PCA里面的協(xié)方差矩陣可以通過SVD得到。SVD有個(gè)好處，有一些SVD的實(shí)現(xiàn)算法可以不求先求出協(xié)方差矩陣，也能求出我們的右奇異矩陣。3.奇異（亂入的）若n階方陣A的行列式不為零，即 |A|0，則稱A為非奇異矩陣或滿秩矩陣4.幾何意義：奇異值分解把線性變換清晰地分解為旋轉(zhuǎn)、縮放、投影這三種基本線性變換。其中，P為m*m矩陣，Q為n*n矩陣。其中涉及的變換： 。A矩陣的作用是將一個(gè)向量從Q 這組正交基向量的空間旋轉(zhuǎn)到P這組正交

5、基向量空間，并對(duì)每個(gè)方向進(jìn)行了一定的縮放，縮放因子就是各個(gè)奇異值。如果Q維度比P大，則表示還進(jìn)行了投影。8.一些概念矩陣行秩等于列秩估計(jì)量的數(shù)學(xué)期望等于被估計(jì)參數(shù)的真實(shí)值，則稱此此估計(jì)量為被估計(jì)參數(shù)的無偏估計(jì)。矩陣與標(biāo)量相乘與相加，每個(gè)元素與該標(biāo)量相乘或相加互逆矩陣特征值互為倒數(shù)，特征向量一樣9.條件數(shù)矩陣A的等于A的與A的逆的范數(shù)的，即cond(A)=A·A(-1)，對(duì)應(yīng)矩陣的3種范數(shù)，相應(yīng)地可以定義3種條件數(shù)。 函數(shù) cond(A,1)、cond(A)或cond(A inf)。原因：條件數(shù)事實(shí)上表示了矩陣計(jì)算對(duì)于誤差的敏感性，條件數(shù)越大，矩陣越大越病態(tài)，矩陣是指解集X對(duì)系數(shù)矩陣A

6、和偏差bias高度敏感。主要是某些向量之間可以互相近似線性表達(dá)（如401 -201與-800 401）,從而另一項(xiàng)近似殘差項(xiàng)，這樣微小的擾動(dòng)帶來大的擾動(dòng)。矩陣的條件數(shù)總是大于1.的條件數(shù)等于1，的條件數(shù)為無窮大，而的條件數(shù)則為比較大的數(shù)據(jù)。10. 鞍點(diǎn)，極值點(diǎn)，駐點(diǎn)檢驗(yàn)二元函數(shù)F（x，y）的駐點(diǎn)是不是鞍點(diǎn)的一個(gè)簡(jiǎn)單的方法，是計(jì)算函數(shù)在這個(gè)點(diǎn)的Hessian矩陣：如果黑塞矩陣的行列式小于0，則該點(diǎn)就是鞍點(diǎn)。在一維空間里，鞍點(diǎn)是駐點(diǎn)也是反曲點(diǎn)點(diǎn)。/目標(biāo)函數(shù)在此點(diǎn)上的梯度（一階導(dǎo)數(shù)）值為 0， 但從該點(diǎn)出發(fā)的一個(gè)方向是函數(shù)的極大值點(diǎn)，而在另一個(gè)方向是函數(shù)的極小值點(diǎn)。11 矩陣對(duì)角化計(jì)算過程對(duì)稱矩陣肯

7、定可以對(duì)角化。矩陣可以對(duì)角化的充分必要條件是：矩陣有n各不同的特征值。n個(gè)相互無關(guān)的特征向量正交化過程：其中/。上下是點(diǎn)乘的過程。12 矩陣正定半正定判斷條件：(1) A為半正定陣：a. 定義判定。XTAX表示的意義是：矩陣A對(duì)應(yīng)的二次型X'AX，對(duì)于任意不為0的實(shí)列向量X，都大于等于0。b. 所有的主子式非負(fù)。主子式是指將行號(hào)與列號(hào)相等的項(xiàng)拿出來組成一個(gè)矩陣的行列式。（2）A為正定陣：a.定義判斷b.各階順序主子式都為正c.特征值都為正d.合同為單位陣e.g 上述四個(gè)條件都為充分必要條件。主子式是 ，可以跳，順序主子式是惟一的。意義：正定、半正定矩陣的直覺代表一個(gè)向量經(jīng)過它的變化后的

8、向量與其本身的夾角小于等于90度。13 核方法核函數(shù)的取（Mercer定理）任何半正定的函數(shù)都可以作為核函數(shù)。所謂半正定的函數(shù)f(xi,xj)，是指擁有訓(xùn)練數(shù)據(jù)集合（x1,x2,.xn)，我們定義一個(gè)矩陣的元素aij = f(xi,xj)，這個(gè)矩陣是n*n的，如果這個(gè)矩陣是半正定的，那么f(xi,xj)就稱為半正定的函數(shù)。這個(gè)mercer定理不是核函數(shù)必要條件，只是一個(gè)充分條件，即還有不滿足mercer定理的函數(shù)也可以是核函數(shù)。常見的核函數(shù)有高斯核，多項(xiàng)式核等等，在這些常見核的基礎(chǔ)上，通過核函數(shù)的性質(zhì)（如對(duì)稱性等）可以進(jìn)一步構(gòu)造出新的核函數(shù)。SVM是目前核方法應(yīng)用的經(jīng)典模型。一般實(shí)施步驟核函數(shù)

9、方法是一種模塊化(Modularity)方法，它可分為核函數(shù)設(shè)計(jì)和算法設(shè)計(jì)兩個(gè)部分，具體為： 1）收集和整理樣本,并進(jìn)行標(biāo)準(zhǔn)化； 2）選擇或構(gòu)造核函數(shù)； 3）用核函數(shù)將樣本變換成為核函數(shù)矩陣,這一步相當(dāng)于將輸入數(shù)據(jù)通過非線性函數(shù)映射到高維特征空間； 4）在特征空間對(duì)核函數(shù)矩陣實(shí)施各種線性算法；5）得到輸入空間中的非線性模型。14 共軛共軛復(fù)數(shù)，兩個(gè)實(shí)部相等，虛部互為相反數(shù)的復(fù)數(shù)互為共軛復(fù)數(shù)(conjugate complex number)。當(dāng)虛部不為零時(shí)，共軛復(fù)數(shù)就是實(shí)部相等，虛部相反,如果虛部為零，其共軛復(fù)數(shù)就是自身。（當(dāng)虛部不等于0時(shí)也叫共軛虛數(shù)）復(fù)數(shù)z的共軛復(fù)數(shù)記作z。同時(shí), 復(fù)數(shù)z稱

10、為復(fù)數(shù)z的復(fù)共軛(complex conjugate).共軛矩陣是指，共軛矩陣又稱Hermite陣。Hermite陣中每一個(gè)第i 行第j 列的元素都與第j 行第i 列的元素的共軛相等。共軛相等概念出現(xiàn)于共軛矩陣中，體現(xiàn)在：主對(duì)角線上的元素為實(shí)數(shù)（即其共軛復(fù)數(shù)為其本身），而第i行第j列的元素與第j行第i列的元素為共軛復(fù)數(shù)（這個(gè)不用解釋了吧）。埃爾米特矩陣（又稱“自共軛矩陣”）是共軛對(duì)稱的方陣。埃爾米特矩陣中每一個(gè)第i 行第j 列的元素都與第j 行第i 列的元素的共軛相等。15 概率和似然概率用于在已知事物一些參數(shù)的情況下，預(yù)測(cè)接下來的觀測(cè)所得到的結(jié)果，而似然性則是用于在已知某些觀測(cè)結(jié)果時(shí)，對(duì)有關(guān)

11、事物的性質(zhì)的參數(shù)進(jìn)行估計(jì)。舉例：我們從一個(gè)袋子（只有紅球和藍(lán)球）里面又放回的抓球，抓了10次，其中紅球?yàn)?次，藍(lán)球?yàn)?次，則我們估計(jì)取得藍(lán)球的概率為0.7，紅球的概率為0.3.此過程采用的是極大似然的思想，然后我們估計(jì)下一次取得藍(lán)球的概率為0.7，此過程稱之為概率思想。16 奇異矩陣奇異矩陣是線性代數(shù)的概念，就是該矩陣的秩不是滿秩。首先，看這個(gè)矩陣是不是方陣（即行數(shù)和列數(shù)相等的矩陣。若行數(shù)和列數(shù)不相等，那就談不上奇異矩陣和）。然后，再看此矩陣的行列式|A|是否等于0，若等于0，稱矩陣A為奇異矩陣；若不等于0，稱矩陣A為非奇異矩陣。 同時(shí)，由|A|0可知矩陣A可逆，這樣可以得出另外一個(gè)重要結(jié)論:

12、就是非奇異矩陣，非奇異矩陣也是可逆矩陣。 如果A為奇異矩陣，則AX=0有無窮解，AX=b有無窮解或者無解。如果A為非奇異矩陣，則AX=0有且只有唯一，AX=b有唯一解。17 海森矩陣的意義在求解凸優(yōu)化問題的時(shí)候，前提條件是嗨森矩陣是正定的。如果不是正定，不能保證所產(chǎn)生的方向是目標(biāo)函數(shù)在xk處的下降方向。Hessian矩陣的特征值就是形容其在該點(diǎn)附近特征向量方向的凹凸性（可以看成是拋物線口的大小，而梯度只是拋物線某點(diǎn)的斜率。），特征值越大，凸性越強(qiáng)。而凸性和優(yōu)化方法的收斂速度有關(guān)，比如梯度下降。如果正定Hessian矩陣的特征值都差不多，那么梯度下降的收斂速度越快，反之如果其特征值相差很大，那么收斂速度越慢。18.均值和期望期望是針對(duì)于隨機(jī)變量而言的一個(gè)量。E(XY)= i*j*(Pij)，其中i為X的取值，j為Y的取值，Pij為對(duì)應(yīng)于X=i,Y=j的聯(lián)合分布列中的相應(yīng)概率，求和是對(duì)所有的i,j求和19.矩陣分解推薦存在稀疏的用戶物品矩陣R，希望得到矩陣Q（用戶特征矩陣）和P（特征物品矩陣）逐步優(yōu)化使得R2=QPT與R之間的距離