人工智能數(shù)學(xué)基礎(chǔ) 課件 chap6-2 隨機(jī)變量的數(shù)字特征

人工只智能數(shù)學(xué)基礎(chǔ)

MathematicalBasisofArtificialIntelligence互動(dòng)啟迪智慧Communicationenlightenswisdom參考材料：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

3思路：概率論是研究隨機(jī)現(xiàn)象統(tǒng)計(jì)規(guī)律性的一門學(xué)科，數(shù)理統(tǒng)計(jì)是利用概率論及相關(guān)知識(shí)研究和分析數(shù)據(jù)的總體和數(shù)量特征的學(xué)科。本章更強(qiáng)調(diào)概率論和統(tǒng)計(jì)學(xué)基礎(chǔ)知識(shí)在機(jī)器學(xué)習(xí)中的應(yīng)用。目標(biāo)：本章主要介紹人概率論和數(shù)理統(tǒng)計(jì)基本概念、概率監(jiān)督模型的基本思想。4提綱：

隨機(jī)變量及其分布隨機(jī)變量的數(shù)字特征極限理論機(jī)器學(xué)習(xí)中的參數(shù)估計(jì)6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

為什么需要隨機(jī)變量的數(shù)字特征？概率分布或概率密度函數(shù)很好地刻畫了隨機(jī)變量的變化規(guī)律或統(tǒng)計(jì)特性，可以說(shuō)它們完全決定了隨機(jī)變量的特性或變化規(guī)律，但是它們往往在實(shí)際應(yīng)用中很難得到。這樣，我們希望能獲由隨機(jī)變量概率分布決定的、能刻畫隨機(jī)變量某一特征的常數(shù)，這些量統(tǒng)稱為隨機(jī)變量的數(shù)字特征。下面主要介紹隨機(jī)變量的數(shù)學(xué)期望、方差與標(biāo)準(zhǔn)差、相關(guān)系數(shù)，以及它們?cè)跈C(jī)器學(xué)習(xí)和人工智能中的一些應(yīng)用。6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

6.2隨機(jī)變量的數(shù)字特征：方差

6.2隨機(jī)變量的數(shù)字特征：方差

6.2隨機(jī)變量的數(shù)字特征：方差

6.2隨機(jī)變量的數(shù)字特征：方差

6.2隨機(jī)變量的數(shù)字特征：方差

6.2隨機(jī)變量的數(shù)字特征：方差

6.2隨機(jī)變量的數(shù)字特征：協(xié)方差與相關(guān)系數(shù)

6.2隨機(jī)變量的數(shù)字特征：協(xié)方差與相關(guān)系數(shù)

6.2隨機(jī)變量的數(shù)字特征：協(xié)方差與相關(guān)系數(shù)

6.2隨機(jī)變量的數(shù)字特征：協(xié)方差與相關(guān)系數(shù)

6.2隨機(jī)變量的數(shù)字特征：協(xié)方差與相關(guān)系數(shù)

6.2隨機(jī)變量的數(shù)字特征：協(xié)方差與相關(guān)系數(shù)

6.2隨機(jī)變量的數(shù)字特征：方差和協(xié)方差在PCA中的應(yīng)用舉例

主成分分析（PrincipalComponentAnalysis，PCA）就是對(duì)包含有冗余信息的原始數(shù)據(jù)進(jìn)行線性變換，在損失比較少的信息前提下，使得變換后的數(shù)據(jù)維度降低了，同時(shí)各個(gè)維度數(shù)據(jù)互不相關(guān)。通常把線性變換之后生成的各個(gè)維度數(shù)據(jù)稱為主成分，其中每個(gè)主成分都是原始數(shù)據(jù)各個(gè)維度的線性組合。原始數(shù)據(jù)可以由原始數(shù)據(jù)空間的基向量線性組合表示，而PCA的各個(gè)主成分是原始數(shù)據(jù)各個(gè)維度的線性組合，這樣PCA的本質(zhì)就是，獲取一組變換后數(shù)據(jù)的基向量，它們是原始數(shù)據(jù)空間基向量的線性組合。PCA是一種常用的數(shù)據(jù)降維方法，由于各個(gè)主成分?jǐn)?shù)據(jù)之間互不相關(guān)，使得主成分比原始數(shù)據(jù)具有某些更優(yōu)越的性能。這樣在研究復(fù)雜問(wèn)題時(shí)可以只考慮少數(shù)幾個(gè)主成分而不至于損失太多信息，但更容易抓住主要矛盾，揭示事物的內(nèi)在規(guī)律性，同時(shí)使問(wèn)題得到簡(jiǎn)化，提高分析和挖掘效率。既然PCA是一種數(shù)據(jù)降維方法，那么怎么評(píng)估降維之后的效果自然是我們關(guān)心的問(wèn)題。下面通過(guò)一個(gè)簡(jiǎn)單的可視化例子來(lái)說(shuō)明這個(gè)問(wèn)題。6.2隨機(jī)變量的數(shù)字特征：方差和協(xié)方差在PCA中的應(yīng)用舉例

如果我們有如下圖6.10所示的二維數(shù)據(jù)，現(xiàn)在想通過(guò)降維的方法，將它們變換為一維數(shù)據(jù)。這里假定這些數(shù)據(jù)點(diǎn)的樣本均值為零，否則的話，可以通過(guò)平移變換使得它們的均值為零。由于是采用降維的方法，由二維空間數(shù)據(jù)降維到一維空間數(shù)據(jù)后，自然有一些信息的損失，自然地我們希望丟失是冗余信息。因此，下面分析的核心是使得變換后的冗余信息最小化。也就是說(shuō)，我們希望通過(guò)這個(gè)可視化例子來(lái)說(shuō)明，PCA方法背后的第一個(gè)數(shù)學(xué)原理，即方差最大化。同時(shí)，我們希望變換后的各個(gè)主成分是不相關(guān)的，不相關(guān)性剛好可以用各個(gè)主成分之間的協(xié)方差來(lái)度量，當(dāng)它們之間的協(xié)方差為零時(shí)，各個(gè)主成分之間是正交的，即它們之間線性無(wú)關(guān)。協(xié)方差為零是PCA方法背后的第二個(gè)數(shù)學(xué)原理。圖6.10二維原始數(shù)據(jù)6.2隨機(jī)變量的數(shù)字特征：方差和協(xié)方差在PCA中的應(yīng)用舉例

對(duì)于圖6.10中的二維數(shù)據(jù)，要降為一維數(shù)據(jù)，就是要在二維平面內(nèi)選擇一條直線，然后將圖6.10中的數(shù)據(jù)點(diǎn)投影到選擇的直線上，投影點(diǎn)對(duì)應(yīng)的一維坐標(biāo)值就是二維數(shù)據(jù)變換后的坐標(biāo)值。由于在二維平面內(nèi)選擇一條直線有多種方式，那么怎樣選擇投影直線是我們關(guān)心的問(wèn)題。針對(duì)圖6.10中的二維數(shù)據(jù)，下圖6.11中有一條紅色直線和一條綠色直線，選擇它們中的哪一條作為投影直線更好？圖6.11投影直線示意圖6.2隨機(jī)變量的數(shù)字特征：方差和協(xié)方差在PCA中的應(yīng)用舉例

為了判斷我們應(yīng)該選擇圖6.11中的紅色直線作為投影直線，還是綠色直線作為投影直線，首先我們將二維數(shù)據(jù)點(diǎn)分別投影到這兩條直線上，得到如下圖6.12所示結(jié)果。從圖6.12可以直觀地看出，數(shù)據(jù)點(diǎn)投影到左邊紅色直線上后，投影點(diǎn)比較分散，冗余信息較少；相比較而言，數(shù)據(jù)點(diǎn)投影到右邊綠色直線上后，投影點(diǎn)比較集中，依然存在一定的冗余信息?；蛘哒f(shuō)，從直觀上看，我們應(yīng)該選擇圖6.12中的紅色直線，那么應(yīng)該怎樣將這種變換后冗余信息最小化泛化為一般的情形？圖6.12中各個(gè)投影點(diǎn)之間的分散程度可以用它們之間的距離來(lái)刻畫，而我們假定了數(shù)據(jù)點(diǎn)的樣本均值為零，那么圖6.12中各個(gè)投影點(diǎn)的分散程度可以用它們的方差來(lái)度量，我們希望投影后投影點(diǎn)方差最大化。6.2隨機(jī)變量的數(shù)字特征：方差和協(xié)方差在PCA中的應(yīng)用舉例

上面是通過(guò)將二維數(shù)據(jù)降為一維數(shù)據(jù)圖形化地解釋了，最大化減少冗余信息等價(jià)于方差最大化，即只需要找到使得投影方差最大的直線就可以了。但對(duì)于高維數(shù)據(jù)，我們希望變換獲得的主成分之間是線性無(wú)關(guān)的，即它們之間是正交的。下面通過(guò)將一組三維數(shù)據(jù)降為二維數(shù)據(jù)來(lái)說(shuō)明，這等價(jià)于降維后的兩個(gè)主成分之間的協(xié)方差為零。如下圖6.13所示，我們要將圖中藍(lán)色的數(shù)據(jù)點(diǎn)降維為二維的數(shù)據(jù)點(diǎn)。首先，可以通過(guò)方差最大化，找到一個(gè)使得投影點(diǎn)方差最大化的方向；然后在此基礎(chǔ)上，找到和這個(gè)方