機器學(xué)習(xí)基礎(chǔ)教程課件：機器學(xué)習(xí)基本知識

機器學(xué)習(xí)基本知識

緒論：3.1機器學(xué)習(xí)的建模問題3.1.1線性擬合（回歸）及建模問題3.1.2非線性擬合（回歸）及建模問題3.2機器學(xué)習(xí)模式概述3.2.1有監(jiān)督學(xué)習(xí)模式3.2.2無監(jiān)督學(xué)習(xí)模式

本章主要對在機器學(xué)習(xí)中的建模和基本的學(xué)習(xí)模式兩個問題進行介紹和討論。3.1機器學(xué)習(xí)的建模問題

機器學(xué)習(xí)需要根據(jù)樣本來進行推理。數(shù)學(xué)模型有多種分類。從能否用解析式表達的方面來分有兩類，一類是可以用數(shù)學(xué)關(guān)系式描述的，例如代數(shù)方程、微分方程等等，這類模型稱為解析型模型；另一類模型是沒有明確的數(shù)學(xué)關(guān)系式，使用一種結(jié)構(gòu)或圖表方式給出，例如神經(jīng)網(wǎng)絡(luò)、圖方法等等，這類模型稱為非解析模型。從模型是否反映狀態(tài)隨時間變化的方式來分有靜態(tài)模型和動態(tài)模型。從輸入輸出關(guān)系上來分，有線性模型和非線性模型。在解析模型的范疇內(nèi)，根據(jù)解析表達式的不同還分為連續(xù)模型和離散模型等等。

3.1.1線性擬合（回歸）及建模問題線性模型是指輸入輸出之間呈線性關(guān)系，可以用線性方程表示的一類數(shù)學(xué)模型。在很多書中，使用“回歸”一詞來描述線性模型的建模過程?；貧w的意思可能是說數(shù)據(jù)盡管有些變化，但終究會回到所給出的模型上來。但這個詞會發(fā)生很多歧義，有的學(xué)者認(rèn)為這個詞“既沒有充分反映這種方法的重要性，也沒有反映這種方法的廣泛性”（RichardA.Johnson等），因此，在這里使用了擬合來描述建模的過程，同時也注明所謂的回歸和擬合指的是同樣的方法。線性靜態(tài)模型從模型產(chǎn)生和理解角度來講，先討論靜態(tài)模型。靜態(tài)的線性模型可以表示為：Y=Xβ+ε式中，X為自變量矩陣（向量），Y為因變量向量，β為模型參數(shù)向量，ε為偏差向量。這幾個變量也可以是標(biāo)量。當(dāng)X、Y量均為標(biāo)量時，就是普通的直線擬合（回歸）；當(dāng)Y、ε為標(biāo)量時，稱為多元線性回歸（前面已經(jīng)提到過“擬合”和“回歸”的關(guān)系，這里沿襲傳統(tǒng)的稱謂）；如果四個量均為向量（矩陣）時，稱為多元多重線性回歸。如果模型是個“好”的模型，那么模型中的所有擬合得不好的信息應(yīng)該在偏差中反映出來，也就是應(yīng)變量的真值與估計值的偏差，使用估計量表示即為：??

?=?????

?=???????

?由式(2.45)可知：??

?=???〖??(??^????)〗^(???)??^????(3.2)

??

?=[?????]??(3.3)其中，??=〖??(??^????)〗^(???)??^??。從這個式子可以看出，如果是非常好的理想擬合的話，偏差應(yīng)該等于0，即：??=〖??(??^????)〗^(???)??^??＝Ｉ然而一般情況很難達到這樣，通常也呈現(xiàn)出隨機性

如果是多元多重的線性回歸的話，偏差的均值就是一個向量，而方差也就成為了一個協(xié)方差陣：

對偏差來對其進行檢驗：

（3.4）

式中，s為偏差的均方誤差，hii為矩陣H的對角線元素，稱為杠桿率，用來表示觀測值與擬合值的離散程度。

對于各偏差的獨立性的檢驗則通過相關(guān)系數(shù)來進行：

（3.5）

稱為一階相關(guān)系數(shù)。

當(dāng)出現(xiàn)一個新的自變量X=[1,x1，x2，…，xn]后，可以根據(jù)模型計算來推斷因變量y的新值。

對于僅有一個因變量而有多個自變量的多元回歸模型，根據(jù)r個自變量推斷得出了因變量，還需要對其推斷的情況進行檢驗。

設(shè)自變量的期望向量為：,其協(xié)方差矩陣為:。這時會產(chǎn)生因變量y，可以理解為根據(jù)自變量的推斷預(yù)測值。在根據(jù)擬合的方程得出因變量的y值后，需要對其統(tǒng)計特性進行檢驗。

首先得到自變量和因變量的聯(lián)合均值向量

以及新的（互）協(xié)方差矩陣：其中，

因為模型為線性靜態(tài)模型，且事先設(shè)定各量為正態(tài)分布，則模型各個變量服從聯(lián)合分布：

。

此時可以將因變量y的分布看作是在自變量X下的條件分布。其均值（期望）為：

（3.6）

方差為：

（3.7）

以上數(shù)字特征的結(jié)論可以推廣至多個因變量的多元回歸模型。

在多個因變量的情況下，還需要考察各個因變量之間相互影響的情況，這就涉及到了因變量間的偏相關(guān)函數(shù)。其表達式為：

（3.8）

在得到這些數(shù)字特征及相應(yīng)的統(tǒng)計量后，還可以對模型的擬合情況進行假設(shè)檢驗，給出其置信區(qū)間及置信水平。

以上的統(tǒng)計分析涉及到多個隨機變量的情況。線性動態(tài)模型

線性靜態(tài)模型描述的是在整個過程中狀態(tài)和時間沒有關(guān)系，不隨時間發(fā)生變化的情況。在很多情況下，一個系統(tǒng)或者過程的狀態(tài)是隨時間發(fā)生變化的。當(dāng)前的因變量狀態(tài)不僅與當(dāng)前的自變量狀態(tài)有關(guān)，而且和先前的狀態(tài)也有關(guān)系。這樣僅用靜態(tài)模型就不足以描述系統(tǒng)或過程的變化了，需要運用線性動態(tài)模型來進行描述。以單個自變量、單個因變量（SISO—SingleInputSingleOutput）情況為例，動態(tài)線性模型的基本形式可以表示為：

（3.9）式中，y(k)為輸出的因變量，x(k)為輸出的自變量，為偏差量；i、j、l分別為各量的階次，表示落后于當(dāng)前狀態(tài)的步數(shù)；

為模型的參數(shù)。這種和時間有關(guān)系的，以序列形式表達的線性動態(tài)模型也稱為線性時間序列模型。

對于動態(tài)模型的參數(shù)估計可以參考線性靜態(tài)模型，將各階次的變量看作自變量和因變量，然后使用最小二乘法及衍生類型就可以得到其參數(shù)，為了與靜態(tài)模型相區(qū)別，這里使用新的符號來進行標(biāo)記。

（3.10）式中，N為觀測的次數(shù)。

在之前的靜態(tài)建模過程中，對偏差量的統(tǒng)計特性進行了分析。動態(tài)建模和擬合過程中，同樣需要對偏差的統(tǒng)計特性進行分析。靜態(tài)建模擬合中，將偏差設(shè)定為服從正態(tài)分布的隨機變量；在動態(tài)過程中偏差量的隨機性與時間變化有關(guān)系，因此就不僅僅是簡單的正態(tài)分布了，而是一個與時間有關(guān)系的函數(shù)。原先的隨機變量就成為了隨機過程或隨機的時間序列，原先的各種數(shù)字特征和統(tǒng)計量也相應(yīng)地變?yōu)榱烁鞣N數(shù)字特征的函數(shù)。

例如均值（期望）變?yōu)榱司担ㄆ谕┖瘮?shù)，方差變?yōu)榱朔讲詈瘮?shù)等等。

均值（期望）函數(shù)定義為：

（3.11）

方差函數(shù)為：

（3.12）

自相關(guān)函數(shù)為：

（3.13）

自相關(guān)函數(shù)表達了隨時間變化的隨機時間序列，在其自身不同時間點的互相關(guān)程度。

與自相關(guān)函數(shù)有關(guān)的，還有自協(xié)方差函數(shù)：

（3.14）

以上是單個隨機時間序列的數(shù)字特征函數(shù)。如果有兩個隨機時間序列的話（例如輸入輸出兩個序列），還可以對這兩個序列的情況進行比較，于是就有了互相關(guān)函數(shù)：

（3.15）式中，分別為兩個隨機的時間序列?；ハ嚓P(guān)函數(shù)表示了這兩個時間序列之間的相關(guān)程度。它說明了

在兩個不同時刻k和k-τ的取值之間的相關(guān)程度。

同時也有互協(xié)方差函數(shù)：

（3.16）

隨機的時間序列是一種離散隨機事件的情況，除此之外，還有連續(xù)情況的隨機過程，考慮到在機器學(xué)習(xí)和計算是離散情況時比較常見的，因此這里只給出了離散情況的表達式。

在動態(tài)建模過程中可以將其進行適當(dāng)?shù)臄U展，便成為一種與時間有關(guān)系的隨機過程或隨機時間序列。這種過程稱為白噪聲過程，相應(yīng)的離散情況稱為白噪聲序列。白噪聲序列有以下特點：

也就是說白噪聲序列的均值函數(shù)為0，方差函數(shù)是常數(shù)。之所以將這種序列稱為“白噪聲”，只是一種形象的說法，因為這種序列在各個頻率上的能量密度相同，就像物理學(xué)上的白光一樣，故而得名。

式(3.9)是一種包含了隨機偏差量、輸入、輸出的完整形式模型。如果模型沒有包含輸入變量，僅有輸出變量和隨機偏差，就成為：

（3.17）

這時，當(dāng)前的輸出y(k)，依賴于其自身在過去時刻y(k),y(k-1),…，y(k-i)的值及隨機偏差，因此將其稱為自回歸過程（AR：Auto-regressive

）。

另外一種情況是：

（3.18）這種情況包含隨機的偏差量序列和輸出變量y(k)可以看作是偏差量序列的加權(quán)和、加權(quán)平均，而且還隨著時間在不斷推移，所以稱為滑動平均過程（MA:MovingAverage）過程。

如果將式（3.16）和式（3.17）兩個過程合并，則成為自回歸滑動平均過程（ARMA）。模型的參數(shù)可以有由最小二乘估計方法得到，還可以通過極大似然估計的方法得到。

首先構(gòu)造似然函數(shù)。基本思想同最小二乘估計一樣：使所估計的模型參數(shù)偏差方差最小，在此基礎(chǔ)上求得參數(shù)值。由偏差量為白噪聲序列，可將偏差量的概率密度函數(shù)作為似然函數(shù)：

（3.19）

將其改寫為負對數(shù)似然函數(shù)，有：

（3.20）

由似然函數(shù)達到極值：

（3.21）

可得偏差方差的估計為：

（3.13）

由此可見，極大似然估計與最小二乘估計的結(jié)果是相同的。對于參數(shù)的具體求解方法主要采用迭代方法進行，將式(3.21)作為性能指標(biāo)函數(shù)J并適當(dāng)舍去與求極值無關(guān)的數(shù)字量，來對式(3.9)的參數(shù)進行估計，有：

（3.23）由于參數(shù)包含三類模型的參數(shù)，因此這是一個參數(shù)向量方程。在此基礎(chǔ)上，對參數(shù)向量求二階導(dǎo)數(shù)，

（3.24）

就可以利用迭代公式求出估計值：

（3.25）

這是利用梯度進行遞推估計的一種算法，稱為Newton-Raphson法。除此之外，還可以利用極大似然估計的思想進行遞推計算。3.1.2非線性擬合（回歸）及建模問題

線性模型是人們對外界變化過程的直觀感受的一種反映。線性模型機理簡單，在小范圍和精度要求不太高的場合應(yīng)用廣泛。但是在實際的應(yīng)用實踐中，相當(dāng)多的過程并不是線性變化的，而是呈現(xiàn)出各種非線性的形態(tài)。

非線性的變化要比線性變化豐富得多，因此模型也有多種形式，而不僅僅是像線性過程一樣用線性方程就可以表達了。在這多種的模型形式中，可以分為兩大類：一類是解析模型，另一類是非解析模型。非線性靜態(tài)模型

與前面提到在線性靜態(tài)模型一樣，如果非線性模型的輸入輸出量是與時間沒有關(guān)系的，其狀態(tài)不隨時間而改變，就是非線性靜態(tài)模型。

根據(jù)高等數(shù)學(xué)的相關(guān)知識，可以得知，如果有函數(shù)f(x)在某一點x=x0處具有任意階導(dǎo)數(shù)，則函數(shù)f(x)可以展開成冪級數(shù):

（3.26）

稱為f(x)在點x0處的泰勒級數(shù)（Taylorseries）。若令x0=0，則上式變?yōu)椋?/p>

（3.27）是為麥克勞林級數(shù)（Maclaurin

series）。

由此可以看出，對于存在一定階次的非線性函數(shù)可以在一定的近似條件下展開成泰勒級數(shù)或麥克勞林級數(shù)，也就是可以用冪級數(shù)表達。這樣就可以用多項式來對非線性函數(shù)進行近似表達，即：（3.28)

在式(3.28)中，令

。就將高次等式變化為線性多項式。非線性擬合建模變?yōu)槎嘣€性擬合（回歸），非線性建模問題簡化為線性建模的擬合問題，使用最小二乘方法進行分析和擬合就可以實現(xiàn)對多項式參數(shù)的擬合，從而得出近似的非線性模型。

這樣進行非線性建?？赡艽嬖趦蓚€問題：其一是需要預(yù)先知道要擬合的非線性模型要有足夠高階次的導(dǎo)數(shù)；其二是模型的精度與模型復(fù)雜性的問題。非線性動態(tài)模型

非線性動態(tài)模型也是與時間變化有關(guān)系的一種模型。與線性的動態(tài)模型一樣，這種模型的狀態(tài)是隨著隨時間發(fā)生變化的，而且是非線性變化。雖然非線性變化比較復(fù)雜，但大體上可以分為兩種情況：一種是在整個過程中都連續(xù)可導(dǎo)的非線性特性；而另一種則是在過程中分段連續(xù)可導(dǎo)。

對于連續(xù)可導(dǎo)情況的非線性過程，建模的思路既參考了非線性靜態(tài)建模的方法——泰勒級數(shù)展開；又參考了線性動態(tài)過程建模的方法——時間序列模型。這種模型稱為Volterra級數(shù)。對于連續(xù)時間非線性定常系統(tǒng)，Volterra級數(shù)的形式為：

（3.29）

式中，u(t)和y(t)分別是系統(tǒng)或過程輸入和輸出，函數(shù)

，稱為Volterra核函數(shù)。對于離散時間非線性定常系統(tǒng)，Volterra級數(shù)的形式為：

（3.30）

從以上可以看出，Volterra級數(shù)的模型是一種非參數(shù)的模型。在建模過程中不能通過確定某類參數(shù)的值來進行建模，而是要確定各個Volterra核函數(shù)。確定Volterra核函數(shù)的方法有很多，例如：

可以設(shè)Volterra核函數(shù)為多維Dirac函數(shù)，即：

（3.31）式中，Dirac函數(shù)。將其代入（3.29），則其第二式變?yōu)椋?/p>

相應(yīng)的離散情況的Volterra級數(shù)變?yōu)?

式中，所有關(guān)于一步推移因子

的函數(shù)均為線性函數(shù)，因此形如式(3.30)的建模問題又變?yōu)榱四Ｐ偷膮?shù)估計問題，可以使用最小二乘法進行參數(shù)估計。從這個式子令人想起了線性AR模型的結(jié)構(gòu)，的確這兩種模型在形式上有某種相似，所以也稱為AR—Volterra級數(shù)。Volterra級數(shù)模型實質(zhì)上也是一種時間序列模型，只不過其具有了非線性特性。與這種模型結(jié)構(gòu)類似的模型還有：Hammerstein模型這種模型的形式為：

（3.24）

這種模型將非線性模型分為一個靜態(tài)的非線性模型與一個動態(tài)線性模型之和，即：

靜態(tài)的非線性模型：

（3.35）

動態(tài)的線性模型：

（3.36）式（3.36）中，有：

（3.37）模型中的參數(shù)同樣可以用最小二乘法來進行估計。Wiener模型這種模型的形式為：

（3.38）

這也是一種靜態(tài)的非線性模型與一個動態(tài)線性模型相加的形式。只不過是輸出端進行疊加。

靜態(tài)的非線性模型：

（3.39）

動態(tài)的線性模型：

（3.40）

也可以將其表示為類似冪級數(shù)的形式，即：

這樣的模型形式綜合了線性和非線性、靜態(tài)和動態(tài)模型的優(yōu)勢，既具有一定的工程實踐意義，也便于進行參數(shù)估計。在實際的工程實踐中具有比較廣泛的應(yīng)用。3.2機器學(xué)習(xí)模式概述

機器學(xué)習(xí)，通俗地講就是要讓機器（通常是指計算機）具有像人一樣的學(xué)習(xí)和思考的能力，可以在某方面能夠完成像人一樣、甚至比普通人更為出色的任務(wù)。3.2.1有監(jiān)督學(xué)習(xí)模式

在有監(jiān)督學(xué)習(xí)模式中，回歸（擬合）與分類（圖像識別、機器翻譯等可列入此）是很重要的兩個方面。最簡單的分類就是輸入的數(shù)據(jù)“一分為二”：分為兩類數(shù)據(jù)。如圖3.1所示。圖中的兩類數(shù)據(jù)形象地用兩種集合圖形表示了出來。圖3.1二重線性分類

然而在很多情況下，數(shù)據(jù)并不是線性可分的。也就是說并不能使用一條判別的“直線”來對數(shù)據(jù)進行判別和分類。例如圖3.2（a）所示的情形。

圖3.2低維線性不可分向高維映射從而變?yōu)榫€性可分的情況。

這種方法稱為“支持向量機”（SVM，SupportingVectorMachine）。在兩類數(shù)據(jù)“邊緣”上的數(shù)據(jù)向量“支持”整個數(shù)據(jù)集進行線性分類，所以這些向量就成為了“支持向量”。

從以上的分析可以看出，在支持向量機的分類工作中，最重要的是要找到可以向高維映射、在高維空間中線性可分的那個映射函數(shù)。這個函數(shù)稱為核函數(shù)。

基于概率的有監(jiān)督學(xué)習(xí)分類方法

，概率分類方法的基本思想源于貝葉斯概率的思想：對于輸入數(shù)據(jù)x，考察將其歸為某類y的后驗概率是否達到最大。也就是說要考察數(shù)據(jù)x歸為y類的概率有多大。如果將數(shù)據(jù)x歸為y類的概率比較小的話，那就是說數(shù)據(jù)x在很大程度上并不屬于y類。用數(shù)學(xué)表達就是：

（3.43）

式中，n為類別數(shù)目。在這種分類過程中，所有分類結(jié)果的概率和應(yīng)該等于1，因此其分類結(jié)果的概率是相互制約的。以線性分類情況為例，對于多種類別，y=1,2，…，n，其后驗概率為：各項類別的對應(yīng)參數(shù)為則其分類模型為：

（3.44）

式中，為分類函數(shù)，可以是線性的，也可以是非線性的。利用最小二乘的思想，使其分類的后驗的平方誤差概率最小，即：

（3.45）

從線性到非線性的映射函數(shù)有很多種，其中有一種函數(shù)有著比較廣泛的應(yīng)用，這就是Sigmoid函數(shù)。這類函數(shù)的表達式為：

（3.46）

圖3.3給出了Sigmoid函數(shù)與“0,1”分類函數(shù)的區(qū)別情況。從圖中可以看出Sigmoid函數(shù)與“0,1”分類函數(shù)相比更為“和緩”，而且其程度可以通過調(diào)節(jié)參數(shù)a的值實現(xiàn)。將線性分類的函數(shù)代入Sigmoid函數(shù)中，有：圖3.3Sigmoid函數(shù)與線性分類函數(shù)的對比（3.47）將式（3.47）兩邊取對數(shù)：

（4.48）

這種形式反映了正例S(x)和反例1-S(x)之間可能性（概率）的比例關(guān)系。從形式上來看，也是一種類似于線性回歸的情況，只不過是對數(shù)的線性回歸，稱為longistic回歸。當(dāng)然，雖然名為“回歸”實為分類，而且是根據(jù)概率分布情況的一種分類。在此基礎(chǔ)上，可引入極大似然估計的思想，構(gòu)建性能指標(biāo)函數(shù)來進行分類，即：(3.49)

分類是要將原來雜亂無章的數(shù)據(jù)集變?yōu)橐粋€個具有單一特征的數(shù)據(jù)集，這個過程本身就是要將熵逐漸降低的一個過程。信息熵的定義為：

分類決策樹的基本結(jié)構(gòu)如圖3.4所示：3.2.2無監(jiān)督學(xué)習(xí)模式

一般來講，無監(jiān)督學(xué)習(xí)模式的主要任務(wù)有因子分析/主成分分析、聚類、數(shù)據(jù)降維以及異常值檢測等。

因子分析/主成分分析因子分析是指對數(shù)據(jù)集里面的數(shù)據(jù)進行分析，從中找到幾組變量，而這幾組變量可以在最大程度上去描述整個數(shù)據(jù)集的整體。

一般來講，因子分析分為探索性的因子分析和驗證性的因子分析。在因子分析時，首先從數(shù)據(jù)集X中得到相關(guān)矩陣及各方差：

然后進行正交旋轉(zhuǎn)（在一些特殊情況時也考慮進行非正交旋轉(zhuǎn)），對因子的重要程度（即因子得分）進行排序：

從而得出那些因子具有代表性，或?qū)τ跀?shù)據(jù)集的影響較大。而主成分分析則是指：要在這多個反映數(shù)據(jù)集特征的變量里選出占主要成分的那些變量。

這些所謂的“主成分”需要盡可能多地反映整個數(shù)據(jù)集的特征。

對于特征比較繁雜的數(shù)據(jù)，可以考慮分層聚類方法。對于特征比較繁雜的數(shù)據(jù)，可以考慮分層聚類方法。如果說分類決策樹的數(shù)據(jù)熵是遞減的話，分層聚類的數(shù)據(jù)熵則是一個逆過程。這樣的特性也可以從聚類的連接樹圖中看出來。如圖3.5所示。圖3.5聚類對象之間的連