機(jī)器學(xué)習(xí)-2-線性模型

智能科學(xué)與技術(shù)系劉冀偉錨索壽命演化模型研究及預(yù)測(cè)機(jī)器學(xué)習(xí)基礎(chǔ)第二章線性模型1目錄CONTENT123基本形式線性回歸線性判別分析45多分類學(xué)習(xí)對(duì)數(shù)幾率回歸6最大熵模型>>>基本形式2.1郵箱:jqxxbkd@Pass:jqxxbkd20174給定由d個(gè)屬性描述的對(duì)象x=(x1,x2,…,xd)及我們感興趣的對(duì)象輸出屬性y假設(shè)y與x相關(guān)，求y與x的關(guān)系：即：y=f(x)例：轉(zhuǎn)爐煉鋼，已知：鐵水x1=23t廢鋼x2=5t吹氧量x3=235l吹氧時(shí)間x4=595s出鋼溫度T？T=f(x1,x2,x3,x4)

線性模型：5只要求得參數(shù)W，b，就可以完成有數(shù)據(jù)(經(jīng)驗(yàn))獲得預(yù)測(cè)模型的工作如何求W，b線性模型：1、成分的組合；2、預(yù)測(cè)變量與屬性變量之間有相關(guān)關(guān)系；3、線性回歸是基本形式，由此可以獲得許多其他有用的學(xué)習(xí)算法。線性模型：>>>線性回歸2.27已知-數(shù)據(jù)集合(D)：假設(shè)空間(H)：求：W和b一、單變量線性回歸性能評(píng)價(jià)-均方誤差8由：參數(shù)估計(jì)-最小二乘法得：其中：9二、多元線性回歸此時(shí)：為了方便引入符號(hào)：均方誤差：?jiǎn)栴}描述：10討論的情況：存在不存在11三、廣義線性模型g:Y→Y’↓↓yy’聯(lián)系函數(shù)>>>對(duì)數(shù)幾率回歸2.313線性回歸完成的任務(wù)是預(yù)測(cè)，能否使用回歸的方法完成分類的任務(wù)？問題：已知D={(x1,y1),(x2,y2),…,(xm,ym)}，其中求y=f(x)；其中f的值域?yàn)閧01}判別函數(shù)模型14事件的幾率：事件發(fā)生的概率與事件不發(fā)生的概率之比。概率模型：求條件分布P(Y|X)?。河脴O大似然法估計(jì)參數(shù)W，b。15取如多元回歸。對(duì)數(shù)似然函數(shù)為：求解優(yōu)化問題，得到解：概率模型：梯度下降法、牛頓法等數(shù)值算法求解16梯度下降法(gradientdescent)：是一種求解無約束優(yōu)化問題的常用方法，其基本思想是對(duì)于最小化問題，沿目標(biāo)函數(shù)下降最快的方向，逐步搜索直到最小值點(diǎn)。問題：f是Rn上具有一階連續(xù)偏導(dǎo)數(shù)的函數(shù)。當(dāng)目標(biāo)函數(shù)是凸函數(shù)時(shí)，梯度下降法的解是全局最優(yōu)解，一般情況不能保證全局最優(yōu)。梯度下降法：輸入：目標(biāo)函數(shù)f(x)，梯度函數(shù)g(x)，精度ε；輸出：f(x)的極小值點(diǎn)x*；(1)取初始值x(0)，置k=0；(2)計(jì)算f(x(k))；(3)計(jì)算梯度gk=g(x(k))，當(dāng)|gk|<

ε時(shí)，停止迭代x*=x(k)；否則令pk=-g(x(k))求λk使：(4)置x(k+1)=x(k)+

λkpk，計(jì)算f(x(k+1))|f(x(k+1))-f(x(k))|<

ε

或|

x(k+1)-x(k)

|<ε

停止迭代，令x*=x(k+1)；(5)否則置k=k+1，轉(zhuǎn)(3)17牛頓法：?jiǎn)栴}：f是Rn上具有二階連續(xù)偏導(dǎo)數(shù)的函數(shù)。牛頓法：輸入：目標(biāo)函數(shù)f(x)，梯度函數(shù)g(x)，漢森矩陣H(x)，精度ε；輸出：f(x)的極小值點(diǎn)x*；(1)取初始值x(0)，置k=0；(2)計(jì)算梯度gk=g(x(k))；(3)當(dāng)|gk|<

ε時(shí)，停止迭代，近似解x*=x(k)；(4)計(jì)算Hk=H(x(k))，解方程Hkpk=-gk(5)置x(k+1)=x(k)

+

pk(6)置k=k+1，轉(zhuǎn)(2)18牛頓法：19多項(xiàng)Logistic回歸：前面介紹的是二項(xiàng)分類模型，用于二分類問題。我們可以將其推廣到用于多分類問題的多項(xiàng)對(duì)數(shù)幾率回歸。問題的概率模型為：>>>線性判別分析2.4一、基本思路把X空間各點(diǎn)投影到X空間的一直線上(Z)，維數(shù)降為一維。若適當(dāng)選擇w的方向，可以使二類分開。下面我們從數(shù)學(xué)上尋找最好的投影方向，即尋找最好的變換向量w的問題。圖中w1方向之所以比w2方向優(yōu)越，可以歸納出這樣一個(gè)準(zhǔn)則，即向量w的方向選擇應(yīng)能使兩類樣本投影的均值之差盡可能大些，而使類內(nèi)樣本的離散程度盡可能小。這就是Fisher準(zhǔn)則函數(shù)的基本思路。Fisher準(zhǔn)則的基本原理，就是要找到一個(gè)最合適的投影軸，使兩類樣本在該軸上投影的交迭部分最少，從而使分類效果為最佳。22二、問題的形式化已知-數(shù)據(jù)集合(D)：假設(shè)空間(H)：H={f(x)=wTx+b}求判別函數(shù)：f(x)=wTx+b

(2)問題分解

Step1：確定投影方向Z=wTxStep2：確定判別函數(shù)

Z=wTx+b1、數(shù)據(jù)整理和問題分解

(1)樣本集合分類

23(2)樣本類內(nèi)離散度矩陣Si與總類內(nèi)離散度矩陣Sw

(3)樣本類間離散度矩陣Sb：

2、樣本在d維特征空間的一些描述量。(1)各類樣本均值向量μi

3、在一維Z

空間(1)各類樣本均值

(2)樣本類內(nèi)離散度、總類內(nèi)離散度和類間離散度24這個(gè)函數(shù)稱為Fisher準(zhǔn)則函數(shù)。應(yīng)該尋找使分子盡可能大，分母盡可能小的w作為投影向量。3、確定w：評(píng)價(jià)投影方向w的函數(shù)為：得最終表達(dá)式：最佳w值的確定實(shí)際上就是對(duì)Fisher準(zhǔn)則函數(shù)求取其達(dá)極大值時(shí)的w*。對(duì)于這個(gè)問題可以采用拉格朗日乘子算法解決，保持分母為一非零常數(shù)c的條件下，求其分子項(xiàng)的極大值。25對(duì)拉格朗日函數(shù)分別對(duì)w求偏導(dǎo)并置為0來求w的解。

令：，定義Lagrange函數(shù)：令：這是一個(gè)求矩陣的特征值問題。數(shù)值R實(shí)際上我們關(guān)心的只是向量w*的方向，其數(shù)值大小對(duì)分類器沒有影響。因此在忽略了數(shù)值因子R/λ后，可得：上式就是使用Fisher準(zhǔn)則求最佳法線向量的解。向量w*就是使Fisher準(zhǔn)則函數(shù)JF(w)達(dá)極大值的解，也就是按Fisher準(zhǔn)則將d維X空間投影到一維Z空間的最佳投影方向，該向量w*的各分量值是對(duì)原d維特征向量求加權(quán)和的權(quán)值。26最佳投影方向的理解(μ1-μ2)是一向量，顯然從兩類均值在變換后距離最遠(yuǎn)這一點(diǎn)看，對(duì)與(μ1-μ2)平行的向量投影可使兩均值點(diǎn)的距離最遠(yuǎn)。但是如從使類間分得較開，同時(shí)又使類內(nèi)密集程度較高這樣一個(gè)綜合指標(biāo)來看，則需根據(jù)兩類樣本的分布離散程度對(duì)投影方向作相應(yīng)的調(diào)整，這就體現(xiàn)在對(duì)向量按

作一線性變換，從而使Fisher準(zhǔn)則函數(shù)達(dá)到極值點(diǎn)。(1)當(dāng)維數(shù)d與樣本數(shù)m都很大時(shí)，可采用貝葉斯決策規(guī)則，獲得一種在一維空間的“最優(yōu)”分類器。(2)當(dāng)上述條件不滿足時(shí)，一般可采用以下幾種方法確定分界閾值點(diǎn)b:(1)式中只考慮采用均值連線中點(diǎn)作為閾值點(diǎn)，相當(dāng)于貝葉斯決策中先驗(yàn)概率相等的情況。而(2)

考慮P(ω1)與P(ω2)不等的影響，以減小先驗(yàn)概率不等時(shí)的錯(cuò)誤率。4、分類器設(shè)計(jì)-確定b判別函數(shù)f(x)=wTx+b。27當(dāng)b確定之后，則可按以下規(guī)則分類：使用Fisher準(zhǔn)則方法確定最佳線性分界面的方法是一個(gè)著名的方法，盡管提出該方法的時(shí)間比較早，仍見有人使用，如人臉識(shí)別中用于特征提取。例：設(shè)兩類樣本的類內(nèi)離散矩陣分別如下，試用Fisher準(zhǔn)則求其決策面方程。

解：由于兩類樣本分布形狀是相同的（只是方向不同），因此b應(yīng)為兩類均值的中點(diǎn)決策規(guī)則28例.已知兩類數(shù)據(jù)，其先驗(yàn)概率相等，樣本分別為：

根據(jù)Fisher準(zhǔn)則求取最佳投影方向w，并對(duì)樣本進(jìn)行分類。解：第一類樣本均值第二類均值待分類樣本：所以該樣本屬于第ω1類。>>>多分類學(xué)習(xí)2.530前面我們?cè)谟懻摲诸悊栴}時(shí)大多討論的是兩類問題，但多數(shù)實(shí)際問題是多類的。即：輸出空間：Y={C1,

C2,…,

CN}特征空間：數(shù)據(jù)集：D={(x1,y1),(x2,y2),…,(xm,ym)}={D1,

D2,

…,DN}解決此問題的方法是拆分，將多分類問題拆分為若干個(gè)二分類問題：一、一對(duì)一與一對(duì)多拆分-(OvO，OvR)OvO：將N類問題分解為N(N-1)/2個(gè)二分類問題，訓(xùn)練N(N-1)/2個(gè)分類器，使用時(shí)，將樣本同時(shí)提交給所有分類器，然后對(duì)N(N-1)/2個(gè)分類結(jié)果投票產(chǎn)生最終結(jié)果；OvR：選擇一類作為正類，其余皆為負(fù)類，訓(xùn)練N個(gè)二分類器，使用時(shí)，將樣本同時(shí)提交給所有分類器，若結(jié)果只有一個(gè)是正類，則最終結(jié)果即為此類，若有多個(gè)分類器的結(jié)果是正類，最終結(jié)果需要其他方法確定。3132二、多對(duì)多-(MvM)糾錯(cuò)輸出編碼(Error-CorrectingOutputCodes，ECOC)為一種多類分解框架，一般將多類分類問題分解為編碼、訓(xùn)練、解碼三個(gè)階段：1、編碼：對(duì)N個(gè)類做M次劃分，每次劃分將一部分類劃為正類，另一部分劃為負(fù)類，從而形成一個(gè)二分類訓(xùn)練集。這樣一共有M個(gè)訓(xùn)練集，可以訓(xùn)練出M個(gè)分類。一般采用二元碼或三元碼的方式編碼。-11-1111-1-11-1-111-11-1-111-1C1C2C3C4二元ECOC碼-11-1-1-1011-100-11-1-11011-11-1-11011-1C1C2C3C4三元ECOC碼編碼策略：事前編碼(predefinedcoding)、基于樣本數(shù)據(jù)編碼(datadependedcoding)和基于基分類器編碼(baseddichotomizescoding)33-11-1111-1-11-1-111-11-1-111-1C4-1-11-11C1C2C3f1f2f3f4f5測(cè)試樣本23412.83.442漢明距離歐氏距離2、學(xué)習(xí)：對(duì)M個(gè)訓(xùn)練集，訓(xùn)練出M個(gè)分類器：f1,

f2,…,

fM。3、解碼策略：M個(gè)分類器分別對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)，預(yù)測(cè)結(jié)果組成一個(gè)預(yù)測(cè)編碼，將預(yù)測(cè)編碼與每個(gè)類的編碼進(jìn)行比較，返回距離最小的類作為最終預(yù)測(cè)結(jié)果。漢明距離：從二進(jìn)制方面來看，就是兩個(gè)等長(zhǎng)字符串的二進(jìn)制對(duì)應(yīng)bit不相同的位個(gè)數(shù)。歐氏距離：3435類別不平衡-是指分類任務(wù)中不同類別的訓(xùn)練樣例數(shù)目差別很大的情況。設(shè)訓(xùn)練數(shù)據(jù)集D中，正類樣例數(shù)m+，反類樣例數(shù)是m-。正常正類和反類出現(xiàn)的頻率應(yīng)分別為：正類出現(xiàn)的幾率：判別閾值一般選擇為正類出現(xiàn)的幾率：則樣例預(yù)測(cè)為正類此時(shí)判別閾值應(yīng)為：三、類別不平衡問題再縮放策略欠采樣-過采樣策略>>>最大熵模型2.637一、最大熵原理離散隨機(jī)變量X的樣本空間?={ω1,

ω2,…,ωn}概率分布是P(X=ωi)=pi，隨機(jī)變量X的熵為：其滿足不等式：0≤H(X)≤logn；最大熵原理：在滿足約束的概率模型中選擇熵最大的模型。例：隨機(jī)變量X（骰子的點(diǎn)數(shù)）的樣本空間為：

?={1，2，3，4，5，6}估計(jì)p(X=1)=

p1

，…，p(X=6)=

p6解：1、在沒有任何信息的條件下，我們只知道：

p1

+p2

+p3

+p4

+p5

+p6=1

依據(jù)最大熵原理應(yīng)有：p1

=p2

=p3

=p4

=p5

=p6=1/62、假設(shè)我們知道p6=1/3

-約束就有：

p1

+p2

+p3

+p4

+p5

=2/3p1

=p2

=p3

=p4

=p5

=2/15；p6=1/33、假設(shè)我們知道：p6=1/3

-約束1p1

+p2

+=1/3-約束2就有：

p3

+p4

+p5

=1/3p1

=p2

=1/6；p3

=p4

=p5

=1/9；p6=1/338二、最大熵模型已知-數(shù)據(jù)集合(D)：假設(shè)空間(H)：H={滿足問題約束的所有條件概率分布}求：P(y=ωi|X=x)

；

i=1,2,┄,k)

約束的描述：特征函數(shù)39模型P(