機(jī)器學(xué)習(xí)課件周志華Chap03線性模型

機(jī)器學(xué)習(xí)與模式識(shí)別三、線性模型

線性模型分類回歸線性模型(linearmodel)試圖學(xué)得一個(gè)通過(guò)屬性的線性組合來(lái)進(jìn)行預(yù)測(cè)的函數(shù)向量形式：簡(jiǎn)單、基本、可理解性好線性回歸(linearregression)對(duì)進(jìn)行最小二乘參數(shù)估計(jì)

使得

離散屬性的處理：若有“序”(order)，則連續(xù)化； 否則，轉(zhuǎn)化為k維向量令均方誤差最小化，有線性回歸分別對(duì)和求導(dǎo)：令導(dǎo)數(shù)為0,得到閉式(closed-form)解：多元(multi-variate)線性回歸

使得把和吸收入向量形式，數(shù)據(jù)集表示為多元線性回歸

同樣采用最小二乘法求解，有令，對(duì)求導(dǎo)：

令其為零可得然而，麻煩來(lái)了：涉及矩陣求逆！若若滿秩或正定，則不滿秩，則可解出多個(gè)此時(shí)需求助于歸納偏好，或引入正則化(regularization)第6、11章線性模型的變化對(duì)于樣例若希望線性模型的預(yù)測(cè)值逼近真實(shí)標(biāo)記，則得到線性回歸模型令預(yù)測(cè)值逼近y的衍生物？

若令 則得到對(duì)數(shù)線性回歸

(log-linearregression)實(shí)際是在用逼近y廣義(generalized)線性模型 一般形式:單調(diào)可微的聯(lián)系函數(shù)(linkfunction)令

則得到對(duì)數(shù)線性回歸……二分類任務(wù)找z和y的聯(lián)系函數(shù)

性質(zhì)不好,需找“替代函數(shù)”(surrogatefunction)線性回歸模型產(chǎn)生的實(shí)值輸出

期望輸出

理想的“單位階躍函數(shù)”

(unit-stepfunction)

常用單調(diào)可微、任意階可導(dǎo)對(duì)數(shù)幾率函數(shù)(logisticfunction)簡(jiǎn)稱“對(duì)率函數(shù)”對(duì)率回歸

以對(duì)率函數(shù)為聯(lián)系函數(shù):

變?yōu)? 即:幾率(odds),反映了x作為正例的相對(duì)可能性?無(wú)需事先假設(shè)數(shù)據(jù)分布?可得到“類別”的近似概率預(yù)測(cè)?可直接應(yīng)用現(xiàn)有數(shù)值優(yōu)化算法求取最優(yōu)解

(logodds,亦稱logit)“對(duì)數(shù)幾率回歸”(logisticregression)

簡(jiǎn)稱“對(duì)率回歸”

注意：它是分類學(xué)習(xí)算法！求解思路若將y看作類后驗(yàn)概率估計(jì)

可寫(xiě)為

于是，可使用“極大似然法”

,則第7章

(maximumlikelihoodmethod)給定數(shù)據(jù)集最大化“對(duì)數(shù)似然”(log-likelihood)函數(shù)令，，則可簡(jiǎn)寫(xiě)為求解思路再令 則似然項(xiàng)可重寫(xiě)為 于是，最大化似然函數(shù)

等價(jià)為最小化

高階可導(dǎo)連續(xù)凸函數(shù)，可用經(jīng)典的數(shù)值優(yōu)化方法

如梯度下降法/牛頓法[BoydandVandenberghe,2004]線性模型做“分類”

回歸

廣義線性模型；

通過(guò)“聯(lián)系函數(shù)”例如，對(duì)率回歸

分類如何“直接”做分類？線性判別分析(LinearDiscriminantAnalysis)由于將樣例投影到一條直線（低維空間），因此也被視為一種“監(jiān)督降維”技術(shù)降維第10章LDA的目標(biāo)

給定數(shù)據(jù)集

第i類示例的集合 第i類示例的均值向量 第i類示例的協(xié)方差矩陣兩類樣本的中心在直線上的投影：和兩類樣本的協(xié)方差：和盡可能小盡可能大同類樣例的投影點(diǎn)盡可能接近異類樣例的投影點(diǎn)盡可能遠(yuǎn)離于是，最大化LDA的目標(biāo)類內(nèi)散度矩陣(within-classscattermatrix)類間散度矩陣(between-classscattermatrix)LDA的目標(biāo)：最大化廣義瑞利商(generalizedRayleighquotient)w成倍縮放不影響J值僅考慮方向?qū)嵺`中通常是進(jìn)行奇異值分解 然后求解思路令，最大化廣義瑞利商等價(jià)形式為運(yùn)用拉格朗日乘子法，有的方向恒為，不妨令于是附錄Ａ推廣到多類

假定有N個(gè)類

全局散度矩陣

類內(nèi)散度矩陣

類間散度矩陣推廣到多類

假定有N個(gè)類

全局散度矩陣

類內(nèi)散度矩陣

類間散度矩陣特征值所對(duì)應(yīng)的特征向量組成的矩陣

多分類LDA有多種實(shí)現(xiàn)方法：采用例如，

的閉式解是中的任何兩個(gè)

的N-1個(gè)最大廣義??訓(xùn)練N(N-1)/2個(gè)分類器，存儲(chǔ)開(kāi)銷和測(cè)試時(shí)間大訓(xùn)練只用兩個(gè)類的樣例，訓(xùn)練時(shí)間短??訓(xùn)練N個(gè)分類器，存儲(chǔ)開(kāi)銷和測(cè)試時(shí)間小訓(xùn)練用到全部訓(xùn)練樣例，訓(xùn)練時(shí)間長(zhǎng)多分類學(xué)習(xí)

拆解法：將一個(gè)多分類任務(wù)拆分為若干個(gè)二分類任務(wù)求解預(yù)測(cè)性能取決于具體數(shù)據(jù)分布，

多數(shù)情況下兩者差不多糾錯(cuò)輸出碼(ECOC)

多對(duì)多(ManyvsMany,MvM):將若干類作為正類，若干類作為反類一種常見(jiàn)方法：糾錯(cuò)輸出碼

編碼：對(duì)N個(gè)類別做M次 劃分，每次將一部分類別劃 為正類，一部分劃為反類 解碼：測(cè)試樣本交給M個(gè) 分類器預(yù)測(cè)(ErrorCorrectingOutputCode)

M個(gè)二類任務(wù)；

(原)每類對(duì)應(yīng)一個(gè)長(zhǎng)為M的編碼

距離最小的類為 最終結(jié)果

長(zhǎng)為M的預(yù)測(cè)結(jié)果編碼糾錯(cuò)輸出碼?ECOC編碼對(duì)分類器錯(cuò)誤有一定容忍和修正能力，編碼越長(zhǎng)、糾錯(cuò) 能力越強(qiáng)?對(duì)同等長(zhǎng)度的編碼，理論上來(lái)說(shuō)，任意兩個(gè)類別之間的編碼距離越

遠(yuǎn)，則糾錯(cuò)能力越強(qiáng)[DietterichandBakiri,1995][Allweinetal.2000]計(jì)算海明距離的一種方法，就是對(duì)兩個(gè)位串進(jìn)行異或（xor）運(yùn)算，并計(jì)算出異或運(yùn)算結(jié)果中1的個(gè)數(shù)。例如110和011這兩個(gè)位串，對(duì)它們進(jìn)行異或運(yùn)算，其結(jié)果是：110⊕011=101，異或結(jié)果中含有兩個(gè)1，因此110和011之間的海明距離就等于2類別不平衡(class-imbalance)

不同類別的樣本比例相差很大；“小類”往往更重要

基本思路：

基本策略

——“再縮放”(rescaling)：然而，精確估計(jì)m