MIT一牛人對(duì)數(shù)學(xué)在機(jī)器學(xué)習(xí)中的作用給的評(píng)述

1、MIT一牛人對(duì)數(shù)學(xué)在機(jī)器學(xué)習(xí)中的作用給的評(píng)述2008-05-25 14:17感覺(jué)數(shù)學(xué)似乎總是不夠的。這些日子為了解決research中的一些問(wèn)題，又在圖書(shū)館捧起了數(shù)學(xué)的教科書(shū)。從 大學(xué)到現(xiàn)在，課堂上學(xué)的和自學(xué)的數(shù)學(xué)其實(shí)不算少了，可是在研究的過(guò)程中總是發(fā)現(xiàn)需要補(bǔ)充新的數(shù)學(xué)知識(shí)。Learning和Vision都是很多種數(shù)學(xué)的交 匯場(chǎng)?？粗煌睦碚擉w系的交匯，對(duì)于一個(gè)researcher來(lái)說(shuō)，往往是非常exciting的enjoyable的事情。不過(guò)，這也代表著要充分了 解這個(gè)領(lǐng)域并且取得有意義的進(jìn)展是很艱苦的。記得在兩年前的一次blog里面，提到過(guò)和learning有關(guān)的數(shù)學(xué)。今天看來(lái)，我對(duì)于數(shù)

2、學(xué)在這個(gè)領(lǐng)域的作用有了新的思考。對(duì)于Learning的研究，Linear Algebra (線(xiàn)性代數(shù)) 和 Statistics (統(tǒng)計(jì)學(xué)) 是最重要和不可缺少的。這代表了Machine Learning中最主流的兩大類(lèi)方法的基礎(chǔ)。一種是以研究函數(shù)和變換為重點(diǎn)的代數(shù)方法，比如Dimension reduction，feature extraction，Kernel等，一種是以研究統(tǒng)計(jì)模型和樣本分布為重點(diǎn)的統(tǒng)計(jì)方法，比如Graphical model, Information theoretical models等。它們側(cè)重雖有不同，但是常常是共同使用的，對(duì)于代數(shù)方法，往往需要統(tǒng)計(jì)上的解釋?zhuān)瑢?duì)于

3、統(tǒng)計(jì)模型，其具體計(jì)算則需要代數(shù)的幫助。以代數(shù)和統(tǒng)計(jì)為出發(fā)點(diǎn)，繼續(xù)往深處走，我們會(huì)發(fā)現(xiàn)需要更多的數(shù)學(xué)。Calculus (微積分)，只是數(shù)學(xué)分析體系的基礎(chǔ)。其基礎(chǔ)性作用不言而喻。Learning研究的大部分問(wèn)題是在連續(xù)的度量空間進(jìn)行的，無(wú)論代數(shù)還是統(tǒng)計(jì)，在研究?jī)?yōu)化 問(wèn)題的時(shí)候，對(duì)一個(gè)映射的微分或者梯度的分析總是不可避免。而在統(tǒng)計(jì)學(xué)中，Marginalization和積分更是密不可分不過(guò)，以解析形式把積分 導(dǎo)出來(lái)的情況則不多見(jiàn)。Partial Differential Equation （偏微分方程)，這主要用于描述動(dòng)態(tài)過(guò)程，或者仿動(dòng)態(tài)過(guò)程。這個(gè)學(xué)科在Vision中用得比Learning多，主要用

4、于描述連續(xù)場(chǎng)的運(yùn)動(dòng)或者擴(kuò)散過(guò)程。 比如Level set, Optical flow都是這方面的典型例子。Functional Analysis (泛函分析)， 通俗地，可以理解為微積分從有限維空間到無(wú)限維空間的拓展當(dāng)然了，它實(shí)際上遠(yuǎn)不止于此。在這個(gè)地方，函數(shù)以及其所作用的對(duì)象之間存在的對(duì)偶關(guān)系扮演了 非常重要的角色。Learning發(fā)展至今，也在向無(wú)限維延伸從研究有限維向量的問(wèn)題到以無(wú)限維的函數(shù)為研究對(duì)象。Kernel Learning 和 Gaussian Process 是其中典型的例子其中的核心概念都是Kernel。很多做Learning的人把Kernel簡(jiǎn)單理解為Kernel tri

5、ck的運(yùn)用，這就把kernel的意義嚴(yán)重弱化了。在泛函里面，Kernel (Inner Product) 是建立整個(gè)博大的代數(shù)體系的根本，從metric, transform到spectrum都根源于此。Measure Theory (測(cè)度理論)，這是和實(shí)分析關(guān)系非常密切的學(xué)科。但是測(cè)度理論并不限于此。從某種意義上說(shuō)，Real Analysis可以從Lebesgue Measure（勒貝格測(cè)度）推演，不過(guò)其實(shí)還有很多別的測(cè)度體系概率本身就是一種測(cè)度。測(cè)度理論對(duì)于Learning的意義是根本的，現(xiàn)代統(tǒng)計(jì)學(xué)整 個(gè)就是建立在測(cè)度理論的基礎(chǔ)之上雖然初級(jí)的概率論教科書(shū)一般不這樣引入。在看一些統(tǒng)計(jì)方面的文

6、章的時(shí)候，你可能會(huì)發(fā)現(xiàn)，它們會(huì)把統(tǒng)計(jì)的公式改用測(cè)度來(lái) 表達(dá)，這樣做有兩個(gè)好處：所有的推導(dǎo)和結(jié)論不用分別給連續(xù)分布和離散分布各自寫(xiě)一遍了，這兩種東西都可以用同一的測(cè)度形式表達(dá)：連續(xù)分布的積分基于 Lebesgue測(cè)度，離散分布的求和基于計(jì)數(shù)測(cè)度，而且還能推廣到那種既不連續(xù)又不離散的分布中去（這種東西不是數(shù)學(xué)家的游戲，而是已經(jīng)在實(shí)用的東西， 在Dirchlet Process或者Pitman-Yor Process里面會(huì)經(jīng)?？吹?。而且，即使是連續(xù)積分，如果不是在歐氏空間進(jìn)行，而是在更一般的拓?fù)淇臻g（比如微分流形或者變換群），那么傳統(tǒng)的黎曼積 分（就是大學(xué)一年級(jí)在微積分課學(xué)的那種）就不work了，

7、你可能需要它們的一些推廣，比如Haar Measure或者Lebesgue-Stieltjes積分。Topology（拓?fù)鋵W(xué))，這是學(xué)術(shù)中很基礎(chǔ)的學(xué)科。它一般不直接提 供方法，但是它的很多概念和定理是其它數(shù)學(xué)分支的基石?？春芏鄤e的數(shù)學(xué)的時(shí)候，你會(huì)經(jīng)常接觸這樣一些概念：Open set / Closed set，set basis，Hausdauf, continuous function，metric space, Cauchy sequence, neighborhood, compactness, connectivity。很多這些也許在大學(xué)一年級(jí)就學(xué)習(xí)過(guò)一些，當(dāng)時(shí)是基于極限的概念獲得的。

8、如果，看過(guò)拓?fù)鋵W(xué)之后，對(duì)這些概念的認(rèn)識(shí)會(huì)有根本性的拓 展。比如，連續(xù)函數(shù)，當(dāng)時(shí)是由epison法定義的，就是無(wú)論取多小的正數(shù)epsilon，都存在xxx，使得xxx。這是需要一種metric去度量距 離的，在general topology里面，對(duì)于連續(xù)函數(shù)的定義連坐標(biāo)和距離都不需要如果一個(gè)映射使得開(kāi)集的原像是開(kāi)集，它就是連續(xù)的至于開(kāi)集是基于集合論定義的，不 是通常的開(kāi)區(qū)間的意思。這只是最簡(jiǎn)單的例子。當(dāng)然，我們研究learning也許不需要深究這些數(shù)學(xué)概念背后的公理體系，但是，打破原來(lái)定義的概念的局限 在很多問(wèn)題上是必須的尤其是當(dāng)你研究的東西它不是在歐氏空間里面的時(shí)候正交矩陣，變換群，流形，概

9、率分布的空間，都屬于此。Differential Manifold (微分流形)， 通俗地說(shuō)它研究的是平滑的曲面。一個(gè)直接的印象是它是不是可以用來(lái)fitting一個(gè)surface什么的當(dāng)然這算是一種應(yīng)用，但是這是非常初步的。 本質(zhì)上說(shuō)，微分流形研究的是平滑的拓?fù)浣Y(jié)構(gòu)。一個(gè)空間構(gòu)成微分流形的基本要素是局部平滑：從拓?fù)鋵W(xué)來(lái)理解，就是它的任意局部都同胚于歐氏空間，從解析的角 度來(lái)看，就是相容的局部坐標(biāo)系統(tǒng)。當(dāng)然，在全局上，它不要求和歐氏空間同胚。它除了可以用于刻畫(huà)集合上的平滑曲面外，更重要的意義在于，它可以用于研究很 多重要的集合。一個(gè)n-維線(xiàn)性空間的全部k-維子空間(k < n)就構(gòu)成了一個(gè)

10、微分流形著名的Grassman Manifold。所有的標(biāo)準(zhǔn)正交陣也構(gòu)成一個(gè)流形。一個(gè)變換群作用于一個(gè)空間形成的軌跡(Orbit) 也是通常會(huì)形成流形。在流形上，各種的分析方法，比如映射，微分，積分都被移植過(guò)來(lái)了。前一兩年在Learning里面火了好長(zhǎng)時(shí)間的Manifold Learning其實(shí)只是研究了這個(gè)分支的其中一個(gè)概念的應(yīng)用: embedding。其實(shí)，它還有很多可以發(fā)掘的空間。Lie Group Theory (李群論)，一般意義的群論在Learning中被運(yùn)用的不是很多，群論在Learning中用得較多的是它的一個(gè)重要方向Lie group。定義在平滑流行上的群，并且其群運(yùn)算是平滑

11、的話(huà)，那么這就叫李群。因?yàn)長(zhǎng)earning和編碼不同，更多關(guān)注的是連續(xù)空間，因?yàn)長(zhǎng)ie group在各種群中對(duì)于Learning特別重要。各種子空間，線(xiàn)性變換，非奇異矩陣都基于通常意義的矩陣乘法構(gòu)成李群。在李群中的映射，變換，度量， 劃分等等都對(duì)于Learning中代數(shù)方法的研究有重要指導(dǎo)意義。Graph Theory（圖論)，圖，由于它在表述各種關(guān)系的強(qiáng)大能力以及優(yōu)雅的理論，高效的算法，越來(lái)越受到Learning領(lǐng)域的歡迎。經(jīng)典圖論，在 Learning中的一個(gè)最重要應(yīng)用就是graphical models了，它被成功運(yùn)用于分析統(tǒng)計(jì)網(wǎng)絡(luò)的結(jié)構(gòu)和規(guī)劃統(tǒng)計(jì)推斷的流程。Graphical model所取得的成功，圖論可謂功不可沒(méi)。在Vision里面，maxf