和機器學習和計算機視覺相關(guān)的數(shù)學

1、和機器學習和計算機視覺相關(guān)的數(shù)學（from LinDahua） 已有 3821 次閱讀 2010-1-6 12:57 |個人分類:生活點滴|系統(tǒng)分類:科研筆記|關(guān)鍵詞:機器學習，計算機視覺，數(shù)學 From:  1. 線性代數(shù) (Linear Algebra)：我想國內(nèi)的大學生都會學過這門課程，但是，未必每一位老師都能貫徹它的精要。這門學科對于Learning是必備的基礎(chǔ)，對它的透徹掌握是必不可少的。我在科大一年級的時候就學習了這門課，后來到了香港后，又重新把線性代數(shù)讀了一遍，所讀的是Introduction to Linear Algebra (3rd Ed.)  by G

2、ilbert Strang.這本書是MIT的線性代數(shù)課使用的教材，也是被很多其它大學選用的經(jīng)典教材。它的難度適中，講解清晰，重要的是對許多核心的概念討論得比較透徹。我個人覺得，學習線性代數(shù)，最重要的不是去熟練矩陣運算和解方程的方法這些在實際工作中MATLAB可以代勞，關(guān)鍵的是要深入理解幾個基礎(chǔ)而又重要的概念：子空間(Subspace)，正交(Orthogonality)，特征值和特征向量(Eigenvalues and eigenvectors)，和線性變換(Linear transform)。從我的角度看來，一本線代教科書的質(zhì)量，就在于它能否給這些根本概念以足夠的重視，能否把它們的聯(lián)系講清楚

3、。Strang的這本書在這方面是做得很好的。而且，這本書有個得天獨厚的優(yōu)勢。書的作者長期在MIT講授線性代數(shù)課(18.06)，課程的video在MIT的Open courseware網(wǎng)站上有提供。有時間的朋友可以一邊看著名師授課的錄像，一邊對照課本學習或者復(fù)習。/OcwWeb/Mathematics/18-06Spring-2005/CourseHome/index.htm 2. 概率和統(tǒng)計 (Probability and Statistics):概率論和統(tǒng)計的入門教科書很多，我目前也沒有特別的推薦。我在這里想介紹的是一本關(guān)于多元統(tǒng)計的基礎(chǔ)教科書：Appli

4、ed Multivariate Statistical Analysis (5th Ed.)  by Richard A. Johnson and Dean W. Wichern這本書是我在剛接觸向量統(tǒng)計的時候用于學習的，我在香港時做研究的基礎(chǔ)就是從此打下了。實驗室的一些同學也借用這本書學習向量統(tǒng)計。這本書沒有特別追求數(shù)學上的深度，而是以通俗易懂的方式講述主要的基本概念，讀起來很舒服，內(nèi)容也很實用。對于Linear regression, factor analysis, principal component analysis (PCA), and canonical compon

5、ent analysis (CCA)這些Learning中的基本方法也展開了初步的論述。之后就可以進一步深入學習貝葉斯統(tǒng)計和Graphical models。一本理想的書是Introduction to Graphical Models (draft version).  by M. Jordan and C. Bishop.我不知道這本書是不是已經(jīng)出版了（不要和Learning in Graphical Models混淆，那是個論文集，不適合初學）。這本書從基本的貝葉斯統(tǒng)計模型出發(fā)一直深入到復(fù)雜的統(tǒng)計網(wǎng)絡(luò)的估計和推斷，深入淺出，statistical learning的許多重要方面

6、都在此書有清楚論述和詳細講解。MIT內(nèi)部可以access，至于外面，好像也是有電子版的。3. 分析 (Analysis)：我想大家基本都在大學就學過微積分或者數(shù)學分析，深度和廣度則隨各個學校而異了。這個領(lǐng)域是很多學科的基礎(chǔ)，值得推薦的教科書莫過于Principles of Mathematical Analysis, by Walter Rudin有點老，但是絕對經(jīng)典，深入透徹。缺點就是比較艱深這是Rudin的書的一貫風格，適合于有一定基礎(chǔ)后回頭去看。在分析這個方向，接下來就是泛函分析(Functional Analysis)。Introductory Functional Analysis

7、with Applications, by Erwin Kreyszig.適合作為泛函的基礎(chǔ)教材，容易切入而不失全面。我特別喜歡它對于譜論和算子理論的特別關(guān)注，這對于做learning的研究是特別重要的。Rudin也有一本關(guān)于functional analysis的書，那本書在數(shù)學上可能更為深刻，但是不易于上手，所講內(nèi)容和learning的切合度不如此書。在分析這個方向，還有一個重要的學科是測度理論(Measure theory)，但是我看過的書里面目前還沒有感覺有特別值得介紹的。4. 拓撲 (Topology)：在我讀過的基本拓撲書各有特色，但是綜合而言，我最推崇：Topology (2nd

8、 Ed.)  by James Munkres這本書是Munkres教授長期執(zhí)教MIT拓撲課的心血所凝。對于一般拓撲學(General topology)有全面介紹，而對于代數(shù)拓撲(Algebraic topology)也有適度的探討。此書不需要特別的數(shù)學知識就可以開始學習，由淺入深，從最基本的集合論概念（很多書不屑講這個）到Nagata-Smirnov Theorem和Tychonoff theorem等較深的定理（很多書避開了這個）都覆蓋了。講述方式思想性很強，對于很多定理，除了給出證明過程和引導你思考其背后的原理脈絡(luò)，很多令人贊嘆的亮點我常讀得忘卻饑餓，不愿釋手。很多習題很有水

9、平。5. 流形理論 (Manifold theory)：對于拓撲和分析有一定把握時，方可開始學習流形理論，否則所學只能流于浮淺。我所使用的書是Introduction to Smooth Manifolds.  by John M. Lee雖然書名有introduction這個單詞，但是實際上此書涉入很深，除了講授了基本的manifold, tangent space, bundle, sub-manifold等，還探討了諸如綱理論(Category theory)，德拉姆上同調(diào)(De Rham cohomology)和積分流形等一些比較高級的專題。對于李群和李代數(shù)也有相當多的討論。

10、行文通俗而又不失嚴謹，不過對某些記號方式需要熟悉一下。雖然李群論是建基于平滑流形的概念之上，不過，也可能從矩陣出發(fā)直接學習李群和李代數(shù)這種方法對于急需使用李群論解決問題的朋友可能更加實用。而且，對于一個問題從不同角度看待也利于加深理解。下面一本書就是這個方向的典范：Lie Groups, Lie Algebras, and Representations: An Elementary Introduction.  by Brian C. Hall此書從開始即從矩陣切入，從代數(shù)而非幾何角度引入矩陣李群的概念。并通過定義運算的方式建立exponential mapping，并就此引入李代

11、數(shù)。這種方式比起傳統(tǒng)的通過“左不變向量場(Left-invariant vector field)“的方式定義李代數(shù)更容易為人所接受，也更容易揭示李代數(shù)的意義。最后，也有專門的論述把這種新的定義方式和傳統(tǒng)方式聯(lián)系起來。 無論是研究Vision, Learning還是其它別的學科，數(shù)學終究是根基所在。學好數(shù)學是做好研究的基石。學好數(shù)學的關(guān)鍵歸根結(jié)底是自己的努力，但是選擇一本好的書還是大有益處的。不同的人有不同的知識背景，思維習慣和研究方向，因此書的選擇也因人而異，只求適合自己，不必強求一致。上面的書僅僅是從我個人角度的出發(fā)介紹的，我的閱讀經(jīng)歷實在非常有限，很可能還有比它們更好的書（不妨也告知我一

12、聲，先說聲謝謝了）。 Learning中的代數(shù)結(jié)構(gòu)的建立Learning是一個融會多種數(shù)學于一體的領(lǐng)域。說起與此有關(guān)的數(shù)學學科，我們可能會迅速聯(lián)想到線性代數(shù)以及建立在向量空間基礎(chǔ)上的統(tǒng)計模型事實上，主流的論文中確實在很大程度上基于它們。Rn (n-維實向量空間) 是我們在paper中見到最多的空間，它確實非常重要和實用，但是，僅僅依靠它來描述我們的世界并不足夠。事實上，數(shù)學家們給我們提供了豐富得多的工具。“空間”(space)，這是一個很有意思的名詞，幾乎出現(xiàn)在所有的數(shù)學分支的基礎(chǔ)定義之中。歸納起來，所謂空間就是指一個集合以及在上面定義的某種數(shù)學結(jié)構(gòu)。關(guān)于這個數(shù)學結(jié)構(gòu)的定義或者公理，

13、就成為這個數(shù)學分支的基礎(chǔ)，一切由此而展開。還是從我們最熟悉的空間Rn 說起吧。大家平常使用這個空間的時候，除了線性運算，其實還用到了別的數(shù)學結(jié)構(gòu)，包括度量結(jié)構(gòu)和內(nèi)積結(jié)構(gòu)。·                   第一，它是一個拓撲空間(Topological space)。而且從拓撲學的角度看，具有非常優(yōu)良的性質(zhì)：Normal (implying Hausdorff and Regular), Locally

14、 Compact, Paracompact, with Countable basis, Simply connected (implying connected and path connected), Metrizable.  ·                   第二，它是一個度量空間(Metric space)。我們可以計算上面任意兩點的距離。·  

15、0;                第三，它是一個有限維向量空間(Finite dimensional space)。因此，我們可以對里面的元素進行代數(shù)運算（加法和數(shù)乘），我們還可以賦予它一組有限的基，從而可以用有限維坐標表達每個元素。·                 

16、;  第四，基于度量結(jié)構(gòu)和線性運算結(jié)構(gòu)，可以建立起分析(Analysis)體系。我們可以對連續(xù)函數(shù)進行微分，積分，建立和求解微分方程，以及進行傅立葉變換和小波分析。·                   第五，它是一個希爾伯特空間（也就是完備的內(nèi)積空間）(Hilbert space, Complete inner product space)。它有一套很方便計算的內(nèi)積(inner product)

17、結(jié)構(gòu)這個空間的度量結(jié)構(gòu)其實就是從其內(nèi)積結(jié)構(gòu)誘導出來。更重要的，它是完備的(Complete)代表任何一個柯西序列(Cauchy sequence)都有極限很多人有意無意中其實用到了這個特性，不過習慣性地認為是理所當然了。·                   第六，它上面的線性映射構(gòu)成的算子空間仍舊是有限維的一個非常重要的好處就是，所有的線性映射都可以用矩陣唯一表示。特別的，因為它是有限維完備空間，它的泛函

18、空間和它本身是同構(gòu)的，也是Rn。因而，它們的譜結(jié)構(gòu)，也就可以通過矩陣的特征值和特征向量獲得。·                   第七，它是一個測度空間可以計算子集的大小（面積/體積）。正因為此，我們才可能在上面建立概率分布(distribution)這是我們接觸的絕大多數(shù)連續(xù)統(tǒng)計模型的基礎(chǔ)。我們可以看到，這是一個非常完美的空間，為我們的應(yīng)用在數(shù)學上提供了一切的方便，在上面，我們可以理所當然地認為它具有我

19、們希望的各種良好性質(zhì)，而無須特別的證明；我們可以直接使用它的各種運算結(jié)構(gòu)，而不需要從頭建立；而且很多本來不一樣的概念在這里變成等價的了，我們因此不再需要辨明它們的區(qū)別。以此為界，Learning的主要工作分成兩個大的范疇：1.    建立一種表達形式，讓它處于上面討論的Rn空間里面。2.    獲得了有限維向量表達后，建立各種代數(shù)算法或者統(tǒng)計模型進行分析和處理。這里只討論第一個范疇。先看看，目前用得比較廣泛的一些方法：1.    直接基于原始數(shù)據(jù)建立表達。我們關(guān)心的最終目標是一個個現(xiàn)實世界中的對象：一幅圖

20、片，一段語音，一篇文章，一條交易記錄，等等。這些東西大部分本身沒有附著一個數(shù)值向量的。為了構(gòu)造一個向量表達，我們可以把傳感器中記錄的數(shù)值，或者別的什么方式收集的數(shù)值數(shù)據(jù)按照一定的順序羅列出來，就形成一個向量了。如果有n個數(shù)字，就認為它們在Rn里面。不過，這在數(shù)學上有一點小問題，在大部分情況下，根據(jù)數(shù)據(jù)產(chǎn)生的物理原理，這些向量的值域并不能充滿整個空間。比如圖像的像素值一般是正值，而且在一個有界閉集之中。這帶來的問題是，對它們進行線性運算很可能得到的結(jié)果會溢出正常的范圍在大部分paper中，可能只是采用某些heuristics的手段進行簡單處理，或者根本不管，很少見到在數(shù)學上對此進行深入探討的不過

21、如果能解決實際問題，這也是無可厚非的，畢竟不是所有的工作都需要像純數(shù)學那樣追求嚴謹。2.    量化(quantization)。這是在處理連續(xù)信號時被廣泛采用的方式。只是習以為常，一般不提名字而已。比如一個空間信號（Vision中的image）或者時間信號，它們的domain中的值是不可數(shù)無限大的(uncountably infinite)，不要說表示為有限維向量，即使表達為無限序列也是不可能的。在這種情況下，一般在有限域內(nèi)，按照一定順序每隔一定距離取一個點來代表其周圍的點，從而形成有限維的表達。這就是信號在時域或空域的量化。這樣做不可避免要丟失信息。但是，由于

22、小鄰域內(nèi)信號的高度相關(guān)，信息丟失的程度往往并不顯著。而且，從理論上說，這相當于在頻域中的低通過率。對于有限能量的連續(xù)信號，不可能在無限高的頻域中依然保持足夠的強度，只要采樣密度足夠，丟失的東西可以任意的少。除了表示信號，對于幾何形體的表達也經(jīng)常使用量化，比如表示curve和surface。3.    找出有限個數(shù)充分表達一個對象也許不是最困難的。不過,在其上面建立數(shù)學結(jié)構(gòu)卻未必了。一般來說，我們要對其進行處理，首先需要一個拓撲結(jié)構(gòu)用以描述空間上的點是如何聯(lián)系在一起。直接建立拓撲結(jié)構(gòu)在數(shù)學上往往非常困難，也未必實用。因此，絕大部分工作采取的方式是首先建立度量結(jié)構(gòu)。一

23、個度量空間，其度量會自然地誘導出一個拓撲結(jié)構(gòu)不過，很多情況下我們似乎會無視它的存在。最簡單的情況，就是使用原始向量表達的歐氏距離(Euclidean distance)作為metric。不過，由于原始表達數(shù)值的不同特性，這種方式效果一般不是特別好，未必能有效表達實際對象的相似性（或者不相似性）。因此，很多工作會有再此基礎(chǔ)上進行度量的二次建立。方式是多種多樣的，一種是尋求一個映射，把原空間的元素變換到一個新的空間，在那里歐氏距離變得更加合適。這個映射發(fā)揮的作用包括對信息進行篩選，整合，對某些部分進行加強或者抑制。這就是大部分關(guān)于feature selection，feature extracti

24、on，或者subspace learning的文章所要做的。另外一種方式，就是直接調(diào)節(jié)距離的計算方式（有些文章稱之為metric learning）。這兩種方式未必是不同的。如果映射是單射，那么它相當于在原空間建立了一個不同的度量。反過來，通過改變距離計算方式建立的度量在特定的條件下對應(yīng)于某種映射。4.    大家可能注意到，上面提到的度量建立方法，比如歐氏距離，它需要對元素進行代數(shù)運算。對于普通的向量空間，線性運算是天然賦予的，我們無須專門建立，所以可以直接進行度量的構(gòu)造這也是大部分工作的基礎(chǔ)?？墒牵行┦挛锲湓急磉_不是一個n-tuple，它可能是一個set，

25、一個graph，或者別的什么特別的object。怎么建立代數(shù)運算呢？一種方法是直接建立。就是給這些東西定義自己的加法和數(shù)乘。這往往不是那么直接（能很容易建立的線性運算結(jié)構(gòu)早已經(jīng)被建立好并廣泛應(yīng)用了），可能需要涉及很深的數(shù)學知識，并且要有對問題本身的深入了解和數(shù)學上的洞察力。不過，一個新的代數(shù)結(jié)構(gòu)一旦建立起來，其它的數(shù)學結(jié)構(gòu)，包括拓撲，度量，分析，以及內(nèi)積結(jié)構(gòu)也隨之能被自然地誘導出來，我們也就具有了對這個對象空間進行各種數(shù)學運算和操作的基礎(chǔ)。加法和數(shù)乘看上去簡單，但是如果我們對于本來不知道如何進行加法和數(shù)乘的空間建立了這兩樣東西，其理論上的貢獻是非常大的。（一個小問題：大家常用各種graphic

26、al model，但是，每次這些model都是分別formulate，然后推導出estimation和evaluation的步驟方法。是否可能對"the space of graphical model"或者它的某個特定子集建立某種代數(shù)結(jié)構(gòu)呢？（不一定是線性空間，比如群，環(huán)，廣群， etc）從而使得它們在代數(shù)意義上統(tǒng)一起來，而相應(yīng)的estimation或者evaluation也可以用過代數(shù)運算derive。這不是我的研究范圍，也超出了我目前的能力和知識水平，只是我相信它在理論上的重要意義，留作一個遠景的問題。事實上，數(shù)學中確實有一個分支叫做 Algebraic statis

27、tics 可能在探討類似的問題，不過我現(xiàn)在對此了解非常有限。）5.    回到我們的正題，除了直接建立運算定義，另外一種方式就是嵌入(embedding)到某個向量空間，從而繼承其運算結(jié)構(gòu)為我所用。當然這種嵌入也不是亂來，它需要保持原來這些對象的某種關(guān)系。最常見的就是保距嵌入(isometric embedding)，我們首先建立度量結(jié)構(gòu)（繞過向量表達，直接對兩個對象的距離通過某種方法進行計算），然后把這個空間嵌入到目標空間，通常是有限維向量空間，要求保持度量不變?！扒度搿笔且环N在數(shù)學上應(yīng)用廣泛的手段，其主要目標就是通過嵌入到一個屬性良好，結(jié)構(gòu)豐富的空間，從而利用

28、其某種結(jié)構(gòu)或者運算體系。在拓撲學中，嵌入到metric space是對某個拓撲空間建立度量的重要手段。而在這里，我們是已有度量的情況下，通過嵌入獲取線性運算的結(jié)構(gòu)。除此以來，還有一種就是前些年比較熱的manifold embedding，這個是通過保持局部結(jié)構(gòu)的嵌入，獲取全局結(jié)構(gòu)，后面還會提到。6.    接下來的一個重要的代數(shù)結(jié)構(gòu)，就是內(nèi)積(inner product)結(jié)構(gòu)。內(nèi)積結(jié)構(gòu)一旦建立，會直接誘導出一種性質(zhì)良好的度量，就是范數(shù)(norm)，并且進而誘導出拓撲結(jié)構(gòu)。一般來說，內(nèi)積需要建立在線性空間的基礎(chǔ)上，否則連一個二元運算是否是內(nèi)積都無法驗證。不過，ker

29、nel理論指出，對于一個空間，只要定義一個正定核(positive kernel)一個符合正定條件的二元運算，就必然存在一個希爾伯特空間，其內(nèi)積運算等效于核運算。這個結(jié)論的重要意義在于，我們可以繞開線性空間，通過首先定義kernel的方式，誘導出一個線性空間(叫做再生核希爾伯特空間 Reproducing Kernel Hilbert Space)，從而我們就自然獲得我們所需要的度量結(jié)構(gòu)和線性運算結(jié)構(gòu)。這是kernel theory的基礎(chǔ)。在很多教科書中，以二次核為例子，把二維空間變成三維，然后告訴大家kernel用于升維。對于這種說法，我一直認為在一定程度上是誤導的。事實上，kernel的最

30、首要意義是內(nèi)積的建立（或者改造），從而誘導出更利于表達的度量和運算結(jié)構(gòu)。對于一個問題而言，選擇一個切合問題的kernel比起關(guān)注“升維”來得更為重要。kernel被視為非線性化的重要手段，用于處理非高斯的數(shù)據(jù)分布。這是有道理的。通過nonlinear kernel改造的內(nèi)積空間，其結(jié)構(gòu)和原空間的結(jié)構(gòu)確實不是線性關(guān)聯(lián)，從這個意義上說，它實施了非線性化。不過，我們還應(yīng)該明白，它的最終目標還是要回到線性空間，新的內(nèi)積空間仍舊是一個線性空間，它一旦建立，其后的運算都是線性的，因此，kernel的使用就是為了尋求一個新的線性空間，使得線性運算更加合理非線性化的改造最終仍舊是要為線性運算服務(wù)。值得一提的是

31、，kernelization本質(zhì)上說還是一種嵌入過程：對于一個空間先建立內(nèi)積結(jié)構(gòu)，并且以保持內(nèi)積結(jié)構(gòu)不變的方式嵌入到一個高維的線性空間，從而繼承其線性運算體系。7.    上面說到的都是從全局的方式建立代數(shù)結(jié)構(gòu)的過程，但是那必須以某種全局結(jié)構(gòu)為基礎(chǔ)（無論預(yù)先定義的是運算，度量還是內(nèi)積，都必須適用于全空間。）但是，全局結(jié)構(gòu)未必存在或者適合，而局部結(jié)構(gòu)往往簡單方便得多。這里就形成一種策略，以局部而達全局這就是流形(manifold)的思想，而其則根源于拓撲學。從拓撲學的角度說，流形就是一個非常優(yōu)良的拓撲空間：符合Hausdorff分離公理（任何不同的兩點都可以通過不相

32、交的鄰域分離），符合第二可數(shù)公理（具有可數(shù)的拓撲基），并且更重要的是，局部同胚于Rn。因此，一個正則(Regular)流形基本就具有了各種最良好的拓撲特性。而局部同胚于Rn，代表了它至少在局部上可以繼承Rn的各種結(jié)構(gòu)，比如線性運算和內(nèi)積，從而建立分析體系。事實上，拓撲流形繼承這些結(jié)構(gòu)后形成的體系，正是現(xiàn)代流形理論研究的重點。繼承了分析體系的流形，就形成了微分流形(Differential manifold)，這是現(xiàn)代微分幾何的核心。而微分流形各點上的切空間(Tangent Space)，則獲得了線性運算的體系。而進一步繼承了局部內(nèi)積結(jié)構(gòu)的流形，則形成黎曼流形(Riemann manifold)

33、，而流形的全局度量體系測地距離(geodesics)正是通過對局部度量的延伸來獲得。進一步的，當流行本身的拓撲結(jié)構(gòu)和切空間上的線性結(jié)構(gòu)發(fā)生關(guān)系也就獲得一簇拓撲關(guān)聯(lián)的線性空間向量叢(Vector bundle)。雖然manifold theory作為現(xiàn)代幾何學的核心，是一個博大精深的領(lǐng)域，但是它在learning中的應(yīng)用則顯得非常狹窄。事實上，對于manifold，很多做learning的朋友首先反應(yīng)的是ISOMAP, LLE, eigenmap之類的算法。這些都屬于embedding。當然，這確實是流形理論的一個重要方面。嚴格來說，這要求是從原空間到其映像的微分同胚映射，因此，嵌入后的空間在局

34、部上具有相同的分析結(jié)構(gòu)，同時也獲得了各種好處全局的線性運算和度量。不過，這個概念在learning的應(yīng)用中被相當程度的放寬了微分同胚并不能被完全保證，而整個分析結(jié)構(gòu)也不能被完全保持。大家更關(guān)注的是保持局部結(jié)構(gòu)中的某個方面不過這在實際應(yīng)用中的折衷方案也是可以理解的。事實表明，當原空間中的數(shù)據(jù)足夠密集的情況下，這些算法工作良好。Learning中流形應(yīng)用的真正問題在于它被過濫地運用于稀疏空間(Sparse space)，事實上在高維空間中撒進去幾千乃至幾十萬點，即使最相鄰的幾點也難稱為局部了，局部的范圍和全局的范圍其實已經(jīng)沒有了根本差別，連局部的概念都立不住腳的時候，后面基于其展開的一切工作也都沒

35、有太大的意義。事實上，稀疏空間有其本身的規(guī)律和法則，通過局部形成全局的流形思想從本質(zhì)上是不適合于此的。雖然，流形是一種非常美的理論，但是再漂亮的理論也需要用得其所它應(yīng)該用于解決具有密集數(shù)據(jù)分布的低維空間。至于，一些paper所報告的在高維空間（比如人臉）運用流形方法獲得性能提升，其實未必是因為“流形”本身所起的作用，而很可能是其它方面的因素。8.    流形在實際應(yīng)用中起重要作用的還有兩個方面：一個是研究幾何形體的性質(zhì)（我們暫且不談這個），還有就是它和代數(shù)結(jié)構(gòu)的結(jié)合形成的李群(Lie group)和李代數(shù)(Lie algebra)。當我們研究的對象是變換本身的時候

36、，它們構(gòu)成的空間是有其特殊性的，比如所有子空間投影形成了Grassmann流形，所有的可逆線性算子，或者仿射算子，也形成各自的流形。對他們的最重要操作是變換的結(jié)合，而不是加法數(shù)乘，因此，它們上面定義的更合適的代數(shù)結(jié)構(gòu)應(yīng)該是群和不是線性空間。而群和微分流形的結(jié)合體李群則成為它們最合適的描述體系而其切空間則構(gòu)成了一種加強的線性空間：李代數(shù)，用于描述其局部變化特性。李代數(shù)和李群的關(guān)系是非常漂亮的。它把變換的微變化轉(zhuǎn)換成了線性空間的代數(shù)運算，使得移植傳統(tǒng)的基于線性空間的模型和算法到李空間變得可能。而且李代數(shù)中的矩陣比起變換本身的矩陣甚至更能反映變換的特性。幾何變換的李代數(shù)矩陣的譜結(jié)構(gòu)就能非常方便地用于

37、分析變換的幾何特性。最后，回頭總結(jié)一下關(guān)于嵌入這個應(yīng)用廣泛的策略，在learning中的isometry, kernel和manifold embedding都屬于此范疇，它們分別通過保持原空間的度量結(jié)構(gòu)，內(nèi)積結(jié)構(gòu)和局部結(jié)構(gòu)來獲得到目標（通常是向量空間）的嵌入，從而獲得全局的坐標表達，線性運算和度量，進而能被各種線性算法和模型所應(yīng)用。在獲得這一系列好處的同時，也有值得我們注意的地方。首先，嵌入只是一種數(shù)學手段，并不能取代對問題本身的研究和分析。一種不恰當?shù)脑冀Y(jié)構(gòu)或者嵌入策略，很多時候甚至適得其反比如稀疏空間的流形嵌入，或者選取不恰當?shù)膋ernel。另外，嵌入適合于分析，而未必適合于重建或者合

38、成。這是因為嵌入是一個單射(injection)，目標空間不是每一個點都和原空間能有效對應(yīng)的。嵌入之后的運算往往就打破了原空間施加的限制。比如兩個元素即使都是從原空間映射過來，它們的和卻未必有原像，這時就不能直接地回到原空間了。當然可以考慮在原空間找一個點它的映射與之最近，不過這在實際中的有效性是值得商榷的。和Learning有關(guān)的數(shù)學世界是非常廣博的，我隨著學習和研究的深入，越來越發(fā)現(xiàn)在一些我平常不注意的數(shù)學分支中有著適合于問題的結(jié)構(gòu)和方法。比如，廣群(groupoid)和廣代數(shù)(algebroid)能克服李群和李代數(shù)在表示連續(xù)變換過程中的一些困難這些困難困擾了我很長時間。解決問題和建立數(shù)學

39、模型是相輔相成的，一方面，一個清晰的問題將使我們有明確的目標去尋求合適的數(shù)學結(jié)構(gòu)，另一方面，對數(shù)學結(jié)構(gòu)的深入理解對于指導問題的解決也是有重要作用的。對于解決一個問題來說，數(shù)學工具的選擇最重要的是適合，而不是高深，但是如果在現(xiàn)有數(shù)學方法陷入困難的時候，尋求更高級別的數(shù)學的幫助，往往能柳暗花明。數(shù)學家長時間的努力解決的很多問題，并不都是理論游戲，他們的解決方案中很多時候蘊含著我們需要的東西，而且可能導致對更多問題的解決但是我們需要時間去學習和發(fā)現(xiàn)它們。拓撲：游走于直觀與抽象之間近日來，抽空再讀了一遍點集拓撲(Point Set Topology)，這是我第三次重新學習這個理論了。我看電視劇和小說，

40、極少能有興致看第二遍，但是，對于數(shù)學，每看一次都有新的啟發(fā)和收獲。代數(shù)，分析，和拓撲，被稱為是現(xiàn)代數(shù)學的三大柱石。最初讀拓撲，是在兩三年前，由于學習流形理論的需要?？墒牵S著知識的積累，發(fā)現(xiàn)它是很多理論的根基?？梢哉f，沒有拓撲，就沒有現(xiàn)代意義的分析與幾何。我們在各種數(shù)學分支中接觸到的最基本的概念，比如，極限，連續(xù)，距離（度量），邊界，路徑，在現(xiàn)代數(shù)學中，都源于拓撲。拓撲學是一門非常奇妙的學科，它把最直觀的現(xiàn)象和最抽象的概念聯(lián)系在一起了。拓撲描述的是普遍使用的概念（比如開集，閉集，連續(xù)），我們對這些概念習以為常，理所當然地使用著，可是，真要定義它，則需要對它們本質(zhì)的最深刻的洞察。數(shù)學家們經(jīng)過長時

41、間的努力，得到了這些概念的現(xiàn)代定義。這里面很多第一眼看上去，會感覺驚奇怎么會定義成這個樣子。首先是開集。在學習初等數(shù)學時，我們都學習開區(qū)間 (a, b)?？墒?，這只是在一條線上的，怎么推廣到二維空間，或者更高維空間，或者別的形體上呢？最直觀的想法，就是“一個不包含邊界的集合”。可是，問題來了，給一個集合，何謂“邊界”？在拓撲學里面，開集(Open Set)是最根本的概念，它是定義在集合運算的基礎(chǔ)上的。它要求開集符合這樣的條件：開集的任意并集和有限交集仍為開集。我最初的時候，對于這樣的定義方式，確實百思不解。不過，讀下去，看了和做了很多證明后，發(fā)現(xiàn)，這樣的定義一個很重要的意義在于：它保證了開集中

42、每個點都有一個鄰域包含在這個集合內(nèi)所有點都和外界（補集）保持距離。這樣的理解應(yīng)該比使用集合運算的定義有更明晰的幾何意義。但是，直觀的東西不容易直接形成嚴謹?shù)亩x，使用集合運算則更為嚴格。而集合運算定義中，任意并集的封閉性是對這個幾何特點的內(nèi)在保證。另外一個例子就是“連續(xù)函數(shù)”(Continuous Function)。在學微積分時，一個耳熟能詳?shù)亩x是“對任意的epsilon > 0，存在delta > 0，使得。”，背后最直觀的意思就是“足夠近的點保證映射到任意小的范圍內(nèi)”?？墒?，epsilon, delta都依賴于實空間，不在實空間的映射又怎么辦呢？拓撲的定義是“如果一個映射的

43、值域中任何開集的原象都是開集，那么它連續(xù)?！边@里就沒有epsilon什么事了?！伴_集的原象是開集”這里的關(guān)鍵在于，在拓撲學中，開集的最重要意義就是要傳遞“鄰域”的意思開集本身就是所含點的鄰域。這樣連續(xù)定義成這樣就順理成章了。稍微把說法調(diào)節(jié)一下，上面的定義就變成了“對于f(x)的任意鄰域U，都有x的一個鄰域V，使得V里面的點都映射到U中?！?這里面，我們可以感受到為什么開集在拓撲學中有根本性的意義。既然開集傳達“鄰域”的意思，那么，它最重要的作用就是要表達哪些點靠得比較近。給出一個拓撲結(jié)構(gòu)，就是要指出哪些是開集，從而指出哪些點靠得比較近，這樣就形成了一個聚集結(jié)構(gòu)這就是拓撲?？墒沁@也可以通過距離來

44、描述，為什么要用開集呢，反而不直觀了。某種意義上說，拓撲是“定性”的，距離度量是“定量”的。隨著連續(xù)變形，距離會不斷變化，但是靠近的點還是靠近，因此本身固有的拓撲特性不會改變。拓撲學研究的就是這種本質(zhì)特性連續(xù)變化中的不變性。在拓撲的基本概念中，最令人費解的，莫過于“緊性”(Compactness)。它描述一個空間或者一個集合“緊不緊”。正式的定義是“如果一個集合的任意開覆蓋都有有限子覆蓋，那么它是緊的”。乍一看，實在有點莫名其妙。它究竟想描述一個什么東西呢？和“緊”這個形容詞又怎么扯上關(guān)系呢？一個直觀一點的理解，幾個集合是“緊”的，就是說，無限個點撒進去，不可能充分散開。無論鄰域多么小，必然有

45、一些鄰域里面有無限個點。上面關(guān)于compactness的這個定義的玄機就在有限和無限的轉(zhuǎn)換中。一個緊的集合，被無限多的小鄰域覆蓋著，但是，總能找到其中的有限個就能蓋全。那么，后果是什么呢？無限個點撒進去，總有一個鄰域包著無數(shù)個點。鄰域們再怎么小都是這樣這就保證了無限序列中存在極限點。Compact這個概念雖然有點不那么直觀，可是在分析中有著無比重要的作用。因為它關(guān)系到極限的存在性這是數(shù)學分析的基礎(chǔ)。了解泛函分析的朋友都知道，序列是否收斂，很多時候就看它了。微積分中，一個重要的定理有界數(shù)列必然包含收斂子列，就是根源于此。在學習拓撲，或者其它現(xiàn)代數(shù)學理論之前，我們的數(shù)學一直都在有限維歐氏空間之中，

46、那是一個完美的世界，具有一切良好的屬性，Hausdorff, Locally compact, Simply connected，Completed，還有一套線性代數(shù)結(jié)構(gòu)，還有良好定義的度量，范數(shù)，與內(nèi)積?？墒?，隨著研究的加深，終究還是要走出這個圈子。這個時候，本來理所當然的東西，變得不那么必然了。·                   兩個點必然能分開？你要證明空間是Hausdorff的。·&#

47、160;                  有界數(shù)列必然存在極限點？這只在locally compact的空間如此。·                   一個連續(xù)體內(nèi)任意兩點必然有路徑連接？這可未必。一切看上去有悖常理，而又確實存在。從線

48、性代數(shù)到一般的群，從有限維到無限維，從度量空間到拓撲空間，整個認識都需要重新清理。而且，這些絕非僅是數(shù)學家的概念游戲，因為我們的世界不是有限維向量能充分表達的。當我們研究一些不是向量能表達的東西的時候，度量，代數(shù)，以及分析的概念，都要重新建立，而起點就在拓撲。和機器學習和計算機視覺相關(guān)的數(shù)學（轉(zhuǎn)載）（以下轉(zhuǎn)自一位MIT牛人的空間文章，寫得很實際：）作者：Dahua感覺數(shù)學似乎總是不夠的。這些日子為了解決research中的一些問題，又在圖書館捧起了數(shù)學的教科書。從大學到現(xiàn)在，課堂上學的和自學的數(shù)學其實不算少了，可是在研究的過程中總是發(fā)現(xiàn)需要補充新的數(shù)學知識。Learning和Vision都是很

49、多種數(shù)學的交匯場?？粗煌睦碚擉w系的交匯，對于一個researcher來說，往往是非常exciting的enjoyable的事情。不過，這也代表著要充分了解這個領(lǐng)域并且取得有意義的進展是很艱苦的。記得在兩年前的一次blog里面，提到過和learning有關(guān)的數(shù)學。今天看來，我對于數(shù)學在這個領(lǐng)域的作用有了新的思考。對于Learning的研究， 1、Linear Algebra (線性代數(shù)) 和 Statistics (統(tǒng)計學) 是最重要和不可缺少的。這代表了Machine Learning中最主流的兩大類方法的基礎(chǔ)。一種是以研究函數(shù)和變換為重點的代數(shù)方法，比如Dimension reducti

50、on，feature extraction，Kernel等，一種是以研究統(tǒng)計模型和樣本分布為重點的統(tǒng)計方法，比如Graphical model, Information theoretical models等。它們側(cè)重雖有不同，但是常常是共同使用的，對于代數(shù)方法，往往需要統(tǒng)計上的解釋，對于統(tǒng)計模型，其具體計算則需要代數(shù)的幫助。以代數(shù)和統(tǒng)計為出發(fā)點，繼續(xù)往深處走，我們會發(fā)現(xiàn)需要更多的數(shù)學。 2、Calculus (微積分)，只是數(shù)學分析體系的基礎(chǔ)。其基礎(chǔ)性作用不言而喻。Learning研究的大部分問題是在連續(xù)的度量空間進行的，無論代數(shù)還是統(tǒng)計，在研究優(yōu)化問題的時候，對一個映射的微分或者梯度的分析

51、總是不可避免。而在統(tǒng)計學中，Marginalization和積分更是密不可分不過，以解析形式把積分導出來的情況則不多見。3、Partial Differential Equation （偏微分方程)，這主要用于描述動態(tài)過程，或者仿動態(tài)過程。這個學科在Vision中用得比Learning多，主要用于描述連續(xù)場的運動或者擴散過程。比如Level set, Optical flow都是這方面的典型例子。4、Functional Analysis (泛函分析)，通俗地，可以理解為微積分從有限維空間到無限維空間的拓展當然了，它實際上遠不止于此。在這個地方，函數(shù)以及其所作用的對象之間存在的對偶關(guān)系扮演了非

52、常重要的角色。Learning發(fā)展至今，也在向無限維延伸從研究有限維向量的問題到以無限維的函數(shù)為研究對象。Kernel Learning 和 Gaussian Process 是其中典型的例子其中的核心概念都是Kernel。很多做Learning的人把Kernel簡單理解為Kernel trick的運用，這就把kernel的意義嚴重弱化了。在泛函里面，Kernel (Inner Product)是建立整個博大的代數(shù)體系的根本，從metric, transform到spectrum都根源于此。5、Measure Theory (測度理論)，這是和實分析關(guān)系非常密切的學科。但是測度理論并不限于此。從某種意義上說，Real Analysis可以從Lebesgue Measure（勒貝格測度）推演，不過其實還有很多別的測度體系概率本身就是一種測度。測度理論對于Learning的意義是根本的，現(xiàn)代統(tǒng)計學整個就是建立在測度理論的基礎(chǔ)之上雖然初級的概率論教科書一般不這樣引入。在看一些統(tǒng)計方面的文章的時候，你可能會發(fā)現(xiàn)，它們會把統(tǒng)計的公式改用測度來表達，這樣做有兩個好處：所有的推導和結(jié)論不用分別給連續(xù)分布和離散分布各自寫一遍了，這兩種東西都可以用同一的測度形式表達：連續(xù)分布的積分基于Leb