基于神經(jīng)網(wǎng)絡(luò)函數(shù)的數(shù)據(jù)擬合

1、基于神經(jīng)網(wǎng)絡(luò)函數(shù)的數(shù)據(jù)擬合基于神經(jīng)網(wǎng)絡(luò)函數(shù)的數(shù)據(jù)擬合基于神經(jīng)網(wǎng)絡(luò)函數(shù)的數(shù)據(jù)擬合基于神經(jīng)網(wǎng)絡(luò)函數(shù)的數(shù)據(jù)擬合思考問題的范式：變換到不同空間來考慮問題將信息（數(shù)據(jù)）變換到不同的空間再在該空間解決問題：建模、算法、實(shí)現(xiàn)一個(gè)熟知的例子：Fourier分析：從時(shí)域變換到頻域思考問題的范式：變換到不同空間來考慮問題將信息（數(shù)據(jù)）變換什么是“變換”：抽取特征變換就是函數(shù)：參數(shù)化變換后的空間稱為隱空間（Latent space）變換后的數(shù)據(jù)稱為“特征”(Feature)曲面參數(shù)化什么是“變換”：抽取特征變換就是函數(shù)：參數(shù)化曲面參數(shù)化“變換”的例子1：曲面特征檢測(cè)特征線將頂點(diǎn)變換到曲率相關(guān)的一個(gè)空間“變換”的例子

2、1：曲面特征檢測(cè)特征線將頂點(diǎn)變換到曲率相關(guān)的一“變換”的例子2：曲面編輯將頂點(diǎn)的歐氏坐標(biāo)變換到Laplace空間“變換”的例子2：曲面編輯將頂點(diǎn)的歐氏坐標(biāo)變換到Laplac“變換”的例子3：圖像特征檢測(cè)將像素的RGB表達(dá)變換到各種度量空間“變換”的例子3：圖像特征檢測(cè)將像素的RGB表達(dá)變換到各種度初始空間稱為觀察空間(ambient space)，變換后的空間稱為隱空間(latent space)變換后的數(shù)據(jù)稱為“特征”初始空間稱為觀察空間(ambient space)，變換后如何將數(shù)據(jù)變換到合適的空間，是研究該問題的關(guān)鍵因素?。ㄗ⒁猓嚎梢赃M(jìn)行多次變換”Deep”）然后在這個(gè)合適的空間來建立數(shù)

3、學(xué)模型、進(jìn)行求解如何將數(shù)據(jù)變換到合適的空間，是研究該問題的關(guān)鍵因素?。ㄗ⒁馊绾伪磉_(dá)一個(gè)變換（函數(shù)）？如何表達(dá)一個(gè)變換（函數(shù)）？函數(shù)的維數(shù)函數(shù)的維數(shù)函數(shù)有哪些函數(shù)？?jī)绾瘮?shù)三角函數(shù)對(duì)數(shù)函數(shù)指數(shù)函數(shù)冪函數(shù)指數(shù)函數(shù)(反)三角函數(shù)對(duì)數(shù)函數(shù)函數(shù)有哪些函數(shù)？?jī)绾瘮?shù)指數(shù)函數(shù)(反)三角函數(shù)對(duì)數(shù)函數(shù)更復(fù)雜的函數(shù)用若干簡(jiǎn)單函數(shù)(“基函數(shù)”)線性組合成復(fù)雜函數(shù)線性組合張成一個(gè)函數(shù)空間多項(xiàng)式函數(shù)空間冪基三角函數(shù)空間三角函數(shù)基空間的完備性：這個(gè)函數(shù)空間是否可以表示（逼近）任意函數(shù)？更復(fù)雜的函數(shù)用若干簡(jiǎn)單函數(shù)(“基函數(shù)”)線性組合成復(fù)雜函數(shù)萬能逼近定理：多項(xiàng)式函數(shù)空間是稠密的萬能逼近定理：多項(xiàng)式函數(shù)空間是稠密的例子：擬合(

4、Fitting)/回歸(Regression)輸入：一些觀察的數(shù)據(jù)點(diǎn)輸出：反映這些數(shù)據(jù)規(guī)律的函數(shù)例子：擬合(Fitting)/回歸(Regression)輸擬合：插值或逼近插值逼近零誤差最小平方誤差(最小二乘擬合)擬合：插值或逼近插值逼近零誤差最小平方誤差Overfitting（過擬合）誤差為0，但是擬合的函數(shù)并無使用價(jià)值！Overfitting（過擬合）誤差為0，但是擬合的函數(shù)并無過擬合（Overfitting）如何選擇合適的基函數(shù)？High bias(underfitting)“Just right”High variance(overfitting)需要根據(jù)不同的應(yīng)用與需求，不斷嘗試（不

5、斷“調(diào)參”）過擬合（Overfitting）如何選擇合適的基函數(shù)？分類問題的過擬合分類問題的過擬合避免過擬合的常用方法數(shù)據(jù)去噪剔除訓(xùn)練樣本中噪聲數(shù)據(jù)增廣增加樣本數(shù)，或者增加樣本的代表性和多樣性模型簡(jiǎn)化預(yù)測(cè)模型過于復(fù)雜，擬合了訓(xùn)練樣本中的噪聲選用更簡(jiǎn)單的模型，或者對(duì)模型進(jìn)行裁剪正則約束適當(dāng)?shù)恼齽t項(xiàng)，比如方差正則項(xiàng)、稀疏正則項(xiàng)避免過擬合的常用方法數(shù)據(jù)去噪嶺回歸正則項(xiàng)選擇一個(gè)函數(shù)空間基函數(shù)的線性表達(dá)最小二乘擬合Ridge regression （嶺回歸）嶺回歸正則項(xiàng)選擇一個(gè)函數(shù)空間稀疏正則化冗余基函數(shù)（過完備）通過優(yōu)化來選擇合適的基函數(shù)系數(shù)向量的L0模（ L1模）盡量小挑選出合適的基函數(shù)稀疏正則化冗

6、余基函數(shù)（過完備）稀疏學(xué)習(xí)（稀疏優(yōu)化)稀疏學(xué)習(xí)：“學(xué)習(xí)”合適的基函數(shù)冗余基函數(shù)（過完備）工具：稀疏優(yōu)化稀疏學(xué)習(xí)（稀疏優(yōu)化)稀疏學(xué)習(xí)：“學(xué)習(xí)”合適的基函數(shù)從另一角度：壓縮感知已知y和 ，有無窮多解x對(duì)于稀疏信號(hào)x，可通過優(yōu)化能完全重建x在一定條件下 (on ) Candes and Tao 2005L0 優(yōu)化從另一角度：壓縮感知已知y和 ，有無窮多解xL0 優(yōu)化從神經(jīng)網(wǎng)絡(luò)的角度看函數(shù)從神經(jīng)網(wǎng)絡(luò)的角度看函數(shù)將函數(shù)看成網(wǎng)絡(luò)將函數(shù)看成網(wǎng)絡(luò)多元函數(shù)和向量值函數(shù)多元函數(shù)和向量值函數(shù)圖形學(xué)中的例子：曲面擬合輸入：空間點(diǎn)云輸出：用一張B樣條曲面擬合點(diǎn)云圖形學(xué)中的例子：曲面擬合輸入：空間點(diǎn)云曲面擬合的方法輸入點(diǎn)

7、云參數(shù)域擬合曲面參數(shù)化用B-樣條基函數(shù)進(jìn)行擬合曲面擬合的方法輸入點(diǎn)云參數(shù)域擬合曲面參數(shù)化用B-樣條基函數(shù)進(jìn)參數(shù)化對(duì)曲線/曲面擬合的影響參數(shù)化對(duì)曲線/曲面擬合的影響將曲線擬合看成網(wǎng)絡(luò)將曲線擬合看成網(wǎng)絡(luò)將曲面擬合看成網(wǎng)絡(luò)將曲面擬合看成網(wǎng)絡(luò)一個(gè)問題：如何解決基函數(shù)選取糾結(jié)的問題？一個(gè)問題：如何解決基函數(shù)選取糾結(jié)的問題？一個(gè)想法：用元函數(shù)及其變換平移變換伸縮變換一個(gè)想法：用元函數(shù)及其變換平移變換伸縮變換如果有足夠多的變換所構(gòu)成的函數(shù)，其張成的函數(shù)空間的表達(dá)能力如何？如果有足夠多的變換所構(gòu)成的函數(shù)，其張成的函數(shù)空間的表達(dá)能力如萬有逼近定理萬有逼近定理高維Input: 將線性函數(shù)復(fù)合一個(gè)非線性函數(shù)作為一個(gè)

8、“神經(jīng)元”biasweightsA simple functionActivation functionSigmoid Function高維Input: 將線性函數(shù)復(fù)合一個(gè)非線性函數(shù)作為一個(gè)“神經(jīng)高維Input: 將線性函數(shù)復(fù)合一個(gè)非線性函數(shù)作為一個(gè)“神經(jīng)元”高維Input: 將線性函數(shù)復(fù)合一個(gè)非線性函數(shù)作為一個(gè)“神經(jīng)神經(jīng)元單變量多變量神經(jīng)元單變量多變量單隱層神經(jīng)網(wǎng)絡(luò)：一個(gè)復(fù)雜的函數(shù)：由很多小函數(shù)組合而成單隱層神經(jīng)網(wǎng)絡(luò)：一個(gè)復(fù)雜的函數(shù)：由很多小函數(shù)組合而成多隱層神經(jīng)網(wǎng)絡(luò)：多重復(fù)合函數(shù)一個(gè)復(fù)雜的函數(shù)：由很多小函數(shù)復(fù)合而成多隱層神經(jīng)網(wǎng)絡(luò)：多重復(fù)合函數(shù)一個(gè)復(fù)雜的函數(shù)：由很多小函數(shù)復(fù)合Activati

9、on Functions（激活函數(shù)） 使用簡(jiǎn)單元函數(shù)及其平移構(gòu)成“基函數(shù)”（歸一化）【類比：徑向基函數(shù)(RBF)】Activation Functions（激活函數(shù)） 用神經(jīng)網(wǎng)絡(luò)函數(shù)來擬合數(shù)據(jù)Regression problem: Input: Given training set (x1, y1), (x2, y2), (x3, y3 ), . Output: Adjust parameters q (for every node) to make: 用神經(jīng)網(wǎng)絡(luò)函數(shù)來擬合數(shù)據(jù)Regression problem優(yōu)化算法（BP算法）優(yōu)化算法（BP算法）基于神經(jīng)網(wǎng)絡(luò)函數(shù)的數(shù)據(jù)擬合多隱層的幾何意義

10、將數(shù)據(jù)變換到不同的空間，即參數(shù)化多隱層的幾何意義將數(shù)據(jù)變換到不同的空間，即參數(shù)化數(shù)據(jù)的真實(shí)維度？圖形學(xué)：三維曲面已知是二維流形一般問題：并不知道數(shù)據(jù)的真實(shí)維數(shù)流形學(xué)習(xí)數(shù)據(jù)的真實(shí)維度？圖形學(xué)：三維曲面已知是二維流形神經(jīng)網(wǎng)絡(luò)函數(shù)的表達(dá)能力神經(jīng)網(wǎng)絡(luò)的表達(dá)能力取決于其參數(shù)個(gè)數(shù)網(wǎng)絡(luò)足夠大，參數(shù)就足夠多，表達(dá)能力就足夠強(qiáng)任何一個(gè)特定的網(wǎng)絡(luò)不可能表達(dá)任意復(fù)雜的函數(shù)神經(jīng)網(wǎng)絡(luò)函數(shù)的表達(dá)能力神經(jīng)網(wǎng)絡(luò)的表達(dá)能力取決于其參數(shù)個(gè)數(shù)深度神經(jīng)網(wǎng)絡(luò)不是新發(fā)明，為什么近年來爆發(fā)？大數(shù)據(jù)高效算法高性能機(jī)器深度神經(jīng)網(wǎng)絡(luò)不是新發(fā)明，為什么近年來爆發(fā)？大數(shù)據(jù)機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)深度學(xué)習(xí)：基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)擬合優(yōu)勢(shì)：自動(dòng)抽象特征、無須預(yù)

11、測(cè)模型！整合了兩個(gè)過程（端對(duì)端）！深度學(xué)習(xí)：基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)擬合優(yōu)勢(shì)：自動(dòng)抽象特征、無Key: Extracting Feature HierarchiesKey: Extracting Feature Hierar！統(tǒng)一的深度網(wǎng)絡(luò)框架！TraditionalfunctionDNNRBF networkELM！統(tǒng)一的深度網(wǎng)絡(luò)框架！TraditionalDNNRBF nRecap: 深度神經(jīng)網(wǎng)絡(luò)函數(shù)中間的任何一個(gè)隱層都可以作為特征中間的任何連續(xù)多層之間都可作為一個(gè)函數(shù)(function blocks)，可以任意組合與拼接Recap: 深度神經(jīng)網(wǎng)絡(luò)函數(shù)中間的任何一個(gè)隱層都可以作為輕松看懂所有

12、網(wǎng)絡(luò)結(jié)構(gòu)！輕松看懂所有網(wǎng)絡(luò)結(jié)構(gòu)！Unsupervised Feature Learning(Auto-Encoder)EncoderDecoderCodeUnsupervised Feature LearningVariational Auto-Encoder (VAE)Variational Auto-Encoder (VAE)變種的神經(jīng)元卷積神經(jīng)元（Convolutional cells）池化神經(jīng)元和插值神經(jīng)元（Pooling and interpolating cells）概率神經(jīng)元：均值神經(jīng)元和標(biāo)準(zhǔn)方差神經(jīng)元（Mean and standard deviation cells）循環(huán)神經(jīng)

13、元（Recurrent cells ）長(zhǎng)短期記憶神經(jīng)元（Long short term memory cells）門控循環(huán)神經(jīng)元（Gated recurrent cells）變種的神經(jīng)元卷積神經(jīng)元（Convolutional cell不斷涌現(xiàn)出的各種神經(jīng)網(wǎng)絡(luò)及學(xué)習(xí)方法Convolutional Neural Network (CNN)Recurrent Neural Network (RNN)Generative Adversarial Network (GAN)Reinforcement LearningTransfer learningMetric learning層出不窮的新名字-machine “機(jī)”-net “網(wǎng)”不斷涌現(xiàn)出的各種神經(jīng)網(wǎng)絡(luò)及學(xué)習(xí)方法Convolutional使用深度學(xué)習(xí)的方法理解問題數(shù)學(xué)建模設(shè)計(jì)合適的神經(jīng)網(wǎng)絡(luò)調(diào)試和修改網(wǎng)絡(luò)使用深度學(xué)習(xí)的方法理解問題機(jī)器學(xué)習(xí)：不僅僅是深度神經(jīng)網(wǎng)絡(luò)邏輯回歸SVMKNN決策樹隨機(jī)森林Clustering（聚類分析）Boosting貝葉斯網(wǎng)絡(luò)非監(jiān)督學(xué)習(xí)機(jī)器學(xué)習(xí)：不僅僅是深度神經(jīng)網(wǎng)絡(luò)邏輯回歸三維數(shù)據(jù)的深度學(xué)習(xí)的三種方法三維數(shù)據(jù)的深度學(xué)習(xí)的三種方法壓縮感知與深度學(xué)習(xí)：殊途同歸方法的不同性壓縮感知：基