淺談深度學(xué)習(xí)課件

淺談深度學(xué)習(xí)（DeepLearning）1

制作者：劉紅敬專業(yè)：計算機技術(shù)

111/23/2022淺談深度學(xué)習(xí)（DeepLearning）1主要內(nèi)容

2006年以來，機器學(xué)習(xí)領(lǐng)域中一個叫“深度學(xué)習(xí)”的課題開始受到學(xué)術(shù)界廣泛關(guān)注，如今擁有大數(shù)據(jù)的互聯(lián)網(wǎng)公司爭相投入大量資源研發(fā)深度學(xué)習(xí)技術(shù)。一、機器學(xué)習(xí)二、為什么有Deeplearning？Why?

三、什么是

Deeplearning？What?

四、怎么來的？

五、Deeplearning與神經(jīng)網(wǎng)絡(luò)的異同2211/23/2022主要內(nèi)容2006年以來，機器學(xué)習(xí)領(lǐng)域中一個叫“深一、機器學(xué)習(xí)

機器學(xué)習(xí)（MachineLearning）是一門專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能的學(xué)科。

簡單的說，機器學(xué)習(xí)就是通過算法，使得機器能從大量的歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對新的樣本做智能識別或預(yù)測未來。

1959年美國的塞繆爾(Samuel)設(shè)計了一個下棋程序，這個程序具有學(xué)習(xí)能力，它可以在不斷的對弈中改善自己的棋藝。4年后，這個程序戰(zhàn)勝了設(shè)計者本人。又過了3年，這個程序戰(zhàn)勝了美國一個保持8年之久的常勝不敗的冠軍。這個程序向人們展示了機器學(xué)習(xí)的能力，提出了許多令人深思的社會問題與哲學(xué)問題。

這種程序水平達到一定程度很容易，但再進一步就不容易了。深藍是90年代機器學(xué)習(xí)理論有了突破之后才出來的。3311/23/2022一、機器學(xué)習(xí)機器學(xué)習(xí)（MachineLearn二、Why?

機器學(xué)習(xí)雖然發(fā)展了幾十年，但還是存在很多沒有良好解決的問題。例如以視覺感知為例，通過機器學(xué)習(xí)去解決這些問題的思路：InputFeatureRepresentationLearningAlgorithm手工選取特征不太好，那么能不能自動地學(xué)習(xí)一些特征呢？答案是能！DeepLearning就是用來干這個事情的，它有一個別名UnsupervisedFeatureLearning。Why？答案：讓機器自動學(xué)習(xí)良好的特征，而免去人工選取過程。4411/23/2022二、Why?機器學(xué)習(xí)雖然發(fā)展了幾十年，但還是存在很多沒有三、What？

深度學(xué)習(xí)是機器學(xué)習(xí)研究中的一個新的領(lǐng)域，其動機在于建立、模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。深度學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種。

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。5511/23/2022三、What？5511/22/20四、怎么來的？從機器學(xué)習(xí)的模型結(jié)構(gòu)層次來分，機器學(xué)習(xí)經(jīng)歷了兩次浪潮：1、淺層學(xué)習(xí)（ShallowLearning）：機器學(xué)習(xí)第一次浪潮2、深度學(xué)習(xí)（DeepLearning）：機器學(xué)習(xí)第二次浪潮6611/23/2022四、怎么來的？從機器學(xué)習(xí)的模型結(jié)構(gòu)層次來分，機器學(xué)習(xí)經(jīng)歷了兩

1、淺層學(xué)習(xí)

20世紀80年代末期，由于人工神經(jīng)網(wǎng)絡(luò)的反向傳播算法（BP算法）的發(fā)明，給機器學(xué)習(xí)帶來了希望，掀起了基于統(tǒng)計模型的機器學(xué)習(xí)熱潮。這個熱潮一直持續(xù)到今天?；诮y(tǒng)計的機器學(xué)習(xí)方法可以讓一個人工神經(jīng)網(wǎng)絡(luò)模型從大量訓(xùn)練樣本中學(xué)習(xí)統(tǒng)計規(guī)律，從而對未知事件做預(yù)測。這個時候的人工神經(jīng)網(wǎng)絡(luò)，雖也被稱作多層感知機（Multi-layerPerceptron），但實際是一種只含有一層隱層節(jié)點的淺層模型。7711/23/20221、淺層學(xué)習(xí)20世紀80年代末期，由于人工神經(jīng)網(wǎng)1、淺層學(xué)習(xí)

20世紀90年代，各種各樣的淺層機器學(xué)習(xí)模型相繼被提出，例如支撐向量機（SVM）、Boosting、最大熵方法（LR）等。

這些模型的結(jié)構(gòu)基本上可以看成帶有一層隱層節(jié)點（如SVM、Boosting），或沒有隱層節(jié)點（如LR）。這些模型無論是在理論分析還是應(yīng)用中都獲得了巨大的成功。

相比之下，由于理論分析的難度大，訓(xùn)練方法又需要很多經(jīng)驗和技巧，這個時期深度人工神經(jīng)網(wǎng)絡(luò)反而相對沉寂。8811/23/20221、淺層學(xué)習(xí)20世紀90年代，各種各樣的淺層機器2、深度學(xué)習(xí)

2006年，加拿大多倫多大學(xué)教授、機器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton等在《Science》上發(fā)表了一篇文章[1]，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。這篇文章有兩個主要觀點：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類。2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”來有效克服，在這篇文章中，逐層初始化是通過無監(jiān)督學(xué)習(xí)實現(xiàn)的。[1]Hinton,

Geoffrey;Osindero,Simon;Welling,Max;Teh,Yee-Whye

.

UnsupervisedDiscoveryofNonlinearStructureUsingContrastiveBackpropagation.Science.2006(30)4:

725-732.9911/23/20222、深度學(xué)習(xí)2006年，加拿大多倫多大學(xué)教授、機器學(xué)習(xí)當前多數(shù)分類、回歸等學(xué)習(xí)方法為淺層結(jié)構(gòu)算法，其局限性在于有限樣本和計算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受到一定制約。

深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本中集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。（多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)）102、深度學(xué)習(xí)1011/23/2022當前多數(shù)分類、回歸等學(xué)習(xí)方法為淺層結(jié)

深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：1）強調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點；2）明確突出了特征學(xué)習(xí)的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。113、淺層學(xué)習(xí)與深度學(xué)習(xí)的不同1111/23/2022深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學(xué)習(xí)四、深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的異同深度學(xué)習(xí)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)之間有相同的地方也有很多不同。

相同點：深度學(xué)習(xí)采用了神經(jīng)網(wǎng)絡(luò)相似的分層結(jié)構(gòu)，系統(tǒng)由包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接，每一層可以看作是一個邏輯回歸模型；這種分層結(jié)構(gòu)，是比較接近人類大腦的結(jié)構(gòu)的。121211/23/2022四、深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的異同深度學(xué)習(xí)與傳統(tǒng)的神經(jīng)

不同點：采用了不同的訓(xùn)練機制。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中，采用的是反向傳播（BP）的方式進行。即采用迭代的算法來訓(xùn)練整個網(wǎng)絡(luò)，隨機設(shè)定初值，計算當前網(wǎng)絡(luò)的輸出，然后根據(jù)當前計算的輸出值和實際的標記值之間的差去改變前面各層的參數(shù)，直到收斂（整體是一個梯度下降法）。BP算法不適合深度神經(jīng)網(wǎng)絡(luò)：如果對所有層同時訓(xùn)練，時間復(fù)雜度會太高；如果每次訓(xùn)練一層，偏差就會逐層傳遞，出現(xiàn)過擬合。深度學(xué)習(xí)整體上是一個逐層的訓(xùn)練機制。131311/23/2022不同點：采用了不同的訓(xùn)練機制。131311/22/202深度學(xué)習(xí)的訓(xùn)練過程1）自下而上的非監(jiān)督學(xué)習(xí):從底層開始，一層一層的往頂層訓(xùn)練，分別得到各層參數(shù)。

采用無標簽數(shù)據(jù)分層訓(xùn)練各層參數(shù)（可以看作是featurelearning過程）2）自上而下的監(jiān)督學(xué)習(xí)：通過帶標簽的數(shù)據(jù)去訓(xùn)練，誤差自上向下傳輸，對網(wǎng)絡(luò)進行微調(diào)。

基于第一步得到的各層參數(shù)進一步調(diào)整整個多層模型的參數(shù)，這一步是一個有監(jiān)督訓(xùn)練過程1411/23/2022深度學(xué)習(xí)的訓(xùn)練過程1）自下而上的非監(jiān)督學(xué)習(xí):從底層開始，一層Thankyou！151511/23/2022Thankyou！151511/22/2022淺談深度學(xué)習(xí)（DeepLearning）16

制作者：劉紅敬專業(yè)：計算機技術(shù)

1611/23/2022淺談深度學(xué)習(xí)（DeepLearning）1主要內(nèi)容

2006年以來，機器學(xué)習(xí)領(lǐng)域中一個叫“深度學(xué)習(xí)”的課題開始受到學(xué)術(shù)界廣泛關(guān)注，如今擁有大數(shù)據(jù)的互聯(lián)網(wǎng)公司爭相投入大量資源研發(fā)深度學(xué)習(xí)技術(shù)。一、機器學(xué)習(xí)二、為什么有Deeplearning？Why?

三、什么是

Deeplearning？What?

四、怎么來的？

五、Deeplearning與神經(jīng)網(wǎng)絡(luò)的異同171711/23/2022主要內(nèi)容2006年以來，機器學(xué)習(xí)領(lǐng)域中一個叫“深一、機器學(xué)習(xí)

機器學(xué)習(xí)（MachineLearning）是一門專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能的學(xué)科。

簡單的說，機器學(xué)習(xí)就是通過算法，使得機器能從大量的歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對新的樣本做智能識別或預(yù)測未來。

1959年美國的塞繆爾(Samuel)設(shè)計了一個下棋程序，這個程序具有學(xué)習(xí)能力，它可以在不斷的對弈中改善自己的棋藝。4年后，這個程序戰(zhàn)勝了設(shè)計者本人。又過了3年，這個程序戰(zhàn)勝了美國一個保持8年之久的常勝不敗的冠軍。這個程序向人們展示了機器學(xué)習(xí)的能力，提出了許多令人深思的社會問題與哲學(xué)問題。

這種程序水平達到一定程度很容易，但再進一步就不容易了。深藍是90年代機器學(xué)習(xí)理論有了突破之后才出來的。181811/23/2022一、機器學(xué)習(xí)機器學(xué)習(xí)（MachineLearn二、Why?

機器學(xué)習(xí)雖然發(fā)展了幾十年，但還是存在很多沒有良好解決的問題。例如以視覺感知為例，通過機器學(xué)習(xí)去解決這些問題的思路：InputFeatureRepresentationLearningAlgorithm手工選取特征不太好，那么能不能自動地學(xué)習(xí)一些特征呢？答案是能！DeepLearning就是用來干這個事情的，它有一個別名UnsupervisedFeatureLearning。Why？答案：讓機器自動學(xué)習(xí)良好的特征，而免去人工選取過程。191911/23/2022二、Why?機器學(xué)習(xí)雖然發(fā)展了幾十年，但還是存在很多沒有三、What？

深度學(xué)習(xí)是機器學(xué)習(xí)研究中的一個新的領(lǐng)域，其動機在于建立、模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。深度學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種。

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。202011/23/2022三、What？5511/22/20四、怎么來的？從機器學(xué)習(xí)的模型結(jié)構(gòu)層次來分，機器學(xué)習(xí)經(jīng)歷了兩次浪潮：1、淺層學(xué)習(xí)（ShallowLearning）：機器學(xué)習(xí)第一次浪潮2、深度學(xué)習(xí)（DeepLearning）：機器學(xué)習(xí)第二次浪潮212111/23/2022四、怎么來的？從機器學(xué)習(xí)的模型結(jié)構(gòu)層次來分，機器學(xué)習(xí)經(jīng)歷了兩

1、淺層學(xué)習(xí)

20世紀80年代末期，由于人工神經(jīng)網(wǎng)絡(luò)的反向傳播算法（BP算法）的發(fā)明，給機器學(xué)習(xí)帶來了希望，掀起了基于統(tǒng)計模型的機器學(xué)習(xí)熱潮。這個熱潮一直持續(xù)到今天?；诮y(tǒng)計的機器學(xué)習(xí)方法可以讓一個人工神經(jīng)網(wǎng)絡(luò)模型從大量訓(xùn)練樣本中學(xué)習(xí)統(tǒng)計規(guī)律，從而對未知事件做預(yù)測。這個時候的人工神經(jīng)網(wǎng)絡(luò)，雖也被稱作多層感知機（Multi-layerPerceptron），但實際是一種只含有一層隱層節(jié)點的淺層模型。222211/23/20221、淺層學(xué)習(xí)20世紀80年代末期，由于人工神經(jīng)網(wǎng)1、淺層學(xué)習(xí)

20世紀90年代，各種各樣的淺層機器學(xué)習(xí)模型相繼被提出，例如支撐向量機（SVM）、Boosting、最大熵方法（LR）等。

這些模型的結(jié)構(gòu)基本上可以看成帶有一層隱層節(jié)點（如SVM、Boosting），或沒有隱層節(jié)點（如LR）。這些模型無論是在理論分析還是應(yīng)用中都獲得了巨大的成功。

相比之下，由于理論分析的難度大，訓(xùn)練方法又需要很多經(jīng)驗和技巧，這個時期深度人工神經(jīng)網(wǎng)絡(luò)反而相對沉寂。232311/23/20221、淺層學(xué)習(xí)20世紀90年代，各種各樣的淺層機器2、深度學(xué)習(xí)

2006年，加拿大多倫多大學(xué)教授、機器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton等在《Science》上發(fā)表了一篇文章[1]，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。這篇文章有兩個主要觀點：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類。2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”來有效克服，在這篇文章中，逐層初始化是通過無監(jiān)督學(xué)習(xí)實現(xiàn)的。[1]Hinton,

Geoffrey;Osindero,Simon;Welling,Max;Teh,Yee-Whye

.

UnsupervisedDiscoveryofNonlinearStructureUsingContrastiveBackpropagation.Science.2006(30)4:

725-732.242411/23/20222、深度學(xué)習(xí)2006年，加拿大多倫多大學(xué)教授、機器學(xué)習(xí)當前多數(shù)分類、回歸等學(xué)習(xí)方法為淺層結(jié)構(gòu)算法，其局限性在于有限樣本和計算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受到一定制約。

深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本中集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。（多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)）252、深度學(xué)習(xí)2511/23/2022當前多數(shù)分類、回歸等學(xué)習(xí)方法為淺層結(jié)

深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：1）強調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點；2）明確突出了特征學(xué)習(xí)的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。263、淺層學(xué)習(xí)與深度學(xué)習(xí)的不