2023PM全面理解深度學習

強化學習-Reinforcementlearning|DEEPLEARNING|AlphaGo就使用到了深度學習。深度學習是機?學習的一個分支(最重要的分支工智能的第三次浪潮。詳情可以看《人工智能的發(fā)展史——3AI浪潮》假設深度學習要處理的信息是“水流”，而處理數(shù)據(jù)的深度學習網(wǎng)絡是一個由管道和閥門組成的巨大水管網(wǎng)絡。網(wǎng)絡的入口是若干管道開口，網(wǎng)絡的出口也是若干管道開口。這個水管網(wǎng)絡有許多層，每一層由許多個可以控制水流流向與流量的調(diào)節(jié)閥。根據(jù)不同任務的需要，水管網(wǎng)絡的層數(shù)、每層的調(diào)節(jié)閥數(shù)量可以有不同的變化組合。對復雜任務來說，調(diào)節(jié)閥的總數(shù)可以成千上萬甚至更多。水管網(wǎng)絡中，每一層的每個調(diào)節(jié)閥都通過水管與下一層的所有調(diào)節(jié)閥連接起來，組成一個從前到后，逐層完全連通的水流系統(tǒng)。比如，當計算機看到一張寫有“田”字的圖片，就簡單將組成這張圖片的所有數(shù)字（在計算機里，圖片的每個顏色點都是用“0”和“1”組成的數(shù)字來表示的）全都變成信息的水流，從入口灌進水管網(wǎng)絡。我們預先在水管網(wǎng)絡的每個出口都插一塊字牌，對應于每一個我們想讓計算機認識的漢字。這時，因為輸入的是“田”這個漢字，等水流流過整個水管網(wǎng)絡，計算機就會跑到管道出口位置去看一看，是不是標記由“田”字的管道出口流出來的水流最多。如果是這樣，就說明這個管道網(wǎng)絡符合要求。如果不是這樣，就調(diào)節(jié)水管網(wǎng)絡里的每一個流量調(diào)節(jié)閥，讓“田”字出口“流出”的水最多。下一步，學習“申”字時，我們就用類似的方法，把每一張寫有“申”字的圖片變成一大堆數(shù)字組成的水流，灌進水管網(wǎng)絡，看一看，是不是寫有“申”字的那個管道出口流水最多，如果不是，我們還得再調(diào)整所有的閥門。這一次，要既保證剛才學過的“田”字不受影響，也要保證新的“申”字可以被正確處理。如此反復進行，知道所有漢字對應的水流都可以按照期望的方式流過整個水管網(wǎng)絡。這時，我們就說，這個水管網(wǎng)絡是一個訓練好的深度學習模型了。當大量漢字被這個管道網(wǎng)絡處理，所有閥門都調(diào)節(jié)到位后，整套水管網(wǎng)絡就可以用來識別漢字了。這時，我們可以把調(diào)節(jié)好的所有閥門都“焊死”，靜候新的水流到來。數(shù)據(jù)清洗數(shù)據(jù)標簽歸一化去噪降維對于數(shù)據(jù)預處理感興趣的可以看看《AI數(shù)據(jù)集最常見的6大問題（附解決方案）深度學習高度依賴數(shù)據(jù)，數(shù)據(jù)量越大，他的表現(xiàn)就越好。在圖像識別、面部識別、NLP等TensorFlow、Pytorch。這些框架深度學習對算力要求很高，普通的CPU已經(jīng)無法滿足深度學習的要求。主流的算力都是GPUTPU，所以對于硬件的要求很高，成本也很高。由于深度學習依賴數(shù)據(jù)，并且可解釋性不高。在訓練數(shù)據(jù)不平衡的情況下會出現(xiàn)性別歧視、種族歧視等問題。4–能夠將大數(shù)據(jù)量的圖片有效的降維成小數(shù)據(jù)量(并不影響結果了解更多《一文看懂卷積神經(jīng)網(wǎng)絡-CNN（基本原理+獨特價值+實際應用）–了“記憶功能”。但是RNN存在嚴重的短期記憶問題，長期的數(shù)據(jù)影響很小（哪怕他是重RNN幾個典型的應用如下：–了解更多《–GAN？（基本概念+工作原理）–在Flappybird這個游戲中，我們需要簡單的點擊操作來控制小鳥，躲過各種水管，飛的機?有一個明確的小鳥角色——代理需要控制小鳥飛的更遠——目標整個游戲過程中需要躲避各種水管——環(huán)境躲避水管的方法是讓小鳥用力飛一下——行動飛的越遠，就會獲得越多的積分——獎勵“數(shù)據(jù)喂養(yǎng)”。了解更多：《一文看懂什么是強化學習？（基本概念+應用場景+主流算法）–CNNCNN有2CNN已經(jīng)得到了廣泛的應用，比如：人臉識別、自動駕駛、美圖秀秀、安防等CNNCNN出現(xiàn)之前，圖像對于人工智能來說是一個難題，有21000×1000RGB3個參數(shù)來表示1000×1000像素的圖片，我們就需要處理3卷積神經(jīng)網(wǎng)絡–CNN解決的第一個問題就是「將復雜問題簡化」，把大量參數(shù)降維成少更重要的是：我們在大部分場景下，降維并不會影響結果。比如1000而CNN解決了這個問題，他用類似視覺的方式保留了圖像的特征，當圖像做翻轉，旋轉那么卷積神經(jīng)網(wǎng)絡是如何實現(xiàn)的呢？在我們了解CNN原理之前，先來看看人類的視覺原1981年的諾貝爾醫(yī)學獎，頒發(fā)給了DavidHubel（出生于加拿大的美國神經(jīng)生物學家）和TorstenWieselRogerSperry。前兩位的主要貢獻，是“發(fā)現(xiàn)了視覺系統(tǒng)的信息處人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素Pixels），那么我們可以很自然的想到：可以不可以模仿人類大腦的這個特點，構造多層的神經(jīng)網(wǎng)絡，較低層的識別初級的圖像特征，若干底層特征組成更上一層特征，最終通過多個層級的組合，最終在頂層做出分類呢？卷積神經(jīng)網(wǎng)絡-CNNCNN由3卷積層負責提取圖像中的局部特征；池化層用來大幅降低參數(shù)量級(降維)；全連接層類似傳統(tǒng)神經(jīng)網(wǎng)絡的部分，用來輸出想要的結果。卷積——在具體應用中，往往有多個卷積核，可以認為，每個卷積核代表了一種圖像模式，如果某個圖像塊與此卷積核卷積出的值大，則認為此圖像塊十分接近于此卷積核。如果我們設計了6個卷積核，可以理解：我們認為這個圖像上有6種底層紋理模式，也就是我們用6中基礎模式就能描繪出一副圖像。以下就是25種不同的卷積核的示例：池化層（下采樣）——上圖中，我們可以看到，原始圖片是20×20的，我們對其進行下采樣，采樣窗口為10×10，最終將其下采樣成為一個2×2全連接層——經(jīng)過卷積層和池化層降維過的數(shù)據(jù)，全連接層才能”跑得動”，不然數(shù)據(jù)量太大，計算成本高，效率低下。典型的CNN并非只是上面提到的3層結構，而是多層結構，例如LeNet-5的結構就如下卷積層池化層卷積層池化層卷積層CNNCNNCNN卷積神經(jīng)網(wǎng)絡–CNN很擅長處理圖像。而視頻是圖像的疊加，所以同樣擅長處理視頻內(nèi)一些特定領域的圖片，分類的準確率可以達到95%+，已經(jīng)算是一個可用性很高的應用典型場景：圖像搜索典型場景：自動駕駛、安防、醫(yī)療典型場景：美圖秀秀、視頻后期加工、圖像生成典型場景：安防、金融、生活CNN能夠將大數(shù)據(jù)量的圖片有效的降維成小數(shù)據(jù)量(并不影響結果–CNN已經(jīng)很強大的，為什么還需要RNN的獨特價值——卷積神經(jīng)網(wǎng)絡–CNN和普通的算法大部分都是輸入和輸出的一一對應，也就是一個輸入RNN之所以能夠有效的處理序列數(shù)據(jù)，主要是基于他的比較特殊的運行原理。下面給大家RNN的基本運行原理。RNN跟傳統(tǒng)神經(jīng)網(wǎng)絡最大的區(qū)別在于每次都會將前一次的輸出結果，帶到下一次的隱藏層timeisit？”我們需要先對這句話進行分詞：RNN“what”RNN的輸入，得到輸出「01然后，我們按照順序，將“time”RNN網(wǎng)絡，得到輸出「02這個過程我們可以看到，輸入“time”的時候，前面“what”的輸出也產(chǎn)生了影響（隱藏影響就很?。ㄈ绾谏途G色區(qū)域），RNN存在的短期記憶問題。RNNRNN的優(yōu)化算法，下面給大家簡單介紹一RNN是一種死板的邏輯，越晚的輸入影響越大，越早的輸入影響越小，且無法改變這個邏LSTM做的最大的改變就是打破了這個死板的邏輯，而改用了一套靈活了邏輯——只保留LSTM類似上面的劃重點，他可以保留較長序列數(shù)據(jù)中的「重要信息」，忽略不重要的信息RNN短期記憶的問題。LSTM的詳細介紹《長短期–LSTM》LSTMGatedRecurrentUnit–GRULSTMLSTM劃重點，遺忘不重要信息的特點，在long-term傳播的時候也不會被丟失。文本生成：類似上面的填空題，給出前后文，然后預測空格中的詞是什么。機?翻譯語音識別：根據(jù)輸入音頻判斷對應的文字是什么。生成圖像描述：類似看圖說話，給一張圖，能夠描述出圖片中的內(nèi)容。這個往往是CNN視頻標記了“記憶功能”。但是RNN存在嚴重的短期記憶問題，長期的數(shù)據(jù)影響很?。呐滤侵豏NN幾個典型的應用如下：長短期記憶網(wǎng)絡——通常被稱為LSTM，是一種特殊的RNN，能夠學習長期依賴性。由Hochreiter和Schmidhuber（1997）提出的，并且在接下來的工作中被許多人改進和推廣。LSTM在各種各樣的問題上表現(xiàn)非常出色，現(xiàn)在被廣泛使用。LSTM被明確設計用來避免長期依賴性問題。長時間記住信息實際上是LSTM的默認行所有遞歸神經(jīng)網(wǎng)絡都具有神經(jīng)網(wǎng)絡的鏈式重復模塊。在標準的RNN中，這個重復模塊具tanh層。LSTM也具有這種類似的鏈式結構，但重復模塊具有不同的結構。不是一個單獨的神經(jīng)網(wǎng)LSTM的圖解。現(xiàn)在，讓我們試著去熟悉我們將使用LSTMLSTM可以通過所謂“門”S01之間，表示有多大比例的信息通過。0值表示“沒有信息通過”，1值表示“所有信息通過”。如果對詳細的技術原理感興趣，可以看看這篇文章《IllustratedGuidetoLSTM’sandGRU’s:Astepbystepexplanation》–GANs是最近2年很熱門的一種無監(jiān)督算法，他能生成出非常逼真的本文將詳細介紹生成對抗網(wǎng)絡–GANs的設計初衷、基本原理、10種典型算法和13GANSGANs的設計動機就是——人工提取特征——人工判斷生成結果的好壞——而GANs能自動完成這個過程，且不斷的優(yōu)化，這是一種效率非常高，且成本很低的方GANS生成對抗網(wǎng)絡（GANs）由2 第一階段：固定「判別?D」，訓練「生成?G我們使用一個還OK判別?，讓一個「生成?G」不斷生成“假數(shù)據(jù)”，然后給這個「判別一開始，「生成?G但是隨著不斷的訓練，「生成?G」技能不斷提升，最終騙過了「判別?D第二階段：固定「生成?G」，訓練「判別?D當通過了第一階段，繼續(xù)訓練「生成?GG」，然后開始訓練「判別?D「判別?D」通過不斷訓練，提高了自己的鑒別能力，最終他可以準確的判斷出所有的假圖片。到了這個時候，「生成?G」已經(jīng)無法騙過「判別?D通過不斷的循環(huán)，「生成?G」和「判別?D最終我們得到了一個效果非常好的「生成?G」，我們就可以用它來生成我們想要的圖片了。下面的實際應用部分會展示很多“驚艷”GANs的詳細技術原理感興趣，可以看看下面2《生成性對抗網(wǎng)絡（GAN）–附代碼《長文解釋生成對抗網(wǎng)絡GAN的詳細原理（20分鐘閱讀）GANS能更好建模數(shù)據(jù)分布（圖像更銳利、清晰 理論上，GANs能訓練任何一種生成?網(wǎng)絡。其他的框架需要生成?網(wǎng)絡有一些特 無需利用馬爾科夫鏈反復采樣，無需在學習過程中進行推斷，沒有復雜的變分下D收斂，G發(fā)散。D/G 模式缺失（ModeCollapse）問題。GANs的學習過程可能出現(xiàn)模式缺失，生成?擴展閱讀：《為什么訓練生成對抗網(wǎng)絡如此困難？10大典型的GANSGANsGANs的研究呈指數(shù)級的上漲，目前每個月都有數(shù)百GANsGANsGANs動物園」里查看幾乎所有的算法。我們?yōu)榇笊厦鎯?nèi)容整理自《GenerativeAdversarialNetworks–TheStorySoFar》原文中對算法GANS的13GANs看上去不如「語音識別」「文本挖掘」那么直觀。不過他的應用已經(jīng)進入到我們的GANs的實際應用。GANsGANs簡單說就是把一種形式的圖像轉換成另外一種形式的圖像，就好像加濾鏡一樣神奇。例如：把草稿轉換成照片把衛(wèi)星照片轉換為Google地圖的圖片把照片轉換成油畫把白天轉換成黑夜在2016年標題為“StackGAN：使用StackGAN的文本到逼真照片的圖像合成”的論文中，演示了使用GAN，特別是他們的StackGAN，從鳥類和花卉等簡單對象的文本描述語意圖像在2017年標題為“高分辨率圖像合成和帶條件GAN的語義操縱”的論文中，演示了在語義在2017年標題為“姿勢引導人形象生成”的論文中，可以自動生成人體模特，并且使用新照片到GANs可以通過人臉照片自動生成對應的表情（Emojis）使用GANsGANs給GANs假如照片中有一個區(qū)域出現(xiàn)了問題（例如被涂上顏色或者被抹去），GANs可以修復這個區(qū)域，還原成原始的狀態(tài)。給出多個不同角度的2D圖像，就可以生成一個3D強化學習-REINFORCEMENT|在Flappybird這個游戲中，我們需要簡單的點擊操作來控制小鳥，躲過各種水管，飛的機?有一個明確的小鳥角色——代理需要控制小鳥飛的更遠——目標整個游戲過程中需要躲避各種水管——環(huán)境躲避水管的方法是讓小鳥用力飛一下——行動飛的越遠，就會獲得越多的積分——獎勵“數(shù)據(jù)喂養(yǎng)”。2016年：AlphaGoMaster擊敗李世石，使用強化學習的AlphaGoZero僅花了40天時AlphaGoMaster?！稄娀瘜W習與推薦系統(tǒng)的強強聯(lián)合《基于深度強化學習的對話管理中的策略自適應《強化學習在業(yè)界的實際應用有模型學習（Model-Based）對環(huán)境有提前的認知，可以提前考慮規(guī)劃，但是缺點是如果模型跟真實世界不一致，那么在實際使用場景下會表現(xiàn)的不好。免模型學習（Model-Free）放棄了模型學習，在效率上不如前者，但是這種方式更加容易實現(xiàn)，也容易在真實場景下調(diào)整到很好的狀態(tài)。所以免模型學習方法更受歡迎，得到更加廣泛的開發(fā)和測試。這個系列的方法將策略顯示表示為 。它們直接對性能目 進行梯度同策略的，也就是說每一步更新只會用最新的策略執(zhí)行時采集到的數(shù)據(jù)。策略優(yōu)化通常還包括學習出，作為的近似，該函數(shù)用于確定如何更新策略。A2C/A3C,通過梯度下降直接最大化