遷移學習課件

賴傳濱遷移學習TransferLearning目錄遷移學習介紹遷移學習的應用遷移學習的一些方法相關論文實例1遷移學習介紹PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

1介紹遷移學習–利用之前學到的知識來幫助完成新環(huán)境下的學習任務比如：C++->Java1.1遷移學習的概念Task:學習任務Domain:域–數據的來源1介紹1.2研究遷移學習的原因AndrewNg預測未來機器學習各領域在產業(yè)界的占比目前大多數成功的模型都是依賴于大量的有標簽數據很多學習任務很難獲得大量的有標簽數據對于每一個任務都從頭開始訓練，成本非常高1介紹1.3遷移學習的定義

1介紹1.4遷移學習的應用場景

2遷移學習的應用PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

2應用2.1從模擬中學習

2應用另一個需從模擬中學習的領域：機器人在實際的機器人上訓練模型是非常緩慢和昂貴的從模擬中學習并且將知識遷移到現實世界的機器人上2應用2.2適應新的域標簽信息易于獲取的數據和我們實際關心的數據經常是不一樣的視覺任務中不同的視覺域文本處理中不同的文本類型（報紙、網絡社交媒體）、不同的主題語音識別中不同的口音2應用2.3跨語言遷移知識將知識從一種語言遷移到另一種語言可靠的跨語言域的方法會允許我們借用大量的已有的英文標簽數據并將其應用在任何一種語言中，尤其是一些缺少資源的語言目前還沒有比較好的方法3遷移學習的一些方法PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

3方法3.1使用預訓練的CNN特征較低的卷積層捕獲低級圖像特征，如：邊緣越高的卷積層捕獲越來越高級的特征，如：人臉最后的全連接層通常被認為是捕獲與解決相應任務相關的信息遷移學習的研究歷史可以追述到上世紀90年代[1]深度學習的出現導致了一系列遷移學習的新方法一些通過CNN學到的卷積模板一些經過卷積得到的featuremap3方法利用已經訓練好的模型幫助解決新的任務訓練好的模型包含一些通用特征，如圖像里的邊緣、形狀組合等在已有的模型的基礎上，訓練新的模型：

保持已有模型的參數不變使用較小的學習率一個CNN（Lenet）的結構3方法3.2學習domain-invariant（域不變）特征域不變特征：和域無關的一些一般性特征通常只需要每個域中的無標簽數據這種一般性的特征通常用棧式的自編碼器（StackedAutoencoders）學習得到3方法3.2.1稀疏自編碼器

3方法對輸入層到隱藏層的權重進行可視化，得到如下圖所示結果：3方法3.2.2棧式自編碼器由多層稀疏自編碼器組成的神經網絡，其前一層自編碼器的輸出作為其后一層自編碼器的輸入例子（包含兩個隱藏層）：3方法將這三層結合起來構建一個包含兩個隱藏層和一個最終softmax分類器層的棧式自編碼網絡4相關論文實例PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

4相關論文4.1.1研究背景對于一個新任務，只有較少的標記樣本（目標域有少量標記樣本）有大量的其他相關任務的標記樣本（源域有大量標記樣本）如何通過這兩種樣本訓練出在新任務上表現良好的模型BoostingfortransferlearningWenyuanDai,QiangYang,Gui-RongXue,YongYu.Proceedingsofthe24thinternationalconferenceonMachinelearning.ACM,20074.1第一篇論文4相關論文4.1.2方法理論源域的大量樣本中中存在一部分樣本比較適合用來在目標任務上訓練有效的模型使用boosting來過濾掉源域樣本中與目標域樣本最不像的樣本boosting的作用是建立一種自動調整權重的機制，源域中重要的樣本的權重將會增加，不重要的樣本的權重將會減小調整權重之后，這些源域中帶權重的樣本將會作為額外的訓練數據，與目標域中的樣本一起訓練4相關論文4.1.3boosting調整權重的例子用一些線段把紅色的球與深藍色的球分開僅用一條線是分不開的24弱弱強4相關論文4.1.4具體算法

4相關論文相關論文44.2第二篇論文4.2.1研究背景Self-taughtlearning:transferlearningfromunlabeleddataRainaR,BattleA,LeeH,BPacker,AYNg

Proceedingsofthe24thinternationalconferenceonMachinelearning.ACM,2007對機器學習所需的標簽數據獲取難度高，

成本大如何利用大量無標記數據輔助進行遷移學習不要求無標記的數據和目標域的數據同屬一類或取自同一分布1相關論文44.2.2方法步驟?首先根據未標數據訓練

出一組基（比如稀疏編

碼）?再對目標域的數據用這

組基表示出來?然后用分類算法如SVM

對目標域的數據進行訓

練1相關論文44.2.3算法流程求解基向量組b（和前面的稀疏自編碼類似）1參考文獻參考文獻[1]Pan,SinnoJialin,andQ.Yang."ASurveyonTransferLearning."

IEEETransactionson

Knowledge&DataEngineering

22.10(2010):1345-1359.[2]Dai,Wenyuan,etal."Boostingfortransferlearning."

InternationalConferenceon

MachineLearning

ACM,2007:193-200.[3]Raina,Rajat,etal."Self-taughtlearning:transferlearningfromunlabeleddata.

"

Proceedingsofthe24thinternationalconferenceonMachinelearning.ACM,200