人工智能基礎(chǔ)及應(yīng)用（微課版） 課件 第7章 深度學(xué)習(xí)

電子信息工程系第七章深度學(xué)習(xí)主講人：柳長(zhǎng)源哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation引言BP神經(jīng)網(wǎng)絡(luò)(5.8)近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)在模式識(shí)別和機(jī)器學(xué)習(xí)領(lǐng)域得到了成功的應(yīng)用。其中深度信念網(wǎng)絡(luò)（DeepBeliefNetwork，DBN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）是目前研究和應(yīng)用都比較廣泛的深度學(xué)習(xí)結(jié)構(gòu)。本節(jié)重點(diǎn)介紹CNN，CNN是一種深度監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型。其深度學(xué)習(xí)算法可以利用空間相對(duì)關(guān)系減少參數(shù)從而提高訓(xùn)練性能。CNN是一類包含卷積運(yùn)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（FeedforwardNeuralNetwork）。相比前邊提到的BP神經(jīng)網(wǎng)絡(luò)，CNN最重要的特性在于“局部感知”與“參數(shù)共享”，自2012年設(shè)計(jì)的AlexNet開(kāi)始，CNN已多次成為ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽（ImageNetLargeScaleVisualRecognitionChallenge，ILSVRC）的優(yōu)勝算法，至此，CNN開(kāi)始大放異彩，成了眾多科學(xué)領(lǐng)域的研究重點(diǎn)之一。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.1卷積神經(jīng)網(wǎng)絡(luò)CNN基本概述(5.8)CNN

已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域中最具影響力的革新的一部分。1984年，日本學(xué)者Fukushima基于感受野概念提出了神經(jīng)認(rèn)知機(jī)，這種神經(jīng)認(rèn)知機(jī)被認(rèn)為是CNN的第一個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)。隨后，國(guó)內(nèi)外的研究人員提出了多種形式的CNN，并在郵政編碼識(shí)別、在線的手寫識(shí)別以及人臉識(shí)別方面等圖像處理領(lǐng)域得到了成功的應(yīng)用。經(jīng)典的CNN由輸入層、卷積層、池化層（也稱下采樣層）、全連接層及輸出層組成。更為詳細(xì)的CNN工作指的是挑一張圖像，讓它歷經(jīng)一系列卷積層、非線性層、池化層和全連接層，最終得到輸出。CNN在圖像分類問(wèn)題中應(yīng)用廣泛。CNN結(jié)構(gòu)哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.1卷積神經(jīng)網(wǎng)絡(luò)卷積層(5.8)CNN的第一層通常是卷積層（ConvolutionalLayer），用它來(lái)進(jìn)行特征提取。1．卷積運(yùn)算（1）求點(diǎn)積（2）滑動(dòng)窗口（3）重復(fù)操作哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.1卷積神經(jīng)網(wǎng)絡(luò)卷積工作原理(5.8)過(guò)濾器與感受野想象有一束手電筒光正從圖像的左上角照過(guò)。假設(shè)手電筒光可以覆蓋5×5的區(qū)域，想象一下手電筒光照過(guò)輸入圖像的所有區(qū)域。在機(jī)器學(xué)習(xí)術(shù)語(yǔ)中，這束手電筒光被叫作過(guò)濾器［Filter，有時(shí)候也被稱為神經(jīng)元（Neuron）或卷積核（Kernel）］，被照過(guò)的區(qū)域被稱為感受野（ReceptiveField）。過(guò)濾器同樣也是一個(gè)數(shù)組（其中的數(shù)字被稱作權(quán)重或參數(shù)）。以過(guò)濾器所在的第一個(gè)位置為例，即圖像的左上角。當(dāng)篩選值在圖像上滑動(dòng)（卷積運(yùn)算）時(shí)，過(guò)濾器中的值會(huì)與圖像中的原始像素值相乘（又稱為計(jì)算點(diǎn)積）。這些乘積被加在一起（從數(shù)學(xué)上來(lái)說(shuō)，一共會(huì)有75個(gè)乘積）。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.1卷積神經(jīng)網(wǎng)絡(luò)步幅和填充(5.8)要改變每一層的行為，有兩個(gè)主要參數(shù)是可以調(diào)整的。選擇了過(guò)濾器的尺寸以后，還需要選擇步幅（Stride）和填充（Padding）。過(guò)濾器移動(dòng)的距離就是步幅。步幅的設(shè)置通常要確保輸出內(nèi)容是一個(gè)整數(shù)而非分?jǐn)?shù)。步幅為1步幅為2正常情況下，程序員如果想讓接受域重疊得更少并且想要更小的空間維度（spatialdimensions）時(shí)，他們會(huì)增加步幅。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.1卷積神經(jīng)網(wǎng)絡(luò)填充(5.8)在網(wǎng)絡(luò)的早期層中，我們想要盡可能多地保留原始輸入內(nèi)容的信息，這樣我們就能提取出那些低層的特征。比如說(shuō)我們想要應(yīng)用同樣的卷積層，但又想讓輸出量維持為32×32×3。為做到這點(diǎn)，我們可以對(duì)這個(gè)層應(yīng)用大小為2的零填充（zeropadding）。零填充在輸入內(nèi)容的邊界周圍補(bǔ)充零。如果用兩個(gè)零填充，得到36×36×3的輸入。如果你的步幅為1，而且把零填充設(shè)置為K是過(guò)濾器尺寸，那么輸入和輸出內(nèi)容就總能保持一致的空間維度。計(jì)算任意給定卷積層的輸出的大小的公式是其中O是輸出尺寸，K是過(guò)濾器尺寸，P是填充，S是步幅。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.1卷積神經(jīng)網(wǎng)絡(luò)池化層(5.8)為了描述大的圖像，一個(gè)很自然的想法就是對(duì)不同位置的特征進(jìn)行聚合統(tǒng)計(jì)，這些統(tǒng)計(jì)到的特征不僅具有低得多的維度（相比使用所有提取得到的特征），同時(shí)還會(huì)改善結(jié)果（不容易過(guò)擬合）。這種聚合的操作就叫作池化（pooling）。1）池化的原理和特性池化的作用是在語(yǔ)義上把相似的特征合并起來(lái)，從而達(dá)到降維目的。池化有4個(gè)重要特性：（1）池化沒(méi)有需要學(xué)習(xí)的參數(shù)。（2）池化運(yùn)算后圖像的高度和寬度被壓縮，但通道數(shù)不會(huì)改變。（3）降低了數(shù)據(jù)特征，擴(kuò)大了卷積核的感受野。（4）微小的位置變化具有魯棒性。2）池化的方法均值池化（averagepooling）最大池化（maxPooling）最大池化全連接層全連接層指每個(gè)神經(jīng)元與前一層所有的神經(jīng)元全部連接，

而卷積神經(jīng)網(wǎng)絡(luò)只和輸入數(shù)據(jù)中的一個(gè)局部區(qū)域連接，并且輸出的神經(jīng)元每個(gè)深度切片共享參數(shù)。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.2深度學(xué)習(xí)的基本框架(5.8)

深度學(xué)習(xí)（deeplearning）是機(jī)器學(xué)習(xí)的分支，是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的算法。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)研究方向，它是相對(duì)于淺層神經(jīng)網(wǎng)絡(luò)而言的。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)。深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)的研究。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)強(qiáng)調(diào)模型結(jié)構(gòu)的深度，與普通的單隱藏層神經(jīng)網(wǎng)絡(luò)的不同主要在于“深度”，“深度”指的是節(jié)點(diǎn)層的數(shù)量。也就是說(shuō)，深度神經(jīng)網(wǎng)絡(luò)擁有多個(gè)層，數(shù)據(jù)要通過(guò)這些層，進(jìn)行逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新的特征空間，“深度模型”是手段，“特征學(xué)習(xí)”是目的。與淺層學(xué)習(xí)相比，深度學(xué)習(xí)利用大數(shù)據(jù)學(xué)習(xí)特征，更能刻畫數(shù)據(jù)的豐富內(nèi)在信息。

深度學(xué)習(xí)是使用深層架構(gòu)的機(jī)器學(xué)習(xí)方法，研究者需要從中抽象出一種數(shù)學(xué)模型，即建立具有階層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，ANNs）。ANNs對(duì)輸入信息進(jìn)行逐層提取和篩選，利用反向傳播算法來(lái)指導(dǎo)機(jī)器修改內(nèi)部參數(shù)，使計(jì)算機(jī)在使用特征的同時(shí)，找到數(shù)據(jù)隱含在內(nèi)部的關(guān)系，學(xué)習(xí)如何提取特征。深度學(xué)習(xí)使學(xué)習(xí)到的特征更具有表達(dá)力，最終通過(guò)計(jì)算機(jī)實(shí)現(xiàn)人工智能。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.2深度學(xué)習(xí)的基本框架(5.8)深度學(xué)習(xí)框架目前主流的深度學(xué)習(xí)框架有

TensorFlow、Caffe、Theano、Keras、Torch等。這些深度學(xué)習(xí)框架被應(yīng)用于圖像處理、語(yǔ)音識(shí)別、目標(biāo)檢測(cè)與生物信息學(xué)等領(lǐng)域，并取得了很好的效果。Theano

Theano是一個(gè)Python庫(kù)，是第一個(gè)有較大影響力的Python深度學(xué)習(xí)框架。它可用于定義、優(yōu)化和計(jì)算數(shù)學(xué)表達(dá)式，特別是多維數(shù)組（numpy.ndarray）。

對(duì)需要將每一種不同的數(shù)學(xué)表達(dá)式都計(jì)算一遍的情況，Theano可以最小化編譯、解析的計(jì)算量，但仍然會(huì)給出如自動(dòng)微分那樣的符號(hào)特征。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.2深度學(xué)習(xí)的基本框架(5.8)Tensorflow與Theano相近的設(shè)計(jì)理念，都是基于計(jì)算圖實(shí)現(xiàn)自動(dòng)微分系統(tǒng)。TensorFlow編程接口支持Python和C++。TensorFlow由GoogleBrain團(tuán)隊(duì)的研究人員和工程師開(kāi)發(fā)，它是深度學(xué)習(xí)領(lǐng)域中最常用的軟件庫(kù)。制作TensorFlow有很多組件，其中比較突出的兩個(gè)是：①TensorBoard：使用數(shù)據(jù)流圖幫助實(shí)現(xiàn)有效的數(shù)據(jù)可視化；

②TensorFlow：用于快速部署新算法/實(shí)驗(yàn)。常見(jiàn)用例：（1）基于文本的應(yīng)用程序：語(yǔ)言檢測(cè)、文本摘要；（2）圖像識(shí)別：圖像字幕、人臉識(shí)別、物體檢測(cè)；（3）聲音識(shí)別；（4）時(shí)間序列分析；（5）視頻分析。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.2深度學(xué)習(xí)的基本框架(5.8)CaffeCaffe的全稱是ConvolutionalArchitectureforFastFeatureEmbedding。它是一個(gè)清晰、高效的深度學(xué)習(xí)框架，核心語(yǔ)言是C++。Caffe脫穎而出的是處理和學(xué)習(xí)圖像的速度，這很容易成為主要的USP（USP指的是UniqueSellingProposition，又稱創(chuàng)意理論）。Caffe的優(yōu)點(diǎn)是簡(jiǎn)潔快速，缺點(diǎn)是少靈活性。Caffe為C、C++、Python、Matlab等接口以及傳統(tǒng)的命令行提供了堅(jiān)實(shí)的支持。這些模型適用于以下任務(wù)：（1）簡(jiǎn)單回歸；（2）大規(guī)模的視覺(jué)分類；（3）用于圖像相似性的暹羅網(wǎng)絡(luò)（SiameseNetworks）；（4）語(yǔ)音和機(jī)器人應(yīng)用；哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.2深度學(xué)習(xí)的基本框架(5.8)TorchTorch是腳本語(yǔ)言Lua的擴(kuò)展庫(kù)，其目標(biāo)是為機(jī)器學(xué)習(xí)系統(tǒng)的設(shè)計(jì)和訓(xùn)練提供靈活的環(huán)境。Torch是一個(gè)獨(dú)立、完備的框架，高度便攜、跨平臺(tái)（如Windows、Mac、Linux和Android），且其腳本在各種平臺(tái)上運(yùn)行時(shí)無(wú)需經(jīng)過(guò)任何修改。PyTorch是Torch深度學(xué)習(xí)框架的一個(gè)端口，可用于構(gòu)建深度神經(jīng)網(wǎng)絡(luò)和執(zhí)行Tensor計(jì)算。你可以使用PyTorch處理各種深度學(xué)習(xí)挑戰(zhàn)，包括：（1）圖像（檢測(cè)、分類等）；（2）文本；

（3）強(qiáng)化學(xué)習(xí)。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)(5.8)循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是一類以序列（Sequence）數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸（Recursion）且所有節(jié)點(diǎn)（循環(huán)單元）按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)（RecursiveNeuralNetwork）。RNN概述RNN是近來(lái)使用較為廣泛的一種深度學(xué)習(xí)架構(gòu)，是時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)和結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)的總稱。RNN的基本思想將輸入的時(shí)序類型信息納入考慮，所有循環(huán)單元按鏈?zhǔn)竭B接，遞歸方向與演進(jìn)方向相同。RNN的參數(shù)在不同時(shí)刻也是共享的，RNN在模型的不同部分共享參數(shù)和其他前饋神經(jīng)網(wǎng)絡(luò)不同，RNN可以保存一種上下文的狀態(tài)RNN擅長(zhǎng)解決序列數(shù)據(jù)問(wèn)題RNN廣泛應(yīng)用在和序列有關(guān)的場(chǎng)景中，如一幀幀圖像組成的視頻、一個(gè)個(gè)片段組成的音頻和一個(gè)個(gè)詞匯組成的句子。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)(5.8)RNN的基本結(jié)構(gòu)傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型RNN模型RNN隱藏層的節(jié)點(diǎn)之間有連接，是主要用于對(duì)序列數(shù)據(jù)進(jìn)行分類、預(yù)測(cè)等處理的神經(jīng)網(wǎng)絡(luò)。RNN的輸入和輸出可以是不定長(zhǎng)且不等長(zhǎng)的，哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)(5.8)RNN的基本結(jié)構(gòu)傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型RNN模型RNN隱藏層的節(jié)點(diǎn)之間有連接，是主要用于對(duì)序列數(shù)據(jù)進(jìn)行分類、預(yù)測(cè)等處理的神經(jīng)網(wǎng)絡(luò)。RNN的輸入和輸出可以是不定長(zhǎng)且不等長(zhǎng)的，哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)(5.8)n-to-n結(jié)構(gòu)是最為經(jīng)典的RNN結(jié)構(gòu),輸入和輸出都是等長(zhǎng)的序列。RNN的四種網(wǎng)絡(luò)結(jié)構(gòu)one-to-none-to-one結(jié)構(gòu)one-to-n結(jié)構(gòu)one-to-n結(jié)構(gòu)輸入的是一個(gè)獨(dú)立數(shù)據(jù)，需要輸出一個(gè)序列數(shù)據(jù)，常見(jiàn)的任務(wù)類型有基于圖像生成文字描述，基于類別生成一段語(yǔ)言、文字描述。n-to-nn-to-n結(jié)構(gòu)哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)(5.8)RNN的四種網(wǎng)絡(luò)結(jié)構(gòu)h1的計(jì)算h2的計(jì)算h2、h3的計(jì)算h1的f變換哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的四種網(wǎng)絡(luò)結(jié)構(gòu)n-to-one結(jié)構(gòu)常見(jiàn)任務(wù)：文本情感分析、文本分類。n-to-one結(jié)構(gòu)n-to-m結(jié)構(gòu)n-to-m結(jié)構(gòu)輸入序列和輸出序列不等長(zhǎng)，也就是Encoder-Decoder

結(jié)構(gòu)哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)n-to-n結(jié)構(gòu)的RNN要求序列等長(zhǎng)，然而實(shí)際遇到的大部分問(wèn)題序列都是不等長(zhǎng)的Encoder-Decoder結(jié)構(gòu)先將輸入數(shù)據(jù)編碼成一個(gè)上下文語(yǔ)義向量c語(yǔ)義向量

c的輸出c

當(dāng)作每一步的輸入哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)（1）最大的局限性（2）語(yǔ)義向量c無(wú)法完全表達(dá)整個(gè)序列的信息；（3）先輸入的內(nèi)容攜帶的信息，會(huì)被后輸入的信息稀釋掉，或者被覆蓋掉；（4）輸入序列越長(zhǎng)，這樣的現(xiàn)象越嚴(yán)重，這樣使得在Decoder中解碼時(shí)一開(kāi)始就沒(méi)有獲得足夠的輸入序列信息，解碼效果會(huì)打折扣。Encoder-Decoder結(jié)構(gòu)也存在一定的缺點(diǎn)RNN具有環(huán)狀結(jié)構(gòu)，可以使信息得以維持。一個(gè)含有內(nèi)部環(huán)的RNN輸入為Xt，輸出為Ot的神經(jīng)網(wǎng)絡(luò)。圖中，x代表輸入層的輸入數(shù)據(jù)。s代表隱藏層結(jié)構(gòu)。U是輸入層到隱藏層的連接權(quán)重。O代表輸出層。V代表隱藏層神經(jīng)元與輸出層神經(jīng)元之間的連接權(quán)重。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的梯度爆炸和梯度消失問(wèn)題RNN中的隱藏層節(jié)點(diǎn)雖然可以記憶時(shí)序信息，但隨著輸入序列的遞增，遠(yuǎn)端序列的信息在傳遞過(guò)程中必然會(huì)有衰減，并導(dǎo)致信息丟失，同時(shí)在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，梯度也會(huì)隨著時(shí)序而逐漸消失，這種現(xiàn)象就是梯度消失或爆炸問(wèn)題。三段時(shí)間的序列RNN則RNN最簡(jiǎn)單的前向傳播過(guò)程如下：哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的梯度爆炸和梯度消失問(wèn)題現(xiàn)在假設(shè)時(shí)間序列只有三段：t1、t2、t3，只對(duì)t3時(shí)刻的Wx、Ws、Wo

求偏導(dǎo)（其他時(shí)刻類似）哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)激活函數(shù)tanhtanh和它的導(dǎo)數(shù)圖像想要解決梯度消失和梯度爆炸問(wèn)題可以使目前解決梯度消失和梯度爆炸問(wèn)題的主要方案如下：（1）避免使用極大值或極小值初始化網(wǎng)絡(luò)權(quán)重。（2）采用ReLu函數(shù)等激活函數(shù)替代sigmoid函數(shù)和tanh。（3）改進(jìn)RNN結(jié)構(gòu)，例如，長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)。梯度爆炸和梯度消失的原因是鏈?zhǔn)椒▌t求導(dǎo)導(dǎo)致梯度呈指數(shù)級(jí)衰減哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.4長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM概述長(zhǎng)短時(shí)間記憶網(wǎng)絡(luò)（LongShort-TermMemory,LSTM），是一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)（RNN），主要是為了解決長(zhǎng)序列訓(xùn)練過(guò)程中的梯度消失和梯度爆炸問(wèn)題。LSTM區(qū)別于RNN的地方，主要就在于它在算法中加入了一個(gè)判斷信息有用與否的“處理器”，這個(gè)處理器作用的結(jié)構(gòu)被稱為cell，LSTM的cell框圖哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.4長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM的基本結(jié)構(gòu)RNN中重復(fù)神經(jīng)網(wǎng)絡(luò)模塊LSTM中重復(fù)神經(jīng)網(wǎng)絡(luò)模塊哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.4長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM的變體coupled忘記門和輸入門peephole連接GatedRecurrentUnit（GRU）它增加了添加了窺視孔連接(peepholeconnection)，這意味著可以上門層查看cell狀態(tài)。它同時(shí)做出決定，只在輸入相同位置信息的時(shí)候遺忘當(dāng)前的信息。它將忘記門和輸入門合成了一個(gè)單一的更新門。同樣還混合了細(xì)胞狀態(tài)和隱藏狀態(tài)。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對(duì)抗網(wǎng)絡(luò)GAN概述GenerativeAdversarialNetworks

GAN的基本框架哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對(duì)抗網(wǎng)絡(luò)GAN概述GenerativeAdversarialNetworks

在當(dāng)前的人工智能熱潮下，GAN的提出滿足了許多領(lǐng)域的研究和應(yīng)用需求,同時(shí)為這些領(lǐng)域注入了新的發(fā)展動(dòng)力。GAN應(yīng)用領(lǐng)域GAN在圖像處理和計(jì)算機(jī)視覺(jué)方面應(yīng)用最為廣泛，例如圖像翻譯、圖像生成、圖像超分辨率、目標(biāo)檢測(cè)、視頻生成等領(lǐng)域的應(yīng)用。1.圖像2.序列GAN也逐漸被應(yīng)用于序列數(shù)據(jù)上，比如自然語(yǔ)言、音樂(lè)、語(yǔ)音、音頻等序列數(shù)據(jù)。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對(duì)抗網(wǎng)絡(luò)GAN概述GenerativeAdversarialNetworks

GAN的優(yōu)點(diǎn)主要有一下幾點(diǎn)：（1）GAN是一種生成式模型，相比較其他生成模型（玻爾茲曼機(jī)和GSNs）只用到了反向傳播，而不需要復(fù)雜的馬爾科夫鏈；（2）GAN可以產(chǎn)生更加清晰，真實(shí)的樣本；（3）GAN采用的是一種無(wú)監(jiān)督的學(xué)習(xí)方式訓(xùn)練，可以被廣泛用在無(wú)監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)領(lǐng)域；（4）相比于變分自編碼器，GANs沒(méi)有引入任何決定性偏置(deterministicbias)，變分方法引入決定性偏置，因?yàn)樗麄儍?yōu)化對(duì)數(shù)似然的下界，而不是似然度本身，這看起來(lái)導(dǎo)致了VAEs生成的實(shí)例比GANs更模糊（5）相比VAE，GANs沒(méi)有變分下界，如果鑒別器訓(xùn)練良好，那么生成器可以完美的學(xué)習(xí)到訓(xùn)練樣本的分布。換句話說(shuō)，GANs是漸進(jìn)一致的，但是VAE是有偏差的（6）GAN應(yīng)用到一些場(chǎng)景上，比如圖片風(fēng)格遷移，超分辨率，圖像補(bǔ)全，去噪，避免了損失函數(shù)設(shè)計(jì)的困難。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對(duì)抗網(wǎng)絡(luò)GAN概述GenerativeAdversarialNetworks

GAN的缺點(diǎn)主要有一下幾點(diǎn)：（1）訓(xùn)練GAN需要達(dá)到納什均衡，還沒(méi)有找到很好的達(dá)到納什均衡的方法，所以訓(xùn)練GAN相比VAE或者PixelRNN是不穩(wěn)定的；（2）GAN不適合處理離散形式的數(shù)據(jù)，比如文本；（3）GAN存在訓(xùn)練不穩(wěn)定、梯度消失、模式崩潰的問(wèn)題。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對(duì)抗網(wǎng)絡(luò)GAN網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)圖D的輸入數(shù)據(jù)是真實(shí)樣本xG輸入數(shù)據(jù)是隨機(jī)噪聲zG(z)代表判別器生成的盡可能逼近真實(shí)數(shù)據(jù)分布的樣本D的目標(biāo)是判別出輸入數(shù)據(jù)的真假G的目標(biāo)是使自己生成的假樣本GAN的目標(biāo)函數(shù)：哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對(duì)抗網(wǎng)絡(luò)GAN網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練訓(xùn)練過(guò)程圖G的訓(xùn)練是希望趨近于1，也就是正類，這樣G的loss就會(huì)最小。而D的訓(xùn)練就是一個(gè)2分類，目標(biāo)是分清楚真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，也就是希望真實(shí)數(shù)據(jù)的D輸出趨近于1，而生成數(shù)據(jù)的輸出即趨近于0，或是負(fù)類。這里就是體現(xiàn)了對(duì)抗的思想。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformationGAN的變體DCGAN（DeepConvolutionalGenerativeAdversarialNetworks）：它是在GAN的基礎(chǔ)上增加深度卷積網(wǎng)絡(luò)結(jié)構(gòu)，專門生成圖像樣本。DCGAN中的D、G的含義以及損失都和原始GAN中完全一致，但是它在D和G中采用了較為特殊的結(jié)構(gòu)，以便對(duì)圖片進(jìn)行高效建模。對(duì)于判別器D，它的輸入是一張圖像，輸出是這張圖像為真實(shí)圖像的概率。在DCGAN中，判別器D的結(jié)構(gòu)是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，輸入的圖像經(jīng)過(guò)若干層卷積后得到一個(gè)卷積特征，將得到的特征送入Logistic函數(shù)，輸出可以看作是概率。7.5生成對(duì)抗網(wǎng)絡(luò)哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對(duì)抗網(wǎng)絡(luò)DCGAN中生成器G的網(wǎng)絡(luò)結(jié)構(gòu)G、D還有其他的實(shí)現(xiàn)細(xì)節(jié)：（1）不采用任何池化層，在判別器D中，用帶有步長(zhǎng)的卷積來(lái)代替池化層；（2）在G、D中均使用BatchNormalization幫助模型收斂；（3）在D中，激活函數(shù)都使用LeakyReLU作為激活函數(shù)；（5）G網(wǎng)絡(luò)中使用ReLU作為激活函數(shù)，最后一層使用tanh。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對(duì)抗網(wǎng)絡(luò)GAN的變體ConditionalGAN：因?yàn)樵嫉腉AN過(guò)于自由，訓(xùn)練會(huì)很容易失去方向，從而導(dǎo)致不穩(wěn)定又效果差。而ConditionalGAN就是在原來(lái)的GAN模型中加入一些先驗(yàn)條件，使得GAN變得更加的可控制。(5.8)ConditionalGAN整體架構(gòu)ConditionalGAN的目標(biāo)函數(shù)：相比原始GAN，就是多了把噪聲z和條件y作為輸入同時(shí)送進(jìn)生成器，把數(shù)據(jù)x和條件y作為輸入同時(shí)送進(jìn)判別器，這樣在外加限制條件的情況下生成圖片。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對(duì)抗網(wǎng)絡(luò)GAN的變體ACGAN(AuxiliaryClassifierGAN）：在GAN的基礎(chǔ)上，把類別標(biāo)簽同時(shí)輸入給生成器和判別器，由此不僅可以在生成圖像樣本時(shí)生成指定類別的圖像，同時(shí)該類別標(biāo)簽也能幫助判別器擴(kuò)展損失函數(shù)，提升整個(gè)對(duì)抗網(wǎng)絡(luò)的性能。(5.8)ACGAN的整體架構(gòu)（1）通過(guò)在判別器D的輸出部分添加具有一個(gè)輔助功能的分類器，進(jìn)而提高ConditionalGAN的性能。（2）利用InceptionAccuracy標(biāo)準(zhǔn)評(píng)判圖像合成模型性能。（3）引進(jìn)MS-SSIM判斷模型生成圖片的多樣性。對(duì)GAN的改進(jìn)具有三點(diǎn)重要意義：哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)遷移學(xué)習(xí)的定義及研究目標(biāo)(5.8)遷移學(xué)習(xí)，是指利用數(shù)據(jù)、任務(wù)、或模型之間的相似性，將在舊領(lǐng)域?qū)W習(xí)過(guò)的模型，應(yīng)用于新領(lǐng)域的一種學(xué)習(xí)過(guò)程。

(a)傳統(tǒng)的機(jī)器學(xué)習(xí)(b)多任務(wù)學(xué)習(xí)(c)遷移學(xué)習(xí)右圖直觀地展示了傳統(tǒng)的機(jī)器學(xué)習(xí)、多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)的進(jìn)程。從中我們可以清楚地看出傳統(tǒng)的機(jī)器學(xué)習(xí)是從同一領(lǐng)域中學(xué)習(xí)模型的過(guò)程，多任務(wù)學(xué)習(xí)是多個(gè)不同領(lǐng)域互相學(xué)習(xí)的過(guò)程，遷移學(xué)習(xí)則是從一個(gè)或多個(gè)領(lǐng)域中學(xué)習(xí)目標(biāo)領(lǐng)域模型的過(guò)程。傳統(tǒng)的機(jī)器學(xué)習(xí)與遷移學(xué)習(xí)和多任務(wù)學(xué)習(xí)的區(qū)別主要在于學(xué)習(xí)知識(shí)的來(lái)源是否與目標(biāo)領(lǐng)域是同一領(lǐng)域；多任務(wù)學(xué)習(xí)與遷移學(xué)習(xí)的區(qū)別則主要在于學(xué)習(xí)知識(shí)的方向是否指向同一目標(biāo)。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)遷移學(xué)習(xí)主要解決的是以下兩個(gè)問(wèn)題:在遷移學(xué)習(xí)中，我們有以下三個(gè)主要研究問(wèn)題有三個(gè)：①遷移什么，②如何遷移，③何時(shí)遷移。遷移學(xué)習(xí)的定義及研究目標(biāo)1）解決小數(shù)據(jù)問(wèn)題。傳統(tǒng)機(jī)器學(xué)習(xí)存在一個(gè)嚴(yán)重弊端：假設(shè)訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)服從相同的數(shù)據(jù)分布(但許多情況并不滿足這種假設(shè)，通常需要眾包來(lái)重新標(biāo)注大量數(shù)據(jù)以滿足訓(xùn)練要求，有時(shí)還會(huì)造成數(shù)據(jù)的浪費(fèi))。當(dāng)訓(xùn)練數(shù)據(jù)過(guò)少時(shí)，經(jīng)典監(jiān)督學(xué)習(xí)會(huì)出現(xiàn)嚴(yán)重過(guò)擬合問(wèn)題，而遷移學(xué)習(xí)可從源域的小數(shù)據(jù)中抽取并遷移知識(shí)，用來(lái)完成新的學(xué)習(xí)任務(wù)。2）解決個(gè)性化問(wèn)題。當(dāng)需要專注于某個(gè)目標(biāo)領(lǐng)域時(shí)，源領(lǐng)域范圍太廣卻不夠具體．例如專注于農(nóng)作物識(shí)別時(shí)，源領(lǐng)域ImageNet太廣而不適用，利用遷移學(xué)習(xí)可以將ImageNet上的預(yù)訓(xùn)練模型特征遷移到目標(biāo)域，實(shí)現(xiàn)個(gè)性化。遷移學(xué)習(xí)存在兩個(gè)重要的根本難題需要解決：①如何避免負(fù)遷移問(wèn)題，②研究原始領(lǐng)域與目標(biāo)領(lǐng)域或任務(wù)之間的可遷移度（transferability）。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)遷移學(xué)習(xí)中的基本概念(5.8)定義1定義2“領(lǐng)域”(D)包含兩個(gè)部分：特征空間x和邊緣概率分布P(X)，其中

。故領(lǐng)域D可表示為D={x,P(X)}。

“任務(wù)”(T)：對(duì)給定一個(gè)領(lǐng)域D={x,P(X)}而言，它也包含兩個(gè)部分：類別空問(wèn)y和目標(biāo)預(yù)測(cè)函數(shù)h(.)。其中可以用來(lái)預(yù)測(cè)實(shí)例的類別標(biāo)記，也可以寫成概率的形式。故可將任務(wù)T表示為。定義3對(duì)給定領(lǐng)域D={x,P(X)}和任務(wù),則該領(lǐng)域可用數(shù)據(jù)集將其表示成為：。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)遷移學(xué)習(xí)中的基本概念(5.8)定義4遷移學(xué)習(xí)(transferlearning)給定原始領(lǐng)域D={x,P(X)}和學(xué)習(xí)任務(wù)，目標(biāo)領(lǐng)域和學(xué)習(xí)任務(wù)，遷移學(xué)習(xí)的目的是通過(guò)利用和中的知識(shí)，來(lái)加強(qiáng)的目標(biāo)預(yù)測(cè)函數(shù)的學(xué)習(xí)。其中，或者。定義5歸納遷移學(xué)習(xí)(inductivetransferlearning)給定原始領(lǐng)域和學(xué)習(xí)任務(wù)、目標(biāo)領(lǐng)域和學(xué)習(xí)任務(wù)，歸納遷移學(xué)習(xí)的目的是通過(guò)利用和中的知識(shí)，來(lái)增強(qiáng)的目標(biāo)預(yù)測(cè)函數(shù)的學(xué)習(xí)。其中。定義6直推遷移學(xué)習(xí)（transductivetransferlearning）給定原始領(lǐng)域和學(xué)習(xí)任務(wù)、目標(biāo)領(lǐng)域和學(xué)習(xí)任務(wù)，歸納遷移學(xué)習(xí)的目的是通過(guò)利用和中的知識(shí)，來(lái)增強(qiáng)的目標(biāo)預(yù)測(cè)函數(shù)的學(xué)習(xí)。其中且。此外，在訓(xùn)練過(guò)程中，一些目標(biāo)領(lǐng)域未標(biāo)記數(shù)據(jù)必須是可利用的。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)遷移學(xué)習(xí)中的基本概念(5.8)定義7無(wú)監(jiān)督遷移學(xué)習(xí)(unsupervisedtransferlearning)給定原始領(lǐng)域和學(xué)習(xí)任務(wù)、目標(biāo)領(lǐng)域和相應(yīng)學(xué)習(xí)任務(wù)，無(wú)監(jiān)督遷移學(xué)習(xí)目的是通過(guò)利用和中的知識(shí),來(lái)增強(qiáng)的目標(biāo)預(yù)測(cè)函數(shù)的學(xué)習(xí)。其中且，是不可見(jiàn)的。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)遷移學(xué)習(xí)的分類(5.8)傳統(tǒng)機(jī)器學(xué)習(xí)與遷移學(xué)習(xí)各個(gè)分支之間的關(guān)系同時(shí)可將遷移學(xué)習(xí)進(jìn)一步細(xì)分為三個(gè)分支：歸納遷移學(xué)習(xí)、無(wú)監(jiān)督遷移學(xué)習(xí)、直推遷移學(xué)習(xí)。歸納遷移學(xué)習(xí)類似于自學(xué)習(xí)。在自學(xué)習(xí)背景下，原始領(lǐng)域和目標(biāo)領(lǐng)域的類別空間可能不同，這意味著原始領(lǐng)域的信息可能不能夠直接加以利用，故它與歸納遷移學(xué)習(xí)中原始領(lǐng)域標(biāo)記數(shù)據(jù)不可用的情況類似。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)遷移學(xué)習(xí)的分類(5.8)在歸納遷移學(xué)習(xí)中，目標(biāo)任務(wù)不同于原始任務(wù)，但原始領(lǐng)域和目標(biāo)領(lǐng)域可以相同也可不同。此時(shí)，需要目標(biāo)領(lǐng)域的部分標(biāo)記數(shù)據(jù)來(lái)“歸納”出目標(biāo)領(lǐng)域的目標(biāo)預(yù)測(cè)模型。根據(jù)原始領(lǐng)域中有無(wú)標(biāo)記數(shù)據(jù)，可進(jìn)一步將歸納遷移學(xué)習(xí)分為以下兩種情況：原始領(lǐng)域有大量標(biāo)記數(shù)據(jù)可供利用原始領(lǐng)域沒(méi)有標(biāo)記數(shù)據(jù)可供利用在這種情況下，歸納遷移學(xué)習(xí)背景類似于多任務(wù)學(xué)習(xí)背景。不同的是，歸納遷移學(xué)習(xí)從原始任務(wù)中遷移知識(shí)僅為了獲得高性能的目標(biāo)任務(wù)，而多任務(wù)則是試圖同時(shí)學(xué)習(xí)目標(biāo)和原始任務(wù)。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)遷移學(xué)習(xí)的分類在直推遷移學(xué)習(xí)中,原始任務(wù)和目標(biāo)任務(wù)是相同的，但兩個(gè)領(lǐng)域卻不相同。此時(shí)，目標(biāo)領(lǐng)域無(wú)標(biāo)記數(shù)據(jù)可供利用而原始領(lǐng)域中有大量標(biāo)記數(shù)據(jù)可供利用。根據(jù)原始領(lǐng)域和目標(biāo)領(lǐng)域的不同情況，可以進(jìn)一步將直推遷移學(xué)習(xí)分成以下兩種情況：（1）原始領(lǐng)域和目標(biāo)領(lǐng)域的特征空間不同，即；（2）原始領(lǐng)域和目標(biāo)領(lǐng)域的特征空間相同，但輸入數(shù)據(jù)的邊緣分布概率不同，即但，這種情況與文本分類、樣本選擇偏差或者協(xié)方差轉(zhuǎn)換中知識(shí)遷移的領(lǐng)域適應(yīng)問(wèn)題相關(guān)，因?yàn)樗鼈兊募僭O(shè)是相似的。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)遷移學(xué)習(xí)的分類在無(wú)監(jiān)督遷移學(xué)習(xí)中，目標(biāo)任務(wù)與原始任務(wù)不同但相關(guān)，其他方面與歸納遷移學(xué)習(xí)相同。不過(guò)，無(wú)監(jiān)督遷移學(xué)習(xí)主要解決目標(biāo)領(lǐng)域的無(wú)監(jiān)督學(xué)習(xí)任務(wù)，如聚類、維數(shù)約減、密度評(píng)估等。在這種情況下，原始領(lǐng)域和目標(biāo)領(lǐng)域在訓(xùn)練時(shí)均無(wú)標(biāo)記數(shù)據(jù)可供利用。不同遷移學(xué)習(xí)與相關(guān)領(lǐng)域的關(guān)系如下表所示：遷移學(xué)習(xí)的分類與相關(guān)領(lǐng)域哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)根據(jù)遷移學(xué)習(xí)過(guò)程中從源領(lǐng)域遷移到目標(biāo)領(lǐng)域的具體內(nèi)容劃分，還可以把遷移學(xué)習(xí)方法劃分為四種：遷移學(xué)習(xí)的分類實(shí)例遷移學(xué)習(xí)方法特征遷移學(xué)習(xí)方法參數(shù)遷移學(xué)習(xí)方法關(guān)系遷移學(xué)習(xí)方法哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)遷移學(xué)習(xí)的分類實(shí)例遷移學(xué)習(xí)方法：實(shí)例遷移法(instancetransfer)的主要思想是根據(jù)某個(gè)相似度匹配原則從源域數(shù)據(jù)集中挑選出和目標(biāo)域數(shù)據(jù)相似度比較高的實(shí)例，并把這些實(shí)例遷移到目標(biāo)域中幫助目標(biāo)域模型的學(xué)習(xí)，從而解決目標(biāo)域中有標(biāo)簽樣本不足或無(wú)標(biāo)簽樣本的學(xué)習(xí)問(wèn)題。特征遷移學(xué)習(xí)方法：特征遷移法(featurerepresentationtransfer)主要是在源域和目標(biāo)域之間尋找典型特征代表來(lái)進(jìn)一步弱化兩個(gè)域之間的差異從而實(shí)現(xiàn)知識(shí)的跨領(lǐng)域遷移和復(fù)用。該遷移方法根據(jù)是否在原有特征中進(jìn)行選擇進(jìn)一步的又可分為特征選擇遷移學(xué)習(xí)方法和特征映射遷移學(xué)習(xí)方法。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)遷移學(xué)習(xí)的分類關(guān)系遷移學(xué)習(xí)方法：關(guān)系遷移學(xué)習(xí)方法假定源領(lǐng)域數(shù)據(jù)之間的關(guān)系和目標(biāo)領(lǐng)域數(shù)據(jù)之間的關(guān)系存在一定的相關(guān)性，通過(guò)建立源領(lǐng)域數(shù)據(jù)的關(guān)系模型與目標(biāo)領(lǐng)域數(shù)據(jù)的關(guān)系模型的映射模型來(lái)實(shí)現(xiàn)關(guān)系知識(shí)的遷移?；诙A馬爾可夫邏輯形式的關(guān)系遷移學(xué)習(xí)方法基于二階馬爾可夫邏輯形式參數(shù)遷移學(xué)習(xí)方法：在參數(shù)遷移法(parametertransfer)中，源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)可以通過(guò)某些函數(shù)表示，而這些函數(shù)之間存在某些共同的參數(shù)。參數(shù)遷移法就是尋找源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間可以共享的參數(shù)信息從而可以把已獲得的參數(shù)知識(shí)遷移。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習(xí)遷移學(xué)習(xí)的應(yīng)用領(lǐng)域自然語(yǔ)言處理：遷移學(xué)習(xí)應(yīng)用于自然語(yǔ)言處理的原因是自然語(yǔ)言領(lǐng)域標(biāo)注和內(nèi)容數(shù)據(jù)稀缺，可以利用源域（例如英語(yǔ)）中標(biāo)注的樣本集來(lái)對(duì)目標(biāo)域(例如法語(yǔ))