《人工智能技術基礎》思考與練習題答案 王科俊 -第1-6章

思考與練習題答案第1章什么是人工智能？試從學科和能力兩方面加以考慮。答：人工智能是研究用計算機對人類的智能進行模擬和擴展的一門技術科學，其目的是讓機器能用與人類相似的智能對信息進行處理和加工。在人工智能的發(fā)展過程中，有哪些思想起了重要作用？答：（1）模擬人的邏輯思維能力，（2）模擬人的大腦結構，（3）模擬人的行為能力。人工智能研究包括哪些內容？這些內容的重要性如何？答：（1）人工神經(jīng)網(wǎng)絡，簡單模擬生物神經(jīng)網(wǎng)絡，構造人工智能模型的基礎；（2）知識圖譜，用圖模型表示知識、實現(xiàn)知識推理的技術，是構建邏輯思維的基礎結構；（3）圖神經(jīng)網(wǎng)絡，圖和神經(jīng)網(wǎng)絡相結合的產物，融合形象思維和邏輯思維的橋梁；（4）機器學習方法，確定模型參數(shù)的方法，實現(xiàn)模型優(yōu)化的核心技術。第2章什么是神經(jīng)網(wǎng)絡？請寫出神經(jīng)網(wǎng)絡的基本結構。答：人工神經(jīng)網(wǎng)絡是由大量人工神經(jīng)元按一定規(guī)則連接構建成的網(wǎng)絡結構，是一種模仿生物神經(jīng)網(wǎng)絡行為特征具有分布式并行信息處理能力的數(shù)學模型。人工神經(jīng)網(wǎng)絡有三種基本結構：（1）前饋型網(wǎng)絡：單向多層網(wǎng)絡結構，其中每一層包含若干個人工神經(jīng)元，同一層的人工神經(jīng)元之間沒有互相連接，層間信息的傳送只沿一個方向進行。（2）反饋型網(wǎng)絡：網(wǎng)絡中的人工神經(jīng)元不僅可以接受其它人工神經(jīng)元的信號，同時也將自身的輸出信號作為輸入信號。（3）自組織神經(jīng)網(wǎng)絡：通過自動尋找輸入信息中的內在規(guī)律和本質屬性，自組織、自適應地改變網(wǎng)絡參數(shù)與結構的人工神經(jīng)網(wǎng)絡。自組織網(wǎng)絡中的節(jié)點與其鄰域內其他節(jié)點廣泛相連，并互相激勵，具備自主學習能力。計算ReLU函數(shù)的導數(shù)，說明ReLU函數(shù)的死亡問題。答：ReLU函數(shù)在x取值為負的情況下，函數(shù)輸出值為0，在其它情況下為線性函數(shù)，因此，其導數(shù)僅在X為正時存在等于1。但由于ReLU函數(shù)使得所有小于0的輸入信號都等于0，這使得更新參數(shù)之后，會出現(xiàn)參數(shù)無法繼續(xù)更新的情況，即存在ReLU函數(shù)死亡問題。編寫計算機程序，分別使用梯度下降法，隨機梯度下降法比較試驗結果。答：可以自己選擇任意可微函數(shù)，使用任何計算機語言，例如Mtalab，Python，編程實現(xiàn)兩種梯度下降法，對比實驗結果。為什么使用反向傳播算法進行參數(shù)更新時，不直接初始化為0？答：由于反向傳播算法是基于梯度下降的遞推優(yōu)化算法，梯度與參數(shù)直接相關，如果將參數(shù)初始化為零，那么將導致梯度為零，進而使參數(shù)無法更新，因此參數(shù)不能直接初始化為0。試述反向傳播的基本學習算法。答：反向傳播算法包含兩個過程，輸入信息沿著神經(jīng)網(wǎng)絡從前向后正向傳播，計算損失函數(shù)；然后利用損失函數(shù)計算廣義誤差并從神經(jīng)網(wǎng)絡從后向前反向傳播，進而利用廣義誤差進行神經(jīng)網(wǎng)絡參數(shù)更新。編寫計算機程序，用動量法實現(xiàn)兩層神經(jīng)網(wǎng)絡對MNIST手寫數(shù)據(jù)集的識別。答：可以使用任何計算機語言，例如Mtalab，Python，編程實現(xiàn)。注意這里的兩層神經(jīng)網(wǎng)絡指的是含有一個隱層的前向神經(jīng)網(wǎng)絡。第3章什么是卷積操作？說明步長、填充分別指的是什么。答：利用卷積核對輸入圖像做卷積運算，以檢測輸入圖片的局部特征。步長即卷積核在原始圖片上做卷積時每次滑動的像素點。填充指對輸入特征圖進行邊界填充，保證卷積運算后得到需要大小的特征圖。什么是池化操作？說明池化操作的種類和作用有哪些。答：池化操作用于改變的是圖像的尺寸，最大值池化提取池化區(qū)域的最有效特征，平均池化提取池化區(qū)域的平均特征。步長指池化操作的特征圖上的滑動距離。填充用于上采樣（反向池化）在相應區(qū)域填零。試述LeNet-5、Alex-Net、VGG-Net的網(wǎng)絡結構。答：參照書中給出的網(wǎng)絡結構圖進行描述。試述Inception、ResNet、SE-Net相對于VGG-Net的異同點。答：參照書中給出的網(wǎng)絡結構圖進行描述。試用編程實現(xiàn)Inception、ResNet、SE-ResNet等網(wǎng)絡模型，并對比分析實驗結果。答：可以使用任何計算機語言，例如Mtalab，Python，在相應的環(huán)境下編程實現(xiàn)。第4章什么是循環(huán)神經(jīng)網(wǎng)絡？為什么要使用循環(huán)神經(jīng)網(wǎng)絡？簡要說明其原理。答：循環(huán)神經(jīng)網(wǎng)絡（RecurrentNeuralNetwork，RNN）是一類處理序列數(shù)據(jù)的人工神經(jīng)網(wǎng)絡。相較于卷積神經(jīng)網(wǎng)絡關注的是數(shù)據(jù)中的局部特征，循環(huán)神經(jīng)網(wǎng)絡關注的是序列數(shù)據(jù)中按照序列順序的前后依賴關系。它將先前數(shù)據(jù)的計算結果與之后的數(shù)據(jù)一同計算產生新的結果，如此循環(huán)往復。正是因為循環(huán)網(wǎng)絡對于不同時間步的數(shù)據(jù)不是同時計算的，因而可以處理可變長度的序列數(shù)據(jù)，大大擴大了應用范圍。2.對于一個單層且時間步為3的循環(huán)神經(jīng)網(wǎng)絡，請寫出進行第一次前向傳播的過程。答：單層RNN的網(wǎng)絡方程如下，對于t時刻：h(t)其中φ為激活函數(shù)，一般來說會選擇tanh函數(shù)，b為偏置；x(t)輸出層輸出為：y(t)其中φ為激活函數(shù)，通常RNN用于分類任務，故這里一般用Softmax函數(shù)。第一次前向傳播過程如下：由于初始時刻，h(故第一次前向傳播隱層輸出為：h輸出層輸出為：y3.請思考對于詩歌等文本生成任務可以采用哪種網(wǎng)絡結構，并簡述訓練流程。答：由于詩歌等文本生成問題均需對輸入的作詩的要求進行理解，而這些要求是有前后順序的序列數(shù)據(jù)，因此必須采用有處理序列數(shù)據(jù)能力的RNN或Transformer為基礎的網(wǎng)絡結構。這類網(wǎng)絡結構的訓練同樣采用有教師的誤差方向傳播算法進行，其訓練流程包括正向傳播輸入數(shù)據(jù)，反向傳播廣義誤差，進而實現(xiàn)網(wǎng)絡權值的更新三個過程。4.簡述循環(huán)神經(jīng)網(wǎng)絡前向傳播和反向傳播的過程。答：由于循環(huán)神經(jīng)網(wǎng)絡可以按時間展開成前向神經(jīng)網(wǎng)絡，因此它也可以使用誤差反向傳播算法進行訓練，也包含前向傳播和反向傳播兩個過程，需要注意的是RNN中的權僅包含輸入權、反饋權和輸出權三種，且在層之間是不變的。前向傳播的過程是從輸入層開始，通過網(wǎng)絡的每一層，直到輸出層（這里的層是按時間展開的RNN的層）。在前向傳播過程中，輸入數(shù)據(jù)通過網(wǎng)絡的每一層進行計算，最終得到輸出結果。這個過程是計算網(wǎng)絡對輸入數(shù)據(jù)的預測結果。反向傳播的過程是在前向傳播的基礎上進行的。在反向傳播過程中，首先計算損失函數(shù)對輸出結果的梯度，然后將這個梯度通過網(wǎng)絡的每一層反向傳播回輸入層。這個過程是計算網(wǎng)絡參數(shù)的更新量，以使得網(wǎng)絡的預測結果更加接近于真實結果。在前向傳播和反向傳播的過程中，需要注意權重的更新和梯度的計算。權重的更新是根據(jù)梯度的方向和大小進行的，而梯度的計算是根據(jù)損失函數(shù)對輸出結果的偏導數(shù)進行的。因此，在進行反向傳播時，需要計算損失函數(shù)對輸出結果的偏導數(shù)，然后通過鏈式法則計算每一層神經(jīng)元的梯度，最后根據(jù)梯度更新每一層的權重。通過前向傳播和反向傳播的反復迭代，網(wǎng)絡的權重會不斷更新，使得網(wǎng)絡的預測結果更加接近于真實結果。最終，當網(wǎng)絡的損失函數(shù)達到一個較小的值或者不再明顯下降時，可以認為網(wǎng)絡已經(jīng)訓練好了。5.簡述什么是“梯度消失”和“梯度爆炸”，如何處理循環(huán)神經(jīng)網(wǎng)絡中出現(xiàn)的“梯度消失”和“梯度爆炸”問題？答：在神經(jīng)網(wǎng)絡的訓練過程中廣義誤差趨于零的現(xiàn)象稱“梯度消失”，趨于無窮則稱為“梯度爆炸”。在循環(huán)神經(jīng)網(wǎng)絡中可以采用ReLU函數(shù)作為神經(jīng)元的的激活函數(shù)解決“梯度消失”問題，但ReLU函數(shù)的導數(shù)在其輸入大于零時恒為1這又會導致“梯度爆炸”現(xiàn)象出現(xiàn)，這可以設置廣義誤差的最大值或采用逐層正則化（按時間步展開的虛擬層）來解決。簡述LSTM網(wǎng)絡的結構原理。答：LSTM是RNN的改進，通過增加隱層細胞狀態(tài)變量和門控機制提高網(wǎng)絡隱層的存儲容量，精妙的門控制將隱層的狀態(tài)信息（可以看做長期記憶）和當前時刻的輸入信息（可以看作短期記憶）結合起來，有效地提高了網(wǎng)絡解決復雜問題的能力。LSTM網(wǎng)絡結構中，遺忘門控制隱層狀態(tài)的遺忘程度，輸入門控制網(wǎng)絡輸入對隱層狀態(tài)影響，輸出門控制隱層狀態(tài)對隱層輸出的影響。細胞狀態(tài)和三個門使網(wǎng)絡增加了6個權值矩陣，大大擴展了RNN的存儲能力。簡述LSTM網(wǎng)絡與GRU網(wǎng)絡的區(qū)別。答：LSTM網(wǎng)絡的隱層有細胞狀態(tài)變量和隱層輸出，需要6個方程描述其工作過程。GRU將LSTM的細胞狀態(tài)與隱層輸出合并，僅需4個方程描述其工作過程。由于GRU沒有細胞狀態(tài)，其記憶能力比LSTM有所下降（權矩陣少了2個）。第5章什么是注意力機制？簡要說明其原理和工作過程。答：注意力機制（AttentionMechanism）是人類所特有的大腦信號處理機制。例如，人類視覺通過快速掃描全局圖像，獲得需要重點關注的目標區(qū)域，也就是一般所說的注意力焦點，而后對這一區(qū)域投入更多注意力資源，獲取更多所需要關注目標的細節(jié)信息，抑制其他無用信息，人類的聽覺也具有同樣的功能。深度神經(jīng)網(wǎng)絡中采用的注意力機制從本質上講和人類的選擇性視覺、聽覺注意力機制類似，其核心目的也是從眾多信息中選擇出對當前任務更關鍵的信息，降低對其它信息的關注度，提高任務處理的效率和準確性。深度神經(jīng)網(wǎng)絡中使用的注意力機制有兩類：硬注意力(HardAttention)軟注意力(SoftAttention)。硬注意力機制的原理和工作過程是通過技術手段（例如，檢測和分割）選擇輸入中特定位置上的信息（例如，人的身體，人臉等），屏蔽掉其它信息，進利用選定的信息完成特定的任務。通常硬注意力的操作是不可微的，很難在深度神經(jīng)網(wǎng)絡中通過訓練來得到，因此實際應用并不多。軟注意力機制不同于硬注意力它不是從N個信息中只選擇某幾個，而是計算N個信息的加權平均。其原理和工作過程是首先對輸入信息做非線性變換作為相似度或計算詢問信息（來自于輸出或輸入）與輸入的相似度，然后將相似度做歸一化處理作為加權值，最后對輸入信息做加權處理作為注意力輸出。軟注意力是可微的，可以通過神經(jīng)網(wǎng)絡算出梯度并且利用前向傳播和反向傳播來學習得到注意力的權重。軟注意力是確定性的注意力，訓練完成后直接可以通過網(wǎng)絡生成。軟注意力還可以細分為通道注意力、空間注意力、時間注意力；自注意力和互注意力等。請說明為什么在卷積神經(jīng)網(wǎng)絡中要應用通道注意力和空間注意力。答：在卷積神經(jīng)網(wǎng)絡中，特征圖代表了原始圖像數(shù)據(jù)的特征，在同一層中，不同的特征圖代表了不同的屬性。顯然，不同屬性對于卷積神經(jīng)網(wǎng)絡要完成的工作貢獻程度不同，應該給予不同的重視程度。因此要在卷積神經(jīng)網(wǎng)絡中應用通道注意力以反映對通道重視程度。卷積神經(jīng)網(wǎng)絡處理圖像數(shù)據(jù)中的每個像素對于所要完成的任務重要性不完全相同，同樣，隱層中特征圖中每個像素對所完成任務的重要性也不相同。因此給特征圖的每一個像素加權有利于提高卷積神經(jīng)網(wǎng)絡的性能，而這種加權是由空間注意力完成的，因此在卷積網(wǎng)絡中也要應用空間注意力。自注意力的查詢量來自何處？能夠解決什么問題？答：來自輸入自身，能夠建立輸入序列的長程關系，解決輸入序列的信息相關性難以建立的問題。在深度神經(jīng)網(wǎng)絡中應用自注意力機制能夠有效提高深度神經(jīng)網(wǎng)絡的性能。說明自注意力模塊不易獨立使用的原因。答：自注意力機制僅是通過尋找輸入量或輸入序列內部相關性給輸入加權的一種方法，不能實現(xiàn)神經(jīng)網(wǎng)絡的非線性變換功能，因此不能將自注意力機制作為深度神經(jīng)網(wǎng)絡使用。自注意力機制與RNN有什么區(qū)別？答：（1）自注意力是前向線性單層網(wǎng)絡，不能表示非線性映射關系，但能夠建立任何長度輸入長程關系，將它與某種前向神經(jīng)網(wǎng)絡結合，對于處理長程依賴關系的問題會有更好效果；RNN是反饋網(wǎng)絡，由于激活函數(shù)的特性，訓練時會出現(xiàn)梯度消失和梯度爆炸問題，難以建立輸入數(shù)據(jù)的長程關系，所以RNN在處理涉及長程依賴關系的問題時效果不佳。（2）自注意力機制可以并行實現(xiàn)，且可以采用二階矩陣相乘提高處理速度；RNN只能按數(shù)據(jù)的輸入順序串行計算，無法并行實現(xiàn)，計算效率相對低下；雙向RNN由于存在正反兩個方向的串行計算，效率更低。（3）實現(xiàn)自注意力模型和RNN時，自注意力模型和雙向RNN比普通RNN需要更大內存空間，存儲中間結果，且輸入數(shù)據(jù)的長度越長，需求越大?；プ⒁饬Φ牟樵兞縼碜院翁帲砍Ｓ迷谑裁搭愋偷纳疃壬窠?jīng)網(wǎng)絡中？解決什么類型的問題？答：來自輸出信息，常用在具有編碼譯碼能力的深度神經(jīng)網(wǎng)絡中，解決具有內容理解、語言翻譯等問題。請舉例說明各種注意力機制的使用方法。答：在使用卷積神經(jīng)網(wǎng)絡的圖像恢復、去噪，圖像分類、目標檢測等應用中通道注意力、空間注意力和自注意力解決通道重要性、空間信息重要性和輸入信息間的關聯(lián)性問題。在解決自然語言處理問題的RNN中常使用互注意力解決輸出與重要輸入的關聯(lián)，在Transformer中使用自注意力建立輸入序列的長程關聯(lián)，使用互注意力建立輸出與輸入的關聯(lián)。第6章說明Transformer的來源，簡要說明其原理和工作過程。答：Transformer來源于VaswaniA等人在2017年發(fā)表的文章《Attentionisallyouneed》，由具有殘差連接的注意力機制和具有殘差連接的全連接前向網(wǎng)絡搭建而成。原始的Transformer是一個Encoder-Decoder的結構，由6個編碼模塊和6個譯碼模塊組成。編碼器最后一個模塊的輸出作為譯碼器每一個模塊的輸入。作為編碼譯碼結構的Transformer其原理就是輸出復現(xiàn)輸入。工作過程包含三個步驟：（1）獲取輸入序列中的每個輸入的表示向量；將得到輸入向量矩陣送入編碼器中；（3）將編碼器輸出的編碼信息矩陣傳遞到譯碼器中，譯碼器依次會根據(jù)當前輸出的前面所有輸出來產生下一個輸出。請說明多頭注意力有什么作用。答：多頭注意力將多個注意力集成到一起，學習輸入特征空間的多個子集，使Transformer的特征提取能力進一步提升。給出Transformer編碼器的結構，說明各部分的功能。答：編碼器結構如右圖所示：它是由Multi-HeadSelf-Attention，Add&Norm，F(xiàn)eedForward，Add&Norm組成的。Multi-HeadSelf-Attention：學習輸入特征空間的多個子集，多角度提取輸入特征；Add&Norm：殘差連接提升訓練效果，層正則化加快網(wǎng)絡訓練收斂速度；FeedForward：實現(xiàn)非線性特征提取。給出Transformer譯碼器的結構，說明各部分的功能。答：譯碼器結構如右圖所示：包含兩個Multi-HeadAttention層。第一個Multi-HeadAttention層采用了Masked操作，是掩膜輸入的多頭自注意力。第二個Multi-HeadAttention層的K，V矩陣使用Encoder的編碼信息矩陣C進行計算，而Q使用上一個Decoderblock的輸出計算，是多頭互注意力。Decoderblock的最后有一個Softmax層計算下一個輸出（翻譯的單詞）的概率。Add&Norm：殘差連接提升訓練效果，層正則化加快網(wǎng)絡訓練收斂速度。FeedForward：實現(xiàn)非線性特