《人工智能深度學(xué)習(xí)應(yīng)用開(kāi)發(fā)》題庫(kù)答案

單元1人工神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)模式無(wú)監(jiān)督學(xué)習(xí)模式真實(shí)值(groundtruth人工神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)量大計(jì)算力提升網(wǎng)絡(luò)規(guī)模大數(shù)據(jù)量硬件依賴特征工程解決問(wèn)題的方法執(zhí)行時(shí)間可解釋性計(jì)算機(jī)視覺(jué)自然語(yǔ)言處理強(qiáng)化學(xué)習(xí)BCCCDCDAB√×√√√√√√人工智能最核心的部分可以理解為類似人的大腦，就是機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的核心方法，人工智能的核心就是由各種算法作為支撐的。神經(jīng)網(wǎng)絡(luò)簡(jiǎn)單來(lái)說(shuō)就是機(jī)器學(xué)習(xí)眾多算法中的一類，其原理就是模仿人腦的思維邏輯。Theano、Scikit-learn、Caffe、Torch、MXNet、PyTorch、Keras和TensorFlow。深度學(xué)習(xí)中的每種算法都具有相似的學(xué)習(xí)過(guò)程，深度學(xué)習(xí)過(guò)程的步驟如下：(1)選擇相關(guān)數(shù)據(jù)集并準(zhǔn)備進(jìn)行分析；(2)選擇要使用的算法，基于算法構(gòu)建分析模型；(3)在訓(xùn)練數(shù)據(jù)集上訓(xùn)練模型，并根據(jù)需要對(duì)模型進(jìn)行修改；(4)對(duì)訓(xùn)練得到的模型進(jìn)行測(cè)試。深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的區(qū)別，深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的主要區(qū)別體現(xiàn)在以下幾個(gè)方面：(1)數(shù)據(jù)量機(jī)器學(xué)習(xí)可以處理大量數(shù)據(jù)也可以處理少量數(shù)據(jù)，隨著數(shù)據(jù)量的增加，機(jī)器學(xué)習(xí)的處理效果沒(méi)有明顯變化。而深度學(xué)習(xí)的特點(diǎn)在于，在一定范圍內(nèi)，隨著數(shù)據(jù)量的增加，深度學(xué)習(xí)的處理效果是上升的。(2)硬件依賴與傳統(tǒng)的機(jī)器學(xué)習(xí)算法不同，深度學(xué)習(xí)算法需要執(zhí)行大量的矩陣乘法運(yùn)算，因此深度學(xué)習(xí)需要計(jì)算機(jī)的計(jì)算能力做支撐。(3)特征工程深度學(xué)習(xí)避免了開(kāi)發(fā)每個(gè)新問(wèn)題的特征工程的問(wèn)題。數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限，算法和模型不過(guò)是逼近這個(gè)上限。深度學(xué)習(xí)不用像傳統(tǒng)機(jī)器學(xué)習(xí)那樣人為的合成高級(jí)復(fù)雜特征，深度學(xué)習(xí)只需利用經(jīng)過(guò)先驗(yàn)知識(shí)處理的一階特征，就可以學(xué)習(xí)到相關(guān)的高級(jí)復(fù)雜特征。(4)解決問(wèn)題的方法傳統(tǒng)的機(jī)器學(xué)習(xí)遵循標(biāo)準(zhǔn)程序，將問(wèn)題分解成多個(gè)部分，先解決每個(gè)問(wèn)題，然后將他們組合起來(lái)以獲得最終的結(jié)果。而深度學(xué)習(xí)側(cè)重于端到端的解決問(wèn)題。(5)執(zhí)行時(shí)間深度學(xué)習(xí)因數(shù)據(jù)量的龐大和模型參數(shù)的眾多，一般需要大量的時(shí)間進(jìn)行訓(xùn)練，機(jī)器學(xué)習(xí)所需要的執(zhí)行時(shí)間則相對(duì)較短。(6)可解釋性可解釋性是比較機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法的主要因素。機(jī)器學(xué)習(xí)算法為我們提供了清晰的規(guī)則和可解釋的算法推理過(guò)程，因此像決策樹、邏輯回歸等機(jī)器學(xué)習(xí)算法主要用于工業(yè)中需要可解釋性的場(chǎng)景中。深度學(xué)習(xí)算法主要是通過(guò)仿生的神經(jīng)網(wǎng)絡(luò)做算法推理。無(wú)監(jiān)督學(xué)習(xí)中，訓(xùn)練樣本未按其所屬的類別進(jìn)行標(biāo)記。無(wú)監(jiān)督學(xué)習(xí)模型是識(shí)別無(wú)標(biāo)簽數(shù)據(jù)結(jié)構(gòu)的模型。該模型通過(guò)尋找具有共同特征的數(shù)據(jù)，并根據(jù)數(shù)據(jù)內(nèi)部知識(shí)特征對(duì)其進(jìn)行分類，這種學(xué)習(xí)算法適用于聚類問(wèn)題。有監(jiān)督學(xué)習(xí)以訓(xùn)練集作為模型的輸入，其中每個(gè)樣本都有標(biāo)注信息，我們稱標(biāo)注信息為真實(shí)值(groundtruth)。模型的輸出值與真實(shí)值之間的差值用損失函數(shù)(loss)來(lái)衡量，采用最小損失函數(shù)執(zhí)行訓(xùn)練過(guò)程。訓(xùn)練完成后，使用驗(yàn)證集或測(cè)試集測(cè)量模型的準(zhǔn)確性。略略略

單元2深度學(xué)習(xí)圖像識(shí)別自然語(yǔ)言處理張量計(jì)算圖(ComputationGraph)標(biāo)量向量矩陣張量數(shù)值型字符串型布爾型監(jiān)督學(xué)習(xí)向量DBD√√√√√√TensorFlow框架具有許多優(yōu)點(diǎn)，如高度靈活性、真正的可移植性、連接研究與產(chǎn)品、自動(dòng)微分、多語(yǔ)言選擇以及最大化性能六大特性。TensorFlow的主要功能有以下幾個(gè)方面：(1)以張量的多維數(shù)組輕松定義、優(yōu)化和計(jì)算數(shù)學(xué)表達(dá)式；(2)支持深度神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)技術(shù)的編程；(3)具有多種數(shù)據(jù)集、網(wǎng)絡(luò)模型等高度可擴(kuò)展的計(jì)算模塊；(4)允許模型部署到工業(yè)生產(chǎn)的應(yīng)用中；(5)支持GPU計(jì)算，實(shí)現(xiàn)了自動(dòng)化管理。提供了對(duì)初學(xué)者友好的高級(jí)API——Keras接口。例：importtensorflowastfa=tf.constant(5)print(a)print('a是{}維Tensor'.format(a.ndim))例：importpat.v1aspat.v1.disable_eager_execution()matrix1=tf.constant([[3,3,1],[2,2,2],[1,1,1]])matrix2=tf.constant([[2],[3],[4]])product=tf.matmul(matrix1,matrix2)print(product)withtf.Session()assess:result=sess.run(product)print(result)答案詳見(jiàn)2.6節(jié)。答案詳見(jiàn)2.7節(jié)。

單元3用戶友好模塊化易擴(kuò)展性基于Python實(shí)現(xiàn)序列式(Sequential)函數(shù)式(Functional)子類(Subclassing)激活函數(shù)損失函數(shù)優(yōu)化器正則化器目標(biāo)函數(shù)有準(zhǔn)確率(Accuracy)精確度(Precision)召回率(Recall)有激活函數(shù)損失函數(shù)優(yōu)化器正則化器輸入層隱藏層輸出層卷積層池化層一維二維三維數(shù)據(jù)預(yù)處理建立模型編譯模型訓(xùn)練模型評(píng)估模型模型預(yù)測(cè)importkerasfromkeras.datasetsimportmnistfromkeras.modelsimportSequentialfromkeras.layersimportDense,Dropoutfromkeras.optimizersimportRMSpropimportnumpyasnpDAACBABC√√√√√√√√Keras提供了一種簡(jiǎn)潔的方法來(lái)創(chuàng)建基于TensorFlow或Theano的深度學(xué)習(xí)模型，并運(yùn)用了各種優(yōu)化技術(shù)使神經(jīng)網(wǎng)絡(luò)API調(diào)用變得輕松高效。Keras框架具有以下功能特點(diǎn)：（1）用戶友好，Keras是專門為用戶而設(shè)計(jì)的API；（2）模塊化網(wǎng)絡(luò)模型是由一系列獨(dú)立的、完全可配置的模塊組成的序列；（3）易擴(kuò)展性使用keras創(chuàng)建的模型，可以增加或刪除模塊，以提升模型的性能，新的模塊是很容易添加的；（4）基于Python實(shí)現(xiàn)Keras沒(méi)有特定格式的單獨(dú)配置文件，模塊是用Python代碼來(lái)定義的，這些代碼緊湊，易于調(diào)試，并且易于擴(kuò)展。26.Keras提供了許多內(nèi)置的與神經(jīng)網(wǎng)絡(luò)相關(guān)的功能模塊，用戶可以方便地調(diào)用模塊創(chuàng)建Keras模型和Keras層，常用的核心模塊有激活函數(shù)、損失函數(shù)、優(yōu)化器和正則化器等。27.Keras模型中的每個(gè)層代表神經(jīng)網(wǎng)絡(luò)模型中的對(duì)應(yīng)層，Keras提供了許多預(yù)構(gòu)建層，如輸入層、隱藏層、輸出層、卷積層、池化層等，因此提高了構(gòu)建復(fù)雜神經(jīng)網(wǎng)絡(luò)模型的效率。28.深度學(xué)習(xí)框架Keras是像搭積木般構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，主要分為6個(gè)部分，每個(gè)部分只需調(diào)用kerasAPI函數(shù)就能實(shí)現(xiàn)。使用keras框架建模流程通常包括：（1）數(shù)據(jù)預(yù)處理：獲取并預(yù)處理訓(xùn)練數(shù)據(jù)；（2）建立模型：定義由網(wǎng)絡(luò)層組成的網(wǎng)絡(luò)或模型，將輸入數(shù)據(jù)映射成目標(biāo)；（3）編譯模型：配置訓(xùn)練過(guò)程參數(shù)，包括損失函數(shù)、優(yōu)化器、模型評(píng)估指標(biāo)；（4）訓(xùn)練模型：調(diào)用函數(shù)在訓(xùn)練數(shù)據(jù)上進(jìn)行迭代，更新模型權(quán)重；（5）評(píng)估模型：使用測(cè)試集或驗(yàn)證數(shù)據(jù)集，評(píng)估模型的性能是否達(dá)到要求；（6）模型預(yù)測(cè)：使用訓(xùn)練好的模型預(yù)測(cè)新的數(shù)據(jù)。29.Keras是功能強(qiáng)大且易于使用的深度學(xué)習(xí)框架之一，它建立在TensorFlow等流行的深度學(xué)習(xí)框架的基礎(chǔ)上，旨在快速定義深度學(xué)習(xí)模型，使創(chuàng)建深度學(xué)習(xí)模型更為簡(jiǎn)單。詳見(jiàn)3.5.詳見(jiàn)3.6.略。

單元4神經(jīng)網(wǎng)絡(luò)(NeuralNetwork)神經(jīng)元生物神經(jīng)元模型輸入層輸出層全連接神經(jīng)網(wǎng)絡(luò)Sigmoid函數(shù)solftmax前饋神經(jīng)網(wǎng)絡(luò)感知機(jī)CCCCAACAD√√√√×√√√25.隨著神經(jīng)科學(xué)和認(rèn)知科學(xué)的不斷進(jìn)步，科學(xué)家們對(duì)人類大腦的神經(jīng)系統(tǒng)的認(rèn)知更為清晰，早期的神經(jīng)科學(xué)家構(gòu)造了一種模仿人腦神經(jīng)系統(tǒng)的數(shù)學(xué)模型，稱為人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork,ANN)，簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)。在機(jī)器學(xué)習(xí)領(lǐng)域，神經(jīng)網(wǎng)絡(luò)是指由很多人工神經(jīng)元構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)模型。26.神經(jīng)網(wǎng)絡(luò)的神經(jīng)元中，輸入數(shù)據(jù)通過(guò)加權(quán)求和后，還被作用了一個(gè)函數(shù)，這個(gè)函數(shù)就是激活函數(shù)。激活函數(shù)有以下特點(diǎn)：1.非線性；2可微性；3.單調(diào)性；4.輸出與輸入值相差不大；5.輸出值范圍不大。27.Sigmoid函數(shù)也叫Logistic函數(shù)，定義為:1/(1+e-x)，優(yōu)點(diǎn)：它的一個(gè)優(yōu)良特性就是能夠把??∈??的輸入“壓縮”到??∈[0,1]區(qū)間，這個(gè)區(qū)間的數(shù)值在機(jī)器學(xué)習(xí)常用來(lái)表示以下意義：概率分布，[0,1]區(qū)間的輸出和概率的分布范圍契合，可以通過(guò)Sigmoid函數(shù)將輸出轉(zhuǎn)譯為概率輸出信號(hào)強(qiáng)度，一般可以將0~1理解為某種信號(hào)的強(qiáng)度，如像素的顏色強(qiáng)度，1代表當(dāng)前通道顏色最強(qiáng)，0代表當(dāng)前通道無(wú)顏色；抑或代表門控值(Gate)的強(qiáng)度，1代表當(dāng)前門控全部開(kāi)放，0代表門控關(guān)閉Sigmoid函數(shù)，連續(xù)可導(dǎo)，相對(duì)于階躍函數(shù)，可以直接利用梯度下降算法優(yōu)化網(wǎng)絡(luò)參數(shù)，應(yīng)用的非常廣泛。28.卷積(Convolution)，也叫褶積，是分析數(shù)學(xué)中一種重要的運(yùn)算。在信號(hào)處理或圖像處理中，經(jīng)常使用一維或二維卷積。29.LeNet-5共有7層，包括2個(gè)卷積層、2個(gè)池化層、3個(gè)全連接層。過(guò)程詳見(jiàn)4.7LeNet-5是最早提出的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)是由YannLeCun基于1988年以來(lái)的工作提出。LeNet-5的主要貢獻(xiàn)：1.在神經(jīng)網(wǎng)絡(luò)中引入卷積層；2.引入下采樣；3.卷積+池化(下采樣)+非線性激活的組合是CNN的典型特征；4.使用MPL作為分類器。31.model=Sequential()model.add(Conv2D(filters=6,kernel_size=(5,5),padding='valid',input_shape=(1,28,28),activation='tanh'))model.add(MaxPool2D(pool_size=(2,2)))model.add(Conv2D(filters=16,kernel_size=(5,5),padding='valid',activation='tanh'))model.add(MaxPool2D(pool_size=(2,2)))#池化后變成16個(gè)4x4的矩陣，然后把矩陣壓平變成一維的，一共256個(gè)單元。model.add(Flatten())#下面是全連接層model.add(Dense(120,activation='tanh'))model.add(Dense(84,activation='tanh'))model.add(Dense(10,activation='softmax'))32.#

創(chuàng)建模型序列

model

=

Sequential()

#第一層卷積網(wǎng)絡(luò)，使用96個(gè)卷積核，大小為11x11步長(zhǎng)為4，

要求輸入的圖片為227x227，

3個(gè)通道，不加邊，激活函數(shù)使用relu

model.add(Conv2D(96,

(11,

11),

strides=(1,

1),

input_shape=(28,

28,

1),

padding='same',

activation='relu',

kernel_initializer='uniform'))

#

池化層

model.add(MaxPooling2D(pool_size=(3,

3),

strides=(2,

2)))

#

第二層加邊使用256個(gè)5x5的卷積核，加邊，激活函數(shù)為relu

model.add(Conv2D(256,

(5,

5),

strides=(1,

1),

padding='same',

activation='relu',

kernel_initializer='uniform'))

#使用池化層，步長(zhǎng)為2

model.add(MaxPooling2D(pool_size=(3,

3),

strides=(2,

2)))

#

第三層卷積，大小為3x3的卷積核使用384個(gè)

model.add(Conv2D(384,

(3,

3),

strides=(1,

1),

padding='same',

activation='relu',

kernel_initializer='uniform'))

#

第四層卷積,同第三層

model.add(Conv2D(384,

(3,

3),

strides=(1,

1),

padding='same',

activation='relu',

kernel_initializer='uniform'))

#

第五層卷積使用的卷積核為256個(gè)，其他同上

model.add(Conv2D(256,

(3,

3),

strides=(1,

1),

padding='same',

activation='relu',

kernel_initializer='uniform'))

model.add(MaxPooling2D(pool_size=(3,

3),

strides=(2,

2)))

model.add(Flatten())

model.add(Dense(4096,

activation='relu'))

model.add(Dropout(0.5))

model.add(Dense(4096,

activation='relu'))

model.add(Dropout(0.5))

model.add(Dense(10,

activation='softmax'))

pile(loss='categorical_crossentropy',

optimizer='sgd',

metrics=['accuracy'])

model.summary()

詳見(jiàn)4.10.

單元5回歸一元線性回歸多元線性回歸輸入變量（自變量）輸出變量（因變量）損失函數(shù)好均方誤差過(guò)擬合（overfitting）欠擬合（underfitting）太大誤差A(yù)BACABABABA×√√√√√√√√28.機(jī)器學(xué)習(xí)的所有算法都需要最大化或者最小化目標(biāo)函數(shù)，在最小化場(chǎng)景下，目標(biāo)函數(shù)又稱損失函數(shù)。29.平均絕對(duì)誤差（MeanAbsoluteError，MAE），又稱L1損失，用于評(píng)估預(yù)測(cè)結(jié)果和真實(shí)數(shù)據(jù)集的接近程度，其值越小說(shuō)明擬合效果越好。均方誤差（Meansquarederror，MSE），又稱L2損失，該指標(biāo)計(jì)算的是擬合數(shù)據(jù)和原始數(shù)據(jù)對(duì)應(yīng)樣本點(diǎn)的誤差的平方和的均值，其值越小說(shuō)明擬合效果越好。30.過(guò)擬合是指訓(xùn)練誤差和測(cè)試誤差之間的差距太大。換句換說(shuō)，就是模型復(fù)雜度高于實(shí)際問(wèn)題，模型在訓(xùn)練集上表現(xiàn)很好，但在測(cè)試集上卻表現(xiàn)很差。訓(xùn)練數(shù)據(jù)集樣本單一，樣本不足。如果訓(xùn)練樣本只有負(fù)樣本，然后那生成的模型去預(yù)測(cè)正樣本，這肯定預(yù)測(cè)不準(zhǔn)。31.過(guò)擬合出現(xiàn)的原因?yàn)橛?xùn)練數(shù)據(jù)集樣本單一，樣本不足。防止過(guò)擬合方法主要有：獲取和使用更多的數(shù)據(jù)（數(shù)據(jù)集增強(qiáng)）；采用合適的模型（控制模型的復(fù)雜度）；降低特征的數(shù)量；L1/L2正則化；加入Dropout；采用Earlystopping方法。32.詳見(jiàn)5.4.33.詳見(jiàn)5.7

單元6可信度圖片分類技術(shù)傳統(tǒng)圖像分類深度學(xué)習(xí)圖像分類二分類(BinaryClassification)準(zhǔn)確率精確率召回率負(fù)對(duì)數(shù)似然損失(neglog-likelihoodloss)交叉熵?fù)p失(crossentropyloss)指數(shù)損失(exponentialloss)交叉熵?fù)p失函數(shù)（CrossEntropyLoss）多類分類(MulticlassClassification)多分類交叉熵?fù)p失函數(shù)DDDBB√√×√√√21.圖像分類問(wèn)題受各種因素的影響，模型的性能主要面臨一下幾種挑戰(zhàn)：（1）類內(nèi)變化：類內(nèi)差異是同一類圖像之間的差異。（2）比例變化：同一對(duì)象的圖像具有多種大小，且可能大小差異很大。（3）視點(diǎn)變化：視點(diǎn)變化即相對(duì)于如何在圖像中拍攝和捕獲對(duì)象。（4）遮擋：圖像中分類對(duì)象無(wú)法完全查看，很大一部分隱藏在其他對(duì)象的后面。（5）光照條件：由于照明強(qiáng)度不同，在圖像中像素的強(qiáng)度級(jí)別也有所不同。（6）背景：如果圖中有很多對(duì)象，找到特定對(duì)象非常困難22.按照?qǐng)D像分類的發(fā)展過(guò)程劃分，圖像分類可以分為傳統(tǒng)圖像分類和深度學(xué)習(xí)圖像分類。傳統(tǒng)的圖像分類方法有很多，如使用近鄰分類器（NearestNeighborClassifier），將測(cè)試圖片與訓(xùn)練集中的每個(gè)圖片去對(duì)比，將差別最小的那個(gè)類的標(biāo)簽，作為預(yù)測(cè)結(jié)果。圖像分類從傳統(tǒng)方法到基于深度學(xué)習(xí)的方法，得益于計(jì)算機(jī)算力的提升。23.二分類模型