Python機器學習項目化教程（微課視頻版）課件 第11章 深度學習入門

第11章深度學習入門目錄CONTENTS11.1深度學習概述11.2卷積神經(jīng)網(wǎng)絡11.3循環(huán)神經(jīng)網(wǎng)絡11.4本章小結(jié)11.1深度學習概述學習基礎(chǔ)學習認知能力信息素養(yǎng)高典型的深度學習模型有卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡、長短時記憶網(wǎng)絡等。深度學習的概念來源于人工神經(jīng)網(wǎng)絡，因此又稱為深度神經(jīng)網(wǎng)絡，它主要通過大量的數(shù)據(jù)來訓練神經(jīng)網(wǎng)絡，使其自動從數(shù)據(jù)中學習，并逐步提高對未知數(shù)據(jù)的預測準確性。當一個網(wǎng)絡收到輸入數(shù)據(jù)時，它會對這些數(shù)據(jù)進行處理并通過一系列非線性運算，將其轉(zhuǎn)化為特征表示。這些特征表示對應著原始數(shù)據(jù)中的高層抽象概念，比如圖像中的邊緣、角落和紋理等。11.1深度學習概述（1）數(shù)據(jù)標注問題。對于監(jiān)督學習來說，需要對大量的標注數(shù)據(jù)進行訓練才能得到合適的模型參數(shù)，而獲取標注數(shù)據(jù)需要大量的人力、物力和時間成本。（2）特征選擇問題。傳統(tǒng)機器學習方法通常需要對數(shù)據(jù)進行預處理和特征提取，以提前獲得高質(zhì)量的特征表達。但是，這些過程需要專業(yè)領(lǐng)域知識和經(jīng)驗，并且容易出現(xiàn)維度爆炸等問題。（3）模型泛化能力問題。通過在訓練數(shù)據(jù)集上學習的模型在測試集上預測效果不佳，機器學習模型的泛化能力受到限制，造成過擬合或欠擬合問題。（4）對異常值和噪聲敏感。傳統(tǒng)機器學習算法通常對噪聲和異常值非常敏感，這些噪聲和異常值可能會影響學習模型的性能。11.1深度學習概述（1）容易出現(xiàn)過擬合。（2）訓練困難。（3）神秘性。（4）需要大量數(shù)據(jù)。（5）參數(shù)量大。（6）容易損失空間信息。11.1深度學習概述利用機器學習和深度學習對樣本數(shù)據(jù)進行分類的處理過程如圖11-1所示。11.2卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡的基本結(jié)構(gòu)由以下幾個部分組成：輸入層（inputlayer）、卷積層（convolutionlayer）、池化層（poolinglayer）、全連接層（full-connectionlayer）和輸出層。圖11-2是圖像分類任務的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)結(jié)構(gòu)。11.2卷積神經(jīng)網(wǎng)絡（1）輸入層。例如，對于手寫數(shù)字識別，輸入的是圖像的像素矩陣，若是黑白圖像，只有一個顏色通道，其深度（即通道）為1，若是彩色圖像，有3個顏色通道，深度（通道）為3。（2）卷積層：對輸入數(shù)據(jù)進行特征提取。通過對圖像不斷地卷積，可得到邊緣、線條等特征。（3）池化層：主要是降低卷積層之后數(shù)據(jù)特征維度，使輸入數(shù)據(jù)少量平移時，大多數(shù)輸出保持不變。（4）全連接層：全連接層主要是對特征進行非線性組合得到輸出，即在整個網(wǎng)絡中起到“分類器”的作用。（5）輸出層。11.2卷積神經(jīng)網(wǎng)絡卷積在卷積神經(jīng)網(wǎng)絡中完成的是數(shù)學中的互相關(guān)運算，相當于圖像處理中的濾波器，具體計算過程如圖11-3所示。輸入數(shù)據(jù)的大小為3×3，卷積核大小為2×2，輸出結(jié)果大小為2×2。11.2卷積神經(jīng)網(wǎng)絡加上偏置的卷積運算如圖11-4所示。1．填充在圖11-3所示的卷積運算中，輸入數(shù)據(jù)的大小為3×3，輸出結(jié)果大小為2×2，也就是說經(jīng)過一次卷積運算后，輸出尺寸會變小。11.2卷積神經(jīng)網(wǎng)絡2．步幅圖11-4和圖11-5中，卷積運算過程是在卷積核滑動步幅為1下進行的，若卷積核步幅為2時，卷積運算過程如圖11-6所示。11.2卷積神經(jīng)網(wǎng)絡在卷積神經(jīng)網(wǎng)絡中，感受野（ReceptiveField）是每一層輸出的特征圖（featuremap）上的像素點在輸入圖片上映射的區(qū)域大小，即特征圖上的一個點對應輸入圖上的區(qū)域，如圖11-7所示。11.2卷積神經(jīng)網(wǎng)絡假設(shè)輸入尺寸為3×4×4的圖像，其中通道為3，高度和寬度分別都為4，卷積核的尺寸為3×2×2，卷積核的個數(shù)為3。若步長為211.2卷積神經(jīng)網(wǎng)絡池化（Pooling）是將卷積結(jié)果中某一位置及其相鄰位置的特征進行匯總，目的是減少網(wǎng)絡中的特征數(shù)據(jù)，避免過擬合現(xiàn)象發(fā)生，提高模型的計算速度和運行效率。11.2卷積神經(jīng)網(wǎng)絡11.2卷積神經(jīng)網(wǎng)絡#導入數(shù)據(jù)(X_train,y_train),(X_test,y_test)=datasets.mnist.load_data()11.2卷積神經(jīng)網(wǎng)絡#調(diào)整圖片格式，使其為n*(28,28,1)X_train=X_train.reshape((len(X_train),28,28,1))X_test=X_test.reshape((len(X_test),28,28,1))X_train,X_test=X_train/255.0,X_test/255.0#構(gòu)建CNN網(wǎng)絡模型model=models.Sequential([

layers.Conv2D(filters=32,kernel_size=(3,3),activation='relu',input_shape=(28,28,1)),layers.MaxPooling2D((2,2)),layers.Conv2D(64,(3,3),activation='relu'),layers.MaxPooling2D((2,2)),layers.Flatten(),layers.Dense(64,activation='relu'),layers.Dense(10)])#顯示網(wǎng)絡結(jié)構(gòu)model.summary()11.2卷積神經(jīng)網(wǎng)絡11.3循環(huán)神經(jīng)網(wǎng)絡11.3循環(huán)神經(jīng)網(wǎng)絡11.3循環(huán)神經(jīng)網(wǎng)絡11.3循環(huán)神經(jīng)網(wǎng)絡11.3循環(huán)神經(jīng)網(wǎng)絡11.3循環(huán)神經(jīng)網(wǎng)絡11.3循環(huán)神經(jīng)網(wǎng)絡11.3循環(huán)神經(jīng)網(wǎng)絡11.4本章小結(jié)深度學習作為一種人工智能的重要技術(shù)，目前已成功應用于計算機視覺、自然語言處理、語音識別、推薦系統(tǒng)等領(lǐng)域。主流的深度學習模型有CNN、RNN、LSTM、GRU、transformer、VAE、GAN等。CNN是一種基于卷積層的特征提取網(wǎng)絡結(jié)構(gòu)，主要用于圖像處理