《深度學(xué)習(xí)項(xiàng)目案例開發(fā)》課件-任務(wù)一 使用神經(jīng)網(wǎng)絡(luò)完成服飾圖像分類

基礎(chǔ)知識(shí)——

全連接神經(jīng)網(wǎng)絡(luò)任務(wù)一：使用神經(jīng)網(wǎng)絡(luò)完成服飾圖像分類人工智能學(xué)院—神經(jīng)網(wǎng)絡(luò)01全連接神經(jīng)網(wǎng)絡(luò)02前向傳播03損失函數(shù)04梯度下降05反向傳播06神經(jīng)網(wǎng)絡(luò)/01人工神經(jīng)元是一種模擬生物神經(jīng)元功能的計(jì)算單元，通常用于構(gòu)建人工神經(jīng)網(wǎng)絡(luò)。是神經(jīng)網(wǎng)絡(luò)的基本組成部分，類似于生物大腦中的神經(jīng)元。原理

人工神經(jīng)元接收輸入信號(hào)，通過內(nèi)部處理產(chǎn)生輸出信號(hào)，并將輸出傳遞給其他神經(jīng)元。在人工神經(jīng)網(wǎng)絡(luò)中，這些神經(jīng)元通過連接進(jìn)行通信，形成了網(wǎng)絡(luò)結(jié)構(gòu)。工作機(jī)制人工神經(jīng)元通常包括輸入權(quán)重、偏置和激活函數(shù)。輸入權(quán)重用于調(diào)節(jié)輸入信號(hào)的重要性，激活函數(shù)用于對加權(quán)輸入進(jìn)行非線性轉(zhuǎn)換，而偏置則可以用來調(diào)整激活函數(shù)的觸發(fā)閾值，從而影響神經(jīng)元的活躍性。組成神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的輸入通常是多個(gè)輸入，假設(shè)輸入為，這時(shí)神經(jīng)元是一個(gè)多輸入的人工神經(jīng)元?？梢园演斎肟闯梢粋€(gè)3維的向量，如果有n個(gè)輸入，可以將輸入看成n維向量，可以使用函數(shù)來表示是一個(gè)1×n的向量，是一個(gè)n×1的權(quán)重矩陣，是偏置量。多輸入人工神經(jīng)元神經(jīng)網(wǎng)絡(luò)全連接神經(jīng)網(wǎng)絡(luò)/02全連接神經(jīng)網(wǎng)絡(luò)每個(gè)神經(jīng)元都與上一層的所有神經(jīng)元相連接。每個(gè)神經(jīng)元都接收來自上一層所有神經(jīng)元的輸入，并且輸出到下一層的所有神經(jīng)元。定義輸入層、若干個(gè)隱藏層和輸出層組成。結(jié)構(gòu)使用前向傳播計(jì)算損失、使用反向傳播更新參數(shù)

訓(xùn)練用途人工神經(jīng)網(wǎng)絡(luò)在各種領(lǐng)域中都有廣泛的應(yīng)用，包括圖像識(shí)別、語音識(shí)別、自然語言處理、預(yù)測和決策等。全連接神經(jīng)網(wǎng)絡(luò)全連接神經(jīng)網(wǎng)絡(luò)中對n-1層和n層而言，n-1層的任意一個(gè)節(jié)點(diǎn)，都和第n層所有節(jié)點(diǎn)有連接。即第n層的每個(gè)節(jié)點(diǎn)在進(jìn)行計(jì)算的時(shí)候，激活函數(shù)的輸入是n-1層所有節(jié)點(diǎn)的加權(quán)。但隨著數(shù)據(jù)和任務(wù)的復(fù)雜性增加，訓(xùn)練速度會(huì)很慢，同時(shí)會(huì)受到維度災(zāi)難和過擬合等問題的影響。在實(shí)踐中，通常會(huì)使用更復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），來處理更復(fù)雜的數(shù)據(jù)和任務(wù)。全連接神經(jīng)網(wǎng)絡(luò)前向傳播/03數(shù)據(jù)從輸入數(shù)據(jù)開始，通過神經(jīng)網(wǎng)絡(luò)的各層逐層計(jì)算并傳遞數(shù)據(jù)，最終得到模型的輸出結(jié)果，這個(gè)過程被稱為前向傳播。輸入數(shù)據(jù)通過每一層的權(quán)重和偏置進(jìn)行線性變換，并經(jīng)過激活函數(shù)進(jìn)行非線性變換，然后輸出到下一層，直到達(dá)到輸出層。前向傳播的目的是計(jì)算模型的預(yù)測值。什么是前向傳播前向傳播假設(shè)有一個(gè)簡單的神經(jīng)網(wǎng)絡(luò)，包含一個(gè)輸入層、一個(gè)隱藏層和一個(gè)輸出層，每個(gè)層都有兩個(gè)神經(jīng)元。使用sigmoid激活函數(shù)，并且假設(shè)每個(gè)神經(jīng)元的初始權(quán)重都是隨機(jī)生成的，結(jié)構(gòu)如下圖所示。前向傳播實(shí)例前向傳播輸入向量[]=[0.5,0.7]，輸入層到隱藏層的權(quán)重[]=[0.1,0.2,0.3,0.4]，隱藏層到輸出層的權(quán)重[]=[0.5,0.6]。前向傳播實(shí)例前向傳播輸出層前向傳播實(shí)例前向傳播當(dāng)神經(jīng)網(wǎng)絡(luò)的層數(shù)或者神經(jīng)元的個(gè)數(shù)比較多的時(shí)候，前向傳播的計(jì)算過程就非常耗時(shí)了，這時(shí)需要使用矩陣來進(jìn)行計(jì)算，上圖的計(jì)算過程可以寫成矩陣方式。前向傳播矩陣計(jì)算實(shí)例前向傳播損失函數(shù)/04損失函數(shù)（LossFunction）是在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中用來衡量模型預(yù)測輸出與真實(shí)標(biāo)簽之間差異的函數(shù)。它是優(yōu)化過程的核心，用于指導(dǎo)模型參數(shù)的更新，以便使預(yù)測結(jié)果盡可能接近真實(shí)標(biāo)簽。損失函數(shù)平方損失函數(shù)（MeanSquaredError,MSE）交叉熵?fù)p失函數(shù)（Cross-EntropyLoss）對數(shù)損失函數(shù)（LogLoss）等常用的MSE損失函數(shù)表示如下常用損失函數(shù)損失函數(shù)梯度下降/05在模型訓(xùn)練中需要不停地調(diào)整權(quán)重w和偏執(zhí)b的值。理想狀態(tài)當(dāng)MSE=0時(shí)，模型會(huì)預(yù)測到所有值。現(xiàn)實(shí)情況是在模型訓(xùn)練時(shí)需要調(diào)整權(quán)重w和偏執(zhí)b的值使MSE不斷地變小逼近0，實(shí)現(xiàn)這個(gè)過程需要使用梯度下降函數(shù)。梯度下降l(w,b)函數(shù)的圖形如圖所示。l(w,b)值可以看成是Z軸的值梯度下降-偏導(dǎo)數(shù)梯度下降l(w,b)函數(shù)求偏導(dǎo)數(shù)使用表示求得的梯度梯度下降-偏導(dǎo)數(shù)梯度下降反向傳播/06反向傳播是指根據(jù)模型的預(yù)測結(jié)果和真實(shí)標(biāo)簽之間的差異，通過鏈?zhǔn)椒▌t(ChainRule)逆向計(jì)算梯度，并將梯度從輸出層傳播回網(wǎng)絡(luò)的每一層，用于更新模型的參數(shù)。在反向傳播過程中，首先計(jì)算輸出層的誤差，然后將誤差從輸出層傳播到隱藏層，再傳播到更淺的隱藏層，直到傳播到輸入層。通過反向傳播，可以獲取關(guān)于每個(gè)參數(shù)對損失函數(shù)的梯度信息，從而實(shí)現(xiàn)參數(shù)的優(yōu)化和更新。反向傳播前向傳播，將輸入數(shù)據(jù)通過網(wǎng)絡(luò)傳遞，計(jì)算輸出并得到預(yù)測結(jié)果。計(jì)算損失，根據(jù)預(yù)測結(jié)果和真實(shí)標(biāo)簽計(jì)算損失函數(shù)的值利用鏈?zhǔn)椒▌t逐層計(jì)算損失函數(shù)對每個(gè)參數(shù)的梯度。將梯度信息傳播回網(wǎng)絡(luò)的每一層。參數(shù)更新，通過梯度下降或其他優(yōu)化算法來更新網(wǎng)絡(luò)中的參數(shù)，使損失函數(shù)逐步減小。重復(fù)訓(xùn)練重復(fù)以上步驟多次，直到達(dá)到停止條件（如達(dá)到最大迭代次數(shù)、損失函數(shù)收斂等），訓(xùn)練過程結(jié)束。反向傳播步驟反向傳播有一個(gè)簡單的神經(jīng)網(wǎng)絡(luò)，包含一個(gè)輸入層、一個(gè)隱藏層和一個(gè)輸出層。輸入數(shù)據(jù)為一個(gè)二維向量[]，隱藏層有兩個(gè)神經(jīng)元，輸出層有一個(gè)神經(jīng)元，且所有的激活函數(shù)均為sigmoid函數(shù)，使用MSE作為損失函數(shù)，如右圖所示反向傳播實(shí)例反向傳播X表示輸入數(shù)據(jù)，對應(yīng)的標(biāo)簽y值為1。w1w2分別表示隱藏層和輸出層的權(quán)重矩陣，b1b2分別表示隱藏層和輸出層的偏置值，具體值如下所示：反向傳播實(shí)例反向傳播計(jì)算向前傳播的值反向傳播實(shí)例反向傳播計(jì)算損失反向傳播實(shí)例反向傳播反向傳播計(jì)算梯度反向傳播實(shí)例反向傳播更新參數(shù)反向傳播實(shí)例反向傳播任務(wù)一：使用神經(jīng)網(wǎng)絡(luò)完成服飾圖像分類任務(wù)知識(shí)——感知機(jī)人工智能學(xué)院—任務(wù)導(dǎo)入/01人工神經(jīng)元是模擬人類神經(jīng)元的計(jì)算單元，用于構(gòu)建人工神經(jīng)網(wǎng)絡(luò)（ANN），是人工智能領(lǐng)域中的基本組件之一。Fashion-MNIST是一個(gè)經(jīng)典的機(jī)器學(xué)習(xí)數(shù)據(jù)集，用于圖像分類任務(wù)，包含了來自10個(gè)不同類別的服飾。本任務(wù)搭建一個(gè)人工神經(jīng)網(wǎng)絡(luò)，使用Fashion-MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練，完成服飾的分類任務(wù)。任務(wù)目標(biāo)/02了解人工神經(jīng)元和人工神經(jīng)網(wǎng)絡(luò)（ANN）的基本概念。了解多層感知機(jī)模型。了解全連接神經(jīng)網(wǎng)絡(luò)。理解激活函數(shù)的原理。理解損失函數(shù)的作用和優(yōu)化方法。知識(shí)目標(biāo)比較不同的激活函數(shù)和損失函數(shù)、優(yōu)化器對分類結(jié)果的影響。能進(jìn)行模型調(diào)優(yōu)和超參數(shù)搜索。拓展能力能使構(gòu)建多層感知機(jī)模型。能使用構(gòu)建全連接神經(jīng)網(wǎng)絡(luò)。能完成模型的訓(xùn)練。能力目標(biāo)任務(wù)導(dǎo)學(xué)/03什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN）是一種計(jì)算模型，靈感來源于生物神經(jīng)系統(tǒng)。定義神經(jīng)元通常被組織成多層結(jié)構(gòu)，包括輸入層、隱藏層和輸出層。每個(gè)神經(jīng)元接收來自前一層神經(jīng)元的輸入，并將加權(quán)和傳遞給下一層。結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程通常涉及使用反向傳播算法來調(diào)整連接權(quán)重，以最小化預(yù)測輸出與實(shí)際輸出之間的誤差。

訓(xùn)練用途人工神經(jīng)網(wǎng)絡(luò)在各種領(lǐng)域中都有廣泛的應(yīng)用，包括圖像識(shí)別、語音識(shí)別、自然語言處理、預(yù)測和決策等。任務(wù)導(dǎo)學(xué)任務(wù)知識(shí)點(diǎn)/04感知器是一種最簡單的人工神經(jīng)網(wǎng)絡(luò)模型，它由一個(gè)單層的神經(jīng)元組成用于二元分類任務(wù)。感知器接收多個(gè)輸入，每個(gè)輸入都與一個(gè)權(quán)重相關(guān)聯(lián)，然后對輸入進(jìn)行加權(quán)求和，并將結(jié)果傳遞給一個(gè)激活函數(shù)。激活函數(shù)通常是階躍函數(shù)，根據(jù)加權(quán)和求和的結(jié)果是否超過某個(gè)閾值來輸出一個(gè)二元值（0或1），表示兩個(gè)類別中的其中一個(gè)。感知器任務(wù)知識(shí)點(diǎn)實(shí)際上定義了一個(gè)邊界超平面，這個(gè)超平面隨著w和b的改變而改變，感知器可以學(xué)習(xí)將輸入空間分割成兩個(gè)不同的區(qū)域，從而實(shí)現(xiàn)二元分類任務(wù)。感知器的作用任務(wù)知識(shí)點(diǎn)多層感知機(jī)（Multi-LayerPerceptron，MLP）是一種基于前饋神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型。它由多個(gè)神經(jīng)網(wǎng)絡(luò)層組成，每個(gè)層都由多個(gè)神經(jīng)元組成，這些神經(jīng)元通常分為輸入層、隱藏層和輸出層。多層感知器任務(wù)知識(shí)點(diǎn)多層感知器結(jié)構(gòu)接收原始輸入數(shù)據(jù)，并將其傳遞給下一層；隱藏層，中間層，用于從輸入數(shù)據(jù)中提取特征和模式。輸入層隱藏層的神經(jīng)元通過連接與前一層的神經(jīng)元通信，并使用激活函數(shù)將加權(quán)和傳遞給下一層。隱藏層輸出層，產(chǎn)生模型的最終輸出。輸出層任務(wù)知識(shí)點(diǎn)優(yōu)點(diǎn)是簡單且易于實(shí)現(xiàn)但是多層感知器的輸出是非0即1的值，并不能反映模型訓(xùn)練的漸進(jìn)過程，但它只能解決線性可分問題。并且對于非線性可分問題可能會(huì)產(chǎn)生收斂不到最優(yōu)解的情況。所以需要引入非線性激活函數(shù)，克服感知器的這些局限性，并成為處理更復(fù)雜任務(wù)的有效工具。多層感知器特點(diǎn)任務(wù)知識(shí)點(diǎn)引入非線性特性可以實(shí)現(xiàn)復(fù)雜的映射關(guān)系也被用于限制輸出范圍還可以緩解梯度消失問題增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力激活函數(shù)任務(wù)知識(shí)點(diǎn)Sigmoid函數(shù)，將輸入值映射到一個(gè)在0到1之間的連續(xù)區(qū)間，輸出值介于0和1之間，它的輸出值可以被視為概率值，因此常用于二元分類問題。常用激活函數(shù)任務(wù)知識(shí)點(diǎn)ReLU函數(shù)，同時(shí)在各種預(yù)測任務(wù)中表現(xiàn)良好。ReLU提供了一種非常簡單的非線性變換。ReLU函數(shù)在輸入大于0時(shí)返回輸入值本身，否則返回0。它的優(yōu)點(diǎn)是計(jì)算簡單，且在實(shí)踐中通常表現(xiàn)良好。它還可以緩解梯度消失問題，并加速網(wǎng)絡(luò)的收斂速度。常用激活函數(shù)任務(wù)知識(shí)點(diǎn)Tanh函數(shù)（雙曲正切函數(shù)）：與sigmoid函數(shù)類似，tanh(雙曲正切)函數(shù)也能將其輸入壓縮轉(zhuǎn)換到區(qū)間(-1,1)上它與Sigmoid函數(shù)類似，但是輸出范圍更廣，且均值為0，訓(xùn)練速度相對快。常用激活函數(shù)任務(wù)知識(shí)點(diǎn)Softmax函數(shù)通常用于多類別分類問題，它將神經(jīng)網(wǎng)絡(luò)的原始輸出轉(zhuǎn)換為一個(gè)概率分布，使得輸出的各個(gè)類別之間的概率總和為1。Softmax函數(shù)將多個(gè)輸出轉(zhuǎn)換為表示概率分布的形式，便于解釋和比較。常用激活函數(shù)任務(wù)知識(shí)點(diǎn)了解單個(gè)神經(jīng)元工作原理01多層感知機(jī)MLP的工作原理02了解了激活函數(shù)的作用03學(xué)習(xí)了幾種常用的激活函數(shù)04任務(wù)一使用神經(jīng)網(wǎng)絡(luò)完成服飾圖像分類工作任務(wù)——模型訓(xùn)練及保存人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)