人工智能基礎(chǔ)與應(yīng)用 課件 4.1 深度學(xué)習(xí)概述

深度學(xué)習(xí)深度學(xué)習(xí)概述主講人：董張慧雅人工智能課程團(tuán)隊(duì)目錄|

CONTENTS深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的關(guān)系01深度學(xué)習(xí)的興起02神經(jīng)元、感知器、人工神經(jīng)網(wǎng)絡(luò)0301深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的關(guān)系深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的關(guān)系使用多層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)自動(dòng)特征提取和模式識(shí)別。深度學(xué)習(xí)實(shí)現(xiàn)機(jī)器學(xué)習(xí)自動(dòng)從大量數(shù)據(jù)中提取特征，用于解決各種機(jī)器學(xué)習(xí)問(wèn)題。深度學(xué)習(xí)的優(yōu)勢(shì)建立多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸入和輸出之間的映射關(guān)系。深度學(xué)習(xí)的目標(biāo)通過(guò)算法發(fā)現(xiàn)數(shù)據(jù)的模式和結(jié)構(gòu)，進(jìn)行預(yù)測(cè)和決策。機(jī)器學(xué)習(xí)的任務(wù)0102030402深度學(xué)習(xí)的興起深度學(xué)習(xí)的興起計(jì)算機(jī)性能提升，硬件完善，大規(guī)模矩陣運(yùn)算得以實(shí)現(xiàn)，深度學(xué)習(xí)得到快速發(fā)展。深度學(xué)習(xí)發(fā)展計(jì)算機(jī)運(yùn)算能力弱、運(yùn)算速度慢等限制，無(wú)法完成大規(guī)模運(yùn)算。深度學(xué)習(xí)瓶頸具有多層次特征描述的特征學(xué)習(xí)，通過(guò)簡(jiǎn)單但非線性的模塊將每一層特征描述轉(zhuǎn)為更高一層的、更為抽象一些的特征描述。深度學(xué)習(xí)定義1943年，MP神經(jīng)元數(shù)學(xué)模型；1958年，單層感知器；1969年，明斯基的感知機(jī)專(zhuān)著；1986年，第二代神經(jīng)網(wǎng)絡(luò)；1989年，萬(wàn)能逼近定理；1997年，長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM；1998年，LeNet卷積神經(jīng)網(wǎng)絡(luò)；2006年，提出深度神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)發(fā)展歷程深度學(xué)習(xí)的興起深度學(xué)習(xí)發(fā)展歷程03神經(jīng)元、感知器、人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元、感知器、人工神經(jīng)網(wǎng)絡(luò)人腦神經(jīng)網(wǎng)絡(luò)單元?jiǎng)游飶?fù)雜的神經(jīng)系統(tǒng)是由簡(jiǎn)單的生物神經(jīng)元相連組成的，神經(jīng)元負(fù)責(zé)接收、處理和傳遞信息。人腦中包含860億個(gè)神經(jīng)元，它們通過(guò)復(fù)雜的網(wǎng)絡(luò)相互連接，實(shí)現(xiàn)信息處理（如聽(tīng)覺(jué)、視覺(jué)、嗅覺(jué)）、學(xué)習(xí)、記憶和決策等功能。神經(jīng)元結(jié)構(gòu)包括細(xì)胞體、樹(shù)突、軸突和突觸等。細(xì)胞體：細(xì)胞體是神經(jīng)元的主要部分，包含細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜。它是神經(jīng)元的代謝中心，維持細(xì)胞的生命活動(dòng)。樹(shù)突：樹(shù)突是從細(xì)胞體向外延伸的分支纖維，主要作用是接收來(lái)自其他神經(jīng)元的信號(hào)。一個(gè)神經(jīng)元可以有多個(gè)樹(shù)突，這使得神經(jīng)元能從多個(gè)源頭接收信號(hào)。軸突：軸突是一條長(zhǎng)的纖維，從細(xì)胞體延伸出來(lái)，負(fù)責(zé)將信號(hào)從細(xì)胞體傳遞到其他神經(jīng)元或組織。一個(gè)神經(jīng)元只有一個(gè)軸突，其長(zhǎng)度可從幾微米到一米不等。突觸：突觸是神經(jīng)元之間傳遞信息的連接點(diǎn)，通常是軸突末端與其他神經(jīng)元的樹(shù)突或細(xì)胞體相接觸的部分。在這里，神經(jīng)遞質(zhì)被釋放，從而將信號(hào)從一個(gè)神經(jīng)元傳遞到另一個(gè)神經(jīng)元。神經(jīng)元、感知器、人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元模型神經(jīng)元有大量的數(shù)學(xué)模型，現(xiàn)在神經(jīng)元標(biāo)準(zhǔn)的數(shù)學(xué)模型由兩部分組成：線性變換和非線性變換。非線性變換又叫激活處理（非線性變換函數(shù)叫激活函數(shù)）。人工神經(jīng)元也接收來(lái)自其他神經(jīng)元的輸入信號(hào)，并通過(guò)激活函數(shù)產(chǎn)生輸出信號(hào)。人工神經(jīng)元模型的圖形如圖所示。。神經(jīng)元、感知器、人工神經(jīng)網(wǎng)絡(luò)。1943年，羅森布拉特提出由兩層神經(jīng)元（輸入層和輸出層）組成的人工神經(jīng)網(wǎng)絡(luò)模型——“感知器”，能夠區(qū)分三角形、正方形等基本形狀。但是單層感知器只有輸出層有激活函數(shù)處理，即只有一層功能性神經(jīng)元，所以只能解決線性可分的問(wèn)題。單層感知器神經(jīng)元、感知器、人工神經(jīng)網(wǎng)絡(luò)。1986年，辛頓（Hinton）提出了第二代神經(jīng)網(wǎng)絡(luò)，將單一固定的特征層替換成多個(gè)隱藏層，并采用S