2025神經(jīng)網(wǎng)絡與深度學習線性模型

線性模型《神經(jīng)網(wǎng)絡與深度學習》2025大綱分類問題示例線性分類模型LogisticRegressionSoftmaxRegressionPerceptronSVM分類示例示例：圖像分類數(shù)據(jù)集：CIFAR-1060000張32x32色彩圖像，共10類每類6000張圖像示例：圖像分類數(shù)據(jù)集：ImageNet14,197,122images,21841synsets示例：圖像分類示例：圖像分類、目標檢測、實例分割/zylapp/review-of-deep-learning-algorithms-for-object-detection-c1f3d437b852示例：垃圾郵件過濾示例：文檔歸類/automated-text-classification-using-machine-learning-3df4f4f9570b示例：情感分類示例：文本分類將樣本x從文本形式轉為向量形式詞袋模型（Bag-of-Words，BoW）模型示例：文本情感分類根據(jù)文本內容來判斷文本的相應類別+-線性分類模型線性模型線性模型Logistic回歸Softmax回歸感知器支持向量機LogisticRegressionLogisticRegression模型損失函數(shù)？分類問題

如何構建函數(shù)g？Logistic函數(shù)與回歸Logistic函數(shù)Logistic回歸

學習準則

如何衡量兩個條件分布的差異？

熵（Entropy）在信息論中，熵用來衡量一個隨機事件的不確定性。自信息（SelfInformation）熵熵越高，則隨機變量的信息越多；熵越低，則隨機變量的信息越少.在對分布??(??)的符號進行編碼時，熵??(??)也是理論上最優(yōu)的平均編碼長度，這種編碼方式稱為熵編碼（EntropyEncoding）

交叉熵（CrossEntropy）交叉熵是按照概率分布q的最優(yōu)編碼對真實分布為p的信息進行編碼的長度。在給定??的情況下，如果p和??越接近，交叉熵越??；如果p和??越遠，交叉熵就越大.KL散度（Kullback-LeiblerDivergence）KL散度是用概率分布q來近似p時所造成的信息損失量。KL散度是按照概率分布q的最優(yōu)編碼對真實分布為p的信息進行編碼，其平均編碼長度（即交叉熵）H(p,q)和p的最優(yōu)平均編碼長度（即熵）H(p)之間的差異。交叉熵損失

交叉熵損失

負對數(shù)似然KL散度

梯度下降交叉熵損失函數(shù)，模型在訓練集的風險函數(shù)為梯度為推導過程Logistic回歸多分類（Multi-classClassification）Softmax回歸多分類問題Softmax函數(shù)Softmax回歸利用softmax函數(shù)，目標類別y=c的條件概率為：交叉熵損失KL散度

交叉熵損失

負對數(shù)似然

參數(shù)學習模型：Softmax回歸學習準則：交叉熵優(yōu)化：梯度下降交叉熵損失函數(shù)負對數(shù)似然損失函數(shù)對于一個三類分類問題，類別為[0,0,1]，預測類別概率為[0.3,0.3,0.4]，則交叉熵損失

感知器感知器感知器模擬生物神經(jīng)元行為的機器，有與生物神經(jīng)元相對應的部件，如權重（突觸）、偏置（閾值）及激活函數(shù)（細胞體），輸出為+1或-1。+1/-1感知器

感知器的學習過程表示分錯對比Logistic回歸的更新方式：感知器參數(shù)學習的更新過程收斂性證明過程感知器的權重向量的更新方式為在第??次更新時感知器的權重向量為的上界

的下界支持向量機（SupportVectorMachine，SVM）紅色點稱為“支持向量”總結線性分類模型小結不同損失函數(shù)的對比XOR問