深度學習課件：數(shù)據(jù)和模型的處理與調(diào)試

§7-1模型評價§7-2數(shù)據(jù)預處理§7-3基礎模型的選擇§7-4模型調(diào)試

數(shù)據(jù)和模型的處理與調(diào)試

要成功地使用深度學習技術，僅僅知道存在哪些算法和解釋各自的數(shù)學理論是不夠的。一個優(yōu)秀的機器學習實踐者還需要知道如何針對具體應用挑選一個合適的算法以及如何評價系統(tǒng)的性能，并根據(jù)實驗反饋的性能改進機器學習系統(tǒng)。

在我們了解了深度學習模型的原理后我們還應該了解如何去科學地評價一個模型，是否收集更多的數(shù)據(jù)、增加或減少模型容量、添加或刪除正則化項、改進模型的優(yōu)化、改進模型的近似推斷或調(diào)試模型的軟件實現(xiàn)。學者們提出了對實踐設計流程的建議步驟：①

確定使用何種誤差度量，并制定該誤差度量的目標值。②

建立工作流程，包括估計合適的性能度量等。③

搭建系統(tǒng)，并確定制約模型性能的因素。④

根據(jù)觀察反復地進行增量式的改動，如收集新數(shù)據(jù)、調(diào)整超參數(shù)或改進算法。§7-1模型評價

為了能夠指引我們將來進一步優(yōu)化模型、衡量模型的性能，需要選定使用何種誤差度量，這是構建學習模型時必要的第一步。

我們知道如果擁有越多的數(shù)據(jù)，模型的有效容量就會越高。所以必須權衡收集更多數(shù)據(jù)所需要的成本與進一步減少誤差的價值。

如何確定合理的性能期望呢？

為什么要強調(diào)樣本均衡呢？

我們應該如何解決數(shù)據(jù)不均衡的問題呢。有以下幾種方法：①

擴充數(shù)據(jù)集②

對數(shù)據(jù)集進行重采樣③

人造數(shù)據(jù)④

改變訓練算法⑤

使用其它評價指標度量模型的性能:度量精度（Precision）和召回率（Recall）。

例如，我們將前饋網(wǎng)絡設計為檢測一種疾病，估計一個醫(yī)療結果由特征x表示的人患病的概率為,每當這個得分超過某個閾值時，我們報告檢測結果。通過調(diào)整閾值，我們能權衡精度和召回率。在很多情況下，我們希望用一個數(shù)而不是曲線來概括分類器的性能。要做到這一點，我們可以將精度p和召回率r轉(zhuǎn)換為F分數(shù)（F-score）。

§7-2數(shù)據(jù)預處理

通常情況下，采集到的信號因為具有大量噪聲而無法直接使用，需要對信號進行去噪處理。首先，介紹對圖像數(shù)據(jù)的預處理，利用MATLAB完成原始示例圖像

為了擴增數(shù)據(jù)，可以在不影響圖像的主要語義情況下為圖像增加噪聲。此時，我們使用imnoise函數(shù)增加高斯噪聲后圖像

噪聲除了高斯噪聲，還有椒鹽噪聲等

在程序執(zhí)行過程中，將陸續(xù)顯示出增加椒鹽噪聲后的圖7.3，以及經(jīng)過中值濾波降噪后的圖7.4。圖7.3

增加椒鹽噪聲后的圖像圖7.4

中值濾波后的圖像

對序列類數(shù)據(jù)擴展的建議，即在不影響原始信號語義的情況下增加隨機擾動。首先將原始數(shù)據(jù)矩陣導入MATLAB原始矩陣導入MATLAB生成0.1至0.5的隨機擾動：生成與原矩陣尺寸相等的隨機擾動矩陣

獲得擴展矩陣擾動矩陣與原始矩陣混合形成擴展矩陣

§7-3基礎模型的選擇

在確定好想要達到的目標，處理好想要訓練的數(shù)據(jù)之后，就可以開始設計模型了。在本節(jié)中，我們針對不同情況推薦了使用某種算法作為第一基準方法的原則。根據(jù)想要處理的數(shù)據(jù)結構來選擇模型。1網(wǎng)格類的數(shù)據(jù)

使用卷積網(wǎng)絡2輸入或者輸出是一個非定長序列類數(shù)據(jù)

循環(huán)網(wǎng)絡3根據(jù)外界的反饋來訓練模型

強化學習算法目前常用的激活函數(shù)為ReLU、PReLU、maxout等maxout的原理如圖:maxout示意圖它的輸出為：

maxout的擬合能力是非常強的，它可以擬合任意的凸函數(shù)。§7-4模型調(diào)試目前所采用的算法往往包含多個自適應部分。

使用自己編寫的反向傳播導數(shù)的方法，此時需要驗證編寫的梯度表達是否正確。驗證梯度表達可以通過直接計算來驗證，在高等數(shù)學中導數(shù)的定義式如式所示。

也可以使用中心差分法提高梯度近似的準確性：

每一次中心差分法僅可以計算一個梯度，但是可以反復應用來求出多梯度。在研究完梯度問題后，開始考慮模型學習的問題。神經(jīng)網(wǎng)絡的運行速度真的僅與算法有關嗎？顯然不是的。理解GPU和CPU之間區(qū)別：比較它們?nèi)绾翁幚砣蝿誄PU與GPU原理示意圖