《預(yù)處理講》課件

預(yù)處理講數(shù)據(jù)預(yù)處理是機(jī)器學(xué)習(xí)中至關(guān)重要的步驟，它可以顯著提升模型的性能和效率。什么是預(yù)處理？數(shù)據(jù)準(zhǔn)備預(yù)處理是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘中不可或缺的一部分，它對(duì)原始數(shù)據(jù)進(jìn)行清理、轉(zhuǎn)換和整理，使其更適合模型訓(xùn)練和分析。模型效果提升通過(guò)預(yù)處理，可以有效地提高模型的泛化能力和預(yù)測(cè)準(zhǔn)確率，降低噪聲和偏差的影響。預(yù)處理的作用提高數(shù)據(jù)質(zhì)量消除噪聲和不一致性，提高數(shù)據(jù)可靠性。增強(qiáng)模型泛化能力減少過(guò)擬合，提高模型預(yù)測(cè)的準(zhǔn)確性。簡(jiǎn)化模型訓(xùn)練使模型更易于理解和解釋，提高效率。預(yù)處理的分類1數(shù)據(jù)清洗數(shù)據(jù)清洗是預(yù)處理的首要步驟，旨在處理錯(cuò)誤、缺失、不一致等數(shù)據(jù)問(wèn)題。2特征工程特征工程是指將原始數(shù)據(jù)轉(zhuǎn)化為更適合機(jī)器學(xué)習(xí)模型的特征，提高模型的性能。3數(shù)據(jù)集劃分將數(shù)據(jù)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，用于訓(xùn)練模型、評(píng)估模型和測(cè)試模型泛化能力。4數(shù)據(jù)增強(qiáng)對(duì)數(shù)據(jù)進(jìn)行人工擴(kuò)充，例如圖像翻轉(zhuǎn)、旋轉(zhuǎn)等，增加數(shù)據(jù)量和多樣性。數(shù)據(jù)清洗數(shù)據(jù)清洗目的去除噪聲、不一致和錯(cuò)誤數(shù)據(jù)，確保數(shù)據(jù)質(zhì)量，提高模型精度。常見(jiàn)數(shù)據(jù)清洗方法缺失值處理、異常值處理、數(shù)據(jù)類型轉(zhuǎn)換、重復(fù)數(shù)據(jù)去除等。數(shù)據(jù)清洗工具Python庫(kù)：pandas、NumPy、Scikit-learn。缺失值處理刪除刪除包含缺失值的樣本或特征。填補(bǔ)用平均值、中位數(shù)、眾數(shù)等統(tǒng)計(jì)量填補(bǔ)缺失值。預(yù)測(cè)使用機(jī)器學(xué)習(xí)算法預(yù)測(cè)缺失值。保留將缺失值保留，用于模型訓(xùn)練。異常值處理識(shí)別異常值通過(guò)統(tǒng)計(jì)方法或可視化工具分析數(shù)據(jù)，識(shí)別異常數(shù)據(jù)點(diǎn)。例如，箱線圖、散點(diǎn)圖等。處理異常值刪除異常值、替換異常值或使用其他方法來(lái)處理異常值。選擇適當(dāng)?shù)姆椒ㄈQ于數(shù)據(jù)和分析目標(biāo)。數(shù)據(jù)編碼數(shù)值編碼將類別特征轉(zhuǎn)換為數(shù)值特征，例如將“男”和“女”分別編碼為0和1。獨(dú)熱編碼將類別特征轉(zhuǎn)換為多個(gè)二進(jìn)制特征，例如將“顏色”特征的“紅色”、“綠色”和“藍(lán)色”分別編碼為[1,0,0]、[0,1,0]和[0,0,1]。哈希編碼將類別特征映射到一個(gè)哈希表，減少內(nèi)存占用，但可能存在哈希沖突問(wèn)題。特征工程11.特征選擇選擇對(duì)模型最有用的特征，提高模型效率，降低過(guò)擬合風(fēng)險(xiǎn)。22.特征創(chuàng)造將現(xiàn)有特征組合或轉(zhuǎn)換，生成新的特征，提高模型的表達(dá)能力。33.特征歸一化將不同特征的取值范圍統(tǒng)一，避免某些特征對(duì)模型的影響過(guò)大。特征選擇過(guò)濾法根據(jù)特征本身的性質(zhì)進(jìn)行選擇，例如方差、相關(guān)性等指標(biāo)進(jìn)行篩選。包裹法通過(guò)不斷嘗試不同的特征組合，并使用模型評(píng)估效果，最終選擇最優(yōu)特征集。嵌入法將特征選擇與模型訓(xùn)練結(jié)合在一起，在訓(xùn)練過(guò)程中自動(dòng)選擇重要的特征。特征創(chuàng)造組合特征通過(guò)組合現(xiàn)有特征創(chuàng)造新特征，例如，將用戶年齡和收入合并為一個(gè)新的特征“消費(fèi)能力”。離散化特征將連續(xù)的數(shù)值特征轉(zhuǎn)換為離散的類別特征，例如，將用戶的年齡轉(zhuǎn)換為“青年”、“中年”、“老年”。多項(xiàng)式特征通過(guò)對(duì)現(xiàn)有特征進(jìn)行多項(xiàng)式運(yùn)算，例如平方、立方，創(chuàng)造出新的特征。交叉特征組合兩個(gè)或多個(gè)特征，例如，將用戶性別和購(gòu)買(mǎi)的商品類型組合成一個(gè)新的特征。特征歸一化什么是特征歸一化？特征歸一化是將不同特征值縮放到統(tǒng)一范圍內(nèi)的過(guò)程，使得不同特征具有相同的權(quán)重。例如，將所有特征值縮放到0到1之間。為什么要進(jìn)行特征歸一化？特征歸一化可以提高機(jī)器學(xué)習(xí)模型的訓(xùn)練速度和效果。因?yàn)椴煌卣鞯牧烤V不同，可能會(huì)導(dǎo)致某些特征對(duì)模型的影響過(guò)大，從而影響模型的訓(xùn)練效果。數(shù)據(jù)集劃分訓(xùn)練集用來(lái)訓(xùn)練模型，占數(shù)據(jù)集的大部分。驗(yàn)證集用于調(diào)整模型參數(shù)，例如超參數(shù)優(yōu)化。測(cè)試集用于評(píng)估模型的最終性能。訓(xùn)練集1模型訓(xùn)練用于訓(xùn)練機(jī)器學(xué)習(xí)模型，幫助模型學(xué)習(xí)數(shù)據(jù)模式和規(guī)律。2數(shù)據(jù)量占總數(shù)據(jù)集的比例一般較大，用于模型學(xué)習(xí)的樣本數(shù)量越多，模型的性能就越好。3代表性訓(xùn)練集應(yīng)盡可能地代表整個(gè)數(shù)據(jù)集，避免出現(xiàn)訓(xùn)練集和測(cè)試集數(shù)據(jù)分布不一致的情況。驗(yàn)證集驗(yàn)證集的作用驗(yàn)證集用于評(píng)估模型在未見(jiàn)數(shù)據(jù)上的泛化能力。它可以幫助選擇最佳模型參數(shù)，避免過(guò)擬合。驗(yàn)證集的選取驗(yàn)證集應(yīng)與訓(xùn)練集保持獨(dú)立，并盡可能地模擬真實(shí)數(shù)據(jù)分布。測(cè)試集評(píng)估模型性能從未用于訓(xùn)練或驗(yàn)證的獨(dú)立數(shù)據(jù)集，用于評(píng)估模型泛化能力。真實(shí)世界應(yīng)用測(cè)試集模擬真實(shí)場(chǎng)景數(shù)據(jù)，確保模型在實(shí)際應(yīng)用中表現(xiàn)良好?？陀^評(píng)估通過(guò)測(cè)試集評(píng)估指標(biāo)，如精度、召回率和F1分?jǐn)?shù)，客觀評(píng)價(jià)模型質(zhì)量。數(shù)據(jù)增強(qiáng)11.增加樣本數(shù)量數(shù)據(jù)增強(qiáng)可以有效地增加樣本數(shù)量，從而提高模型泛化能力。22.提升模型魯棒性通過(guò)人為地引入噪聲或改變樣本特征，可以提高模型對(duì)數(shù)據(jù)變化的適應(yīng)能力。33.避免過(guò)擬合數(shù)據(jù)增強(qiáng)可以幫助模型學(xué)習(xí)到更多的數(shù)據(jù)分布信息，從而降低過(guò)擬合風(fēng)險(xiǎn)。44.提高模型性能通過(guò)增加數(shù)據(jù)的多樣性，可以提高模型的識(shí)別準(zhǔn)確率和分類性能。翻轉(zhuǎn)水平翻轉(zhuǎn)水平翻轉(zhuǎn)沿圖像垂直中線翻轉(zhuǎn)圖像，使圖像鏡像。垂直翻轉(zhuǎn)垂直翻轉(zhuǎn)沿圖像水平中線翻轉(zhuǎn)圖像，使圖像上下顛倒。隨機(jī)翻轉(zhuǎn)隨機(jī)選擇水平或垂直翻轉(zhuǎn)，增強(qiáng)模型對(duì)圖像方向變化的魯棒性。旋轉(zhuǎn)圖像旋轉(zhuǎn)旋轉(zhuǎn)是指將圖像圍繞其中心點(diǎn)旋轉(zhuǎn)一定角度，例如90度、180度或270度。旋轉(zhuǎn)可以改變圖像的方向，但不會(huì)改變圖像的大小或形狀。數(shù)字圖像旋轉(zhuǎn)數(shù)字圖像旋轉(zhuǎn)通常使用圖像處理庫(kù)中的函數(shù)來(lái)實(shí)現(xiàn)，例如OpenCV或Pillow。這些函數(shù)可以指定旋轉(zhuǎn)的角度、旋轉(zhuǎn)中心以及插值方法。縮放縮放將圖像尺寸調(diào)整為期望的大小。調(diào)整大小例如，在圖像分類任務(wù)中，可以將所有圖像調(diào)整為相同大小。裁剪裁剪圖像的特定區(qū)域，以便于模型更好地關(guān)注關(guān)鍵信息。文本預(yù)處理分詞將文本拆分成單個(gè)詞語(yǔ)，如“機(jī)器學(xué)習(xí)”拆分成“機(jī)器”和“學(xué)習(xí)”。停用詞去除去除文本中不重要的詞語(yǔ)，如“的”、“是”、“了”。詞干提取提取詞語(yǔ)的詞根，如“running”和“runs”都提取為“run”。分詞定義分詞是指將連續(xù)的文字序列切分成詞語(yǔ)序列的過(guò)程。它是自然語(yǔ)言處理中的一項(xiàng)重要技術(shù)，為后續(xù)的分析和理解奠定了基礎(chǔ)。方法基于詞典的分詞基于統(tǒng)計(jì)的分詞基于深度學(xué)習(xí)的分詞應(yīng)用分詞在各種自然語(yǔ)言處理任務(wù)中發(fā)揮著重要作用，例如：搜索引擎機(jī)器翻譯文本摘要情感分析停用詞去除常見(jiàn)的停用詞停用詞是指在文本中頻繁出現(xiàn)，但對(duì)語(yǔ)義表達(dá)意義不大的詞語(yǔ)，例如“的”、“地”、“得”等。去除停用詞的意義去除停用詞可以減少文本的噪音，提高文本的質(zhì)量。停用詞庫(kù)常見(jiàn)的停用詞庫(kù)包含各種語(yǔ)言的停用詞。停用詞去除方法可以使用自然語(yǔ)言處理庫(kù)中的函數(shù)進(jìn)行停用詞去除。詞干提取詞干提取詞干提取是指將單詞還原到其基本形式，去掉不同的詞綴，例如復(fù)數(shù)、時(shí)態(tài)和比較級(jí)。詞干提取的作用通過(guò)詞干提取，可以減少詞匯量，提高模型的泛化能力，并簡(jiǎn)化文本數(shù)據(jù)的處理過(guò)程。常用的詞干提取算法PorterStemmer，SnowballStemmer，LancasterStemmer等。圖像預(yù)處理圖像增強(qiáng)通過(guò)調(diào)整亮度、對(duì)比度或銳度來(lái)提高圖像質(zhì)量。圖像降噪去除圖像中的隨機(jī)噪聲，例如椒鹽噪聲或高斯噪聲。圖像分割將圖像分解成不同的區(qū)域，例如前景和背景。圖像配準(zhǔn)對(duì)齊來(lái)自不同來(lái)源的圖像，例如醫(yī)學(xué)影像。圖像增廣顏色抖動(dòng)通過(guò)隨機(jī)改變像素的顏色，可以增加數(shù)據(jù)多樣性，提高模型泛化能力。隨機(jī)旋轉(zhuǎn)通過(guò)旋轉(zhuǎn)圖像，可以增加圖像的多樣性，提高模型對(duì)不同角度的魯棒性。隨機(jī)裁剪隨機(jī)裁剪圖像，可以增加圖像的多樣性，提高模型對(duì)不同尺寸的魯棒性。高斯模糊通過(guò)高斯模糊圖像，可以減少圖像細(xì)節(jié)的影響，提高模型對(duì)噪聲的魯棒性。圖像標(biāo)準(zhǔn)化尺寸統(tǒng)一將圖像調(diào)整為相同的大小，方便模型進(jìn)行處理。色彩空間轉(zhuǎn)換將圖像轉(zhuǎn)換為特定的色彩空間，例如RGB或灰度。亮度調(diào)整調(diào)整圖像的亮度和對(duì)比度，以提高圖像質(zhì)量。直方圖均衡化增強(qiáng)圖像的對(duì)比度，使其更清晰易懂。目標(biāo)檢測(cè)目標(biāo)檢測(cè)是一種計(jì)算機(jī)視覺(jué)技術(shù)，它用于識(shí)別圖像或視頻中特定物體的類別和位置。目標(biāo)檢測(cè)在許多領(lǐng)域有應(yīng)用，例如自動(dòng)駕駛、安全監(jiān)控、醫(yī)療影像分析等。目標(biāo)檢測(cè)算法通常包括兩個(gè)步驟：首先識(shí)別圖像中的目標(biāo)，然后確定目標(biāo)的位置和大小。近年來(lái)，深度學(xué)習(xí)技術(shù)在目標(biāo)檢測(cè)領(lǐng)域取得了重大進(jìn)展，例如卷積神經(jīng)網(wǎng)絡(luò)(CNN)被廣泛應(yīng)用于目標(biāo)檢測(cè)。時(shí)間序列預(yù)處理11.差分差分可以去除時(shí)間序列中的趨勢(shì)和季節(jié)性，使數(shù)據(jù)更加平穩(wěn)。22.移動(dòng)平均移動(dòng)平均可以平滑時(shí)間序列，去除噪聲，突出趨勢(shì)和季節(jié)性。33.填充缺失值線性插值、最近鄰插值、平均值插值等方法可以填充缺失值，使數(shù)據(jù)完整。差分消除趨勢(shì)差分方法將時(shí)間序列數(shù)據(jù)相鄰值之差作為新數(shù)據(jù)，消除時(shí)間序列中的趨勢(shì)性影響，使數(shù)據(jù)平穩(wěn)。穩(wěn)定方差時(shí)間序列數(shù)據(jù)可能隨時(shí)間推移而發(fā)生變化，差分可以使數(shù)據(jù)更穩(wěn)定，使模型更容易學(xué)習(xí)。簡(jiǎn)化模型差分可以降低數(shù)據(jù)復(fù)雜度，使模型更容易理解和預(yù)測(cè)，提高預(yù)測(cè)精度。移動(dòng)平均平滑數(shù)據(jù)趨勢(shì)通過(guò)計(jì)算一段時(shí)間內(nèi)數(shù)據(jù)點(diǎn)的平均值，可以平滑數(shù)據(jù)中的隨機(jī)波動(dòng)，更清晰地觀察數(shù)據(jù)趨勢(shì)。濾除噪聲移動(dòng)平均可以濾除數(shù)據(jù)中的噪聲，減少干擾，使數(shù)據(jù)更平滑。預(yù)測(cè)未來(lái)趨勢(shì)根據(jù)歷史數(shù)據(jù)進(jìn)行移動(dòng)平均，可以預(yù)測(cè)未來(lái)一段時(shí)間內(nèi)數(shù)據(jù)的變化趨勢(shì)。填充缺失值缺失值處理缺失值是機(jī)器學(xué)習(xí)中的常見(jiàn)問(wèn)題。在數(shù)據(jù)預(yù)處理階段，需要對(duì)缺失值進(jìn)行處理，否則會(huì)影響模型的訓(xùn)練和預(yù)測(cè)結(jié)果。常用方法常用的缺失值處理方法包括刪除、插值、預(yù)測(cè)等。選擇方法取決于數(shù)據(jù)類型、缺失值比例、數(shù)據(jù)質(zhì)量等因素。數(shù)據(jù)質(zhì)量填充缺失值應(yīng)確保數(shù)據(jù)質(zhì)量和完整性。填充方法應(yīng)符合數(shù)據(jù)分布規(guī)律，避免引入新的誤差。預(yù)處理的局限性數(shù)據(jù)質(zhì)量預(yù)處理無(wú)法完全修復(fù)低質(zhì)量數(shù)據(jù)，比如嚴(yán)重缺失或錯(cuò)誤數(shù)據(jù)。處理過(guò)度可能會(huì)導(dǎo)致數(shù)據(jù)失真，影響模型性能。模型限制不同模型對(duì)數(shù)據(jù)預(yù)處理的要求不同，通用方法可能不適用于所有模型。預(yù)處理可能會(huì)引入偏差，影響模型的公平性。預(yù)處理的注意事項(xiàng)數(shù)據(jù)質(zhì)量檢查在進(jìn)行預(yù)處理之前，必須確保數(shù)據(jù)的質(zhì)量。數(shù)據(jù)質(zhì)量差會(huì)導(dǎo)致預(yù)處理結(jié)果不準(zhǔn)確，甚至影響模型的性能。選擇合適的工具不同的預(yù)處理任務(wù)需要不同的工具。選擇合適的工具可以提高預(yù)處理效率，并避免出現(xiàn)錯(cuò)誤。理解數(shù)據(jù)的含義在進(jìn)行預(yù)處理之前，需要深入理解數(shù)據(jù)的含義，才能更好地選擇合適的預(yù)處理方法?？紤]模型的特性不同的機(jī)器學(xué)習(xí)模型對(duì)數(shù)據(jù)的要求不同。選擇合適的預(yù)處理方法需要考慮模型的特性。預(yù)處理實(shí)踐案例分享預(yù)處理在各種機(jī)器學(xué)習(xí)任務(wù)中至關(guān)重要，通過(guò)數(shù)據(jù)預(yù)處理能夠提升模型的準(zhǔn)確性和效率。