第2章 2.1 數(shù)據(jù)加載與預(yù)處理

數(shù)據(jù)加載與預(yù)處理深度學(xué)習(xí)通常包含數(shù)據(jù)加載與預(yù)處理、構(gòu)建網(wǎng)絡(luò)、訓(xùn)練網(wǎng)絡(luò)和性能評(píng)估幾個(gè)主要的步驟。PyTorch為每個(gè)步驟提供了一些相應(yīng)的函數(shù)，使得可以方便快速地進(jìn)行深度學(xué)習(xí)。本章以貓狗分類的例子介紹PyTorch深度學(xué)習(xí)的通用流程。深度學(xué)習(xí)的通用流程如圖所示，分為以下6個(gè)步驟。PyTorch深度學(xué)習(xí)通用流程深度學(xué)習(xí)的通用流程分為以下6個(gè)步驟。數(shù)據(jù)加載，加載用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)，使得深度神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到數(shù)據(jù)中潛在的特征，可以指定從某些特定路徑加載數(shù)據(jù)。數(shù)據(jù)預(yù)處理，對(duì)加載的數(shù)據(jù)進(jìn)行預(yù)處理，使之符合網(wǎng)絡(luò)的輸入要求，如標(biāo)簽格式轉(zhuǎn)換、樣本變換等。數(shù)據(jù)形式的不統(tǒng)一將對(duì)模型效果造成較大的影響。構(gòu)建網(wǎng)絡(luò)，根據(jù)特定的任務(wù)使用不同的網(wǎng)絡(luò)層搭建網(wǎng)絡(luò)，若網(wǎng)絡(luò)太簡(jiǎn)單則無(wú)法學(xué)習(xí)到足夠豐富的特征，若網(wǎng)絡(luò)太復(fù)雜則容易過(guò)擬合。PyTorch深度學(xué)習(xí)通用流程編譯網(wǎng)絡(luò)，設(shè)置網(wǎng)絡(luò)訓(xùn)練過(guò)程中使用的優(yōu)化器和損失函數(shù)，優(yōu)化器和損失函數(shù)的選擇會(huì)影響到網(wǎng)絡(luò)的訓(xùn)練時(shí)長(zhǎng)、性能等。訓(xùn)練網(wǎng)絡(luò)，通過(guò)不斷的迭代和批訓(xùn)練的方法，調(diào)整模型中各網(wǎng)絡(luò)層的參數(shù)，減小模型的損失，使得模型的預(yù)測(cè)值逼近真實(shí)值。性能評(píng)估，計(jì)算網(wǎng)絡(luò)訓(xùn)練過(guò)程中損失和分類精度等與模型對(duì)應(yīng)的評(píng)價(jià)指標(biāo)，根據(jù)評(píng)價(jià)指標(biāo)的變化調(diào)整模型從而取得更好的效果。PyTorch深度學(xué)習(xí)通用流程1數(shù)據(jù)預(yù)處理目錄數(shù)據(jù)加載2加載及預(yù)處理貓狗分類數(shù)據(jù)3數(shù)據(jù)的形式多種多樣，因此讀取數(shù)據(jù)的方法也是多種多樣。在一個(gè)圖像分類的任務(wù)中，圖像所在的文件夾即為圖像的類別標(biāo)簽，則需要把圖片和類別標(biāo)簽都讀入計(jì)算機(jī)中，同時(shí)還需對(duì)圖像數(shù)據(jù)進(jìn)行張量變換和歸一化等預(yù)處理。PyTorch框架中提供了一些常用的數(shù)據(jù)讀取和預(yù)處理的方法。數(shù)據(jù)加載與預(yù)處理在PyTorch框架中，torchtext.utils包中的類可以用于數(shù)據(jù)加載。常見(jiàn)加載的數(shù)據(jù)的方式包括從指定的網(wǎng)址（url）下載數(shù)據(jù)、加載本地的表格數(shù)據(jù)和直接讀取壓縮文件中的數(shù)據(jù)。數(shù)據(jù)加載download_from_url類可以從對(duì)應(yīng)網(wǎng)址下載文件并返回所下載文件的存儲(chǔ)路徑。download_from_url類的語(yǔ)法格式如下。torchtext.utils.download_from_url(url,path=None,root='.data',overwrite=False,hash_value=None,hash_type='sha256')download_from_url類的常用參數(shù)及其說(shuō)明如表所示。數(shù)據(jù)加載1.從指定的網(wǎng)址下載文件參數(shù)名稱說(shuō)明url接收str，表示url文件的網(wǎng)絡(luò)路徑，無(wú)默認(rèn)值root接收str，表示用于存放下載數(shù)據(jù)文件的文件夾路徑，無(wú)默認(rèn)值overwrite接收bool，表示是否覆蓋當(dāng)前文件，默認(rèn)為Falseunicode_csv_reader類用于讀取csv數(shù)據(jù)文件，unicode_csv_reader類的語(yǔ)法格式如下。其中的參數(shù)“unicode_csv_data”指的是csv數(shù)據(jù)文件。torchtext.utils.unicode_csv_reader(unicode_csv_data,**kwargs)數(shù)據(jù)加載2.csv文件讀取器extract_archive類用于讀取壓縮文件中的數(shù)據(jù)。extract_archive類的語(yǔ)法格式如下。torchtext.utils.extract_archive(from_path,to_path=None,overwrite=False)extract_archive類的常用參數(shù)及其說(shuō)明如表所示。數(shù)據(jù)加載3.讀取壓縮文件數(shù)據(jù)參數(shù)名稱說(shuō)明from_path接收str，表示數(shù)據(jù)文件的路徑，無(wú)默認(rèn)值to_path接收str，表示提取文件的根路徑，無(wú)默認(rèn)值overwrite接收bool，表示是否覆蓋當(dāng)前文件，無(wú)默認(rèn)值1數(shù)據(jù)預(yù)處理目錄數(shù)據(jù)加載2加載及預(yù)處理貓狗分類數(shù)據(jù)3在深度學(xué)習(xí)的時(shí)候，可以事先單獨(dú)將圖片進(jìn)行清晰度、畫質(zhì)和切割等處理然后存起來(lái)以擴(kuò)充樣本，但是這樣做效率比較低下，而且不是實(shí)時(shí)的。接下來(lái)介紹如何用PyTorch對(duì)數(shù)據(jù)進(jìn)行處理。數(shù)據(jù)預(yù)處理分為圖像數(shù)據(jù)預(yù)處理和文本數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理在PyTorch框架中，處理圖像與視頻的torchvision庫(kù)中常用的包及其說(shuō)明如表所示。圖像數(shù)據(jù)預(yù)處理包說(shuō)明torchvision.datasets提供數(shù)據(jù)集下載和加載功能，包含若干個(gè)常用數(shù)據(jù)集torchvision.io提供執(zhí)行IO操作的功能，主要用于讀取和寫入視頻及圖像torchvision.models包含用于解決不同任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)，并提供已預(yù)訓(xùn)練過(guò)的模型，包括圖像分類、像素語(yǔ)義分割、對(duì)象檢測(cè)、實(shí)例分割、人物關(guān)鍵點(diǎn)檢測(cè)和視頻分類torchvision.ops主要實(shí)現(xiàn)特定用于計(jì)算機(jī)視覺(jué)的運(yùn)算符torchvision.transforms包含多種常見(jiàn)的圖像預(yù)處理操作，如隨機(jī)切割、旋轉(zhuǎn)、數(shù)據(jù)類型轉(zhuǎn)換、圖像到tensor、numpy數(shù)組到tensor、tensor到圖像等torchvision.utils用于將形似(3×H×W)的張量保存到硬盤中，能夠制作圖像網(wǎng)絡(luò)1.組合圖像的多種變換處理Compose類可以將多種圖像的變換處理組合到一起，Compose類語(yǔ)法格式如下。其中參數(shù)“transforms”接收的是由多種變換處理組合成的列表。torchvision.transforms.Compose(transforms)圖像數(shù)據(jù)預(yù)處理其中torchvision.transforms中常用的5種圖像預(yù)處理操作如下。常見(jiàn)的PIL圖像包括以下幾種模式。L（灰色圖像）P（8位彩色圖像）I（32位整型灰色圖像）F（32位浮點(diǎn)灰色圖像）RGB（8位彩色圖像）YCbCr（24位彩色圖像）RGBA（32位彩色模式）CMYK（32位彩色圖像）1（二值圖像）圖像數(shù)據(jù)預(yù)處理2.

對(duì)圖像做變換處理在PyTorch框架下能實(shí)現(xiàn)對(duì)PIL圖像和torch張量做變換處理的類較多，此處僅介紹常用的6個(gè)類。

CenterCrop類CenterCrop類可以裁剪給定的圖像并返回圖像的中心部分。如果圖像是torch張量，形狀將會(huì)是[…，H，W]，其中省略號(hào)“…”是一個(gè)任意尺寸。如果輸入圖像的大小小于期望輸出圖像的大小，則在輸入圖像的四周填充0，然后居中裁剪。CenterCrop類的語(yǔ)法格式如下，其中參數(shù)“size”指的是圖像的期望輸出大小。torchvision.transforms.CenterCrop(size)圖像數(shù)據(jù)預(yù)處理ColorJitter類ColorJitter類可以隨機(jī)改變圖像的亮度、對(duì)比度、飽和度和色調(diào)。如果圖像是torch張量，形狀將會(huì)是[…，3，H，W]，其中省略號(hào)“…”表示任意數(shù)量的前導(dǎo)維數(shù)。如果圖像是PIL圖像，則不支持模式1、L、I、F和透明模式。ColorJitter的語(yǔ)法格式如下。torchvision.transforms.ColorJitter(brightness=0,contrast=0,saturation=0,hue=0)圖像數(shù)據(jù)預(yù)處理ColorJitter類的常用參數(shù)及其說(shuō)明如表所示。圖像數(shù)據(jù)預(yù)處理參數(shù)名稱說(shuō)明brightness接收int，表示亮度大小。亮度因子統(tǒng)一從【最大值（0，1-自定義值），1+亮度】或給定的【最小值，最大值】中選擇。默認(rèn)為0contrast接收int，表示對(duì)比度大小。對(duì)比度因子統(tǒng)一從【最大值（0，1-自定義值），1+對(duì)比度】或給定【最小值，最大值】中選擇。默認(rèn)為0saturation接收int，表示飽和度大小。飽和度因子統(tǒng)一從【最大值（0，1-自定義值），1+飽和度】或給定【最小值，最大值】中選擇。應(yīng)該是非負(fù)數(shù)。默認(rèn)為0hue接收int，表示色調(diào)大小。色調(diào)因子統(tǒng)一從【-自定義值，自定義值】或給定的【最小值，最大值】中選擇。且有0<=自定義值<0.5或-0.5<=最小值<=最大值<=0.5。默認(rèn)為0FiveCrop類FiveCrop類可以將圖像裁剪成四個(gè)角和中心部分。如果圖像是torch張量，形狀將會(huì)是[…，H，W]，其中“…”表示任意數(shù)量的前導(dǎo)維數(shù)。FiveCrop類的語(yǔ)法格式如下，其中參數(shù)“size”指的是裁剪圖像的期望大小。torchvision.transforms.FiveCrop(size)圖像數(shù)據(jù)預(yù)處理Grayscale類Grayscale類可以將圖像轉(zhuǎn)換為灰度圖像。如果圖像是torch張量，形狀將會(huì)是[…，3，H，W]，其中省略號(hào)“…”表示任意數(shù)量的前導(dǎo)維數(shù)。Grayscale類的語(yǔ)法格式如下，其中參數(shù)“num_output_channels”表示的是輸出圖像所需的通道數(shù)。torchvision.transforms.Grayscale(num_output_channels=1)圖像數(shù)據(jù)預(yù)處理Pad類Pad類可以使用給定的填充值填充圖像的邊緣區(qū)域。如果圖像是torch張量，形狀將會(huì)是[…，H，W]，其中省略號(hào)“…”表示模式反射和對(duì)稱的最多2個(gè)前導(dǎo)維數(shù)。Pad類的語(yǔ)法格式如下。torchvision.transforms.Pad(padding,fill=0,padding_mode='constant')Pad類的常用參數(shù)及其說(shuō)明如表所示。圖像數(shù)據(jù)預(yù)處理參數(shù)名稱說(shuō)明padding接收int或序列，表示在圖像邊緣區(qū)域填充。如果只提供一個(gè)整型int數(shù)據(jù)，那么填充所有的邊緣區(qū)域。如果提供了長(zhǎng)度為2的序列，那么填充左右邊緣或上下邊緣區(qū)域。如果提供了長(zhǎng)度為4的序列，那么填充上下左右四個(gè)邊緣區(qū)域。無(wú)默認(rèn)值fill接收int或元組，表示填充值。如果值是長(zhǎng)度為3的元組，那么分別用于填充R、G、B三個(gè)通道。此值僅在填充模式為常數(shù)時(shí)使用。默認(rèn)為0。Resize類Resize類可以將輸入圖像調(diào)整到指定的尺寸。如果圖像是torch張量，形狀將會(huì)是[…，H，W]形狀，其中省略號(hào)“…”表示任意數(shù)量的前導(dǎo)維數(shù)。Resize類的語(yǔ)法格式如下。torchvision.transforms.Resize(size,interpolation=<InterpolationMode.BILINEAR:'bilinear'>)Resize類的常用參數(shù)及其說(shuō)明如表所示。圖像數(shù)據(jù)預(yù)處理參數(shù)名稱說(shuō)明size接收int，表示期望輸出大小，無(wú)默認(rèn)值interpolation接收str，表示插入式模式。默認(rèn)為InterpolationMode.BILINEARPyTorch不僅可設(shè)置對(duì)圖片的變換處理，還可以對(duì)這些變換處理進(jìn)行隨機(jī)選擇、組合，數(shù)據(jù)增強(qiáng)更靈活。RandomChoice類RandomChoice類從接收的變換處理列表中隨機(jī)選取的單個(gè)變換處理對(duì)圖像進(jìn)行變換。RandomChoice類的語(yǔ)法格式如下。RandomChoice類的參數(shù)說(shuō)明與Compose類一致。torchvision.transforms.RandomChoice(transforms)圖像數(shù)據(jù)預(yù)處理3.

對(duì)變換處理列表做處理RandomOrder類RandomOrder類隨機(jī)打亂接收的變換處理列表中的變換處理。RandomOrder類的語(yǔ)法格式如下。RandomOrder類的參數(shù)說(shuō)明與Compose類一致。torchvision.transforms.RandomOrder(transforms)圖像數(shù)據(jù)預(yù)處理對(duì)圖像數(shù)據(jù)做變換處理操作的類較多，此處介紹常用的兩個(gè)類。LinearTransformation類LinearTransformation類用平方變換矩陣和離線計(jì)算的均值向量變換圖像數(shù)據(jù)。LinearTransformation類的語(yǔ)法格式如下。torchvision.transforms.LinearTransformation(transformation_matrix,mean_vector)LinearTransformation類的常用參數(shù)及其說(shuō)明如表所示。圖像數(shù)據(jù)預(yù)處理4.

對(duì)圖像數(shù)據(jù)做變換處理參數(shù)名稱說(shuō)明transformation_matrix接收str，表示變換矩陣，輸入格式為[DxD]。無(wú)默認(rèn)值mean_vector接收str，平均向量，輸入格式為[D]。無(wú)默認(rèn)值Normalize類Normalize類用均值和標(biāo)準(zhǔn)差對(duì)圖像數(shù)據(jù)進(jìn)行歸一化處理。Normalize類的語(yǔ)法格式如下。torchvision.transforms.Normalize(mean,std,inplace=False)Normalize類的常用參數(shù)及其說(shuō)明如表所示。圖像數(shù)據(jù)預(yù)處理參數(shù)名稱說(shuō)明mean接收int或float，表示每個(gè)通道的均值。無(wú)默認(rèn)值std接收int或float，表示每個(gè)通道的標(biāo)準(zhǔn)差。無(wú)默認(rèn)值由于直接讀取圖像得到的數(shù)據(jù)的類型與輸入網(wǎng)絡(luò)的數(shù)據(jù)類型不對(duì)應(yīng)，因此需要對(duì)數(shù)據(jù)的格式進(jìn)行轉(zhuǎn)換。ToPILImage類ToPILImage類將tensor類型或ndarray類型的數(shù)據(jù)轉(zhuǎn)換為PILImage類型的數(shù)據(jù)。ToPILImage類的語(yǔ)法格式如下，其中參數(shù)“mode”指的是輸入數(shù)據(jù)的顏色空間和像素深度。torchvision.transforms.ToPILImage(mode=None)圖像數(shù)據(jù)預(yù)處理5.

格式轉(zhuǎn)換變換處理ToTensor類ToTensor類將PILImage類型或ndarray類型的數(shù)據(jù)轉(zhuǎn)換為tensor類型的數(shù)據(jù)，并且歸一化至[0,1]。ToTensor類的語(yǔ)法格式如下。torchvision.transforms.ToTensor如果PIL圖像屬于L、P、I、F、RGB、YCbCr、RGBA、CMYK和1這些形式之一，那么將[0,255]范圍內(nèi)的PIL圖像或numpy.ndarray(H×W×C)轉(zhuǎn)換為[0.0,1.0]范圍內(nèi)的浮點(diǎn)張量（C×H×W）。在其他情況下，不按比例返回張量。圖像數(shù)據(jù)預(yù)處理1.劃分訓(xùn)練集和測(cè)試集SogouNews類可以對(duì)PyTorch框架自帶的數(shù)據(jù)集進(jìn)行訓(xùn)練集測(cè)試集的劃分，SogouNews類的語(yǔ)法格式如下。torchtext.datasets.SogouNews(root='.data',split=('train','test'))SogouNews類的常用參數(shù)及其說(shuō)明如表所示。文本數(shù)據(jù)預(yù)處理在PyTorch框架中可以利用trochtext庫(kù)中的相關(guān)類對(duì)文本數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理。參數(shù)名稱說(shuō)明root接收str，表示保存數(shù)據(jù)集的目錄，無(wú)默認(rèn)值split接收str，表示劃分?jǐn)?shù)據(jù)集和測(cè)試集的標(biāo)準(zhǔn)，無(wú)默認(rèn)值WikiText2類也可以對(duì)PyTorch框架自帶的數(shù)據(jù)集進(jìn)行訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分。WikiText2類的語(yǔ)法格式如下。torchtext.datasets.WikiText2(root='.data',split=('train','valid','test'))WikiText2類僅能對(duì)三個(gè)PyTorch自帶數(shù)據(jù)集進(jìn)行操作，分別是WikiText-2數(shù)據(jù)集、WikiText103數(shù)據(jù)集和PennTreebank數(shù)據(jù)集。文本數(shù)據(jù)預(yù)處理Vocab類可以定義用于計(jì)算字段的詞匯表對(duì)象。Vocab類的語(yǔ)法格式如下。torchtext.vocab.Vocab(counter,max_size=None,min_freq=1,pecials=('<unk>','<pad>'),vectors=None,unk_init=None,vectors_cache=None,specials_first=True)文本數(shù)據(jù)預(yù)處理2.創(chuàng)建詞匯表Vocab類的常用參數(shù)及其說(shuō)明如表所示。文本數(shù)據(jù)預(yù)處理參數(shù)名稱說(shuō)明counter接收f(shuō)loat，表示保存數(shù)據(jù)中每個(gè)值的頻率，無(wú)默認(rèn)值max_size接收int，表示最大詞匯容量，無(wú)默認(rèn)值min_freq接收int，表示能保存進(jìn)詞匯表的最低頻率，默認(rèn)為1specials接收str，表示將加在詞匯表前面的特殊標(biāo)記的列表，默認(rèn)值為('<unk>','<pad>')vectors接收int，表示可用的預(yù)訓(xùn)練向量，無(wú)默認(rèn)值vectors_cache接收str，表示緩存向量的目錄，無(wú)默認(rèn)值generate_sp_model類用于構(gòu)建句子生成器，generate_sp_model類的語(yǔ)法格式如下。torchtext.data.functional.generate_sp_model(filename,vocab_size=20000,model_type='unigram',model_prefix='m_user')generate_sp_model類的常用參數(shù)及其說(shuō)明如表所示。文本數(shù)據(jù)預(yù)處理3.構(gòu)建句子生成器參數(shù)名稱說(shuō)明filename接收str，表示用于構(gòu)建句子生成器的數(shù)據(jù)文件，無(wú)默認(rèn)值vocab_size接收int，表示詞匯量，默認(rèn)為20000model_type接收str，表示生成句子網(wǎng)絡(luò)的類型，包括unigram、bpe、char、word，默認(rèn)為unigrammodel_prefix接收str，表示數(shù)據(jù)文件和詞匯表的前綴保存形式，默認(rèn)為m_userload_sp_model類用于加載數(shù)據(jù)文件的句子生成器。load_sp_model類的語(yǔ)法格式如下，其中參數(shù)“SPM”指的是保存句子生成器的文件路徑。torchtext.data.functional.load_sp_model(SPM)文本數(shù)據(jù)預(yù)處理4.

加載句子生成器sentencepiece_numericalizer類用于建立基于文本句子的數(shù)字映射。sentencepiece_numericalizer類的語(yǔ)法格式如下，其中參數(shù)“sp_model”指的是句子生成器。torchtext.data.functional.sentencepiece_numericalizer(sp_model)文本數(shù)據(jù)預(yù)處理5.

構(gòu)建句子計(jì)數(shù)器sentencepiece_tokenizer類用于標(biāo)記文本句子中各個(gè)詞匯，sentencepiece_tokenizer類的語(yǔ)法格式如下。輸入文本句子，將輸出句子中所有成分。torchtext.data.functional.sentencepiece_tokenizer(sp_model)文本數(shù)據(jù)預(yù)處理6.構(gòu)建句子標(biāo)記器simple_space_split類用于對(duì)句子進(jìn)行分詞處理，并輸出句子中的各個(gè)詞匯。simple_space_split類的語(yǔ)法格式如下。torchtext.data.functional.si