基于迭代剪枝VGGNet的火星圖像分類(lèi)

時(shí)間：TIME\@"yyyy'年'M'月'd'日'"2022年3月29日學(xué)海無(wú)涯頁(yè)碼：第1-頁(yè)共1頁(yè)基于迭代剪枝VGGNet的火星圖像分類(lèi)火星是21世紀(jì)深空探測(cè)的主要目標(biāo)。為了進(jìn)一步探索火星，人類(lèi)相繼發(fā)射Spirit、Opportunity和好奇號(hào)著陸火星表面。這些火星車(chē)均攜帶了全景相機(jī)。Spirit在運(yùn)行的6年時(shí)間里，分析了GusevCrater底部的玄武巖、火山巖和火山碎屑巖［1］。Opportunity在運(yùn)行期間穿越40余公里，探索了火山口中的沉積巖［2］和粗玄武巖［3］。尋找古代沉積巖，已成為火星車(chē)的重點(diǎn)工作。這是因?yàn)楣糯练e巖是液態(tài)水存在的證據(jù)，也是尋找外星生命的線(xiàn)索［4］。研究巖石還將為地形的物理性質(zhì)提供語(yǔ)義描述，有助于火星車(chē)避障［5］。火星環(huán)繞器需要作為中繼通信衛(wèi)星，為火星車(chē)建立穩(wěn)定的中繼通信鏈路，才能傳回火星巖石圖像供科學(xué)研究分析［6］。這就要求火星車(chē)對(duì)拍攝的火星圖像具有較強(qiáng)的分類(lèi)能力，傳回重要的火星圖像，以節(jié)約火星車(chē)的能量。因此，提高火星圖像的分類(lèi)能力具有重要的實(shí)用價(jià)值和必要性。

近年來(lái)，鑒于深度學(xué)習(xí)算法在圖像分類(lèi)任務(wù)上的優(yōu)良性能以及有用特征的推斷能力，使得它們?cè)诨鹦翘綔y(cè)任務(wù)中具有廣泛的應(yīng)用前景。Anirudh提出了一種深度學(xué)習(xí)算法MRSCAtt，該算法聯(lián)合使用空間和通道注意機(jī)制來(lái)彌補(bǔ)火星圖像在色調(diào)、質(zhì)量、照明和清晰度方面與地球圖像之間的差異，從而進(jìn)行精確的圖像分類(lèi)［7］。Li利用VGG-16和遷移學(xué)習(xí)進(jìn)行火星圖像分類(lèi)，在MSLAnalyst火星巖石圖像庫(kù)上取得了較好的分類(lèi)效果［5］。Shang提出基于模糊粗糙特征選擇與支持向量機(jī)結(jié)合的圖像分類(lèi)器，用于解決類(lèi)別多、數(shù)量大等問(wèn)題［8］。Wagstaff為幫助科學(xué)家找到感興趣圖像，開(kāi)發(fā)了基于內(nèi)容搜索的圖像分類(lèi)器［9］。Lu在美國(guó)國(guó)家航空航天局的行星數(shù)據(jù)系統(tǒng)圖像制圖節(jié)點(diǎn)中部署了多種經(jīng)典分類(lèi)器［10］。柳思聰研制了“天問(wèn)一號(hào)”著陸區(qū)域的高分辨率三維地形圖，并通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)著陸區(qū)地形地貌進(jìn)行了分類(lèi)［11］。

雖然這些深度學(xué)習(xí)圖像分類(lèi)算法應(yīng)用于真實(shí)火星圖像時(shí)可以取得較好效果［12］，但是無(wú)法部署到火星車(chē)上。這是由于受到兩個(gè)限制：卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜結(jié)構(gòu)和內(nèi)存容量?；鹦擒?chē)的硬件資源寶貴，圖像分類(lèi)任務(wù)不能占用所有計(jì)算資源。

為了解決這個(gè)問(wèn)題，本文利用迭代裁剪方式，對(duì)VGGNet［13］進(jìn)行模型壓縮。在保持VGGNet高分類(lèi)準(zhǔn)確率的基礎(chǔ)上，減小VGGNet占用的內(nèi)存資源和計(jì)算資源。需要注意的是，需根據(jù)剪枝后的權(quán)重參數(shù)重新訓(xùn)練VGGNet。對(duì)于裁剪較敏感的層，使用小的裁剪力度或者不裁剪。采用迭代裁剪方式對(duì)模型進(jìn)行壓縮有助于減少圖像分類(lèi)器的內(nèi)存占用量。該方法具體如下；首先，采用遷移學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)的連通性，以便評(píng)估神經(jīng)元的重要性；其次，通過(guò)迭代剪枝方法修剪不重要的神經(jīng)元，以便將全連接層的參數(shù)量和內(nèi)存占用量減少；最后，采用K-means++聚類(lèi)實(shí)現(xiàn)權(quán)重參數(shù)的量化，利用霍夫曼編碼壓縮迭代剪枝與量化后的VGGNet權(quán)重參數(shù)，達(dá)到減少存儲(chǔ)量和浮點(diǎn)數(shù)運(yùn)算量的作用。此外，本文通過(guò)5種數(shù)據(jù)增強(qiáng)方法進(jìn)行數(shù)據(jù)擴(kuò)充，目的是解決類(lèi)別不平衡的問(wèn)題。為了驗(yàn)證壓縮后的模型有效性，將其與輕量級(jí)ShuffleNet［14］、MobileNet［15］和EfficientNet［16］模型進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明，所提模型具有更好的性能。

2數(shù)據(jù)集及數(shù)據(jù)處理

2.1數(shù)據(jù)集

Mars32K數(shù)據(jù)集為好奇號(hào)火星車(chē)MAHLI相機(jī)在2022年8月至2022年11月期間采集的圖像。該數(shù)據(jù)集給出了火星的地理和地質(zhì)特征，如山脈、山谷、隕石坑、沙丘和巖石地形。本文對(duì)Mars32K火星表面數(shù)據(jù)集進(jìn)行類(lèi)別劃分，表1給出了巖石類(lèi)別和對(duì)應(yīng)標(biāo)簽，圖1給出了7種火星圖像示例。玄武巖高度氧化，呈弱堿性，通常二氧化硅不飽和［17-18］。層狀沉積巖是一種巖石露頭，顯示出層狀特征［19］，其分層稱(chēng)為“交叉層理”，表明砂巖是由風(fēng)沉積而成的遷移沙丘［20］。細(xì)粒巖是火星地表暴露最多的礫石，其質(zhì)地呈斑狀或隱晶質(zhì)，有時(shí)呈水泡狀［21］。礫巖在不同深度的分離結(jié)晶含水量不同，產(chǎn)生了粗面巖、粗面玄武巖、夏威夷巖以及堆積的輝石巖、沙丘巖。粗玄武巖的來(lái)源尚未明確，可能是從隕石坑壁脫落或火山噴射物［22］。機(jī)車(chē)和沙顧名思義，不再贅述。

表1圖像類(lèi)別及其標(biāo)簽

Tab.1Imagecategoriesandtheirlabels

類(lèi)別描述標(biāo)簽

玄武巖G1

礫巖G2

機(jī)車(chē)G3

細(xì)粒巖G4

層狀沉積巖G5

沙G6

粗玄武巖G7

下載:導(dǎo)出CSV

圖17種圖像類(lèi)別示例

Fig.1Sevenexamplesofimagecategories

下載:原圖|高精圖|低精圖

2.2數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是一種使有限的數(shù)據(jù)產(chǎn)生更多的等價(jià)數(shù)據(jù)來(lái)人工擴(kuò)展訓(xùn)練數(shù)據(jù)集的技術(shù)［23］。一般來(lái)說(shuō)，卷積神經(jīng)網(wǎng)絡(luò)（CNN）的準(zhǔn)確率隨著訓(xùn)練圖像的數(shù)量增多而增加。當(dāng)難以獲得足夠的訓(xùn)練圖像時(shí)，數(shù)據(jù)增強(qiáng)成為擴(kuò)展數(shù)據(jù)庫(kù)的有效手段，可以有效提高CNN的分類(lèi)精度［24］。數(shù)據(jù)增強(qiáng)最主要的目的是提高訓(xùn)練數(shù)據(jù)的多樣性，從而幫助模型更好地泛化到看不見(jiàn)的測(cè)試數(shù)據(jù)，并且可以很好地解決由于樣本不足而出現(xiàn)的過(guò)度擬合問(wèn)題。通過(guò)數(shù)據(jù)增強(qiáng)方法可以很好地對(duì)未來(lái)我國(guó)的火星車(chē)所采集的巖石數(shù)據(jù)進(jìn)行泛化，無(wú)需參數(shù)調(diào)整就可直接遷移使用。常用的數(shù)據(jù)增強(qiáng)方法可分為空間幾何變換、像素顏色變換和多樣本合成幾種方法。本文使用的圖像增強(qiáng)技術(shù)有：翻轉(zhuǎn)、模糊、裁剪、旋轉(zhuǎn)、平移和加入噪聲。本實(shí)驗(yàn)中數(shù)據(jù)增強(qiáng)前后數(shù)據(jù)對(duì)比如圖2所示。

圖2數(shù)據(jù)增強(qiáng)前后的類(lèi)別數(shù)量對(duì)比

Fig.2Comparisonofthenumberofcategoriesbeforeandafterdataenhancement

下載:原圖|高精圖|低精圖

3模型壓縮

傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)模型計(jì)算量大且內(nèi)存密集。然而，火星車(chē)探測(cè)車(chē)的系統(tǒng)內(nèi)存資源有限，分類(lèi)任務(wù)不能占據(jù)系統(tǒng)的全部資源。大計(jì)算量阻礙了深度神經(jīng)網(wǎng)絡(luò)模型在內(nèi)存資源低的設(shè)備或具有嚴(yán)格延遲要求的應(yīng)用程序中的部署。在不降低精度的前提下，壓縮和加速深度網(wǎng)絡(luò)模型，完成火星圖像分類(lèi)是必然的途徑。

目前，通常意義上的模型壓縮，主流思路有兩個(gè)方向。一個(gè)是設(shè)計(jì)更輕巧的網(wǎng)絡(luò)模型，如ShuffleNet、MobileNet和EfficientNet等。這些輕量級(jí)網(wǎng)絡(luò)模型，可以根據(jù)實(shí)際精度要求，不斷調(diào)試優(yōu)化。另外一種思路是通過(guò)模型壓縮方法改變網(wǎng)絡(luò)模型結(jié)構(gòu)，減小模型的內(nèi)存占用量和計(jì)算復(fù)雜度。表2給出了4種模型壓縮及其簡(jiǎn)要描述。模型壓縮的思路是針對(duì)ResNet［25］、DenseNet［26］、VGGNet等網(wǎng)絡(luò)模型中存在大量冗余節(jié)點(diǎn)，節(jié)點(diǎn)權(quán)重占用大量?jī)?nèi)存的問(wèn)題，通過(guò)剪除冗余節(jié)點(diǎn)以達(dá)到優(yōu)化的目的。

表2模型壓縮方法與簡(jiǎn)要介紹

Tab.2Modelcompressionmethodandbriefintroduction

方法簡(jiǎn)要介紹

知識(shí)蒸餾通過(guò)采用預(yù)先訓(xùn)練好的復(fù)雜模型（Teachermodel）的輸出作為監(jiān)督信號(hào)去訓(xùn)練另外一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)（Studentmodel），可以在卷積層和全連接層操作，僅支持從頭開(kāi)始訓(xùn)練。

低秩分解使用矩陣/張量分解來(lái)估計(jì)信息參數(shù)。支持卷積層和全連接層操作，僅支持從頭開(kāi)始訓(xùn)練。

轉(zhuǎn)移/緊湊卷積核設(shè)計(jì)特殊的結(jié)構(gòu)卷積核來(lái)保存參數(shù)。僅在卷積層操作并且只支持從頭開(kāi)始訓(xùn)練。

迭代剪枝與量化減少對(duì)性能不敏感的冗余參數(shù)?？梢栽诰矸e層和全連接層操作，支持從頭開(kāi)始訓(xùn)練和預(yù)訓(xùn)練模型。

下載:導(dǎo)出CSV

與其他壓縮模型方法相比，如知識(shí)蒸餾、低秩分解和轉(zhuǎn)移/緊湊卷積核，網(wǎng)絡(luò)剪枝在保留精度的同時(shí)大幅減少了計(jì)算復(fù)雜度。因此，本文采用迭代剪枝的方法。

3.1迭代剪枝

迭代剪枝方式可以降低卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算量和內(nèi)存占用量。VGG-16具有較好的圖像分類(lèi)效果［27］，但VGG-16參數(shù)量大，高達(dá)113.84Mb，消耗了大量?jī)?nèi)存。VGG-16擁有13層的卷積層和3層的全連接層。VGG-16中參數(shù)量最多的層并非卷積層，而是第一個(gè)全連接層。這是因?yàn)?3層卷積層提取的特征參數(shù)全部傳輸?shù)降谝粋€(gè)全連接層，共有84.24Mb參數(shù)，占總參數(shù)量的74%。

降低全連接層的參數(shù)量的關(guān)鍵步驟是確定每層中最佳的神經(jīng)元數(shù)量。然而，全連接層的神經(jīng)元數(shù)量通常根據(jù)工程經(jīng)驗(yàn)確定，如128、512、4096等。通過(guò)控制剪枝率對(duì)模型中神經(jīng)元數(shù)量進(jìn)行部分修剪，少量修剪并不會(huì)造成分類(lèi)精度的下降。這種被修剪的弱神經(jīng)元是多余的，其存在會(huì)導(dǎo)致過(guò)擬合和優(yōu)化困難。為了尋找每層神經(jīng)元的最佳數(shù)量以實(shí)現(xiàn)更高效的網(wǎng)絡(luò)架構(gòu)，本文采用一種迭代剪枝方法以修剪冗余的神經(jīng)元。

迭代剪枝分為3步，如圖3所示。

圖3迭代剪枝的流程圖

Fig.3Flowchartofiterativepruning

下載:原圖|高精圖|低精圖

第一步，利用遷移學(xué)習(xí)訓(xùn)練VGG-16的連通性。與傳統(tǒng)訓(xùn)練不同的是，訓(xùn)練VGG-16的連通性不是學(xué)習(xí)權(quán)重值，而是學(xué)習(xí)神經(jīng)元的重要性。

第二步，修剪低權(quán)重連接。設(shè)訓(xùn)練數(shù)據(jù)集為D=｛X=｛x0，x1，…，xN｝，Y=｛y0，y1，…，yN｝｝，其中X、Y代表輸入和輸出。優(yōu)化權(quán)重參數(shù)W={(w11,b11),(w21,b21),...(wC??L,bC??L)}，使得代價(jià)函數(shù)值最小，如式（1）所示：

J(θ)=?1m?[∑i=1m∑k=1K(y(i)kloghθ(x(i))+(1?y(i)k)log(1?(hθ(x(i)))k)]

.（1）

權(quán)重標(biāo)準(zhǔn)差Θstd(W)的計(jì)算公式如式（2）所示：

Θstd(W)=1|W|∑i(wi?μw)2????????????????√

，（2）

其中，W是權(quán)重集的維數(shù)。

將權(quán)重低于Θstd(W)的神經(jīng)元h置0。此時(shí)代價(jià)函數(shù)為J(θ,h=0)。需使剪枝前后網(wǎng)絡(luò)模型的代價(jià)函數(shù)盡可能相等，因此需給出使函數(shù)argmin|J(θ)?J(θ,h=0)|最小的h，從而將密集網(wǎng)絡(luò)轉(zhuǎn)為稀疏網(wǎng)絡(luò)。

第三步，訓(xùn)練稀疏網(wǎng)絡(luò)，以便剩余的連接可以補(bǔ)償已刪除的連接，這一步至關(guān)重要。修剪和再訓(xùn)練的階段可以迭代，減少?gòu)?fù)雜度。否則，準(zhǔn)確性會(huì)下降。

修剪連接后，零輸入連接或零輸出連接的神經(jīng)元可以被安全地修剪，修剪示例如圖4所示。在訓(xùn)練過(guò)程中，死亡的神經(jīng)元將被自動(dòng)移除。

圖4修剪前后的突觸和神經(jīng)元

Fig.4Synapsesandneuronsbeforeandafterpruning

下載:原圖|高精圖|低精圖

3.2量化與Huffman編碼

剪枝是刪除網(wǎng)絡(luò)模型中不重要的權(quán)重參數(shù)，量化則是減少存儲(chǔ)權(quán)重的字節(jié)數(shù)，將權(quán)重存儲(chǔ)在更小的空間中。權(quán)重不需要以高精度方式存儲(chǔ)，甚至不應(yīng)該以高精度方式存儲(chǔ)。本文采用K-means++聚類(lèi)實(shí)現(xiàn)權(quán)重參數(shù)的量化，利用霍夫曼編碼壓縮迭代剪枝與量化后的VGGNet權(quán)重參數(shù)，達(dá)到減少存儲(chǔ)量和浮點(diǎn)數(shù)運(yùn)算量（Flops）的作用。在利用霍夫曼編碼實(shí)現(xiàn)壓縮時(shí)［28］，概率大的分配短碼，概率小的分配長(zhǎng)碼。

4實(shí)驗(yàn)結(jié)果與分析

本節(jié)將在Mars32K數(shù)據(jù)集上評(píng)估迭代剪枝與量化對(duì)VGG-16進(jìn)行模型壓縮的效果。

采用5種數(shù)據(jù)增強(qiáng)方法進(jìn)行數(shù)據(jù)擴(kuò)充，并且將圖像的像素都調(diào)整為224×224。本文使用遷移學(xué)習(xí)方法訓(xùn)練VGG-16模型的連通性。在迭代剪枝過(guò)程中，使用SGD優(yōu)化器以10-4的學(xué)習(xí)率、批量大小為32、動(dòng)量為0.8、剪枝率為0.2訓(xùn)練網(wǎng)絡(luò)模型。

本文采用準(zhǔn)確率、浮點(diǎn)數(shù)運(yùn)算量和總內(nèi)存占用量指標(biāo)來(lái)評(píng)價(jià)模型的性能。用TP、FP、FN、TN分別表示標(biāo)簽為正樣本、預(yù)測(cè)為負(fù)樣本，標(biāo)簽為正樣本預(yù)測(cè)、為正樣本，標(biāo)簽為負(fù)樣本預(yù)測(cè)、為負(fù)樣本和標(biāo)簽為負(fù)樣本預(yù)測(cè)、為正樣本，準(zhǔn)確率的計(jì)算公式如式（3）所示：

Accuracy=TN+TPTN+TP+FN+FP

.（3）

浮點(diǎn)數(shù)運(yùn)算量的計(jì)算公式如式（4）所示：

Flops=2HW(CinK2+1)Cout

，（4）

式中：H、W和Cin分別表示輸入特征圖的高度、寬度和通道數(shù)，K是卷積核的寬度，Cout是輸入特征圖的通道數(shù)。

4.1實(shí)驗(yàn)結(jié)果

本文探索了不同剪枝率對(duì)模型準(zhǔn)確率的影響。從圖5可以看出，隨著剪枝率的增加，分類(lèi)準(zhǔn)確率下降。值得注意的是，圖5中修剪后不再訓(xùn)練，剪枝后的網(wǎng)絡(luò)性能未達(dá)到最優(yōu)。鑒于剪枝率為0.2時(shí)，VGG-16效果較好，本文選擇0.2的剪枝率，并在后續(xù)實(shí)驗(yàn)中，剪枝后再訓(xùn)練網(wǎng)絡(luò)。

圖5不同剪枝率對(duì)模型準(zhǔn)確率的影響

Fig.5Influenceofdifferentpruningratesonmodelaccuracy

下載:原圖|高精圖|低精圖

模型壓縮分為3步。第一步，遷移學(xué)習(xí)預(yù)訓(xùn)練VGG-16的連通性，結(jié)果對(duì)應(yīng)圖6中前150代的預(yù)訓(xùn)練模型曲線(xiàn)；第二步，迭代修剪低權(quán)重神經(jīng)元，結(jié)果對(duì)應(yīng)圖6中迭代剪枝曲線(xiàn)；第三步，對(duì)修剪后的網(wǎng)絡(luò)再訓(xùn)練，結(jié)果對(duì)應(yīng)圖6中再訓(xùn)練曲線(xiàn)。

圖6預(yù)訓(xùn)練、迭代剪枝和再訓(xùn)練模型的準(zhǔn)確率。

Fig.6Accuracyofpretrained，iterativelyprunedandretrainedmodel.

下載:原圖|高精圖|低精圖

為了驗(yàn)證迭代剪枝再訓(xùn)練VGG-16的有效性，將訓(xùn)練代數(shù)為160、200和275時(shí)的權(quán)重參數(shù)進(jìn)行量化與霍夫曼編碼。圖7給出了訓(xùn)練代數(shù)為160時(shí)的結(jié)果。圖8給出了訓(xùn)練代數(shù)為160、200和275時(shí)對(duì)應(yīng)的特征提取圖。表3給出了模型壓縮前后的相關(guān)數(shù)據(jù)。從圖8和表3可以看出，一方面，隨著訓(xùn)練代數(shù)增大，未裁剪的神經(jīng)元數(shù)量變少，提取的巖石相對(duì)位置信息和紋理信息減少，分類(lèi)準(zhǔn)確率也隨之下降；另一方面，內(nèi)存占用量、Flops值也隨之降低。對(duì)以上指標(biāo)折中，本文選擇訓(xùn)練代數(shù)為160的壓縮后的VGG-16。

圖7霍夫曼編碼量化實(shí)現(xiàn)權(quán)重參數(shù)壓縮的過(guò)程

Fig.7ProcessofHuffmancodingandquantizationtorealizethecompressionofweightparameters

下載:原圖|高精圖|低精圖

圖8迭代剪枝模型不同層提取的特征圖

Fig.8Featuremapsextractedfromdifferentlayersofiterativepruningmodel

下載:原圖|高精圖|低精圖

表3模型壓縮前后的數(shù)據(jù)對(duì)比

Tab.3Datacomparisonbeforeandaftermodelcompression

方法訓(xùn)練代數(shù)內(nèi)存占用量/MbFlops/MFlops準(zhǔn)確度/%

VGG-16（預(yù)訓(xùn)練模型）150241.99346.2098.10

迭代剪枝16060.46148.6092.82

20225.4363.8085.54

27517.4836.4562.79

再訓(xùn)練16062.63150.6096.15

20229.6169.7091.54

27523.6743.2167.37

下載:導(dǎo)出CSV

通過(guò)混淆矩陣展示模型壓縮后的性能，如圖9所示。通過(guò)分析混淆矩陣可以看出，分類(lèi)準(zhǔn)確率高，僅存在極少失敗案例。如迭代剪枝模型將G6類(lèi)別錯(cuò)誤地分類(lèi)為G2類(lèi)，G2類(lèi)別被錯(cuò)誤地分類(lèi)為G4類(lèi)別。

圖9分類(lèi)混淆矩陣

Fig.9Classificationconfusionmatrix

下載:原圖|高精圖|低精圖

綜合考慮模型的內(nèi)存占用量、準(zhǔn)確率和Flops3個(gè)指標(biāo)，以160代時(shí)再訓(xùn)練的權(quán)重參數(shù)進(jìn)行量化與霍夫曼編碼。編碼后的權(quán)重參數(shù)構(gòu)成的網(wǎng)絡(luò)作為火星圖像分類(lèi)模型。

4.2消融實(shí)驗(yàn)

為了驗(yàn)證迭代剪枝的有效性，本文將VGG-16與輕量級(jí)神經(jīng)網(wǎng)絡(luò)做對(duì)比，如MobileNet、ShuffleNet、EfficientNet、高分類(lèi)精度的殘差神經(jīng)網(wǎng)絡(luò)ResNet50和采用密集連接的DenseNet。

MobileNet核心思想是采用深度卷積操作。相較于標(biāo)準(zhǔn)卷積操作，可以減少數(shù)倍的計(jì)算量，從而達(dá)到提升網(wǎng)絡(luò)運(yùn)算速度的目的。然而采用深度卷積會(huì)出現(xiàn)“信息流通不暢”問(wèn)題，即輸出的特征圖僅包含輸入的特征圖的一部分。

針對(duì)深度卷積帶來(lái)的“信息流通不暢”問(wèn)題，ShuffleNet采用組卷積和通道隨機(jī)混合操作兩種經(jīng)典方法，其準(zhǔn)確率得到提升。

EfficientNet并非真正意義上的輕量化模型，只是借鑒depth-wiseconvolution，而depth-wiseconvolution又是上述二個(gè)輕量化模型的關(guān)鍵點(diǎn)。MobileNet、ShuffleNet是真正意義上的輕量化網(wǎng)絡(luò)，而EfficientNe