飛槳視覺技術(shù)解析與應(yīng)用(共10頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上【機(jī)器視覺】百度鄧凱鵬：飛槳視覺技術(shù)解析與應(yīng)用人工智能論壇如今浩如煙海，有硬貨、有干貨的講座卻百里挑一?！癆I未來說·青年學(xué)術(shù)論壇”系列講座由中國科學(xué)院大學(xué)主辦，百度全力支持，讀芯術(shù)、paperweekly作為合作自媒體。承辦單位為中國科學(xué)院大學(xué)學(xué)生會(huì)，協(xié)辦單位為中國科學(xué)院計(jì)算所研究生會(huì)、網(wǎng)絡(luò)中心研究生會(huì)、人工智能學(xué)院學(xué)生會(huì)、化學(xué)工程學(xué)院學(xué)生會(huì)、公共政策與管理學(xué)院學(xué)生會(huì)、微電子學(xué)院學(xué)生會(huì)。2020年4月26日，第14期“AI未來說·青年學(xué)術(shù)論壇”深度學(xué)習(xí)線上專場(chǎng)論壇以“線上平臺(tái)直播+微信社群圖文直播”形式舉行。百度鄧凱鵬帶來報(bào)告飛槳視覺技術(shù)解析與應(yīng)

2、用。百度鄧凱鵬的報(bào)告視頻鄧凱鵬，2017年本碩畢業(yè)于上海交通大學(xué)電子信息與電氣工程學(xué)院，現(xiàn)于百度深度學(xué)習(xí)技術(shù)平臺(tái)部從事CV方向模型研究和優(yōu)化工作。PaddleDetection目標(biāo)檢測(cè)庫和PaddleVideo視頻庫的核心設(shè)計(jì)者和開發(fā)者，兩個(gè)模型庫均是在工業(yè)端到端落地的優(yōu)秀實(shí)踐，支撐了大量線上業(yè)務(wù)，其中基于Paddle開發(fā)并優(yōu)化的YOLOv3目標(biāo)檢測(cè)模型，在精度和速度上達(dá)到業(yè)界最優(yōu)，通過裁剪蒸餾等方法壓縮的YOLOv3模型在移動(dòng)端精度和速度大幅領(lǐng)先于當(dāng)前最優(yōu)的SSDLite-MobileNetV3。Paddle 3D視覺方向負(fù)責(zé)人，完成Paddle 3D視覺方向的建設(shè)和推廣，建設(shè)的Paddle

3、 3D模型庫支撐百度研究院發(fā)表論文10余篇。報(bào)告內(nèi)容：介紹飛槳視覺技術(shù)的發(fā)展現(xiàn)狀，分析飛槳開源的各視覺模型庫的特色和優(yōu)勢(shì)，并結(jié)合圖像分類，目標(biāo)檢測(cè)和模型壓縮及部署上端到端優(yōu)化及應(yīng)用案例，解讀飛槳在視覺模型完備性和領(lǐng)先性上的已有建設(shè)工作，介紹視覺模型精度和預(yù)測(cè)速度優(yōu)化上的方法技巧和實(shí)用效果，并分享飛槳在視覺模型選擇，性能優(yōu)化和部署應(yīng)用上的優(yōu)秀實(shí)踐，解析飛槳視覺模型在工業(yè)應(yīng)用實(shí)踐上的優(yōu)越性。飛槳視覺技術(shù)解析與應(yīng)用首先，鄧凱鵬老師介紹了當(dāng)前飛槳框架以及視覺模型庫CV的整體建設(shè)情況。飛槳框架是源自產(chǎn)業(yè)實(shí)踐深度學(xué)習(xí)框架，同時(shí)支持靜態(tài)圖和動(dòng)態(tài)圖搭建網(wǎng)絡(luò)，支持高效大規(guī)模分布式訓(xùn)練，同時(shí)推出了像PaddleS

4、lim模型壓縮還有安全加密的工具，以及在服務(wù)端和移動(dòng)端進(jìn)行預(yù)測(cè)部署一些引擎?；陲w槳框架，百度開源了自然語言處理、計(jì)算機(jī)視覺、推薦系統(tǒng)以及語音處理等模型庫，在基礎(chǔ)模型庫之上又開源了一系列端到端開發(fā)套件，在端到端開發(fā)套件之上開源了一鍵式遷移學(xué)習(xí)工具PaddleHub，還有自動(dòng)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的AutoDL，另外還開源了定制化訓(xùn)練服務(wù)平臺(tái)EasyDL以及一站式開發(fā)訓(xùn)練平臺(tái)AI Studio。接下來鄧凱鵬老師列舉了飛槳框架幾大優(yōu)勢(shì)：（1）飛槳框架同時(shí)支持靜態(tài)圖和動(dòng)態(tài)圖，動(dòng)態(tài)圖組網(wǎng)和調(diào)試方便，靜態(tài)圖運(yùn)行速度快、部署方便，同時(shí)支持靜態(tài)圖和動(dòng)態(tài)圖使開發(fā)更為便捷。（2）飛槳是支持超大規(guī)模深度學(xué)習(xí)并行模型的，

5、在海量數(shù)據(jù)和模型快速迭代的場(chǎng)景中有很大的優(yōu)勢(shì)。（3）不僅使用和訓(xùn)練方便，飛槳框架和多端多平臺(tái)推理部署基本上是無縫對(duì)接，并且有領(lǐng)先底層加速庫，還有模型壓縮工具針對(duì)服務(wù)器端和移動(dòng)端的部署引擎。（4）在應(yīng)用方面，飛槳推出經(jīng)過實(shí)踐驗(yàn)證的豐富應(yīng)用模型庫，開源了多個(gè)國際競(jìng)賽的冠軍算法。之后，鄧凱鵬老師對(duì)計(jì)算機(jī)視覺進(jìn)行了簡要介紹。飛槳推出了工業(yè)級(jí)計(jì)算機(jī)視覺模型庫，百度構(gòu)建了圖像分類、目標(biāo)檢測(cè)、圖像分割、視頻處理、圖像生成、文字識(shí)別、度量學(xué)習(xí)以及3D視覺相關(guān)方面視覺能力，同時(shí)也構(gòu)建了PaddleClas圖像分類、PaddleDetection目標(biāo)檢測(cè)以及PaddleSeg圖像分割這些端到端的開發(fā)套件，接下來鄧

6、凱鵬老師就主要基于PaddleClas和PaddleDetection應(yīng)用介紹了飛槳在實(shí)際技術(shù)中建設(shè)。（1）PaddleClas圖像分類。圖像分類的任務(wù)目標(biāo)形象地說就是給計(jì)算機(jī)一張貓的圖片，通過計(jì)算機(jī)實(shí)現(xiàn)算法或者模型讓計(jì)算機(jī)準(zhǔn)確判斷這是只貓。圖像分類的應(yīng)用是十分廣泛的。飛槳團(tuán)隊(duì)技術(shù)開源了PaddleClas圖像分類套件，這是為工業(yè)界和學(xué)術(shù)界打造圖像分類任務(wù)的工具集，PaddleClas包含23個(gè)系列，多達(dá)117種分類模型，這也是當(dāng)前豐富度最高的圖像分類代碼倉庫。同時(shí)PaddleClas對(duì)于模型優(yōu)化提供了最前沿的支持，比如，將ResNet50_vd精度優(yōu)化到82.4%的SSLD知識(shí)蒸餾方案，也隨

7、著PaddleClas一起開源了。另外基于PaddleClas開源了多個(gè)特色應(yīng)用以及工業(yè)級(jí)部署工具，在工業(yè)應(yīng)用場(chǎng)景有非常好端到端的落地能力。下面鄧凱鵬老師具體地介紹了PaddleClas的優(yōu)勢(shì)。PaddleClas圖像分類庫解析與應(yīng)用提供了服務(wù)器端模型和端側(cè)模型兩個(gè)系列模型來支撐不同的運(yùn)用場(chǎng)景。圖像分類模型有大有小，應(yīng)用場(chǎng)景各不相同，如果在云端、服務(wù)器端上面部署模型時(shí)，一般認(rèn)為算力是足夠的，更傾向于追求模型精度；而手機(jī)端、嵌入式端移動(dòng)端設(shè)備部署的時(shí)候，受限于設(shè)備算力和內(nèi)存，對(duì)于模型大小、速度有更高的要求。首先是服務(wù)器端模型，服務(wù)器端模型支持多個(gè)序列，最新的EfficientNet在Paddle

8、Clas已經(jīng)支持了。鄧凱鵬老師根據(jù)不同模型的預(yù)測(cè)實(shí)驗(yàn)曲線非常推薦大家使用ResNet_vd_SSLD系列模型，業(yè)界對(duì)于ResNeT支持和優(yōu)化遠(yuǎn)比于EfficientNet要成熟，而ResNeT_vd是基于ResNeT的一個(gè)高效改進(jìn)，同時(shí)百度自研SSLD知識(shí)蒸餾方案對(duì)其精度又進(jìn)行了進(jìn)一步提升。然后是端側(cè)模型MobileNet系列和ShuffleNet系列，鄧凱鵬老師也根據(jù)端側(cè)模型的精度以及在相應(yīng)預(yù)測(cè)實(shí)驗(yàn)情況曲線推薦使用MobileNetV3_ssld系列，MobileNetV3本身精度和速度有很大優(yōu)勢(shì)，SSLD知識(shí)蒸餾又對(duì)它的精度進(jìn)行了進(jìn)一步提升。百度將MobileNetV3_large的精度提

9、升79%，將small模型精度提升到71.3%。（2）PaddleDetection目標(biāo)檢測(cè)庫。目標(biāo)檢測(cè)也叫目標(biāo)提取，即從圖像中框出你感興趣的目標(biāo)，輸出這個(gè)預(yù)測(cè)框的位置以及框中類別信息的任務(wù)。比如說在車輛檢測(cè)中，目標(biāo)檢測(cè)需要在一個(gè)畫面里框出車輛，并告知框里是什么類型的車，目標(biāo)檢測(cè)任務(wù)是計(jì)算機(jī)視覺主要方向之一，同時(shí)它也是實(shí)例分割、人員檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)等任務(wù)的基礎(chǔ)，目標(biāo)檢測(cè)任務(wù)在實(shí)際應(yīng)用中也是非常廣泛的。PaddleDetection目標(biāo)檢測(cè)庫基于飛槳核心框架，提供了多種模塊化設(shè)計(jì)的檢測(cè)器，并且提供了數(shù)據(jù)增強(qiáng)、損失函數(shù)等一系列的組件，還提供了豐富的模型庫。同時(shí)PaddleDetection集成了模

10、型壓縮能力、跨平臺(tái)部署能力，PaddleDetection檢測(cè)部署方案目前支持工業(yè)質(zhì)檢、遙感圖像檢測(cè)、無人巡檢等多個(gè)實(shí)際落地項(xiàng)目。然后鄧凱鵬老師列舉了PaddleDetection一些特點(diǎn)，（1）模塊化設(shè)計(jì)，這些模塊可以輕松組合和擴(kuò)展出你需要的目標(biāo)檢測(cè)器；（2）模型豐富，在模型庫層面上百度支持了10余種主流算法，100多種目標(biāo)檢測(cè)模型，同時(shí)持續(xù)提升服務(wù)器端以及移動(dòng)端優(yōu)化改進(jìn)模型，（3）高性能和工業(yè)級(jí)部署，PaddleDetection性能高，而且工業(yè)級(jí)部署上有一套全流程解決方案。PaddleDetection在持續(xù)優(yōu)化服務(wù)器端和端側(cè)模型，其中服務(wù)器端的單階段經(jīng)典檢測(cè)模型如YOLOv3。原作者的

11、YOLOv3在COCO數(shù)據(jù)集上精度是33.0；而在PaddleDetection里YOLOv3版本實(shí)現(xiàn)過程中，使用了像大量圖像增強(qiáng)等一系列的優(yōu)化措施，精度達(dá)到了37.7%，是高于原作者4.7個(gè)百分點(diǎn)，同時(shí)推理速度也是領(lǐng)先于原作者的。在此基礎(chǔ)上百度對(duì)YOLOv3模型進(jìn)行了進(jìn)一步的優(yōu)化，鄧凱鵬老師詳細(xì)介紹了一系列優(yōu)化方法，比如IoU Loss。 YOLOv3的定位精度是相對(duì)較差的，那么如何提高定位精度呢？IoU是定位精度的評(píng)估方式，直接把IoU的賦值作為loss的分量，那么在學(xué)習(xí)過程中就一直在優(yōu)化IoU，以提升IoU方式提升訓(xùn)練精度，類似于所見即所得的思想，通過一系列的優(yōu)化方式將YOLO

12、v3模型精度優(yōu)化43.6，高于原作者10.6的百分點(diǎn)，同時(shí)推理速度大幅的提升，優(yōu)于競(jìng)品40%以上，可以說是性價(jià)比很高的模型了。百度對(duì)于二階段FasterRCNN模型也進(jìn)行了一系列的優(yōu)化，首先減小了NMS proposal的數(shù)量，減少了FPN的通道數(shù)，這樣的精度是略有降低的，但通過修改其速度提升非?？?。百度更進(jìn)一步優(yōu)化精度，比如用了PaddleClas里面開源SSLD知識(shí)蒸餾模型作為預(yù)訓(xùn)練權(quán)重用到了CLoU Loss、可變形卷積和自動(dòng)圖像增強(qiáng)等一系列的優(yōu)化方式，將精度最終優(yōu)化了5.2個(gè)百分點(diǎn)，推理速度提升了38%，在TeslaV100上預(yù)測(cè)速度達(dá)到60幀/秒。上文提到的YOLOv3、Faster

13、RCNN等一系列的優(yōu)化方式在都在PaddleDetection里面，通過組件方式來提供的，也就是說如果想優(yōu)化自己目標(biāo)檢測(cè)模型，可以通過組件配置的方式通過PaddleDetection優(yōu)化自己的模型。上面介紹了服務(wù)器端模型優(yōu)化情況，然后鄧凱鵬老師介紹了移動(dòng)端、嵌入式端這些端側(cè)應(yīng)用。百度推出了端側(cè)模型庫，端側(cè)設(shè)備一般算力比較低，內(nèi)存比較小，所以對(duì)模型運(yùn)算量和大小要求比較高，同時(shí)端側(cè)設(shè)備種類比較多，比如早期低端CPU，還有近年來剛推出驍龍885、麒麟980，這些相對(duì)算力比較高的CPU以及嵌入式GPU、NPU等設(shè)備。PaddleDetection為此推出三個(gè)系列的模型，首先是適用于低算力的SSDLit

14、e及其量化模型，SSDLite在驍龍855上的推理時(shí)延只有41毫秒。如果需要兼顧速度和精度，PaddleDetection推出的YOLOv3壓縮模型通過剪裁+蒸餾的方式，將YOLOv3在驍龍845上的推理時(shí)延優(yōu)化100毫秒左右的時(shí)間，精度差不多達(dá)到25左右。在端上GPU或者NPU等一些高端設(shè)備，對(duì)于精度有很高的要求，百度推出的Cascade Faster RCNN模型在COCO數(shù)據(jù)集上的精度最高達(dá)到30.2%。同時(shí)PaddleDetection也內(nèi)置集成了模型壓縮的能力，提供一鍵式剪裁、蒸餾、量化這些腳本，通過一鍵式剪裁+蒸餾的方案，將YOLOv3MobileNetv1的計(jì)算量裁剪將近70%左

15、右，在COCO數(shù)據(jù)集精度基本是無損的，在VOC數(shù)據(jù)集精度還略有提升，這個(gè)裁剪模型在移動(dòng)端有三倍，GPU也有60%的加速，可以說非常給力。YOLOv3ResNet50 DCN這種模型，剪裁43%的計(jì)算量，精度提升0.6%，GPA加速20%，是更優(yōu)的服務(wù)器端解決方案。然后鄧凱鵬老師介紹了基于PaddleDetection支持實(shí)際項(xiàng)目：輸電線路網(wǎng)絡(luò)可視化通道巡檢。這個(gè)項(xiàng)目通過端側(cè)智能設(shè)備的一個(gè)攝像頭，通過部署在端側(cè)智能設(shè)備的模型檢測(cè)圖片里是否存在安全隱患，如果存在隱患便將它上報(bào)系統(tǒng)。這個(gè)項(xiàng)目難點(diǎn)是需要進(jìn)行復(fù)雜環(huán)境下多尺度、多目標(biāo)的檢測(cè)，而給端側(cè)設(shè)備算力比較低，模型內(nèi)存余量僅200M左右，但對(duì)于模型精度和速度的要求又比較高，它要求在很高準(zhǔn)確率基礎(chǔ)上檢測(cè)速度達(dá)到秒級(jí)?；赑addleDetection解決方案是這樣的：首先選擇精度和預(yù)測(cè)速度性價(jià)比高YOLOv3MobileNetV1模型，通過剪裁和量化，針對(duì)剪裁和量化減小了模型大小和計(jì)算量，通過