2025邊緣計算與人工智能應用開發(fā)技術

目錄TOC\o"1-2"\h\u13908第1 327656 3230941.1 3232321.2 4197341.3 4232041.4 57631.5 6232671.6 1321647第2 1418132 14265832.1 1472385.5V 33316832.2 46239022.3 5653902.4 88617第3 10916197 109295233.1 109273833.2YOLOv3 12534753.30 154313123.3YOLOv5 16489203.4YOLOv3 206224513.5YOLOv5 215321853.6YOLOv3 24436043.7YOLOv5 25695163.8YOLOv3 275228093.9YOLOv5 2827329第4 2944942 29435594.1 294232804.2 328295124.3 343189714.4 360193284.5 375177614.6 390282884.7 405153744.8 4194370第5 43520395 435140455.1 435175365.2 4723424 508第1邊緣計算（dgeopung）是一種新興的計算模式，是指將計算、存儲和網(wǎng)絡等資源盡時延、高帶寬、高可靠性、高安全性的計算服務，滿足人工智能、物聯(lián)網(wǎng)、5、工業(yè)自動化等應用場景的需求。邊緣計算如圖1.1所示。圖1.1邊緣計算和人工智能（ArtificialIntelligence，AI）是相互關聯(lián)的，它們可以相互促進和增人工智能（ArtificialIntelligence，AI）是一門研究如何使計算機模仿人類智能的學科，涵圖1.2圖1.3圖1.4感器和人工智能算法，可以實現(xiàn)實時的土壤監(jiān)測、作物生長預測、灌溉控制和病蟲害預警，提高農業(yè)生產的效率和可持續(xù)性。邊緣計算和人工智能在智慧農業(yè)中的應用如圖1.5所示。圖1.5第2邊緣計算與人工智能框架：主要介紹邊緣計算的參考框架，平臺的運行環(huán)境、主要特性、開發(fā)流程、主程序和啟動腳本，平臺的構成、算法、部分案例，邊緣計算的硬件設計平臺，以及相應的開發(fā)步驟和驗證。邊緣計算的參考框架是基于模型驅動工程（odvnngnng，）方法設計的，它對物理世界和數(shù)字世界的知識進行模型化，從而實現(xiàn)了物理世界和數(shù)字世界的協(xié)作、跨產業(yè)的生態(tài)協(xié)作。邊緣計算的參考框架如圖2.1所示，該框架減少了系統(tǒng)的異構性，簡化了跨平臺的移植，能夠有效支撐系統(tǒng)的全生命周期活動。圖2.1通過模型化的工作流即業(yè)務結構（b）定義了端到端業(yè)務流，實現(xiàn)了敏捷業(yè)務；連數(shù)據(jù)全生命周期服務和安全服務實現(xiàn)了業(yè)務的全流程、全生命周期的智能服務。模型訓練和調優(yōu)：提供強大的機器學習和深度學習框架，如noo、yoh和等，以支持圖像分類、目標檢測、語義分割等任務的模型訓練；提供預訓練的模型和訓練的過程。AiCam圖2.2AiCam圖2.3AiCam務，通過WebHTTP接口可實現(xiàn)快速的預覽和訪問。圖2.4AiCam平臺的開發(fā)框架圖2.5AiCam主程序圖2.6AiCam圖像處理：基于OpenCV圖像應用：基于OpenCV綜合案例：結合行業(yè)軟/▼表2.1▼表2.2▼表2.3▼表2.4▲圖2.7▲圖2.8▲圖2.9▲圖2.10▲圖2.11核的Mali-G610的GPU、6TOP算力的神經(jīng)網(wǎng)絡處理器（NeuralProcessingUnit，NPU）、16GB的RAM和128GB的ROM，15.6"的高清電容屏（LCD），可運行Ubuntu、Android等圖2.12GW3588邊緣計算網(wǎng)關的外設接口圖2.13兩路RJ45工業(yè)接口，包含I/O、DC3.3V、DC5V、UART、RS-485、兩路繼電器輸出等功能，提供兩路3.3V、5V電源輸出。?光范圍，相當于1～65535lx。丁烷、甲醛，檢測濃度為10～1000ppm（酒精）。?～1100hPa距離傳感器的型號為GP2D12，采用模擬信號輸出，測量范圍為10～80cm，更新頻率為40ms。采用繼電器控制，輸出節(jié)點有兩路繼電器接口，支持5V兩路RJ45工業(yè)接口，包含IO、DC3.3V、DC5V、UART、RS-485、兩路繼電器輸出等功能，提供兩路3.3V、5V電源輸出。步進電機為小型42步進電機，驅動芯片為A3967SLB，邏輯電源的電壓范圍為5.5V圖2.14兩路高亮LEDRGB采用繼電器控制，輸出節(jié)點有兩路繼電器接口，支持5V圖2.15兩路RJ45工業(yè)接口，包含IO、DC3.3V、DC5V、UART、RS-485、兩路繼電器輸出等功能，提供兩路3.3V、5V紅外光電源輸出?；鹧?zhèn)鞲衅鞑捎?mm的探頭，可檢測火焰或波長為760～1100nm的紅外光，探測溫度光柵傳感器的槽式光耦槽寬為10mm，工作電壓為5V人體紅外傳感器的型號為AS312，電源電壓為3V，感應距離為12m，采用數(shù)字開關量燃氣傳感器的型號為MP-4，采用模擬信號輸出，傳感器加熱電壓為5V，供電電壓為5V，可測量天然氣、甲烷、瓦斯氣、沼氣等。霍爾傳感器的型號為AH3144，電源電壓為5V，采用數(shù)字開關量輸出，工作頻率寬～100kHz）采用繼電器控制，輸出節(jié)點有兩路繼電器接口，支持5V圖2.16兩路RJ45工業(yè)接口，包含IO、DC3.3V、DC5V、UART、RS-485、兩路繼電器輸出等功能，提供兩路3.3V、5V電源輸出。???6）125kHz＆13.56MHz二合一開發(fā)平臺（Sensor-125kHz＆13.56MHz二合一開發(fā)平臺包括：繼電器接口、蜂鳴器、OLED顯示屏、RFID、兩路RJ45工業(yè)接口，包含IO、DC3.3V、DC5V、UART、RS-485、兩路繼電器輸出等功能，提供兩路3.3V、5V電源輸出。?RFID：采用125kHz＆13.56MHz的射頻傳感器，UART接口（TTL電平），支持ISO/IEC14443A/MIFARE、NTAG、MF1xxS20、MF1xxS70、MF1xxS50、EM4100、??圖2.17125kHz＆13.56MHz二合一開發(fā)平臺7）900MHz＆ETC開發(fā)平臺（Sensor-900MHz＆ETC開發(fā)平臺包括：RFID、傳感器端子、ETC欄桿、復位按鈕、USB調試接圖2.18900MHz＆ETC兩路RJ45工業(yè)接口，包含IO、DC3.3V、DC5V、UART、RS-485、兩路繼電器輸出等功能，提供兩路3.3V、5V、12V電源輸出。RFID：采用900MHz＆ETC的射頻傳感器，支持ISO18000-6C協(xié)議，工作頻率為ISM頻段的902～928MHz，工作模式為跳頻工作、定頻工作或軟件可調，功率在0dBm～27dBm內可調，支持的可讀標簽協(xié)議有EPCC1CoGen2和ISO-18000-6C，讀取距離為5cm，集成了25×25高性能微小型陶瓷天線（板載天線）和ETC圖2.19PyCharm圖2.20AiCam1443單擊任一應用即可查看項目的內容和結果，如圖2.21圖2.21圖2.22第3章到第5本節(jié)主要介紹邊緣計算與人工智能框架，首先介紹了邊緣計算的參考框架；然后介紹了平臺的運行環(huán)境、主要特性、開發(fā)流程、主程序、啟動腳本，以及平一個案例給出了邊緣計算的開發(fā)步驟和核心代碼。低計算復雜度：邊緣設備的計算資源（如處理器性能、內存和存儲容量）?緣框架，包括深度學習算法庫、模型庫、訓練、推理等，可完成輕量級、低時延、高效的計算。圖2.23平臺采用統(tǒng)一模型調用、統(tǒng)一硬件接口、統(tǒng)一算法封裝和統(tǒng)一應用模板的設計模式，可以在嵌入式邊緣計算環(huán)境下進行快速的應用開發(fā)和項目實施。平臺通過u接口與硬件連接和互動，最終實現(xiàn)各種應用。平臺的開發(fā)框架請參考圖2.4。參數(shù)[所需要注冊的人名、處理類別（注冊）通過x接口傳遞給算法。算法的nne方法通過傳遞過來的參數(shù)p_d是不是on來判斷是否單次推理，one表示實時推理，非on表示單次推理。算法文件為gohg__ognong__ognon.py，關鍵代碼如下：00人臉對比的單元測試結果如圖2.24圖2.24平臺能夠連接海量的物聯(lián)網(wǎng)硬件，可以通過智能物聯(lián)網(wǎng)平臺實現(xiàn)與物聯(lián)網(wǎng)硬件的交互。智能物聯(lián)網(wǎng)平臺中的平臺層是數(shù)據(jù)中樞，同時也為感知層、網(wǎng)絡層和應用層提供軟/硬件平臺和示例支撐。本書中的智能物聯(lián)網(wǎng)平臺采用的是中智訊（武漢）智云平臺（oud），其框架如圖2.26所示?！鴪D2.25▲圖2.26感知層：全面感知。感知層以單片機、嵌入式技術為核心，賦予物品智能化、數(shù)字物聯(lián)網(wǎng)的數(shù)據(jù)采集涉及傳感器、、多媒體信息采集、二維碼和實時定位等技術。智網(wǎng)絡層：網(wǎng)絡傳輸。網(wǎng)絡層包括傳感網(wǎng)和互聯(lián)網(wǎng)兩部分。傳感網(wǎng)通過無線技術實現(xiàn)物品之間的組網(wǎng)、通信，以及數(shù)據(jù)的傳輸。不同的應用場合應選擇不同類型的協(xié)議，如ge、、、o、o、等。通過智能網(wǎng)關路由設備，可以實現(xiàn)傳感網(wǎng)和互聯(lián)網(wǎng)之間的數(shù)據(jù)交互。智云平臺提供了各種教學模型、有線節(jié)點、無線節(jié)點和網(wǎng)關，支持異構網(wǎng)絡的融合，采用的是e輕量級通信協(xié)議（基于易懂易學的數(shù)據(jù)通信格式），可滿足教學和不同應用的需求。基于智云平臺的典型智能物聯(lián)網(wǎng)項目如圖2.27圖2.27圖2.28實時連接應用接口。實時連接應用接口如表2.5表2.5歷史數(shù)據(jù)應用接口。歷史數(shù)據(jù)應用接口如表2.6表2.6???③高頻：表示節(jié)點類型，該參數(shù)包含了節(jié)點類別、節(jié)點類型、節(jié)點名稱，只能通過賦值“？來查詢該參數(shù)的當前值。的值由5個碼字節(jié)表示，第1字節(jié)表示節(jié)點類別，1表示ge、2表示433、3表示、4表示、5表示v6、9表示其他；第2字節(jié)表示節(jié)點類型，0表示匯聚節(jié)點、1表示路由器中繼節(jié)點、2表示終端節(jié)點；第3～5個字節(jié)表示節(jié)點名稱，編碼由用戶自定義。PN：表示某節(jié)點的上行節(jié)點地址信息和鄰居節(jié)點地址信息，只能通過賦值“？”來查詢表2.7ZXBee圖2.29圖2.30ZCloudWebTools圖2.31創(chuàng)建“智能產業(yè)項目運行“智能產業(yè)項目擊右上角的“啟動”按鈕啟動項目，依次單擊每個傳感器的“開啟”按鈕啟動設備，大約30s▲圖2.32創(chuàng)建“智能產業(yè)項目”▲圖2.33創(chuàng)建“智能產業(yè)項目”▲圖2.34運行“智能產業(yè)項目表2.8Sensor-A▲圖2.35▼表2.9Sensor-B未發(fā)送命令之前窗簾處于關閉狀態(tài)，如圖2.36圖2.36圖2.37使用ZCloudWebTools發(fā)送命令后可以看到窗簾打開，如圖2.38圖2.38表2.10Sensor-C節(jié)點支持的操作圖2.39在虛擬仿真平臺手動給光柵輸出“1”圖2.40在ZCloudTools圖2.41圖2.42在虛擬仿真平臺中查看“智能產業(yè)項目”圖2.432.3.32.3.4?結合邊緣計算的硬件平臺，掌握云-邊-基于人工智能的邊緣計算平臺，在網(wǎng)絡框架、軟/圖2.44基于AiCam圖2.45基于AiCam基于AiCam平臺的單次推理主要實現(xiàn)了應用層業(yè)務需要的單次推理計算請求。應用層將需要計算的圖像及配置參數(shù)通過x回結果圖像（如框出目標位置和識別內容的圖像）和結果數(shù)據(jù)（如目標坐標、目標關鍵點、目標名稱、推理時間、置信度等），供應用層進行展示。接口調用示例如表2.11表2.11人臉注冊和人臉識別的前端Ajax基于AiCam圖2.46AiCamTools打開oos，在地址”欄中輸入h：00：4000，在“算法欄中輸入_don”，在攝像頭”欄中輸入_d0，在“接口欄中選擇，單擊“連接按鈕即可調用人臉檢測算法的實時推理接口，并在窗口中顯示實時的推理視頻圖像，以及返回的結果數(shù)據(jù)。通過oos顯示視頻圖像如圖2.47所示，oo可以截圖、清除、停止、復制等操作。圖2.47通過AiCamTools人臉注冊。在前端應用中截取圖像，通過x的數(shù)據(jù)傳遞給算法進行人臉注冊。百度人臉識別算法中人臉注冊調用的參數(shù)如表2.12所示。表2.12圖2.48圖2.49表2.13圖2.50實時推理（人臉檢測圖2.51通過Chrome單次推理（人臉檢測▲圖2.52通過Chrome▲圖2.53填寫需要注冊的人臉名稱單擊“人臉識別按鈕，將會調用百度的人臉識別算法（bdu__ognon）進行人臉2.54所示。圖2.542.4.3本節(jié)首先介紹了邊緣視覺的應用開發(fā)邏輯，以及基于平臺的邊緣視覺應用開發(fā)框架、開發(fā)接口和開發(fā)工具；然后介紹了具體的開發(fā)步驟和驗證步驟，包括項目部署、工程運行、接口測試等內容。通過本節(jié)的學習，讀者可以了解邊緣視覺的應用開發(fā)邏輯，掌握基于平臺的邊緣視覺開發(fā)過程，學習oos的使用方法，實現(xiàn)人臉識別的邊緣視覺應用。2.4.4第3??bg是一個可視化的圖像標注工具，r、、等目標檢測網(wǎng)絡所需的數(shù)據(jù)集，均可采用bg標注的圖像。bg在完成數(shù)據(jù)標注后會自動生成描述圖像的文件，生成的文件遵循L格式標準。打開終端，輸入以下命令運行圖3.11）圖3.2labelImg單擊“OpenDir”按鈕，選擇采集的圖像目錄AILabelImg\dataset\JPEGImages（可以使圖3.3圖3.4設置完成后，labelImg將加載圖像并在文件列表（FileList）中顯示加載的圖像，單圖3.5在labelImg運行界面中選擇菜單“View”→“AutoSaving”，如圖3.6所示，即可設置為圖3.6選擇菜單“View”→“AutoSaving”圖像標注：在bg運行界面的文件列表中單擊第一幅圖像，bg將開始逐幅對圖像進行標注。按鼠標左鍵并且不要松開，移動到目標的右下角后松開鼠標左鍵，即可對一個目標進行標注，如圖3.7所示。圖3.7設置標簽（Label）：勾選“BoxLabels”中的“EditLabel”，在彈出的“l(fā)abelImg”對話框圖3.8默認標簽：勾選“BoxLabels”中的“Usedefaultlabel”，可以對同一個標簽進行批量標圖3.9圖3.10圖3.11YOLOv3??卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetworks，CNN）是一種深度學習模型或類似于人工（ReLU）層、池化（Poolinglayer）層、全連接（FC）卷積層：是卷積神經(jīng)網(wǎng)絡最重要的一個層，也是卷積神經(jīng)網(wǎng)絡名字的來源。卷積層由一組濾波器（）組成，濾波器采用三維結構，其深度由輸入數(shù)據(jù)的深度決定，一學習，逐步進行優(yōu)化。圖3.12每一個卷積核（onvouonn）都可以當做一個特征提取算子，令一個特征提取算子在圖像上不斷滑動，得出的濾波結果稱為特征圖（ue）。我們不必人工設計卷核，以期得到更好的識別結果。卷積核是二維的權重矩陣，濾波器（）是多個卷積核堆疊而成的三維矩陣。激活層：對卷積層的輸出結果進行非線性映射，如圖3.13圖3.13CNN采用的激活函數(shù)一般為ReLU（RectifiedLinearUnit，修正線性單元），該激活函數(shù)圖3.14激活函數(shù)ReLU池化層：也稱匯聚層，實際是一個下采樣（onp）過程，用來縮小高度和動，稱為池化窗口，池化窗口也有大小，移動的時候有步長。池化層示意圖如圖3.15所示。圖3.15圖3.16度不高的問題。R-CNN算法首先使用選擇性搜索（SelectiveSearch）方式生成候選框，然（SupportVectorMachine，SVM）對提取到的特征進行分類，最后通過訓練好的回歸算圖3.17R-CNNCNN算法的訓練時間需要84h，檢測一幅圖像需要47s。雖然R-CNN算法的檢測精度比傳改進的算法均在檢測速度上做了優(yōu)化，例如在r中，不再對每個候選框進行特征提取，而是直接對圖像進行卷積，這樣極大地減少了生成2000多個候選框帶來的重復計算。算法需要使用M對提取到的特征進行分類，使用回歸算法修正候選框，r則直接用（gonsfn）池化層將不同尺寸的特征輸入映射到固定大小的特征向量，這樣即使輸入圖像的尺寸不同，也能為每個區(qū)域提取到固定的特征，再通過o函數(shù)進行分類。rN不再使用選擇性搜索方式生成候選框，而是使用（gonopolok）生成候選框，將候選框的數(shù)量降低到了300個，極大地減少了過多候選框帶來的重復計算，同時共享了生成候選框的卷積網(wǎng)絡和特征提取網(wǎng)絡，因此r在檢測速度上有了進一步提升。nge算法。ng算法省略了候選區(qū)域，將整幅圖像作為輸入，使用一個神經(jīng)網(wǎng)絡就可以直接輸出目標的位置和類別，將目標檢測問題轉換為回歸問題。nge算法的最大優(yōu)勢就是其檢測速度，與og算法相比，nge算法犧牲了一定的檢測精度。nge算法直接利用卷積網(wǎng)絡獲得物體的位置信息和類別，不再需要用兩個網(wǎng)絡進行分類與修正候選框。雖然nge算法的檢測精度沒有og算法高，但nge算法的檢測速度更快，更適合用于實際部署。ng算法中比較有代表性的是算法和。（BoundingBox）有8732個，因此該算法在不同場景下的檢測精度較為穩(wěn)定，對于被遮擋圖3.18SSD化，不僅在檢測速度方面有較大改進，其中YOLOv4在TeslaV100上的檢測速度可達65FPSTensorFlow。TensorFlow是GoogleBrain團隊基于Google在2011年開發(fā)的深度學習基C++語言。TensorFlow1.0版本開始支持Java、Go、R語言和HaskellAPI的Alpha版本，此外，TensorFlow還可以在GoogleCloud和AWS上運行。LicensedBSD），并提供了命令行工具，以及MATLAB和Python接口。Caffe是深度學習dddd。dddd（飛槳）以百度多年的深度學習技術研究和業(yè)務應用為于一體，是我國自主研發(fā)、功能完備、開源開放的產業(yè)級深度學習平臺。Darknet是一個用于實現(xiàn)深度學習算法的開源神經(jīng)網(wǎng)絡框架，它是由JosephRedmon開發(fā)支持多種算法：kn支持各種深度學習算法，包括卷積神經(jīng)網(wǎng)絡（）、全連接網(wǎng)絡（）和循環(huán)神經(jīng)網(wǎng)絡（）等，可以用于圖像分類、目標檢測和語義分割等多個計算機視覺任務。kn是一個功能強大、高效的深度學習框架，適用于各種計算機視覺任務。它的速度靈活和可自定義的工具。YOLOYOLO（YouOnlyLookOnce）系列模型是基于回歸的深度學習目標檢測算法，即One-像送入，預測每個網(wǎng)格是否包含目標并得到對應的邊界框和類別，最后對邊界框進行非最大值抑制處理，從而得到最終的邊界框。系列模型的示意圖如圖3.19所示。圖3.19YOLO（NonMaximumSuppression，NMS）v1模型的網(wǎng)絡結構如圖3.20所示。具體流程是先將輸入的圖像調整成固定尺寸的圖像，然后經(jīng)過特征提取網(wǎng)絡的卷積層提取特征，再經(jīng)由目標檢測網(wǎng)絡輸出773的特征圖，并得到類別信息和每個邊界框的置信度，最后通過處理去除重疊程度高的邊界框，留下最合適的邊界框作為檢測結果。v1為49個網(wǎng)格，共98個邊界框，通過算法去除置信度低于設定閾值的邊界框，利用處理過濾掉重疊較多的邊界框，最終輸出邊界框的位置信息和物體類別。圖3.20YOLOv1為了進一步提升定位的準確度和速度，同時保持分類的準確度，JosephRedmonihd在v1的基礎上于2017年提出了v，即O9000。v2模型的主要流程是：首先在數(shù)據(jù)集上訓練kn網(wǎng)絡，接著凍結網(wǎng)絡結構的參數(shù)，移除最后一層的卷積層、全局池化層和分類層，并替換為3個33的卷積層、直通（hough）11的卷積層。v模型的網(wǎng)絡結構如圖3.21所示。圖3.21YOLOv2深度學習的檢測算法獲得更高的檢測精度，在PASCALVOC2007數(shù)據(jù)集中取得了76.8%的v3模型是由ophdo和ihd于2018年提出的，其網(wǎng)絡結構如圖3.22所示。v3模型使得目標檢測與識別能力到達一個頂峰。相比于r算法，在相同條件下，v3模型和r算法的檢測效果和檢測精度相差無幾，但v3模型的檢測速度是r算法的100倍，為實時目標檢測與識別提供了基礎。v3借鑒了v模型和v2模型，在保持系列模型速度優(yōu)勢的同時，提升了檢測精度，尤其對于小物體的檢測能力。v3模型使用一個單獨神經(jīng)網(wǎng)絡處理圖像，將圖像劃分成多個區(qū)域并預測邊界框和每個區(qū)域的概率。圖3.22YOLOv3v3在kn1網(wǎng)絡的基礎上提出了kn53網(wǎng)絡。kn53網(wǎng)絡包含53個卷積層，其基本組成單元由onv、和ky構成。v3模型的網(wǎng)絡結構沒有池化層，使用步幅為2的卷積層替代池化層進行特征圖的上采樣，這樣可以有效阻止由于度，v3模型在深層特征網(wǎng)絡中引入了特征金字塔（），使用3個尺度的特征層進行分類與回歸預測，對2個尺度的特征層上采樣與淺層特征進行融合。v3模型的多尺度特征融合使用on（連接）操作，不同于殘差網(wǎng)絡的dd（加）操作僅僅將特征通道信息相加，on操作會進行張量拼接，擴展特征圖的維度。v3模型將v2模型的損失函數(shù)的計算方式改為交叉熵的損失計算方法，在類別預測和位置預測上取得了更好的效果。v3模型在檢測精度上與r基本持平，但檢測速度卻是r的2倍。v3n模型的網(wǎng)絡結構如圖3.23所示。v3n模型的網(wǎng)絡結構在v3模型的基礎上壓縮了很多，沒有使用殘差層，只使用了2個不同尺度的輸出層（y1和y2）v3n模型的總體思路和v3模型是一樣的，被廣泛應用于行人、車輛檢測等，可以在很多硬件上實現(xiàn)。圖3.23YOLOv3-Tiny模型的網(wǎng)絡結構v4模型的網(wǎng)絡結構如圖3.24所示。v模型僅需一個U就可以進行訓練和推理，引入了kn5網(wǎng)絡[在主干網(wǎng)絡（kon）中]、ky激活函數(shù)和（plydoong）。v模型能夠在較深的網(wǎng)絡結構中實現(xiàn)快速的訓練和推理，在檢測精度及速度上均有較大提升。使用5、99、131的最大池化方式，可以有效融合多尺度特征，增大感受野。在v4模型的網(wǎng)絡結構中，深層特征提取網(wǎng)絡使用了結構，通過特征層上采樣和下采樣，能夠提取到更加豐富的特征信息。圖3.24YOLOv4圖3.25CSPDarknet-53YOLOv3由于kn53在運行時存在計算參數(shù)多、成本高等缺點，因此在v模型將殘差塊新的特征提取網(wǎng)絡。用的LeakyReLU激活函數(shù)全部替換為Swish激活函數(shù)，即：▲圖3.26▲圖3.27YOLOv3測框定位的損失函數(shù)采用均方誤差（MeanSquareError，MSE）函數(shù)，分類與置信度的損合，預測框定位的損失函數(shù)，采用的是均方誤差（MeanSquareError，MSE）函數(shù)計算，▲圖3.28改進后的YOLOv3算法的網(wǎng)絡結構式中，S表示單元格數(shù)量；B表示錨框（AnchorBox）；表示第i個網(wǎng)格中的第j個候選窗口FocalLoss計算誤差，通過在返回的損失中增加檢測到的各個分類的權重與各分類樣本檢FocalLoss的定義如公式（3-8）和式（3-9）所示。式中，αt為分類權重因子，用來協(xié)調正負樣本之間的比例；γ為各分類樣本檢測難度權重改進后的YOLOv3模型在預測框損失中采用GIoULoss函數(shù)進行預測，在置信度損失中采用FocalLoss函數(shù)進行預測，達到了更精準計算預測框、解決數(shù)據(jù)分類分布不均衡帶來的109）、（125，132）、（163，175）圖3.29修改后的交通標志識別模型的配置文件（一3.30圖3.30修改后的交通標志識別模型的配置文件（二）方式一：通過普通的計算機進行模型訓練（至少需要300h以上）～60min）圖3.31圖3.32生成predictions.jpg3.2.3本節(jié)首先介紹了算法，然后介紹了兩種基于深度學習的目標檢測算法類型，以及深度學習主流開發(fā)框架，接著詳細地對v3模型及kn框架的項目部署、開發(fā)步驟、模型訓練及驗證。3.2.4在目標檢測過程中，YOLO系列模型與FasterR-CNN算法的思路有何不同？各自的YOLOv5掌握YOLOv5PyTorchYOLOv5圖3.33YOLOv5失真的種種問題，以適應晝夜及各種惡劣天氣；對圖像進行隨機旋轉、平移、翻轉、剪切、透視等操作，用于解決圖像采樣帶來的問題；數(shù)據(jù)增強o和xup可對圖像組進行組合、拼接，增強圖像樣本的背景信息種類，提高樣本檢出率與精度；數(shù)據(jù)增強opy-e通過對目標實例進行跨圖像遷移，可均衡化各類別實例數(shù)量。o是指將4幅不同的圖像拼接在一起形成一幅新圖像；xup是指將2幅不同的圖像按照一定的比例進行混合，生成一幅新圖像；opy是指從源圖像中剪切對象塊并粘貼到目標圖像，從而獲得組合數(shù)量的合成訓練數(shù)據(jù)，顯著提高檢測分割性能。主干網(wǎng)絡頭部多次利用下采樣卷積和3模塊進行特征提取，下采樣卷積是步長為2的卷積，3模塊為化的殘差模塊組，并支持無殘差模式，網(wǎng)絡深度縮放功能只針對模塊內部，可提高特征提取效率、解決深度神經(jīng)網(wǎng)絡的梯度消失問題。化可以在不降低殘差模塊特征提取的效率的同時提速40%。主干網(wǎng)絡尾部增加了池化模塊，以特征共享形式降低了模塊的計算量。主干網(wǎng)絡使用輕量化的（godnrn）激活函數(shù)，計算量低于v4模型中的激活函數(shù)，同時精度優(yōu)于ky、h等激活函數(shù)。3模塊和池化模塊如圖3.34所示。圖3.34C3模塊和SPPF圖3.35圖3.36輕量型PANetYOLOv5模型的輸出和YOLOv4模型一樣，但YOLOv5模型采用的是FocalLoss損失函數(shù)，與v4模型對比，v模型的kon沒有太大的變化，這對于現(xiàn)有的一些U設備及其相應的優(yōu)化算法更加高效。在k部分，v模型首先將換成了，后者效率更高；其次另外一個不同點就是，在v模型中，k的N沒有引入，但在v模型中，N中加入了。將原輸入分成兩個分支，分別進行卷積操作使得通道數(shù)減半，一個分支先進行onk×操作，再通過連接兩個分支，使得onnk的輸入與輸出的大小是一樣的，這樣可以讓模型學習到更多的特征。圖3.37YOLOv5s在v5模型工程項目中，vo2yoo.p文件為標注數(shù)據(jù)格式轉換的，v模型自動計算錨點坐標，不需要v3模型工程項目中的n_nho.p和kn.py文件。另外，n.p是訓練模型文件，d.py是訓練完成后的測試模型文件，xpo.py是模型輸出文件，可以輸出為onnx格式的結果。圖3.38注意：在修改口罩檢測模型的訓練超參數(shù)配置文件時，不能修改imageflipup-down（probability）”和“fliplr：0.0＃imageflipleft-right（probability）”，否～60min）執(zhí)行命令進行模型訓練，其中，“--nameyolov5s-mask”表示保存模型的工程目錄名YOLOv5模型會自動加載GPU進行訓練，訓練30個循環(huán)大約需要20min（3）圖3.39YOLOv3?1）要專用推理框架（如TensorRT、ONNXRuntime等）的支持。從這個角度理解，模型部署示形式，即ONNX（OpenNeuralNetworkeXchange）。這樣一來，眾多的模型訓練框架圖3.40模型開發(fā)框架→模型中間表示→模型推理框架”的范式TensorFlowLite、NCNN等前向推理框架，這類框架均對模型推理及部署進行了優(yōu)化，可TensorFlow1.x、TensorFlow2.x、PyTorch、ONNX、PaddlePaddle、MXNet、Caffe、TensorFlowLite（TF-Lite）。TF-Lite是谷歌針對移動端推出的推理框架，功能非常理工具包MediaSDK。OpenVINO主要部署在Intel的加速棒或工控機上，主要調包語言有NCNN。NCNN（NVIDIACUDAConvolutionalNeuralNetwork）是騰訊推出的推理TenigneLite。TenigneLite是OpenAILab推出的邊緣端推理框架，OpenCV在嵌入式設備上首推TenigneLite，該框架對RISC-V、CUDA、TensorRT、NPU的支持非常不錯。TenigneLite的主要調包語言有C/C++、Python，支持的模型包括TensorFlow、ONNX、NNIE。NNIE（NeuralNetworkInferenceEngine）是海思SVP開發(fā)框架中的處理單元ResNet50、GoogleNet等分類網(wǎng)絡，F(xiàn)asterR-CNN、YOLO、SSD、RFCN等檢測目標網(wǎng)RKNN。RKNN（RockchipNeuralNetwork）是Rockchip推出的一個用于嵌入式設備能評估，支持將Caffe、TensorFlow、TensorFlowLite、ONNX、Darknet框架的模型轉換與NCNNCPU進行優(yōu)化，使用ARMNEON指令集實現(xiàn)CNN中的卷積層、全連接層、池化層等。Int8量化和推理，在最新的版本中實現(xiàn)了Int8Winograd-f43的內核優(yōu)化，極大提升了量化圖3.41NCNN得）推理與驗證結果如圖3.42圖3.42YOLOv5掌握RKNNRKNNPythonAPI，用于支持模型轉換、模型量化、模型推理以及模型的狀態(tài)檢測等。NCNN圖3.43口罩檢測結果（采用NCNN框架模型RKNN圖3.44口罩檢測結果（采用RKNN框架模型3.5.33.5.4YOLOv3TensorFlowServingAPI：TensorFlowServing提供了一個用于部署和服務模型的API，允許通過RESTfulAPI或gRPCTensorFlowLiteInterpreterAPI：TensorFlowLite提供了一個用于在移動端和嵌入式設備上進行推理的API，包括TensorFlowLiteInterpreter，允許加載并在設備上運行TensorFlowLite模型。PyTorchTorchScriptAPI：PyTorch不僅提供了TorchScript格式，這是一種用于序列ONNXRuntimeAPI：ONNXRuntime是一個跨平臺的推理引擎，支持ONNX框架模KerasModelAPI：Keras是一個高層次的深度學習框架，其ModelAPI提供了加載、Scikit-learnEstimatorAPI：Scikit-learn是一個用于深度學習的Python庫，其EstimatorAPI提供了一致的界面，用于加載、訓練和評估模型。Caffe2API：Caffe2是一個輕量級的深度學習框架，它有自己的C++和Python接口。Caffe2API允許用戶加載和運行Caffe2模型。RKNN-ToolkitAPI：對于瑞芯微芯片（Rockchip）上的模型推理，RKNN-Toolkit提掌握NCNN?NCNN圖3.45NCNNYOLOv5掌握RKNN?RKNN是okhp的平臺使用的模型，模型文件的后綴名為.knn。okh提供了完整的用于模型轉換的yhon工具，方便用戶將自主研發(fā)的算法模型轉換成框架模型，同時okh也提供了+和yhon接口。模型轉換：可以將Caffe、TensorFlow、TensorFlowLite、ONNX、Darknet、能夠在RockchipNPU平臺上加載使用。RKNN-Toolkit從1.2.0版本開始支持多輸入模型，模型推理：能夠在計算機上模擬RockchipNPU平臺，運行RKNN框架模型并獲取推性能評估：能夠在計算機上模擬RockchipNPU平臺，運行RKNN框架模型并評估模RKNN框架模型分發(fā)到RockchipNPU平臺上運行，并調用相關接口獲取內存使用信息。從RockchipNPU設備上運行。目前只有x86_64Ubuntu操作系統(tǒng)能夠直接從原始模型生成版本開始，RKNN-Toolkit也可以通過RockchipNPU平臺將普通的RKNN框架模型轉成RockchipNPU平臺上運行，通過調節(jié)多個模型占用RockchipNPU平臺的運行時間，避免本開始支持該功能，該功能必須在RockchipNPU平臺上使用，且RockchipNPU的驅動版圖3.46RKNN在yoov5_kn模型推理代碼中，同樣使用_pd函數(shù)進行模型的推理與驗證。為了使推碼所示：NCNN通過ke工具直接進行編譯，如果已經(jīng)存在bud目錄，則需要刪除該目錄后重新創(chuàng)建bud目錄，否則會無法生成o文件（這是因為無法替換已經(jīng)存在的o文件）生成的o文件為budkd.pyhon38h64nuxgnu.，將其復制到bud的上一級目錄。圖3.47RKNNYOLOv3線性回歸（LinearRegression）：用于構建輸入特征與輸出標簽之間的線性關系，如邏輯回歸（LogisticRegression）：用于解決二分類問題，通過將輸入映射到一個概決策樹（DecisionTrees）：使用樹狀結構進行決策，每個節(jié)點代表一個特征，每個支持向量機（SupportVectorMachines，SVM）：用于分類，通過在特征空間中找到神經(jīng)網(wǎng)絡（NeuralNetworks）：由神經(jīng)元和層組成的模型，用于處理復雜的非線性K近鄰算法（K-NearestNeighbors，KNN）：通過查找最接近輸入樣本的k個鄰居來聚類算法（ClusteringAlgorithms）：用于將數(shù)據(jù)分為不同的簇，如K均值聚類（K-MeansClustering）。樸素貝葉斯（NaiveBayes）：隨機森林（RandomForest）：由多個決策樹組成的集成模型，用于提高預測的準確強化學習算法（ReinforcementLearningAlgorithms）：用于訓練智能體進行決策，??基于AiCam基于YOLOv3和AiCam（見圖3.48），▲圖3.48YOLOv5?基于YOLOv5和AiCam基于NCNN框架與RKNN圖3.49基于NCNN圖3.50基于RKNN第4本章學習邊緣計算算法與人工智能基礎應用開發(fā)，共8??（3）21（4）2010（）被廣泛用于人臉檢測和識別，大大提高了人臉識別的準確性。2014的p系統(tǒng)首次實現(xiàn)了與人眼相媲美的人臉識別性能；2015年，oog發(fā)布的系統(tǒng)引入了三元損失函數(shù)，進一步提高了人臉識別的準確性。2018年以來，人臉識別技術被廣泛用于安全領域、手機解鎖、社交媒體標注照片等。圖4.1人臉識別示例77512（512表示輸入特征圖通道數(shù)目）的可分離卷積層代替了全局的平均池化層，這樣可以讓ob為不同點賦予不同的學習權重。ob將一般人臉識別模模型的準確率。ob的工作流程如圖4.2所示。圖4.2MobileFaceNetMobileFaceNet的結構如圖4.3所示，采用了MobileNetV2中的Bottleneck作為構建模型的主InsightfaceLoss。圖4.3MobileFaceNet的結構從邊緣計算的角度看，人臉開閘機系統(tǒng)可分為硬件層、邊緣層、應用層，如圖4.4圖4.4圖4.5表4.1Sensor-B控制類傳感器的通信協(xié)議表4.2繼電器K1平臺采用統(tǒng)一模型調用、統(tǒng)一硬件接口、統(tǒng)一算法封裝和統(tǒng)一應用模板的設計模式，可以在嵌入式邊緣計算環(huán)境下進行快速的應用開發(fā)和項目實施。平臺通過u接口與硬件連接和互動，最終實現(xiàn)各種應用。平臺的開發(fā)框架請參考圖2.4。前端應用中的硬件控制部分通過智云ZCloudAPI連接到硬件系統(tǒng)，前端應用處理示例如人臉識別。百度人臉識別算法的交互參數(shù)如表4.3表4.3圖4.6人臉注冊（人臉開關門鎖式），同時門鎖開啟并在5s后關閉。當識別成功開鎖后，等待10s后才再次開鎖。圖4.7成功開鎖的AiCam平臺界面（人臉開關門鎖）圖4.8成功開鎖虛擬平臺圖4.9截圖顯示到右側列表，如圖4.10所示，等待10s后才再次進行識別。圖4.10圖4.11人臉注冊（百度人臉開關門鎖后在5s后自動關閉），如圖4.12所示。圖4.12成功開鎖的AiCam平臺界面（百度人臉開關門鎖掌握基于YOLOv3?到了廣泛的應用，產生了一系列檢測算法，如R-CNN、FastR-CNN、FasterR-CNN和SSD人體入侵監(jiān)測如圖4.13圖4.13圖4.14圖4.15表4.4Sensor-C安防類傳感器的通信協(xié)議一次光柵傳感器的狀態(tài)（狀態(tài)為1）；當光柵傳感器未被遮擋時，節(jié)點會每隔30s上傳一表4.5項目配置見前端應用中的硬件控制部分通過智云ZCloudAPI連接到硬件系統(tǒng)，前端應用處理示例如右側列表中，10s內不再進行警報截圖。如果光柵傳感器沒有被遮擋，則其狀態(tài)為0圖4.16（狀態(tài)為1）。卡片遮擋光柵傳感器的硬件狀態(tài)如圖4.17圖4.17圖4.18監(jiān)測到人體時的AiCam???圖4.19手勢識別示意圖人手檢測。YOLO、SSD、FasterR-CNN等模型或算法在目標檢測方面的速度較快、本項目的人手檢測是基于納米檢測網(wǎng)絡（NanoDetectingNetwork，NanoDet）實現(xiàn)的，ATSS（AdaptiveTrainingSampleSelection）方法進行目標采樣，使用GeneralizedFocalLoss函數(shù)執(zhí)行分類和邊框回歸（BoxRegression），實現(xiàn)了高性能的目標圖4.20NanoDetNanoDet使用了GeneralizedFocalLoss損失函數(shù)，該函數(shù)能夠去掉FCOS的Centerness分支，GeneralizedFocalLoss損失函數(shù)的結構如圖4.21圖4.21GeneralizedFocalLossno和目標檢測算法系列一樣，使用共享權重的檢測頭，即對輸出的多尺度特征圖使用同一組卷積預測檢測框，然后每一層使用一個可學習的值作為系數(shù)，對預測出來的框進行縮放。的特征圖如圖4.22所示。圖4.22FCOS圖4.23HandPoseHandPose基于肢體姿態(tài)模型OpenPose的原理，通過PAF（PartAffinityFields）來實現(xiàn)人手表示。主體網(wǎng)絡結構采用VGGPre-TrainNetwork作為框架，由兩個分支（Branch）分別回圖4.24圖4.25表4.6項目配置見前端應用中的硬件控制部分通過智云ZCloudAPI連接到硬件系統(tǒng)，前端應用處理示例如送關閉風扇命令，并伴有彈窗提示，5s內不再進行手勢識別。圖4.26開啟風扇的AiCam平臺界面圖4.27當識別到的手勢是1時關閉風扇，如圖4.28圖4.28關閉風扇的AiCam平臺界面圖4.29掌握基于YOLOv3?圖4.30圖4.31圖4.32焰?zhèn)鞲衅髯R別到火焰時，會每隔3s上傳一次火焰?zhèn)鞲衅鞯臓顟B(tài)（狀態(tài)為1）；當火焰?zhèn)鞲衅魑醋R別到火焰時，會每隔30s上傳一次火焰?zhèn)鞲衅鞯臓顟B(tài)（狀態(tài)為0）?；鹧?zhèn)鞲衅鞯谋?.7項目配置見前端應用中的硬件控制部分通過智云ZCloudAPI連接到硬件系統(tǒng)，前端應用處理示例如3）樣式），并對當前視頻進行截圖顯示到右側列表，10s內不再進行警報截圖。攝像頭監(jiān)測在火焰監(jiān)測視頻流狀態(tài)下，AiCam平臺每10s判斷一次火焰?zhèn)鞲衅魇欠裉幱谟|發(fā)狀▲圖4.33攝像頭監(jiān)測到火焰時的AiCam▲圖4.34圖4.35當火焰?zhèn)鞲衅鞯臓顟B(tài)為1圖4.36CNN??1）圖4.37視覺車牌識別系統(tǒng)的框架圖4.38CNNYOLO（YouOnlyLookOnce）系列模型：YOLO（3）R-CNN模型（如FasterR-CNN和MaskR-CNN）：這些模型是用于目標檢測的深度學CRNN（ConvolutionalRecurrentNeuralNetwork）模型：是一種將卷積神經(jīng)網(wǎng)絡和循CTC（ConnectionistTemporalClassification，連接時序分類）模型：CTC是一種用于超輕量：核心庫只依賴NCNN??易使用：只需要10LPRNet（LicensePlateRecognitionNetwork）是一個用于車牌識別的深度學習模型，主要經(jīng)網(wǎng)絡，訓練集階段的損失函數(shù)是CTCLoss，對中文車牌的識別準確率達到了95%。LPRNet模型的結構如圖4.39所示，包含輸入圖像、CBRhoon，dnrn）、xoo、vgoo、lbcbok、on和onnr。其中，輸入圖像的尺寸為9424；由一個卷積層、批量歸一化層和激活函數(shù)組成；xoo是3維最大池化操作，三維核尺寸分別為1、3和3，步長均為1；vgoo是二維平均池化操作；lbcbok由4個卷積層和3個激活函數(shù)U組成；on以通道維度拼接多個特征圖；onnr包含1個卷積核為1的卷積層。采用堆疊的卷積層作為特征提取網(wǎng)絡，以原始的圖像作為輸入。為了更好地融合多層特征信息，模型對4個不同尺度的特征圖進行融合，進而在利用高層次的征信息且有較高的分辨率。圖4.39LPRNet1）圖4.40表4.8Sensor-D項目配置見前端應用中的硬件控制部分通過智云ZCloudAPI連接到硬件系統(tǒng)，前端應用處理示例如3）圖4.41車牌識別成功時的AiCam圖4.42LCD?圖4.43智能水表遠程抄表系統(tǒng)圖4.44圖4.45LiteB并每隔30s更新一次并進行上報。項目配置見前端應用中的硬件控制部分通過智云ZCloudAPI連接到硬件系統(tǒng)，前端應用處理示例如表4.9Ajax3）圖4.46Sensor-DAiCam平臺每隔15s抓取一次攝像頭拍攝的圖像并進行檢測識別，通過彈窗顯示識圖4.47成功識別儀表數(shù)字時的AiCam圖4.48圖4.49?CTC（ConnectionistTemporalClassification，連接時序分類）模型：CTC是一種深度深度轉換器（DeepTransform）模型：這是一種深度學習模型，用于語音特征的轉換，以改善語音識別性能。DeepTransform模型可將聲學特征映射到更有助于識別的表注意力機制（AttentionMechanism）：自注意力機制（Self-AttentionMechanism）：Transformer模型中使用的自注意力機將60s內的語音精準地識別為文本（Android、iOS、LinuxSDK支持超過60s的語音識圖4.50圖4.51圖4.52表4.10項目配置見前端應用中的硬件控制部分通過智云ZCloudAPI連接到硬件系統(tǒng)，前端應用處理示例如表4.11圖4.53成功打開窗簾時的AiCam步進電機模擬窗簾開關的效果如圖4.54圖4.54GoogleAssistant和Alexa?形。Tacotron模型的一個重要版本是Tacotron2，它可以和WaveNet模型結合起來生成高質TransformerTTS：這是一種基于Transformer框架的語音合成模型，該模型使用自注TransformerTTS在語音合成領域取得了巨大的成功。DeepVoice：DeepVoice采用深度卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡，用于建模聲學特ParallelWaveGAN：ParallelWaveGAN是一種生成對抗網(wǎng)絡（GAN）模型的變體，專門用于生成高質量的語音波形。ParallelWaveGAN模型可以與不同的聲學模型結合使求的RESTAPI接口，能夠將文本轉換為可以播放的音頻文件，適用于語音交互、語音內圖4.55圖4.56圖4.57表4.12Sensor-A采集類傳感器的通信協(xié)議本項目采用Sensor-A采集類傳感器獲得當前環(huán)境的濕度和溫度，每隔30s更新一次濕度和表4.13Sensor-A項目配置見前端應用中的硬件控制部分通過智云ZCloudAPI連接到硬件系統(tǒng)，前端應用處理示例如表4.14單擊平臺環(huán)境播報界面右下角的圖標，可以顯示由no采集類傳感器上報的溫/濕度信息，生成由當前時間+溫濕度信息組成的文本并顯示在實驗交互區(qū)。語音環(huán)境播報系統(tǒng)在接收到新的溫濕度信息時，都會對其進行語音合成并進行播報，播報的最小間隔時間為5s。圖4.58語音環(huán)境播報系統(tǒng)運行時的AiCam第5本章介紹邊緣計算與人工智能的綜合應用開發(fā)，包括2智能家居（SmartHome）系統(tǒng)利用綜合布線技術、網(wǎng)絡通信技術、安全防范技術、自動AmazonAlexa、GoogleAssistant、AppleSiri）來執(zhí)行各種任務，如調整設備、獲取信息從邊緣計算的角度看，智能家居系統(tǒng)可分為硬件層、邊緣層、應用層，如圖5.1圖5.1硬件層：無線節(jié)點和no采集類傳感器、no控制類傳感器、no安防類傳感器構成了智能家居系統(tǒng)的硬件層，通過光柵傳感器監(jiān)測是否開啟手勢識別等智能交互操作。手勢交互：通過攝像頭進行手勢開關家居設備的操作，在本項目中，手勢1簾進行開關操作、手勢2表示對燈光進行開關操作、手勢34表示對空調進行開關操作、手勢5智能家居系統(tǒng)的功能框架如圖5.2圖5.21）▲圖5.3Sensor-A▲圖5.4Sensor-B圖5.5Sensor-C安防類傳感器的虛擬控制平臺智能家居系統(tǒng)的通信協(xié)議如表5.1表5.1前端應用中的硬件控制部分通過智云ZCloudAPI連接到硬件系統(tǒng)，前端應用處理示例如項目配置見3）圖5.6圖5.7智能家居系統(tǒng)的首頁（手動模式Sensor-A采集類傳感器在默認情況下每30s更新一次數(shù)據(jù)，Sensor-C安防類傳感器在發(fā)生警報事件時每隔3s更新一次數(shù)據(jù)，首頁的數(shù)據(jù)會相應地進行更新。Sensor-B控制類傳感器圖5.8智能家居系統(tǒng)的首頁（自動模式在成功識別手勢后，等待3s后才會進行下一次的手勢識別，如果之前的某個家居設▲圖5.9根據(jù)手勢對加濕器進