基于神經(jīng)網(wǎng)絡(luò)與機(jī)器視覺的垃圾分類系統(tǒng)的設(shè)計(jì)

②具有64KB的Flash儲(chǔ)存器和20KB的SRAM，支持多種通信接口，包括SPI、IIC、USART和CAN等，最高可達(dá)72MHz工作頻率,2.0-3.3V供電，以及多個(gè)快速I/O端口，端口均可容忍5V信號(hào)，配備3個(gè)16位通用定時(shí)器、ADC和DAC等模擬外設(shè)。圖2STM32F103C8T6控制模塊如圖3所示K210采用雙核64位RISC-V處理器，工作電壓為3.3V，主頻最高可達(dá)400MHz，搭配硬件浮點(diǎn)加速器和DMA控制器，可以處理復(fù)雜的算法和任務(wù)。能夠適配不同的外設(shè)和傳感器，提供豐富的硬件接口，如UART、SPI、I2C、GPIO等，以便用戶方便地進(jìn)行硬件擴(kuò)展和連接外部設(shè)備。其還內(nèi)置了多核AI協(xié)處理器，支持神經(jīng)網(wǎng)絡(luò)加速，如CNN和RNN等，為開發(fā)人員提供了高效的AI計(jì)算能力。圖3K210核心板如圖4所示。ov5642攝像頭集成了高級(jí)的像素和圖像處理技術(shù)，支持自動(dòng)白平衡、自動(dòng)曝光和自動(dòng)對(duì)焦等多種圖像優(yōu)化功能，能夠自動(dòng)調(diào)整圖像參數(shù)以適應(yīng)不同的環(huán)境和拍攝條件。圖像處理器能夠?qū)崟r(shí)調(diào)整亮度、對(duì)比度和飽和度等，提供更好的圖像效果。該攝像頭不僅分辨率高，還具有低功耗設(shè)計(jì)，能夠延長(zhǎng)設(shè)備的使用壽命。同時(shí)，其還支持實(shí)時(shí)圖像處理和視頻編碼，適用于各種圖像和視頻應(yīng)用場(chǎng)景。圖4ov5642攝像頭如圖5所示，該2.4寸TFT屏幕具有以下特點(diǎn)。首先，其采用TFT（薄膜晶體管）技術(shù)，具有高分辨率和細(xì)膩的色彩還原能力，可以呈現(xiàn)清晰、逼真的圖像。其次，該屏幕具有適中的尺寸，以及快速的響應(yīng)時(shí)間和高刷新率，能夠在實(shí)時(shí)應(yīng)用中展示流暢的動(dòng)態(tài)圖像。此外，其支持廣色域和多種顯示模式，可以滿足不同應(yīng)用的需求。該屏幕還可以通過硬件接口與K210核心板進(jìn)行簡(jiǎn)便的連接，如SPI接口、I2C接口等。最后，該屏幕具有穩(wěn)定的硬件連接和堅(jiān)固的結(jié)構(gòu)設(shè)計(jì)，確保長(zhǎng)時(shí)間穩(wěn)定運(yùn)行。圖52.4寸TFT屏幕3智能視覺識(shí)別垃圾分類系統(tǒng)硬件設(shè)計(jì)3.1K210電路原理圖K210電路原理圖如圖6（1）、圖6（2）所示。K210芯片內(nèi)部包含雙核64位RISC-V處理器，提供高性能的計(jì)算能力和多任務(wù)處理能力。其集成硬件浮點(diǎn)運(yùn)算單元和DMA控制器，實(shí)現(xiàn)高效的浮點(diǎn)計(jì)算和數(shù)據(jù)傳輸。時(shí)鐘電路為K210芯片提供穩(wěn)定的時(shí)鐘信號(hào)，保證系統(tǒng)的穩(wěn)定運(yùn)行。電源管理電路通過電源轉(zhuǎn)換器和穩(wěn)壓模塊，提供穩(wěn)定的電壓和電流供給各個(gè)芯片和外設(shè)。外存儲(chǔ)器模塊包括閃存和SDRAM，用于存儲(chǔ)程序代碼和數(shù)據(jù)。通信接口電路支持串口（UART）、SPI、I2C、GPIO等接口，實(shí)現(xiàn)與其他設(shè)備的數(shù)據(jù)交互。此外，K210核心板還可能包含音頻模塊、顯示屏接口等外設(shè)，以滿足不同應(yīng)用場(chǎng)景的需求。圖6（1）K210電路原理圖圖6（2）K210電路原理圖3.2STM32F103C8T6最小系統(tǒng)電路STM32F103C8T6最小系統(tǒng)如圖7所示。時(shí)鐘電路由晶體振蕩器和電容組成，保證單片機(jī)工作按照時(shí)間順序。復(fù)位電路能夠讓單片機(jī)回到起始狀態(tài)。通過設(shè)計(jì)電源電路、時(shí)鐘電路、復(fù)位電路來(lái)滿足單片機(jī)運(yùn)行的基本要求。圖7STM32F103C8T6最小系統(tǒng)圖3.3ov5642攝像頭原理圖ov5642攝像頭的原理圖，如圖8所示。K210核心板與ov5642攝像頭連接。打開K210核心板上的卡扣，將排線插緊后關(guān)閉卡扣。圖8ov5642攝像頭原理圖3.4TFT屏幕模塊電路設(shè)計(jì)TFT屏幕的原理圖，如圖9所示。K210核心板與TFT屏幕使用SPI接口。打開K210核心板上的卡扣，將排線插緊后關(guān)閉卡扣。圖9TFT屏幕原理圖3.5輸入按鍵與K210核心板連接電路輸入按鍵模塊電路接線如圖10所示，4、3、2號(hào)為機(jī)械式按鈕輸入端，按鍵一端接地，一端分別與K210核心板的PIN10、PIN15、PIN16相連。通過按下K1、K2按鍵選擇識(shí)別模式，按下K3按鍵確認(rèn)。圖10輸入按鍵電路連接圖3.6舵機(jī)模塊電路設(shè)計(jì)舵機(jī)模塊電路設(shè)計(jì)如圖11所示。將舵機(jī)的控制線分別接到PB11,PB10,PB1,PA7上，5V接5V電源，GND接電源GND。電源線連接通過PWM控制，通過調(diào)整輸入信號(hào)的脈沖寬度來(lái)改變舵機(jī)輸出轉(zhuǎn)軸角的大小。圖11舵機(jī)模塊電路連接圖3.7報(bào)警模塊電路設(shè)計(jì)連接電路如圖12所示。PA5連接核心板PA5引腳相連，5V接5V電源，GND接電源GND。S8050為NPN三極管，當(dāng)PA5輸出一個(gè)高電平，則S8050處于導(dǎo)通的狀態(tài)，LED燈點(diǎn)亮，蜂鳴器報(bào)警。 圖12報(bào)警模塊電路設(shè)計(jì)3.8K210核心板串口模塊電路設(shè)計(jì)K210核心板串口有四個(gè)引腳，其電路連接方式如圖13所示。5V接5V電源，PA2接核心板PIN6，PA3接核心板PIN7，GND接電源GND。圖13K210核心板串口模塊電路連接圖4智能視覺識(shí)別垃圾分類系統(tǒng)軟件設(shè)計(jì)4.1K210程序設(shè)計(jì)K210程序流程圖如圖14所示，使用python語(yǔ)言進(jìn)行編寫。先將key_gen_v1.2.bin這個(gè)固件通過kflash_gui燒錄到核心板上。燒錄這個(gè)機(jī)器碼固件之后，核心板是處于一個(gè)不能使用的狀態(tài)，上電后屏幕只會(huì)變成一個(gè)白屏。之后將核心板通過USB連接到電腦上，利用串口連接電腦與核心板。連接成功后按下核心板上的reset的按鍵，就會(huì)出現(xiàn)一串字符在終端窗口上，這時(shí)得到本機(jī)器的機(jī)器碼：856407729ad828020fd46b304d0d0260。打開/model/zoo/61網(wǎng)站，輸入本K210核心板的機(jī)器碼，下載對(duì)應(yīng)的自學(xué)習(xí)分類器。本模型的優(yōu)點(diǎn)為：無(wú)需重新訓(xùn)練模型，直接離線學(xué)習(xí)多個(gè)物體的特征，然后即可識(shí)別物體所屬分類。配置STM32與K210串口通訊，將PA2設(shè)置為復(fù)用推挽輸出，PA3設(shè)置為浮空輸入模式；配置NVIC；配置UART波特率為9600，模式為收發(fā)模式；開啟串口接收中斷；使能串口2。再配置K210核心板，將PIN7設(shè)置為UART1的發(fā)送引腳，PIN6設(shè)置為UART1

的接收引腳，波特率是設(shè)置為9600與STM32單片機(jī)波特率相同。首先將模型庫(kù)與算法庫(kù)導(dǎo)入K210核心板，再配置串口與按鍵引腳初始化，因?yàn)樾枰谄聊簧巷@示中文，所以在SD卡中加載字庫(kù)：songti.Dzk。完成所有初始化之后對(duì)按鍵進(jìn)行判斷：當(dāng)按下按鍵選擇進(jìn)入新的訓(xùn)練模式時(shí)，通過按下確認(rèn)鍵后按照空白、可回收、廚余、有害、其他的順序添加這5種分類，之后繼續(xù)添加5個(gè)樣本，對(duì)前五種分類進(jìn)行訓(xùn)練學(xué)習(xí)。訓(xùn)練學(xué)習(xí)完成之后將訓(xùn)練集與分類集儲(chǔ)存至SD中的“5_classes.classifier”文件中。儲(chǔ)存完成之后開始識(shí)別物品分類,將識(shí)別出的物品分類顯示液晶上，并通過串口發(fā)送識(shí)別的分類結(jié)果到STM32單片機(jī)。當(dāng)按下按鍵選擇進(jìn)入已保存的訓(xùn)練模式時(shí)，不會(huì)改變分類的模式，會(huì)直接進(jìn)行物品的識(shí)別。同樣將識(shí)別出的物品分類顯示液晶上，并通過串口發(fā)送識(shí)別的分類結(jié)果到STM32單片機(jī)。圖14K210程序流程圖4.2STM32程序設(shè)計(jì)STM32程序流程圖如圖15所示，使用C語(yǔ)言進(jìn)行編寫。主程序中先對(duì)I/O口模塊，定時(shí)器模塊，串口模塊進(jìn)行初始化，在主程序中通過while(1)循環(huán)中進(jìn)入串口判斷模式，串口判斷的結(jié)果可分為以下4種：（1）當(dāng)?shù)玫降慕Y(jié)果result:1時(shí)，表明當(dāng)前K210核心板識(shí)別當(dāng)前的垃圾為可回收垃圾，STM32控制相應(yīng)的舵機(jī)打開，蜂鳴器報(bào)警，LED燈亮。3秒以后聲光指示關(guān)閉，舵機(jī)恢復(fù)到初始狀態(tài)，清空串口緩存。最后重新進(jìn)入循環(huán)判斷串口收到的數(shù)據(jù)。（2）當(dāng)?shù)玫降慕Y(jié)果result:2時(shí)，表明當(dāng)前K210核心板識(shí)別當(dāng)前的垃圾為有害垃圾，STM32控制相應(yīng)的舵機(jī)打開，蜂鳴器報(bào)警，LED燈亮。3秒以后聲光指示關(guān)閉，舵機(jī)恢復(fù)到初始狀態(tài)，清空串口緩存。最后重新進(jìn)入循環(huán)判斷串口收到的數(shù)據(jù)。（3）當(dāng)?shù)玫降慕Y(jié)果result:3時(shí)，表明當(dāng)前K210核心板識(shí)別當(dāng)前的垃圾為廚余垃圾，STM32控制相應(yīng)的舵機(jī)打開，蜂鳴器報(bào)警，LED燈亮。3秒以后聲光指示關(guān)閉，舵機(jī)恢復(fù)到初始狀態(tài)，清空串口緩存。最后重新進(jìn)入循環(huán)判斷串口收到的數(shù)據(jù)。（4）當(dāng)?shù)玫降慕Y(jié)果result:4時(shí)，表明當(dāng)前K210核心板識(shí)別當(dāng)前的垃圾為其他垃圾，STM32控制相應(yīng)的舵機(jī)打開，蜂鳴器報(bào)警，LED燈亮。3秒以后聲光指示關(guān)閉，舵機(jī)恢復(fù)到初始狀態(tài)，清空串口緩存。最后重新進(jìn)入循環(huán)判斷串口收到的數(shù)據(jù)。圖15STM32程序流程圖4.3報(bào)警模塊程序流程圖如圖16。首先初始化STM32PA5引腳，打開GPIOA的RCC_APB2時(shí)鐘，將PA5配置為推挽輸出，I/O口速度為50MHz。當(dāng)識(shí)別到垃圾分類時(shí)，PA5輸出高電平，蜂鳴器報(bào)警，LED燈點(diǎn)亮。圖16報(bào)警模塊程序流程圖4.4舵機(jī)模塊程序流程圖如圖17。首先初始化STM32的PB11,PB10,PB1,PA7引腳，打開GPIOA，GPIOB的RCC_APB2時(shí)鐘，將PB11,PB10,PB1,PA7配置為推挽輸出，I/O口速度為50MHz。當(dāng)識(shí)別到垃圾分類時(shí)，收到寬度為2ms脈沖寬度的PWM信號(hào)，舵機(jī)打開45°角。圖17舵機(jī)模塊程序流程圖5實(shí)物調(diào)試5.1硬件調(diào)試硬件調(diào)試階段，在安裝器件前先用萬(wàn)用表檢查每條電路是否正常導(dǎo)通。接著安裝核心板。檢查輕觸開關(guān)、電阻、三極管、舵機(jī)、LED燈、電阻是否正常。最后給2個(gè)單片機(jī)下載測(cè)試程序，看電路能不能正常運(yùn)行，是否能完成預(yù)期目標(biāo)，以此對(duì)所有的輸入端和輸出端進(jìn)行檢測(cè)。經(jīng)檢查，電路正常。5.2程序調(diào)試程序調(diào)試階段，分模塊測(cè)試程序,如圖18（1）（2）所示。首先測(cè)試TFT顯示屏能夠正常顯示攝像頭拍攝出的圖像、模式選擇界面與檢測(cè)出的垃圾分類，顯示正常，攝像頭正常。K210核心板識(shí)別3個(gè)輸入按鈕信號(hào)，實(shí)現(xiàn)模式選擇與確認(rèn)，輸入信號(hào)正常，可以正常使用。單片機(jī)能夠輸出信號(hào)作用于NPN三極管，可以讓對(duì)應(yīng)的狀態(tài)指示燈點(diǎn)亮，輸出信號(hào)正常，可以正常運(yùn)行。PB11,PB10,PB1,PA7輸出PWM信號(hào)作用于舵機(jī)，也可以正常運(yùn)行。STM32單片機(jī)與K210核心板能夠正常進(jìn)行串口通信，通信正常，能夠接受與發(fā)送。最后反復(fù)測(cè)試程序邏輯及運(yùn)行的流暢度，保證后期正常運(yùn)行。圖18（1）軟件調(diào)試圖圖18（2）軟件調(diào)試圖5.3總體調(diào)試系統(tǒng)總體調(diào)試如圖19顯示。將編寫好的程序下載到STM32單片機(jī)與K210核心板，檢查電路連接，測(cè)試各個(gè)模塊工作是否能正常工作后連接電源。成功啟動(dòng)后進(jìn)入選擇界面，選擇添加新的分類，按照空白、可回收、廚余、有害、其他的順序添加這5種分類，再添加這5種樣例從而使模型庫(kù)更加完整，然后進(jìn)入識(shí)別模式。識(shí)別完成后首先查看TFT屏幕，是否正常顯示攝像頭拍攝圖像，是否能正常顯示正確的垃圾分類；之后查看相應(yīng)的舵機(jī)是否工作，蜂鳴器是否正常工作，LED燈是否點(diǎn)亮。經(jīng)調(diào)試，功能正常，電路正常工作。圖19系統(tǒng)總體調(diào)試圖6總結(jié)6.1智能視覺識(shí)別垃圾分類系統(tǒng)發(fā)展前景本文所設(shè)計(jì)了的智能視覺識(shí)別垃圾分類系統(tǒng)，系統(tǒng)以STM32F103C8T6與K210為核心，對(duì)垃圾的識(shí)別，分類，處理可以實(shí)現(xiàn)完全自動(dòng)化，通過K210自學(xué)習(xí)分類器添加新的垃圾樣例，可應(yīng)對(duì)多種環(huán)境。該系統(tǒng)經(jīng)過調(diào)試和測(cè)試運(yùn)行后，運(yùn)行較為穩(wěn)定，且操作簡(jiǎn)單、制作簡(jiǎn)單、成本低、易升級(jí)，具有廣泛的應(yīng)用前景。6.2作品不足之處本作品由于前期設(shè)計(jì)考慮不周全，有以下不足之處：添加的垃圾種類較少，只存在4種垃圾分類；無(wú)法同時(shí)識(shí)別多種垃圾分類；在更換環(huán)境時(shí)需要重新采集背景；功能較少，可以考慮添加語(yǔ)音播報(bào)模塊以方便在多種環(huán)境下的使用；參考文獻(xiàn)趙忠玉,徐生龍.一種新型校園垃圾分類系統(tǒng)的設(shè)計(jì)[J].自動(dòng)化應(yīng)用,2022(11):158-160+164.DOI:10.19769/j.zdhy.2022.11.041.馬永喜,辛雅儒,申晨.人工智能技術(shù)應(yīng)用對(duì)城市居民垃圾分類成效的影響——一個(gè)實(shí)地實(shí)驗(yàn)研究[J].經(jīng)營(yíng)與管理,2022(10):116-122.DOI:10.16517/12-1034/f.2022.10.020.謝小明,徐建輝,陳飛燕.基于視覺識(shí)別的垃圾分類箱系統(tǒng)[J].自動(dòng)化與信息工程,2022,43(01):49-52.王雪,葉長(zhǎng)青,杜雨洋.基于樹莓派的智能垃圾分類桶設(shè)計(jì)[J].電腦知識(shí)與技術(shù),2021,17(25):114-115+120.DOI:10.14004/ki.ckt.2021.2506.林穎,黃澤豪,曾文軒等.基于視覺識(shí)別的垃圾分類系統(tǒng)[J].電子技術(shù)與軟件工程,2021(10):78-79.趙忠玉,徐生龍.一種新型校園垃圾分類系統(tǒng)的設(shè)計(jì)[J].自動(dòng)化應(yīng)用,2022(11):158-160+164.DOI:10.19769/j.zdhy.2022.11.041.王科舉,廉小親,安颯等.基于樹莓派和Arduino的智能垃圾桶[J].信息技術(shù)與信息化,2019(10):104-108.Ho