基于Flutter的視障人群輔助APP

基于Flutter的視障人群輔助APPonFlutter摘要中國視障群體約有1731萬人，平均不到100個人里就有一個視障人士。隨著社會的發(fā)展進(jìn)步，中國對特殊群體的公共保障越來越完善。在現(xiàn)實生活中，盲人最主要的需求就是出行，但是在室外的環(huán)境下盲人想獨立出行還是一件難事，很多時候都需要人陪同，公共設(shè)施還是有待提升。深度學(xué)習(xí)的原理是利用明眼人標(biāo)注的已知樣本來學(xué)習(xí)一種規(guī)則進(jìn)行開發(fā)框架，可以利用它快速開發(fā)移動應(yīng)用。本文實現(xiàn)的是一款結(jié)合深度學(xué)習(xí)、跨屏臺開發(fā)框架的手機應(yīng)用程序，能夠幫助盲人在室外環(huán)境下出Abstract2 2.1.跨平臺開發(fā)框架研究現(xiàn)狀及分析 3.2.安裝Anaconda 3.3.安裝Tensorflow 3.4.安裝AndroidStudio 4.1.訓(xùn)練神經(jīng)網(wǎng)絡(luò) 第一章研究背景與意義3視障人士，數(shù)量是世界之首。其中視障人士也是占有障礙人士的很大一部分比例，受社會的廣泛關(guān)注，但現(xiàn)有市場上對與視障群體的軟硬件開發(fā)還沒有得到人們的關(guān)注，與視障群體有關(guān)的產(chǎn)品少之又少。正因如此，視障群體更應(yīng)該受到大家的廣泛重視與關(guān)注、，需要社會給予關(guān)愛和幫助。使其提高生活質(zhì)量。據(jù)2015年《中國互聯(lián)網(wǎng)視障用無法辨別方向、出行過程中被障礙物遮擋等困難。盲道是現(xiàn)在盲人具，但是現(xiàn)在的盲道占有率很高，視障群體實際使用過程并張圖片返回物體信息的效果。深度學(xué)習(xí)領(lǐng)域近年來隨著硬件的升級更新，算力有了極大Flutter是一個跨平臺開發(fā)框架，它是非常新的平臺，它的主要開發(fā)語言是Dart，上并可以與原生的應(yīng)用媲美，這為用戶提供了友好的體驗。本系統(tǒng)采用深度學(xué)習(xí)中的目標(biāo)檢測及跨平臺開發(fā)框架Flutter為視障者們開發(fā)一個有好的、高效的視障輔助APP，讓每一個人都能享受AI技術(shù)帶來的便利。第二章研究現(xiàn)狀與分析近年來，消費者們已經(jīng)從PC轉(zhuǎn)向移動端來進(jìn)行上網(wǎng)的操作，跨平臺開發(fā)框架大多身手例如Futter、ReactNative等，這些跨平臺的開技術(shù)有的時候甚至超過了平臺的Android系統(tǒng)。該庫現(xiàn)在可以為兩個平臺呈現(xiàn)移動UI。每當(dāng)使用Swift/Objective-C或Java編寫的應(yīng)用程序有更新時，都需要重新編譯整個應(yīng)用程序，并且必須將新版本再次分發(fā)到AppStore。根據(jù)AppStore的審查程序，所4到特定的JavaScript代碼，然后在實際設(shè)備上啟動該應(yīng)用程序時下載并編譯該JavaScript代碼。這樣，可以立即完成應(yīng)用程序更新，而無需一次又一次地向AppFlutter是一個非常新的平臺，該平臺框架如圖2.1.2所示但是它是一個很有發(fā)展騰訊開發(fā)的Now直播等。與開發(fā)Web應(yīng)用程序相比，它比較簡單，并且與本地的應(yīng)用程是編程語言。它可以編譯為二進(jìn)制代碼，這就是為什么它以O(shè)bjective-C，Swift，Web框架的啟發(fā)下使用了一種聲明式方法，基于小部件（在網(wǎng)絡(luò)世界中稱為“組件”）構(gòu)建其UI。為了從小部件中獲取更多信息，通常僅在必要時才渲染它們，通常是當(dāng)它們的狀態(tài)已更改時。該框架還集成了Hot-reload，這對于Web來說很典型，但在本機平臺上仍然缺少。這使Flutter框架可以自動重建窗口小部件樹，從而可以快速查看更56殊操作。該操作涉及將對應(yīng)于圖像矩陣的特定行和列的單元格的值與濾波器矩陣中相應(yīng)單元格的值相乘。我們對濾波器矩陣范圍內(nèi)的所有單元格的值執(zhí)行此操作，并將它們加有值的最大值或平均值。這減小了輸出矩陣的大小。例如，對于MAX-POOLING，我們?nèi)【仃嚨?X2部分的所有值中的最大值。因此，我們實際上是采用表示該圖像的該部分中存在特征的值。通過這種方式，我們擺脫了關(guān)于圖像特定部分中特征存在的不想要的信息，而僅考慮需要知道的內(nèi)容。通常在CNN體系結(jié)構(gòu)中的連續(xù)卷積塊之間定期插入池化層。它的功能是逐漸減小表示的空間大小，以減少網(wǎng)絡(luò)中的參數(shù)和計算量。全連接層：該層構(gòu)成卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的最后一塊，與分類任務(wù)有關(guān)。這實際上是一個完全連接的簡單神經(jīng)網(wǎng)絡(luò)，由兩個或三個隱藏層以及一個通常使用“Softmax回歸”實現(xiàn)的輸出層組成，該輸出層可在眾多類別中執(zhí)行和簡單的基于零件的模型。后來，基于統(tǒng)計分類器Adaboost，貝葉斯等。最初成功的目標(biāo)檢測器系列（均基于），7盲人出行途徑有四個，分別是盲道、盲杖、明眼人的陪伴、導(dǎo)盲犬，下面我將分別介紹這四種。盲道是屬于公共設(shè)施，他是靠地上的花紋提示盲人能不能行走，屬于盲人主要的出行工具，盲道是非常重要的。但是設(shè)計時、使用時、會出現(xiàn)有固定或者非固定的東西被隨意占用，各種電動車、私家車、雜物隨意堆放，這種情況在現(xiàn)實生活中很常見。盲杖，盲杖就是盲人前行的第三只眼，可探索前方是否有障礙物，是否被物體阻擋。這種只能判斷很近的物體，前方有無障礙物。明眼人的陪伴，對于有明眼人的陪伴，自然不需以上的輔助工具。導(dǎo)盲犬，導(dǎo)盲犬在當(dāng)下必定還屬奢侈存在，不是每一個第三章實驗環(huán)境搭建件開發(fā)人員和軟件工程師使用具有CUDA功能的圖形處理單元進(jìn)行通用8動，下載后點擊安裝即可。根據(jù)顯卡的配置來進(jìn)行下載Conda是一個在windows等系統(tǒng)上運行的包管理系統(tǒng)和環(huán)境管理系統(tǒng)，利用他可以TensorFlow是一個開源軟件庫。他是由谷歌公司中的谷歌大腦團(tuán)隊進(jìn)行主要開發(fā)9TensorFlow根據(jù)Apache2.0開源許可證發(fā)行。盡管可以訪問基礎(chǔ)C++API，但該API主要用于Python編程語言。與旨在深度學(xué)習(xí)的其他數(shù)值庫（例如Theano）不同，TensorFlow則用于開發(fā)和生產(chǎn)系統(tǒng)。它可以在移動設(shè)備和數(shù)百臺機器上的單個CPU系數(shù)值計算的軟件庫，其中包括表示圖中數(shù)學(xué)運算的節(jié)點和圖中邊緣表示的多維數(shù)據(jù)數(shù)組TensorFlow提供了多個API（應(yīng)用程序編程接口）。它們可以分為兩個主要類別：低級API：完整的編程控制，推薦給機器學(xué)習(xí)研究人員，提供對模型的精細(xì)控制，而TensorFlowTensorFlowTensorFlowLite，它運行在許多不同的硬件類型，包括移動電話，嵌入式Linux設(shè)備，以及微控制器經(jīng)過專門優(yōu)化過的模式。它變換TensorFlow模型轉(zhuǎn)換成一個有效的形式解釋使用，可引入優(yōu)化提高二進(jìn)制文件的大小和性能。TensorFlow精簡版的設(shè)回。對于開發(fā)商來說，在設(shè)備上進(jìn)行機器學(xué)習(xí)可以用下面的改進(jìn)有助于：潛伏期（無往使用模型優(yōu)化工具包來減少模型的大小并提高其效率，同時將對精度的影響降到最的TensorFlow模型，在線查找模型，或從預(yù)訓(xùn)練模型中選擇一個模型進(jìn)行遷移學(xué)習(xí)或到設(shè)備并在設(shè)備上運行模型。4.優(yōu)化模型。使用我們的模型優(yōu)化工具包來減小模型的大小并提高其效率，同時最大程度地減少對準(zhǔn)確性的影響。AndroidStudio是一個集成開發(fā)環(huán)境，用于編寫適用于移動終端設(shè)備的程序，基/studio/insta將AndroidStudio拖放到“Applications”文件夾中，然后選擇是否想要導(dǎo)入之前的AndroidStudioAndroidStudio設(shè)置向?qū)⒁龑?dǎo)一些的設(shè)置步驟，包括下載開發(fā)所需的Andro下載FlutterSDK在網(wǎng)址上https://flutter.io/sdk-archive/#maco選擇Stablechannel。添加flutter到環(huán)境變量中exportPATH=`pwd`/flutter/bin:$PATH運行flutterdoctor所有檢查都成功時，安裝完成。第四章詳細(xì)設(shè)計與實現(xiàn)ObjectDetection也包括了許多最新的目標(biāo)檢測任務(wù)的網(wǎng)絡(luò)框架:gitclone/mvmodelsgoogle_obj_detvimenv_obj_detection.shprotocobject_detection/protos/*.proto--p/tensorflow/models/blob/master/research配置文件地址:/tensorflow/models/tree/master/researchpythontrain.py--logtostderr--train_dir=trainipipeline_config_path=paint_on_airwebsocket-client==0.5<key>NSMicrophoneUsa}-assets/ssd_mobileneMain.dart}但是其中很多幀都是相同的所以不必幀都進(jìn)行檢測，可以測如果是這正在檢測就跳過這幀，如果沒有在檢測就跳的時候會進(jìn)行記錄上一幀的物體，會對比上一幀與現(xiàn)在的視頻流處理的幀返回的信息有物體的名稱，物體的信度，其中會設(shè)定一個置信度的過濾器進(jìn)行過濾一設(shè)定一個小目標(biāo)過濾器，負(fù)責(zé)過濾小目標(biāo)，其原理接近警報：為了提示物體的移動目標(biāo)，還設(shè)定了一2第五章總結(jié)與不足通過本次實驗總結(jié)了大學(xué)四年的基本所學(xué)，涵蓋了java語言、系統(tǒng)分析語設(shè)計、機器學(xué)習(xí)等課程的一些基本知識。整個軟件從需求分析到實現(xiàn)經(jīng)歷了幾個月的時間，完成了整個軟件的設(shè)計、整片論文分析了這個軟件的必要性、模型的訓(xùn)練過程、軟件的編通過調(diào)研資料了解了視障群體的日常生活是怎樣的，日常生活中是如何是用手機的、如何外出等等。本系統(tǒng)也只能為它們提供一個微小的功能，對于實際環(huán)境中所提供(1)使用tensorflowobjectapi進(jìn)行了訓(xùn)練，完成了一般性深度學(xué)習(xí)的訓(xùn)練流程(2)將模型進(jìn)行固定、轉(zhuǎn)換到tensorflow-lite進(jìn)行嵌入式設(shè)備部署（1）使用了tensorflowobjectapi，SSD-mobiilenet在深度學(xué)習(xí)領(lǐng)域?qū)儆诒容^老的模型但是比較穩(wěn)定，沒有自己搭建模型結(jié)構(gòu)（2）Flutter應(yīng)用開發(fā)較為粗略，僅僅是實現(xiàn)了模型的推理以及語音播報。有一些功能做的還不夠完善。一個功能只能為視障人士提供有限的功能。（3）專業(yè)知識不足，導(dǎo)致有些開發(fā)流程重復(fù)做了。[1]RedmonJ,FarhadiA.Yolov3:Anincrementalimprovement[J].arXivpreprintarXiv:1804.02767,2018.[2]LiY,HuangH,