開發(fā)者創(chuàng)新中心建設項目需求

開發(fā)者創(chuàng)新中心建設項目需求序號名稱技術參數單位數量1工業(yè)數據采集實訓平臺工業(yè)數據采集實驗平臺工業(yè)數據采集實驗平臺適用于工業(yè)傳感數據采集和傳輸項目學習和開發(fā)。其主要功能包括且不限于：設備管理功能：在手機APP中可以對數據采集終端通過填寫節(jié)點信息，在系統(tǒng)中添加數據采集終端?？梢栽谑謾C端查看到已添加的數據采集終端，并通過刪除按鈕刪除數據采集終端。數據采集功能：通過溫濕度光照傳感器、速度傳感器、位移傳感器、角度傳感器、氣壓傳感器對工業(yè)常見數據進行采集。數據終端通過RS485接口、TTL電平接口與傳感器連接，對數據終端配置，實現各項數據的采集。在手機上可以查看各傳感器采集的數據。告警功能：在手機APP中可以對各項數據進行閥值的設置，當傳感器采集的值小于最小值或大于最大值，在手機APP中將現實告警圖標。數據采集頻率設置功能：通過手機APP可以對數據采集終端的數據上傳頻率進行設置。實驗過程中主要使用的軟件包括但不限于：應用開發(fā)環(huán)境：應用開發(fā)環(huán)境是為運行在國產操作系統(tǒng)上的應用和服務（以下簡稱應用/服務）提供一站式的開發(fā)平臺。作為一款開發(fā)工具，除了具有基本的代碼開發(fā)、編譯構建及調測等功能外，還具有如下特點：（2）高效智能代碼編輯：支持ArkTS、JS、C/C++等語言的代碼高亮、代碼智能補齊、代碼錯誤檢查、代碼自動跳轉、代碼格式化、代碼查找等功能，提升代碼編寫效率。更多詳細信息，請參考編輯器使用技巧。（3）低代碼可視化開發(fā)：豐富的UI界面編輯能力，支持自由拖拽組件和可視化數據綁定，可快速預覽效果，所見即所得；同時支持卡片的零代碼開發(fā)，降低開發(fā)門檻和提升界面開發(fā)效率。更多詳細信息，請參考使用低代碼開發(fā)應用/服務。（4）多端雙向實時預覽：支持UI界面代碼的雙向預覽、實時預覽、動態(tài)預覽、組件預覽以及多端設備預覽，便于快速查看代碼運行效果。更多詳細信息，請參考使用預覽器預覽應用/服務界面效果。（5）多端設備模擬仿真：提供國產操作系統(tǒng)移動應用終端本地模擬器，支持手機等設備的模擬仿真，便捷獲取調試環(huán)境。更多詳細信息，請參考使用模擬器運行應用/服務。二、含理論+實踐課程（含Word、PPT、視頻等）1套：包括≥9個PPT、≥1個實驗手冊、≥50道練習題，視頻總時長≥360分鐘。課時數≥48課時，具體課程內容包括但不限于：《工業(yè)數字化介紹》《工業(yè)數據采集系統(tǒng)介紹》《工業(yè)數據采集系統(tǒng)設計》《工業(yè)數據采集系統(tǒng)開發(fā)環(huán)境搭建》《數據采集終端系統(tǒng)移植》《數據采集終端傳感器數據采集功能開發(fā)》《數據采集終端配置命令行功能開發(fā)》《數據采集終端數據采集功能開發(fā)》《工業(yè)數據采集APP頁面布局開發(fā)》《工業(yè)數據采集APP數據通信功能開發(fā)》三、含Demo源碼1套：工業(yè)數據采集demo源碼≥1個四、含學習管理平臺1套：一、教學管理系統(tǒng)：1、參與的角色包括：超級管理員、普通管理員、學生；2、支持班級及學生管理：支持查看班級信息，編輯班級信息；支持查看學生列表，編輯學生信息；支持學生可存在多個班級，并可視學生上課情況調整學生所在班級，以便適應各類課程形式及教學形式需求；支持在班級里添加或移除學生；二、教學課程系統(tǒng):1.提供課程配套的公有云課程資源，課程資源應包括課程視頻、課件、教案、課程練習、附件、素材等形式；2、開設課程賬號數量不少于200個3、支持教材管理功能。支持在線播放課件；支持教材內容搜索功能，快速查詢內容；平臺支持打開本地教材文件，支持將教材PPT、Word下載到本地。4、支持視頻播放功能。視頻至少包含理論教學視頻和實驗教學視頻；5、系統(tǒng)需預置課程實驗手冊，以文字和配圖的形式詳細說明實驗步驟。實驗手冊需包括但不限于任務需求、任務步驟、任務結果、總結和分析等；6、實驗手冊需完整詳實，步驟清晰，確保學生能夠根據手冊完整實現實驗過程。實驗手冊支持下載到本地；7、支持在線練習功能，練習題型包括但不限于客觀題、實操題、模擬考試等。三、教學資源:1、教學資源包括課程大綱、授課PPT、練習題及答案、課程配套實驗（實驗環(huán)境、實驗手冊）等內容。2、包含1+X移動應用開發(fā)初中高級證書所需的對應課程資源。套82基于人工智能的機器視覺綜合實訓平臺機械臂開發(fā)平臺：1、機械臂開發(fā)軟件機器人控制軟件，包含機械臂驅動文件。支持Magician設備，包含示教再現、寫字畫畫、Blockly、腳本模塊等功能。通用：設置向導、控制臺、設備名、勾選滑軌功等功能調平：對大小臂角度傳感器進行手動校準、自動校準初始化姿態(tài)：設置初始化姿態(tài)點動：設置關節(jié)、滑軌和笛卡爾坐標系的速度和加速度再現：設置關節(jié)參數、坐標系參數、Jump參數、手持示教寫字畫畫：設置寫字畫畫的參數。比如速度、拐角速度、線性加速度、加速度、抬筆高度和下降位置手勢控制：設置手勢控制的參數。比如速度、縮放和性能模式鼠標控制：設置鼠標控制的參數。比如速度、縮放和性能模式2、機器人指令接口控制器支持兩種類型的指令：立即指令與隊列指令。接口大類包括且不限于：連接/斷開指令隊列控制設備信息實時位姿告警功能回零功能HHT功能末端執(zhí)行器JOG功能PTP功能CP功能ARC功能丟步檢測功能WAIT功能執(zhí)行觸發(fā)指令EIO功能3、AI開發(fā)平臺支持包含以下且不限于：Caffe/TensorFlow/Pytorch/MxNet/ONNX/Darknet/TENGINE等訓練框架模型直接部署，支持層融合、量化等網絡性能優(yōu)化策略，提供統(tǒng)一API（C/Python/JNI）接口，提供擴展接口自定義算子；至少包含高性能計算庫：加速嵌入式平臺神經網絡推理運算，具備常用的圖像處理、計算機視覺、模式識別的算子與算法，提供異構調度硬件加速芯片圖像處理，具備常用的音頻信號前后處理算子，支持FFT/IFFT、MFCC等信號處理方式；含理論+實踐課程（含Word、PPT、視頻等）1套：課程需要包括PPT，Word、視頻、練習題包括≥5個實驗手冊、≥5個PPT、≥20道練習題、≥20個視頻。課時數≥64課時，課程內容包括且不限于：《機械臂基礎指令訓練》使用示教再現和腳本控制實現機械臂操作，然后在系統(tǒng)中使用Python控制機械臂?！锻ㄟ^語音操作機械臂》利用用戶發(fā)出語音指令，通過語音處理平臺識別轉化為機械手臂可以識別的指令，然后讓機械手臂執(zhí)行操作?！痘趥鞲衅鞯陌徇\分揀》傳感器檢測一定距離是否有物體，使用手臂抓取物體放入傳送帶，有則驅動傳送帶傳輸，之后停下，然后進行抓取，然后根據顏色放入不同位置?！痘趫D像識別的物品抓取》攝像頭拍下各種顏色、形狀、位置物品圖片，訓練識別模型，調用圖像處理模型識別出新的擺放中要抓取的物品，轉換為機械臂的坐標，然后控制機械臂到指定位置抓取物品?！豆I(yè)質檢》（GPU）本實驗主要實現一個工業(yè)質檢案例，是人工智能應用與機械臂應用的整合，檢測對象為旅行裝面霜盒。主要流程為：從基本的視覺設備調試，到程序控制攝像頭提取圖片，再到視覺標定使程序能夠準確將圖片中坐標轉化為機械臂坐標，再使用深度學習技術構建模型識別瑕疵產品，最后控制機械抓取產品分類放置。含配套項目實操實驗1套：1、機械臂基礎指令訓練實驗1認識機械臂：介紹機械臂及吸盤套件安裝，包括安裝機械臂的底座、大臂、小臂、末端工具等，機械臂活動范圍，接口板各個接口的功能，指示燈的狀態(tài)及吸盤套件的安裝方法；實驗2開發(fā)工具安裝并使用：進行開發(fā)工具的下載、安裝，使用連接機械臂的方法，并了解機械臂的功能模塊，如具有示教再現、寫字畫畫、腳本控制等功能；實驗3使用可視化方式控制機械臂：掌握機械臂關節(jié)坐標系和笛卡爾坐標系的使用，使用了解機械臂幾種運動模式之間的差別，并掌握手持示教及吸盤手持示教控制機械臂的步驟；實驗4使用Python腳本控制機械臂：使用各種功能函數，包括腳本和指令，常用的隊列控制指令，設備信息，實時位姿，告警，回零功能，末端執(zhí)行器，點位模式（PTP）控制，從而利用python腳本控制機械臂；實驗5使用智能終端設備控制機械臂：基于開發(fā)板驅動機械臂，編寫記錄位置程序、記錄木塊位置、編寫機械臂抓取程序并執(zhí)行，最后完成使用Python操作機械臂從指定位置抓取一個木塊并放置到指定位置的操作；2、通過語音操作機械臂實驗1語音采集：在開發(fā)板上配置麥克風，語音采集與播放測試，最后使用Python在開發(fā)板上進行語音采集與播放；實驗2語音識別：使用公有云語音識別服務，包括服務的開通、token的獲取、接口的調用，將基于本地采集的語音轉換為文本信息；實驗3語音操作機械臂：編寫位置記錄程序、編寫告警處理程序、編寫記錄位置程序、實現語音驅動機械臂整合，實現兩個整合功能，一為通過聲音控制抓去不同顏色的木塊，二為通過語音控制機械運動到指定坐標。3、基于傳送帶的搬運分揀實驗1安裝傳送帶：了解傳送帶模塊的基本構成，以及安裝與接線方式，主要包括電機、光電傳感器、顏色傳感器；實驗2使用Blockly編程：使用Blockly方式編程，包括Blockly各類模塊的用法，最終利用機械臂、傳送帶、光電傳感器和顏色傳感器配合執(zhí)行，實現木塊分揀的功能；實驗3使用Python編程：使用Python基于機械臂，傳送帶，以及光電傳感器和顏色傳感器配合執(zhí)行，實現木塊分揀的功能；4、基于圖像識別的物品抓取實驗1視覺處理準備：指導用戶了解攝像頭、支架、光源套件、標定板幾個部分，并掌握組裝過程，并編寫Python調用攝像頭程序，用于配合調節(jié)光源、對焦和光圈等；實驗2視覺標定：指導用戶了解視覺標定的基本原理，并編寫視覺標定程序，執(zhí)行標定程序，輸出標定的轉換矩陣，并測試標定效果；實驗3圖像處理識別（OpenCV）：指導用戶編寫Python程序利用OpenCV識別圖像中的純色物體，包括：定義顏色的范圍、去掉范圍外的其他顏色、獲取留下的坐標，并標注；實驗4基于圖像識別的機械臂抓取：基于上面已經實現的功能進行整合，實現一個簡單的木塊分揀功能，即識別木塊的顏色，將不同的顏色的木塊放置到不同位置；5、工業(yè)質檢實驗實驗1試驗臺視覺處理前準備：指導用戶了解攝像頭、支架、光源套件、標定板幾個部分，并掌握組裝過程，并編寫Python調用攝像頭程序，用于配合調節(jié)光源、對焦和光圈等；實驗2視覺標定：指導用戶了解視覺標定的基本原理，并編寫視覺標定程序，執(zhí)行標定程序，輸出標定的轉換矩陣，并測試標定效果；實驗3構建圖像識別模型：基于Pytorch框架構建YOLOV4TINY模型，獲得針對正常品與瑕疵品圖片的目標檢測。過程包括圖像的采集、圖像的標注、模型的構建與訓練、模型的轉換與部署。最終完成工業(yè)質檢案例中視覺處理部分，包括模型訓練，端側部署應用的全流程實踐；實驗4基于圖像識別的機械臂抓?。褐笇в脩艋谏厦嬉呀泴崿F的功能進行整合，實現一個簡單的工業(yè)質檢功能，即識別產品屬于良品還是瑕疵品，然后將良品、瑕疵品通過機械臂抓取放置到不同位置；實驗5整合傳送帶：首先開始傳送帶，將待質檢的產品上料傳送帶（這里只有有一臺機械臂，考慮人手上料），開啟光電傳感器，檢測到物體停止傳送帶，然后機械臂抓取產品到質檢位置，通過視覺識別瑕疵品和良品，然后分別抓取到不同位置。套83全場景開發(fā)實訓平臺一、全場景開發(fā)實訓平臺：全場景開發(fā)實訓平臺適用于國產化操作系統(tǒng)應用及設備的學習和開發(fā)。其主要功能包括且不限于：平臺支持在兼容國產操作系統(tǒng)的設備上運行。數據采集：平臺可外接以下且不限于可燃氣體擴展板、溫濕度傳感器、

溫濕度傳感器、光照傳感器、人體紅外傳感器、

限位器傳感器、

PM2.5傳感器、PH值傳感器、紅外測溫傳感器、稱重傳感器、距離感應傳感器等進行數據采集。執(zhí)行器控制：通過平臺的操作指令，可以控制以下且不限于紅綠燈、炫彩燈、智能語音播報節(jié)點、雙路繼電器、風扇節(jié)點、窗簾執(zhí)行器、水泵節(jié)點、步進點擊、舵機等執(zhí)行器、OLED顯示板等工作。通過外設，可通過ZigBee進行通信。通過外設，可通過LORA進行通信。通過外設，可實現與更多傳感器、執(zhí)行器進行通信，包括但不限于：循跡傳感器、超聲波傳感器、電機、舵機、串口設備、I2C接口設備。通過外設，可實現NFC功能。二、含理論+實踐課程（含Word、PPT、視頻等）1套課程需要包括PPT，Word、視頻、練習題資源數量：PPT≥100份，實驗指導手冊≥60份，課程視頻≥100份，示例代碼≥50份。課時數≥109課時，課程內容包括但不限于：《單項實驗》《智慧農業(yè)》《醫(yī)療健康》《智能家居》三、教學及編程軟件1套編程IDE環(huán)境1、面向開發(fā)者提供的一站式集成開發(fā)環(huán)境，支持國產化操作系統(tǒng)的的組件按需定制，支持代碼編輯、編譯、燒錄和調試等功能，支持C/C++語言，以插件的形式部署在VisualStudioCode上。2、采用Windows+Ubuntu混合開發(fā)環(huán)境，在Windows上主要進行代碼開發(fā)、代碼調試、鏡像燒錄等操作，在Ubuntu環(huán)境實現源碼編譯。其具有以下特點：支持代碼查找、代碼高亮、代碼自動補齊、代碼輸入提示、代碼檢查等，開發(fā)者可以輕松、高效編碼。支持豐富的芯片和開發(fā)板，包括但不限于Hi3516DV300/Hi3861V100/Hi3751V350/BearPi-HMNano開發(fā)板，以及Neptune/RK3568/Bearpi-HMMicro等開發(fā)板。（3）支持自動檢測各芯片/開發(fā)板依賴的工具鏈是否完備，并提供一鍵下載和安裝缺失工具鏈。（4）支持多人共享開發(fā)模式，采用基于Remote-SSH模式實現多人共享遠程開發(fā)，實現一個團隊公用一臺服務器進行編譯、燒錄。（5）支持源碼級調試能力，提供查看內存、變量、調用棧、寄存器、反匯編等調試信息。四、Demo源碼資源包1套智慧農業(yè)Demo≥1個智慧醫(yī)療Demo≥1個智慧家居Demo≥1個五、含配套項目實操實驗1套：全場景分布式國產操作系統(tǒng)系列實驗≥10個，包含：全場景分布式國產輕量系統(tǒng)介紹、開發(fā)環(huán)境搭建、代碼編譯、HelloWord、串口升級、WiFiAP實驗、WiFiSTA實驗、MQTT實驗、ADC按鍵實驗、OneNET云實驗；AIOT傳感器系列實驗≥4個，包含：環(huán)境檢測實驗、可燃氣體檢測實驗、人體檢測、智能燈控實驗、光控燈光實驗、智能風扇實驗；國產操作系統(tǒng)應用開發(fā)系列實驗≥15個，包含：應用開發(fā)環(huán)境搭建、國產操作系統(tǒng)Ability開發(fā)實驗、國產操作系統(tǒng)Stage模型應用、ArkTS基礎語法實驗、ArkTS頁面布局實驗、ArkUI常見組件實驗、ArkTS頁面路由實驗、、HTTP請求實驗、Socket通訊實驗、ArkTS動畫實驗、ArkTS自定義組件實驗、ArkTS自定義彈窗實驗、原子化卡片開發(fā)實驗、文件管理實驗，分布式計算器應用開發(fā)實戰(zhàn)；智慧農業(yè)實訓項目案例，包含：01智慧農業(yè)系統(tǒng)框架設計；02傳感器層設計，包括土壤溫濕度傳感器、光照傳感器數據采集分析，數據上傳等；03邊緣計算，包括智慧農業(yè)環(huán)境監(jiān)測、設備控制、設備測數據計算等；04云平臺開發(fā)，包括云平臺接入，云平臺web頁面設計、數據通信、云端數據計算、數據監(jiān)測，云端控制等；05智慧農業(yè)整體項目集成，對整個項目所有模塊代碼進行集成、系統(tǒng)模塊功能對接，最終完成整個項目；醫(yī)療健康實訓項目案例，包含：01醫(yī)療健康項目系統(tǒng)框架設計；02可穿戴設備開發(fā)，包括心率傳感器、溫度傳感器等數據采集，數據分析，數據上傳等；03家居設備開發(fā)，包括風扇、空調開關控制、蜂鳴器告警等，實現可穿戴設備與家居設備聯動；04醫(yī)療中控面板開發(fā)，人機交互、健康數據顯示、醫(yī)療呼叫終端；05云平臺開發(fā)，包括醫(yī)療健康數據采集，數據顯示、云端數據監(jiān)測、數據通信等；06醫(yī)療健康整體項目集成，對整個項目所有模塊代碼進行集成、系統(tǒng)模塊功能對接，最終完成整個項目；智能家居實訓項目案例，包含：01智能家居系統(tǒng)框架設計、02智能家居設備開發(fā)，包括有風扇、人體紅外傳感器、溫濕度傳感器、智能開關等；03家居中控面板開發(fā)，人機交互、家庭環(huán)境數據顯示；04云平臺開發(fā)，包括家居環(huán)境數據，云端數據監(jiān)測、數據通信等；05醫(yī)療健康整體項目集成，對整個項目所有模塊代碼進行集成、系統(tǒng)模塊功能對接，最終完成整個項目；套24端云協同AI開發(fā)實訓平臺一、端云協同AI開發(fā)實訓平臺：端云協同AI開發(fā)實訓平臺是專門為AI開發(fā)者提供的易于使用，高效，高擴展的AI推理開發(fā)框架，它可以幫助AI開發(fā)者快速完成從模型文件到AI推理應用的開發(fā)和上線工作，降低AI算法落地門檻，同時帶來AI應用的高穩(wěn)定性和極致性能。提供相關開發(fā)SDK，SDK支持連接