云邊端協(xié)同的電力人工智能創(chuàng)新應(yīng)用進(jìn)展-電力技術(shù)講座課件

演講題目：云邊端協(xié)同的電力人工智能應(yīng)用進(jìn)展目錄Contents二總體情況一業(yè)務(wù)背景四前沿研究三應(yīng)用場景目 錄1.

業(yè)務(wù)背景-技術(shù)發(fā)展“中心-邊緣-端”的形態(tài)從電信開始之初就已經(jīng)形成。電信時代，程控交換中心、程控交換機(jī)、電話形成了最初的“中心-邊緣-端”形態(tài)；互聯(lián)網(wǎng)時代，數(shù)據(jù)中心、

CDN、移動電話/PC

延續(xù)了這種形態(tài)；到達(dá)云計(jì)算+物聯(lián)網(wǎng)時代，云計(jì)算中心、小數(shù)據(jù)中心/網(wǎng)關(guān)、傳感器則形成了新的“云-邊-端”形態(tài)。從技術(shù)演進(jìn)的實(shí)際情況來看，邊緣計(jì)算其實(shí)是云計(jì)算向終端和用戶側(cè)延伸形成的新解決方案。程控交換中心數(shù)據(jù)中心云計(jì)算中心中心程控交換機(jī)CDN智能網(wǎng)關(guān)邊緣邊緣計(jì)算電話移動電話/PC傳感器端側(cè)電信時代互聯(lián)網(wǎng)時代云計(jì)算+物聯(lián)網(wǎng)時代1.

業(yè)務(wù)背景-業(yè)務(wù)發(fā)展電網(wǎng)業(yè)務(wù)具有網(wǎng)絡(luò)復(fù)雜、設(shè)備繁多的特點(diǎn)，

天然富含海量數(shù)據(jù)“

金礦”，近年對加速數(shù)字化、智能化建設(shè)有明確需求。隨著數(shù)據(jù)收集手段的日益豐富和算法技術(shù)的不斷發(fā)展，融合大數(shù)據(jù)、物聯(lián)網(wǎng)、5G等新基建技術(shù)推動實(shí)現(xiàn)人工智能業(yè)務(wù)應(yīng)用已逐漸成熟?；谠频奈锫?lián)網(wǎng)解決方案漸漸無法滿足人們?nèi)找嬖鲩L的需求，越來越多的企業(yè)開始將目光轉(zhuǎn)向邊緣計(jì)算，并將其作為云的延伸擴(kuò)展，以加快數(shù)據(jù)分析的速度，便于企業(yè)更快更好的做出決策。發(fā)電輸電變電配電用電0101010101010101010101目錄Contents二總體情況一業(yè)務(wù)背景四前沿研究三應(yīng)用場景目 錄2.

總體情況-電力場景的整體解決方案

“云”賦

能實(shí)時樣本樣本庫樣本上送升級模型樣本樣本樣本模型模型模型模型更新模型庫樣本、模型在線更新體系智能網(wǎng)關(guān)數(shù)據(jù)采集規(guī)約轉(zhuǎn)換智能分析數(shù)據(jù)上數(shù)據(jù)存儲送5G

APN南方電網(wǎng)統(tǒng)一電力物聯(lián)網(wǎng)平

臺綜合數(shù)據(jù)網(wǎng)數(shù)據(jù)中心智能巡視各 省 生 產(chǎn) 指變電運(yùn)行支持系統(tǒng)智能操作 智能安全 信息模型網(wǎng) 級 生 產(chǎn) 指 揮 中 心輸、變、配運(yùn)行支持系統(tǒng)、作業(yè)風(fēng)險(xiǎn)管控系統(tǒng)、防災(zāi)減災(zāi)系統(tǒng)基于人工智能平臺的算法模型在線迭代升級機(jī)制

“邊”賦

能“端”賦 能端邊管云人工智能平臺訓(xùn)練智能裝置產(chǎn)品：智能算法模型：目標(biāo)跟蹤算法人臉識別算法自主導(dǎo)航算法違章識別算法標(biāo)識牌識別算法…………WAPI智能頭盔智能監(jiān)拍裝置智能無人機(jī)智能巡檢機(jī)器人揮 中 心輸電運(yùn)行支持系統(tǒng)作業(yè)風(fēng)險(xiǎn)管控系統(tǒng)基于南網(wǎng)全域物聯(lián)網(wǎng)架構(gòu)，構(gòu)建從云側(cè)到邊側(cè)、端側(cè)算力可靈活配置的生產(chǎn)域圖像識別算法協(xié)同機(jī)制。利用人工智能平臺的算法模型資源及物聯(lián)網(wǎng)通道，構(gòu)建邊端設(shè)備算法模型持續(xù)在線優(yōu)化機(jī)制，發(fā)揮人工智能平臺對邊側(cè)智能網(wǎng)關(guān)及端側(cè)巡檢裝置的AI賦能，有針對地提升系統(tǒng)各層級的智能化水平。人工智能平臺，成為公司人工智能能力匯聚中心、應(yīng)用賦能中心、技術(shù)研發(fā)中心、生態(tài)發(fā)展中心。人工智能能力匯聚中心人工智能技術(shù)研發(fā)中心平臺定位人工智能應(yīng)用賦能中心人工智能生態(tài)發(fā)展中心聚合人工智能樣本、算法、模型及先進(jìn)技術(shù)組件，沉淀公司人工智能資產(chǎn)提供人工智能能力組件服務(wù)，實(shí)現(xiàn)人工智能技術(shù)與應(yīng)用解耦，加速智能應(yīng)用落地。構(gòu)建一站式人工智能研發(fā)訓(xùn)練環(huán)境，降低人工智能研發(fā)門檻，鼓勵全網(wǎng)創(chuàng)新。以平臺為核心，整合先進(jìn)廠商、打造人工智能發(fā)展生態(tài)，推動公司人工智能全面發(fā)展。2.

總體情況-平臺按照“統(tǒng)一規(guī)劃、統(tǒng)一設(shè)計(jì)、統(tǒng)一建設(shè)”原則開展人工智能平臺建設(shè)，打造自主可控、技術(shù)先進(jìn)、具有電力行業(yè)特征的人工智能平臺，同時開放基礎(chǔ)技術(shù)及電力業(yè)務(wù)組件服務(wù)，為全網(wǎng)提供穩(wěn)定的人工智能研發(fā)和能力開放服務(wù)，支撐各單位、各業(yè)務(wù)域、各業(yè)務(wù)場景的人工智能應(yīng)用建設(shè)。2.

總體情況-平臺2.

總體情況-邊端采集端由運(yùn)動形態(tài)、穿戴形態(tài)、固定位置形態(tài)的感知類的智能終端組成，可根據(jù)不同類型的巡檢場景靈活配置。傳輸端智能網(wǎng)關(guān)、5G網(wǎng)絡(luò)、WAPI、數(shù)據(jù)安全加密模塊組成，實(shí)現(xiàn)邊緣裝置采集的海量數(shù)據(jù)高速傳輸，確保信息安全、網(wǎng)絡(luò)安全。2.

總體情況-人工智能初始積累概況分類存儲篩選缺陷樣本初步標(biāo)注優(yōu)化標(biāo)注設(shè)備狀態(tài)圖片樣本施工行為圖片樣本24萬張14萬張支撐電力場景樣本庫設(shè)備及缺陷圖片樣本30萬張1330571330204060801001201402019年算法增長2020第一季度 2020第二季度 2020第三季度算法類別2.

總體情況-總體目標(biāo)引入國內(nèi)外先進(jìn)技術(shù)技術(shù)效果智能安全智能操作智能巡視結(jié)合電力業(yè)務(wù)自主研發(fā)表計(jì)讀數(shù)識別算法面板指示燈算法越界檢測算法有效支撐變電巡視累計(jì)賦能100種設(shè)備部件檢測。支撐攝像頭圖像識別。2.

總體情況-云邊協(xié)同開發(fā)情況2019年9月，基于公司全域物聯(lián)網(wǎng)架構(gòu)，提出云邊端協(xié)同的整體解決方案；2019年12月底，完成云邊端協(xié)同全鏈路的技術(shù)驗(yàn)證；2020年3月完成云邊協(xié)同業(yè)務(wù)驗(yàn)證；截止到2020年8月在部分輸變電領(lǐng)域的投入使用。目前正規(guī)劃云邊端協(xié)同在輸電領(lǐng)域的推廣應(yīng)用。1工作票2作業(yè)準(zhǔn)備3反饋準(zhǔn)備結(jié)果4數(shù)據(jù)處理5作業(yè)視頻、作業(yè)報(bào)告1呼叫請求2呼叫響應(yīng)3 建立音視頻鏈接A設(shè)備B設(shè)備待巡視路徑“三遙控”系統(tǒng)已巡視路徑123語音提示45目錄Contents二總體情況一業(yè)務(wù)背景四前沿研究三應(yīng)用場景目 錄深度學(xué)習(xí)：針對巡檢拍攝到的變電站不同設(shè)備，使用卷積神經(jīng)網(wǎng)絡(luò)、遷移學(xué)習(xí)等深度學(xué)習(xí)技術(shù)提取特征，在光照、拍攝角度、拍攝距離變化的情況下提升算法魯棒性；圖像處理：使用邊緣檢測、字符切割、灰度投影等圖像處理技術(shù)對巡檢圖片進(jìn)行增強(qiáng)、描述和識別。邊緣側(cè)神經(jīng)網(wǎng)絡(luò)模型部署基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)與訓(xùn)練機(jī)器人嵌入式算力單元變電站智能網(wǎng)關(guān)樣本采集采用域間對抗神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)普通場景下訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型遷移至電網(wǎng)業(yè)務(wù)場景下，從而充分利用大量的公開標(biāo)注數(shù)據(jù)，并在電網(wǎng)業(yè)務(wù)特定場景下實(shí)現(xiàn)基于小數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型的有效訓(xùn)練。深度學(xué)習(xí)+圖像處理表計(jì)度數(shù)算法狀態(tài)識別算法缺陷識別算法AI服務(wù)器圖像采集裝置3.

應(yīng)用場景-變電領(lǐng)域智能巡視可見光：在可見光范圍內(nèi)，對變電站里常見裝置進(jìn)行定位、狀態(tài)進(jìn)行識別，讀取表計(jì)讀數(shù)，完成常規(guī)巡檢任務(wù)；紅外熱像：針對紅外拍攝圖片，識別設(shè)備有無過熱、有無缺陷，增加電網(wǎng)設(shè)備可靠性。油面溫度表讀數(shù)呼吸器狀態(tài)避雷器監(jiān)測器讀數(shù)4型刀閘開關(guān)狀態(tài)開關(guān)控制柜狀態(tài) 避雷器溫度 7型刀閘開關(guān)狀態(tài) 單臂垂直伸縮刀閘狀態(tài)在變電站場景測試，整體識別準(zhǔn)確率都能保持在90%以上，經(jīng)過使用CUDA對算法預(yù)處理進(jìn)行加速，使得整體識別一張1080P圖片時間在100ms以內(nèi)，視頻流處理能力在10fps左右。通過可見光+紅外的雙光感知系統(tǒng)，實(shí)現(xiàn)對變電站場景所有典型目標(biāo)狀態(tài)、表計(jì)度數(shù)、刀閘開關(guān)狀態(tài)等項(xiàng)目的智能識別，從而完成常規(guī)的巡檢任務(wù)?？梢姽?紅外雙光感知3.

應(yīng)用場景-變電領(lǐng)域智能巡視開關(guān)柜匯控柜二次屏柜指示燈壓板控制把手表計(jì)高壓開關(guān)柜、匯控柜、二次屏柜面板信號反應(yīng)了設(shè)備當(dāng)前狀態(tài)信息，及時發(fā)現(xiàn)信號異常，能更好保證設(shè)備可靠運(yùn)行。設(shè)備存量大，巡視工作量大。實(shí)現(xiàn)面板信息的智能識別，減輕運(yùn)維人員巡視的工作量，及時掌握設(shè)備狀況，發(fā)現(xiàn)設(shè)備隱患或者故障，提高電網(wǎng)運(yùn)行的安全性與穩(wěn)定性。3.

應(yīng)用場景-變電領(lǐng)域智能巡視3.

應(yīng)用場景-變電領(lǐng)域智能巡視持續(xù)開展某甲局某A巡維中心9個站智能識別算法研發(fā)，截止到8月底，某A站表計(jì)識別準(zhǔn)確率達(dá)99%，開關(guān)柜和一次屏柜指示燈狀態(tài)識別準(zhǔn)確率達(dá)96%，行為識別準(zhǔn)確率達(dá)82%；某B、某C站已完成各類表計(jì)、刀閘、面板狀態(tài)識別模型訓(xùn)練，基于自建的測試集識別準(zhǔn)確率達(dá)96%，待網(wǎng)關(guān)部署到站后結(jié)合現(xiàn)場測試情況進(jìn)行調(diào)優(yōu)。輸電線路缺陷自動識別無人機(jī)前端識別缺陷隱患報(bào)告開展架空輸電線路缺陷識別算法研究，向全網(wǎng)提供機(jī)巡圖像識別云端AI識別服務(wù)、將AI識別算法移植到無人機(jī)端，輔助自動駕駛精細(xì)巡檢，實(shí)現(xiàn)無人機(jī)端智能缺陷識別，落地生成缺陷報(bào)告。無人機(jī)巡檢采集巡檢照片3.

應(yīng)用場景-輸電缺陷智能識別無人機(jī)云端識別通過對訓(xùn)練完成的大型模型進(jìn)行剪枝、壓縮，保留網(wǎng)絡(luò)中重要的參數(shù)，減少網(wǎng)絡(luò)的運(yùn)算量，提升檢測速度并不會明顯降低精度。3.

應(yīng)用場景-輸電缺陷智能識別序號算法目標(biāo)類別召回率準(zhǔn)確率性能參數(shù)1輸電6類缺陷絕緣子自爆0.9660.979圖片分辨率：8688*5792顯卡型號：V100性能占用顯存：5.3G平均用時：4.3s2有蜂窩10.93防振錘破損0.9630.9244有鳥巢0.980.755防振錘移位觸碰0.9450.7296相序牌褪色0.930.777開口銷缺失連接金具0.9630.811圖片分辨率：4864*3648顯卡型號：V100性能占用顯存：5.3G平均用時：900ms8掛點(diǎn)金具0.9270.9889懸垂線夾10.96710引流板0.960.99311鏈條0.9840.95812U型掛環(huán)0.923113拉線夾0.8114直角掛板/夾片0.9840.82715螺母正常開口銷缺失0.890.92圖片分辨率：1320*800顯卡型號：V100性能占用顯存：5.9G平均用時：120ms16螺母松動開口銷缺失17無開口銷且螺母缺失18開口銷//3.

應(yīng)用場景-輸電缺陷智能識別序號算法目標(biāo)類別召回率準(zhǔn)確率性能參數(shù)19均壓環(huán)歪斜0.7450.976性能圖片分辨率：8688*579220均壓環(huán)破損0.7751顯卡型號：V10021均壓環(huán)缺陷均壓環(huán)安裝錯誤0.920.978占用顯存：5.3G22均壓環(huán)脫落0.840.954平均用時：2.1s23均壓環(huán)缺失0.987124均壓環(huán)//25基礎(chǔ)堆積雜物0.840.75性能圖片分辨率：8688*5792顯卡型號：1080ti占用顯存：6G平均用時：3.5s26基礎(chǔ)積水0.840.6727基礎(chǔ)5類缺陷基礎(chǔ)水土流失0.820.9228藤蔓纏繞0.730.5329桿號牌警示牌破損0.970.5830復(fù)合絕緣子傘裙破損0.760.90性能圖片分辨率：8688*5792顯卡型號：1080ti占用顯存：5.2G平均用時：720ms31輸電新增3類驅(qū)鳥器損壞0.690.96缺陷32有異物-飄掛物0.420.8133防振錘銹蝕0.70.85性能圖片分辨率：8688*579234連接金具銹蝕0.810.82金具銹蝕顯卡型號：1080ti占用顯存：3.7G35掛點(diǎn)金具銹蝕0.850.8836平均用時：1350ms懸垂線夾銹蝕0.830.843.

應(yīng)用場景-輸電缺陷智能識別智能監(jiān)拍裝置采用AI攝像機(jī)、太陽能/電池、支架一體化快速安裝設(shè)計(jì)，上塔整體重量低于7Kg，可外接桿塔傾斜、氣象傳感器等，具體技術(shù)參數(shù)如下：產(chǎn)品型號：序號關(guān)鍵指標(biāo)數(shù)研院裝置1識別速度0.2秒2視頻監(jiān)拍3840×2160

4K實(shí)時視頻3邊緣算力主芯片內(nèi)置2Tops低功耗AI加速核4在線升級支持邊緣容器，在線云端升級5夜視圖像分辨率800萬像素6日光圖像分辨率1600萬像素7物聯(lián)網(wǎng)平臺支持電力物聯(lián)網(wǎng)平臺接入8平均監(jiān)拍功耗0.5W11底層可控自主定制化Linux，支持邊緣AI容器12市場售價(jià)AI槍機(jī)：7000元AI球機(jī)：25000元13整機(jī)重量小于7kg14安裝時長兩人15分鐘/套3.

應(yīng)用場景-輸電智能監(jiān)拍裝置3.

應(yīng)用場景-輸電智能監(jiān)拍裝置深度學(xué)習(xí)+圖像處理深度學(xué)習(xí)：使用特征分離方式構(gòu)建多級CNN網(wǎng)絡(luò)，相對單一網(wǎng)絡(luò)結(jié)構(gòu)大幅降低網(wǎng)絡(luò)規(guī)模，在低成本硬件加速器上實(shí)現(xiàn)快速目標(biāo)檢測；圖像處理：圖像去霧、逆光處理、夜視增強(qiáng)，提高野外場景適配度。特征分離的多級小規(guī)模目標(biāo)檢測網(wǎng)絡(luò)低功耗、低成本邊緣AI處理器目標(biāo)檢測的識別率采用特征分離的多級小規(guī)模目標(biāo)檢測網(wǎng)絡(luò)，降低硬件消耗的同時實(shí)現(xiàn)高精度檢測；云邊協(xié)同、邊緣容器化架構(gòu)以在線動態(tài)升級模型，持續(xù)提升識別率。序號隱患名稱數(shù)研院1火焰88%2煙霧82%3塔吊93%4吊車96%5挖掘機(jī)98%6鏟車90%7卡車98%8水泥罐車70%11汽車99%12人體97%13導(dǎo)線異物73%3.

應(yīng)用場景-輸電智能監(jiān)拍裝置山火導(dǎo)線異物線路周界施工鐵塔周界施工輸電智能監(jiān)拍裝置實(shí)現(xiàn)了與云端人工智能平臺、生產(chǎn)指揮系統(tǒng)視頻實(shí)時交互，自主識別現(xiàn)場威脅電力線路安全的變化信息,包括鐵塔周界施工、線路周界施工、導(dǎo)線異物飄掛、山火隱患等，能通過裝置前端識別后直接上傳告警信息進(jìn)行報(bào)警。邊緣識別：基于輕量化神經(jīng)網(wǎng)絡(luò)模型的邊緣識別算法，在低成本、低功耗裝置上實(shí)現(xiàn)高精度識別；人工及時處置指揮中心快速調(diào)度后臺主動預(yù)警隱患邊緣識別物聯(lián)網(wǎng)：通過4G/5G實(shí)時接入電力物聯(lián)網(wǎng)平臺，業(yè)務(wù)后臺主動推送隱患預(yù)警事件；生產(chǎn)指揮：統(tǒng)一全局對輸電線路進(jìn)行可視化巡檢，基于邊緣裝置報(bào)警事件審核后快速處置；及時處置：主動、快速、及時實(shí)現(xiàn)輸電線路周邊隱患人工處置，降低固定人工巡檢工作量。輸電智能監(jiān)拍裝置實(shí)現(xiàn)了與云端人工智能平臺、生產(chǎn)指揮系統(tǒng)視頻實(shí)時交互，自主識別現(xiàn)場威脅電力線路安全的變化信息,包括鐵塔周界施工、線路周界施工、導(dǎo)線異物飄掛、山火隱患等，能通過裝置前端識別后直接上傳告警信息進(jìn)行報(bào)警。3.

應(yīng)用場景-輸電智能監(jiān)拍裝置目錄Contents二總體情況一業(yè)務(wù)背景四前沿研究三應(yīng)用場景目 錄4.

前沿研究-四足智能巡檢裝置AI場景定義根據(jù)不同業(yè)務(wù)場景和內(nèi)容，設(shè)計(jì)不同任務(wù)模型，完成人臉識別、表計(jì)讀數(shù)、刀閘狀態(tài)、各類違章行為識別任務(wù)等，實(shí)現(xiàn)智能自主巡視。復(fù)雜環(huán)境行走傳統(tǒng)電力巡檢裝置多為輪式巡檢裝置，無法在不規(guī)則地面連續(xù)作業(yè)。本裝置具備上下臺階、樓梯、自主避障能力，并具備抗環(huán)境擾動的只能控制，摔倒后自主爬起、匍匐抬頭扭動等姿態(tài)調(diào)整能力，在電力復(fù)雜多變的環(huán)境中，確保裝置穩(wěn)定運(yùn)行。模塊化設(shè)計(jì)根據(jù)業(yè)務(wù)場景，靈活配備傳感器。包括可見光攝像頭、紅外成像儀、帶電檢測裝置等，以完成不同的巡視任務(wù)。自主巡視基于SLAM技術(shù)對電力現(xiàn)場環(huán)境構(gòu)建地圖，利用激光點(diǎn)云地圖與激光雷達(dá)實(shí)現(xiàn)裝置的實(shí)時定位，通過智能路徑規(guī)劃完成自主巡視。多模通信支持4G全覆蓋、藍(lán)牙、Wifi/WAPI等多種通信方式，與公司智能網(wǎng)關(guān)、物聯(lián)網(wǎng)平臺、電網(wǎng)管理平臺及生產(chǎn)指揮中心無縫對接，實(shí)現(xiàn)業(yè)務(wù)場景的全面智能管理。仿生設(shè)計(jì)從典型的四足動物的運(yùn)動特點(diǎn)出發(fā)，采用運(yùn)動捕捉等手段，對四足動物的運(yùn)動進(jìn)行抽象和提煉，獲取四足動物的運(yùn)動機(jī)理，再利用仿生設(shè)計(jì)思想，對四足裝置機(jī)構(gòu)、驅(qū)動和傳統(tǒng)等環(huán)節(jié)進(jìn)行設(shè)計(jì)，以提高設(shè)備運(yùn)動的穩(wěn)定性和可靠性?；谌斯ぶ悄芗夹g(shù)、云邊端協(xié)同技術(shù)以及仿生機(jī)器人技術(shù)，南方電網(wǎng)數(shù)研院研發(fā)了一款面向變電站巡檢應(yīng)用