【西安交通大學(xué)】2025年電力人工智能多模態(tài)大模型創(chuàng)新技術(shù)及應(yīng)用報告

電力人工智能多模態(tài)大模型

創(chuàng)新技術(shù)與應(yīng)用報告人：王小華教授西安交通大學(xué)電氣工程學(xué)院2025年2月目

錄1、研究背景2、關(guān)鍵技術(shù)3、應(yīng)用案例4、未來展望2/3701研究背景3/3背景1——人工智能的概念及發(fā)展人工智能是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科

學(xué)；其在歷史上經(jīng)過多個發(fā)展時期，形成了不同的技術(shù)流派；

深度學(xué)習(xí)是目前主流。1980s-2000s早期統(tǒng)計學(xué)習(xí)時期依賴統(tǒng)計學(xué)和人工

設(shè)計特征構(gòu)造算法；代表算法：支持向量機(jī)(SVM)

決策樹樸素貝葉斯算法2010s-2018s早期神經(jīng)網(wǎng)絡(luò)時期神經(jīng)網(wǎng)絡(luò)在多個領(lǐng)

域取得初步應(yīng)用；代表算法：卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)圖神經(jīng)網(wǎng)絡(luò)1970s中期知識期聚焦知識工程

與專家系統(tǒng)構(gòu)建，

通過人工整理知

識庫驅(qū)動決策，受限于知識獲取

成本與規(guī)模瓶頸。1950s—1970s推理期以符號邏輯為

核心，依賴人工

規(guī)則與推理系統(tǒng)(如專家系統(tǒng)),

強(qiáng)解釋性但泛化能力弱。2000s-2010s集成方法時期通過模型組合提升

預(yù)測精度；代表算法：隨機(jī)森林梯度提升決策樹2018s-現(xiàn)在大模型時期基于海量數(shù)據(jù)與

大規(guī)模預(yù)訓(xùn)練；代表算法：DeepSeek系列

Qwen系列GPT系列神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)機(jī)器學(xué)習(xí)人工智能

人工智能領(lǐng)域迭代迅速、多種技術(shù)流派蓬勃發(fā)展，在多個領(lǐng)域已有廣泛應(yīng)用。4/37在人工智能領(lǐng)域，數(shù)據(jù)、算力與算法構(gòu)成發(fā)展基石——數(shù)據(jù)驅(qū)動模型訓(xùn)練，算力支撐復(fù)雜計算，算法優(yōu)化

技術(shù)路徑，三者協(xié)同推動人工智能向更高階形態(tài)演進(jìn)。人工搜集、標(biāo)注圖像分類英偉達(dá)GPU谷歌TPUAMD芯片CNNRNNLSTM有監(jiān)督數(shù)據(jù)目標(biāo)檢測芯片單任務(wù)模型成本高昂、擴(kuò)展性差華為昇騰海光DCU寒武紀(jì)MLUSVM決策樹GNN…背景1——人工智能的概念及發(fā)展數(shù)據(jù)

算力

算法PyTorchTensorFlowMindScope底層計算庫：CUDA、CANN(華為)多維并行算法

狀態(tài)監(jiān)測、任務(wù)調(diào)度高效互聯(lián)通訊：NVLINK、HCCL

(華為)語言通用模型：DeepSeek-R1

等多模態(tài)通用模型：Qwen2-VL

等英偉達(dá)仍然是最主流的算力平臺；國產(chǎn)算力平臺快速崛起，生態(tài)逐漸成熟。通用模型是當(dāng)下研究熱點與未來趨勢；

研究高效訓(xùn)練算法具有重要創(chuàng)新意義。如何提高數(shù)據(jù)的規(guī)模與質(zhì)量

是當(dāng)前人工智能領(lǐng)域的關(guān)鍵問題。利用模型、仿真生成前沿探索階段互聯(lián)網(wǎng)爬取、規(guī)模大無需人類專家標(biāo)注虛擬現(xiàn)實自動駕駛

生態(tài)LLM預(yù)訓(xùn)練圖像生成…無監(jiān)督預(yù)訓(xùn)練有監(jiān)督微調(diào)強(qiáng)化學(xué)習(xí)對比學(xué)習(xí)無監(jiān)督數(shù)據(jù)通用模型合成數(shù)據(jù)訓(xùn)練算法集群5/37早期的深度學(xué)習(xí)受限于計算能力和數(shù)據(jù)規(guī)模，難以發(fā)揮優(yōu)勢。隨后多層感知機(jī)與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合反向傳

播算法，顯著提升了模型的學(xué)習(xí)能力。隨后，基于注意力機(jī)制的Transformer

架構(gòu)改變了自然語言處理的范式，使大規(guī)模預(yù)訓(xùn)練成為可能。近年來，大模型憑借超大規(guī)模參數(shù)和海量數(shù)據(jù)學(xué)習(xí)，在多模態(tài)學(xué)習(xí)、

推理和通用人工智能方向取得重要進(jìn)展，為人工智能的發(fā)展開啟了新的階段。Transformer架構(gòu)注意力機(jī)制

多模態(tài)融合OutputTekenWactorsFFNNDecodsrBbckDecnderDecoderPosion

EmbedingMaskod

Snt-AHantionInputTokenVoctorLaye

Nom序列處理

高效并行

模態(tài)擴(kuò)展大模型能力擴(kuò)展文本檢索增強(qiáng)工具學(xué)習(xí)大規(guī)?；A(chǔ)模型Al

agent金融大模型背景1——人工智能的概念及發(fā)展經(jīng)典神經(jīng)網(wǎng)絡(luò)多層感知機(jī)

卷積神經(jīng)網(wǎng)絡(luò)圖像/視頻音頻電力大模型

醫(yī)療大模型_-行業(yè)應(yīng)用模態(tài)擴(kuò)展bosk

二Bock6/37大模型井噴式發(fā)展自從ChatGPT

在2022年問世以來，全球大模型發(fā)展迅速，百種大模型競相發(fā)布，推動性能、規(guī)模和應(yīng)用

的全面突破，成為科技進(jìn)步的重要動力源。背景2——人工智能大模型引領(lǐng)新一輪科技革命本課題組工作G

FLANnspurYuan

L.0行業(yè)應(yīng)用賦能層甲對話

推

薦基礎(chǔ)科學(xué)

元宇宙基礎(chǔ)算法平臺層自然語言處理開發(fā)平臺算法框架底層服務(wù)支撐層9-12

20245.82025多模態(tài)電力設(shè)備狀態(tài)感知助手

5電力時序數(shù)據(jù)分析監(jiān)測模型大模型發(fā)展歷程圖

回芯片

山數(shù)據(jù)服務(wù)Uni-Perceiver9-10WebGPT⑤

Uni-Pereiver-MoEErnie

3.0

Titan

T1-12

AlphaCodeGopher

InstructGPT

鷹

2022GLaMG

MT-NLGOPTXL

GGLMUni-Perceiver

V2電力專家與客服系統(tǒng)Nemotron-4-340BLlama3.1-405BClaude3.5SonnetGrok-2DeepSeek-v3

olClaudewith

computeruseMistral

Small303-miniDeepResearchQwen2.5-MaxJanus-ProOperatorStep-loVision

DeepSeek-RIGPT-4⑤多模態(tài)運維安全助手phi-314B00

Llama3-70B

米

Claude3

Opus!GGeminil.5Sora搜

索的遙感計算機(jī)視覺+

醫(yī)

療晶城市多模態(tài)T520192020GPT-35CodexInternLMMMPTli

Baichuan

G

PaLM2CodeGen20LLaMA2G

UL2YaLM

G

FLAN-T5FLAN-PaLMli

Baichuan2QWENAFLM0

Aquila2開源社區(qū)

大模型測評SChatGPT2023XLLaMAG

Bard些PanGu-2WeLMCSparrowNLLBABLOOMmTO〇GalaticaXPanGu-Ernie

3.0CPM-220211-8

SkyworkXVERSEGmTSGaMDA>

傳統(tǒng)電網(wǎng)：傳統(tǒng)電力系統(tǒng)人工依賴度高，存在資源配置低效和故障響應(yīng)不及時等問題。>

新型電網(wǎng)：人工智能賦能后，通過實時調(diào)度優(yōu)化、智能維護(hù)和精確能源管理，可大幅提升電網(wǎng)的運行效

率、穩(wěn)定性與可持續(xù)性。新型電網(wǎng)發(fā)電智能調(diào)度&輸電網(wǎng)絡(luò)優(yōu)化損耗低

配電靈活管控&變

電精準(zhǔn)檢修響

應(yīng)快

用戶負(fù)荷預(yù)測&

用電科學(xué)管理體驗佳m傳統(tǒng)電網(wǎng)電力生產(chǎn)和分配

相對低效

×人工監(jiān)控與巡檢

成本較高

×設(shè)備故障響應(yīng)全天候?qū)崟r響應(yīng)差×背景3——人工智能賦能新型電力系統(tǒng)發(fā)展借助人工智能賦能新型電力系統(tǒng)可持續(xù)蓬勃發(fā)展中華人民共和國工業(yè)和信息化部MisyetphorymdskermetoFedickswfrePepesFtukotoh國務(wù)院常務(wù)會議研究部署推動人工智絲2件技前假城這是一我人工智能首酒油論的啦，香州戀懷發(fā)，度學(xué)習(xí)爾等齊關(guān)半作質(zhì)，

立裝失，當(dāng)生圖形，a

,am

省興道牛教地所中華人民共和國國民經(jīng)濟(jì)和社會發(fā)展第十四個五年規(guī)劃和

2035年遠(yuǎn)景目標(biāo)綱要第四章強(qiáng)化國家戰(zhàn)略科技力量多項針對人工智能的專項政策出臺電力系統(tǒng)現(xiàn)狀中華人民共和國中央人民政府國家發(fā)展和改革委員會National

Development

and

Reform

commission電力系統(tǒng)發(fā)展工業(yè)和信息化部中央網(wǎng)絡(luò)安全和信息化委員會辦公室國家發(fā)展和改革委品會國家標(biāo)準(zhǔn)化

管理要員食關(guān)于印發(fā)國家人工智能產(chǎn)業(yè)綜合標(biāo)準(zhǔn)化體系建設(shè)指南(2024版)的通如能財?shù)谌龡l定期梳理好風(fēng)險識

控制、風(fēng)握和化解8/42>

從數(shù)據(jù)上講，通用數(shù)據(jù)分布與電力領(lǐng)域多模態(tài)數(shù)據(jù)差異過大，專業(yè)程度低、關(guān)聯(lián)性弱；>

從模型上講，開源通用模型缺乏電力專業(yè)預(yù)訓(xùn)練(缺乏專業(yè)電力知識注入),

多

模態(tài)支持不足；

>從應(yīng)用上講，現(xiàn)有國產(chǎn)化電力大模型在真實電力任務(wù)上性能不夠高、與實際需求仍存在差距。數(shù)據(jù)角度電力負(fù)荷曲線圖

設(shè)備故障診斷圖電力數(shù)據(jù)差異巨大、

無法使用通用數(shù)據(jù)現(xiàn)有的數(shù)據(jù)類型關(guān)聯(lián)性差T應(yīng)用角度文本數(shù)據(jù)理解有誤

圖像數(shù)據(jù)分析偏差現(xiàn)有單任務(wù)算法模型可靠性不足模型趨于閉源化開源通用模型無法原生支持C

熱

。

Gasdiscrimination電氣信號

紅外圖像

氣體組分電力安全是國家安全問題，電力人工智能多模態(tài)大模型核心技術(shù)必須自主可控9/37自研電力大模型意義重大島

南通用大模型背景4——開源訓(xùn)練數(shù)據(jù)

×開源部分代碼

×

開源部分權(quán)重

×精準(zhǔn)性差

可靠性不足標(biāo)注位置圖片，處理標(biāo)注文本閉源化不支持多模態(tài)分

布

差

異

大

②

專業(yè)

程

度

低

②××目標(biāo)檢測模型訓(xùn)練文

字

識

別

模

型××電力復(fù)雜場景下數(shù)據(jù)的智能識別方法模型角度鑫GPT-2視頻數(shù)據(jù)背景4——自研電力大模型意義重大(數(shù)據(jù)層面)文本數(shù)據(jù)

電氣信號

圖像與視頻電力行業(yè)需要具備高質(zhì)量、多場景覆蓋、

多模態(tài)、多維度集成的數(shù)據(jù)集與通用數(shù)據(jù)差異大模型訓(xùn)練數(shù)據(jù)與電力任務(wù)場景數(shù)據(jù)差異大；難以直接應(yīng)用于電力場景模型訓(xùn)練需要支持復(fù)雜工況下智能模型的多模態(tài)、

多維度綜合協(xié)同處理數(shù)據(jù)構(gòu)建難度大電力數(shù)據(jù)獲取難度高、質(zhì)量差異大、覆蓋模態(tài)多，因而數(shù)據(jù)集構(gòu)建難度大研發(fā)

電力通用大模型開發(fā)需要大規(guī)模、高質(zhì)量、多維度的數(shù)據(jù)集需求痛點1.

份電滿、溫泉貼湘三11kV

備自發(fā)裝置，溫區(qū)

站合上Iav

桃線開關(guān)，滋柱活彩開

Y

在to開關(guān)，我入村站110kv

備自投裝置……2、IV

從新乙線久確聘1aV

從的甲線供吧，3.

傳電期件發(fā)有v吃網(wǎng)風(fēng)助，發(fā)

iV溫線

.

1iaV

從蠶平線為重要設(shè)備…"4.工作結(jié)束后

西口品愧復(fù)由I從面甲乙線

供電，其它方式哲不依復(fù)一現(xiàn)狀1d37>

傳統(tǒng)電力Al模型基于特定任務(wù)開發(fā)，大多為單模態(tài)算法，綜合成本高、智能性與泛化性不足；

>

開

源Al大模型缺少電力領(lǐng)域預(yù)訓(xùn)練，專業(yè)知識缺失，處理實際電力任務(wù)能力差。要根據(jù)任務(wù)場景定制開發(fā)和

訓(xùn)練對應(yīng)的模型

，成本高昂處理多模態(tài)數(shù)據(jù)能力較差，無法處理多場景結(jié)合的復(fù)雜任務(wù)智能性不足，無法根據(jù)用戶

指令給出對應(yīng)

的專業(yè)回答背景4——自研電力大模型意義重大(模型層面

)缺少專業(yè)知識市

粉些置他高且|

e

址對場建略塊對適終止的或信號圖或性[紙必

須

自

造

電

力

Al多

模

態(tài)

大

模

型輸電線路運維目標(biāo)檢測算法

隔離開關(guān)狀態(tài)監(jiān)測實例分割算法

SVM故障分類算法

電力設(shè)備運維專家問答算法任務(wù)適應(yīng)性差傳統(tǒng)模型開源大模型泛化性不足

適配性差缺乏行業(yè)數(shù)據(jù)11737無法批的

戶

圖i>電力通用大模型的開發(fā)需要基于國產(chǎn)計算集群開展軟硬件協(xié)同優(yōu)化，滿足電力大模型的應(yīng)用要求；

>電力場景需要基于邊緣計算的大模型部署方法，亟需開發(fā)相應(yīng)的應(yīng)用技術(shù)。開發(fā)基于國產(chǎn)硬件設(shè)備搭建電力大模型應(yīng)用體系12/42HYGON海光DCU

華為昇騰

天數(shù)智芯數(shù)據(jù)模態(tài)多

任務(wù)形式多樣

專業(yè)性要求高大量電力設(shè)備終端互聯(lián)

更高的數(shù)據(jù)安全要求多種傳感器數(shù)據(jù)協(xié)同處理

更快的響應(yīng)要求要求背景4——自研電力大模型意義重大(應(yīng)用層面)要求基于國產(chǎn)計算設(shè)備與電力大模型應(yīng)用要求開發(fā)針對性的高效訓(xùn)練算法基于國產(chǎn)計算設(shè)備的電力大模型訓(xùn)練技術(shù)開發(fā)

面向電力場景的大模型邊緣計算技術(shù)開發(fā)電力大模型推理加速技術(shù)國產(chǎn)邊緣計算設(shè)備推理框架真實電力場景部署應(yīng)用電力大模型輕量化技術(shù)電力設(shè)備場景邊緣計算要求技術(shù)體系國產(chǎn)計算設(shè)備電力大模型應(yīng)用要求02關(guān)鍵技術(shù)實現(xiàn)13/3提供模型3模型訓(xùn)練：電力大模型分布式訓(xùn)練關(guān)鍵技術(shù)預(yù)訓(xùn)練：基礎(chǔ)模型能力訓(xùn)練

支持分

混合立體并行訓(xùn)練方案布式并

技

術(shù)

數(shù)據(jù)并行

模型并行純文本

Transformer架構(gòu)行訓(xùn)練體

系

張量并行

流水線并行預(yù)訓(xùn)練

自回歸預(yù)測高效率壓縮

支

持

分

布

式

并

行

訓(xùn)

練=======

·

提供電

后訓(xùn)練：能力增強(qiáng)與偏好對齊預(yù)訓(xùn)練統(tǒng)一預(yù)訓(xùn)練框架

態(tài)基礎(chǔ)

技術(shù)

指令微調(diào)技術(shù)

有監(jiān)督訓(xùn)練電力通用任務(wù)

模型

體系

人類反端強(qiáng)化學(xué)習(xí)

人類偏好對齊特征關(guān)系保留的知識蒸餾方案目

標(biāo)技術(shù)體系蒸餾模型知識減少信息損失知識空間映射特征關(guān)系保留梯度精度分析的模型量化技術(shù)目標(biāo)技術(shù)體系解決傳統(tǒng)量化缺陷

保持模型性能梯應(yīng)精度分析量化

量化增量訓(xùn)練邊緣計算+云邊協(xié)同高效模型部署目標(biāo)云邊一體高效協(xié)作技術(shù)體系

硬件算子優(yōu)化統(tǒng)一數(shù)據(jù)網(wǎng)關(guān)目

標(biāo)技術(shù)體系多模態(tài)統(tǒng)一編碼關(guān)鍵特征抽取圖修編碼算法動態(tài)分辨率視頻關(guān)睡幀感知多場景協(xié)同增強(qiáng)真實數(shù)據(jù)感知電氣信號編碼高維特征映射電氣詞表擴(kuò)充提供統(tǒng)

一的多

模態(tài)數(shù)

據(jù)表示基礎(chǔ)算子基

座注京力機(jī)制深層特征掘取自研高性能電力大語言模型實時交互模塊檢

索

增

強(qiáng)

模

塊

一工具調(diào)用模塊模態(tài)對齊模塊能力擴(kuò)展1數(shù)據(jù)生成：大規(guī)模高質(zhì)量電力專業(yè)數(shù)據(jù)集構(gòu)建1.數(shù)據(jù)采集

2.數(shù)據(jù)清洗電力大模型全流程關(guān)鍵技術(shù)體系2模型構(gòu)建：電力通用大模型研發(fā)多模態(tài)數(shù)據(jù)統(tǒng)一編碼器

電力通用大模型提供訓(xùn)練

數(shù)據(jù)提供部署

模型4部署應(yīng)用：電力大模型輕量化與邊緣計算部署</>書籍

網(wǎng)頁

公開數(shù)據(jù)

現(xiàn)場數(shù)據(jù)專家編寫多模態(tài)

統(tǒng)一編母

解瑪架構(gòu)

力多模自動化生成多樣化問答數(shù)據(jù)圖像描述生成檢測數(shù)據(jù)增強(qiáng)特殊符號過濾圖像裁剪過濾數(shù)據(jù)去重敏感詞去除純文本數(shù)據(jù)

多模態(tài)數(shù)據(jù)人類評估反饋優(yōu)化3.數(shù)據(jù)生成14/371、數(shù)據(jù)生成：純文本數(shù)據(jù)制作管線預(yù)訓(xùn)練語料庫制作

大規(guī)模、自動化的語料篩選清洗管線為預(yù)訓(xùn)練提供充足的專業(yè)領(lǐng)域知識注入原始數(shù)據(jù)搜集質(zhì)量過濾

去重隱私保護(hù)MD1

A.

MD1

B.

MD2構(gòu)建高效的半自動化數(shù)據(jù)制作管線，為預(yù)訓(xùn)練和下游任務(wù)微調(diào)提供大規(guī)模、高質(zhì)量的電力領(lǐng)域文本數(shù)據(jù)支撐15/37指令微調(diào)數(shù)據(jù)集制作調(diào)整自動標(biāo)注策略質(zhì)量考核：數(shù)據(jù)清洗存儲高質(zhì)量數(shù)據(jù)>

為下游任務(wù)提供場景豐富、任務(wù)多樣的高質(zhì)量指令數(shù)據(jù)數(shù)據(jù)標(biāo)注

提供自動

化標(biāo)注·

移除含身份信

息數(shù)據(jù)·

關(guān)鍵詞過濾

·

語種過濾·

句段層面

·

文檔層面提示詞十種子數(shù)據(jù)提供高質(zhì)

量數(shù)據(jù)指令回答構(gòu)建層次豐

富、多樣性好、知識粒度細(xì)的電力場景大規(guī)模多模態(tài)數(shù)據(jù)集，構(gòu)建了8大類數(shù)據(jù)量超

100萬條，為多模態(tài)大模型在多場景、多任務(wù)的訓(xùn)練提供數(shù)據(jù)支持原始標(biāo)注信息類別&坐標(biāo)：變壓器：[0.3,0.6,1.0,0.9]油污：[0.25,0.7,0.35,1.0]描述：變壓器左下角是

一

片油污。變壓器左下角有明顯的油污痕跡。在變壓器的左下角可以觀察到油污的存在。來

源

：電力場景真實圖像

電力設(shè)備監(jiān)測信號多場景任務(wù)：開關(guān)設(shè)備狀態(tài)監(jiān)測

輸電線路異物檢測1、

數(shù)據(jù)生成：多模態(tài)數(shù)據(jù)制作管線多輪

對話用戶：圖中是什么設(shè)備?模型：圖中是一個變壓器。用戶：該設(shè)備是否存在故障?模型：是的，變壓器可能存在….模型：這張圖片顯示的是一個變壓器。表面

詳細(xì)有明顯的磨損和銹跡，表明已經(jīng)使用了相當(dāng)

描

述長的時間。圖片中左下角的黑色污漬和不規(guī)則的形狀與油污的特征相符….(多模態(tài))預(yù)訓(xùn)練/指令微調(diào)數(shù)據(jù)集制作人工標(biāo)注目標(biāo)檢測器標(biāo)注YoLO

DETR電氣軟件標(biāo)注多模態(tài)數(shù)據(jù)搜集、清洗(變壓器)頭腦風(fēng)暴、任務(wù)設(shè)計模型：圖中變壓器左下角有油污痕跡，可能存在

深

度油箱泄漏問題；同時運行日志顯示過去一周溫度

推理異常升高，超過安全閾值。推測可能是變壓器油箱泄漏導(dǎo)致油量不足，引起散熱不良。多類別數(shù)據(jù)：多輪對話詳細(xì)描述深度推理

…生成數(shù)據(jù)反饋，

流程更新。多模態(tài)數(shù)據(jù)構(gòu)建16/37電力圖像編碼器分塊線性映射層統(tǒng)一的特征序列電力文本編碼器預(yù)定義詞表…“絕緣”:20822

…“由”:30265…

“組成”:62034

...電力視頻編碼器圖像編碼器統(tǒng)一的特征序列電氣信號編碼器2、模型構(gòu)建：多模態(tài)編碼器——特征對齊將不同模態(tài)數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的序列形式，映射至同一個特征空間內(nèi)絕緣子是由絕緣材料、金屬固定件和接地裝置組成的向量映射層{(x?,y?),(x?,y?),…,(xn,yn)}文本編碼器采樣模塊224swwi副許共+52個m20N077MM統(tǒng)一的特征序列統(tǒng)一的特征序列按照詞表對應(yīng)[20822,…,30265,…,62034]原始文本000

2000

3000

00的間/h17/37N

M

/

南

9002、模型構(gòu)建：電力通用多模態(tài)大模型多模態(tài)輸入

→多模態(tài)特征對齊_二

(非線性)特征運算

多模態(tài)特征重構(gòu)

→

多模態(tài)輸出電力文本編碼[

Attention

layer文本

重構(gòu)電力圖像編碼電力視頻編碼圖像

重構(gòu)電氣信號編碼多模態(tài)編碼器

多層Transformer架構(gòu)為電力領(lǐng)域多模態(tài)、多場景任務(wù)處理提供統(tǒng)一、通

用的解決方案多模態(tài)重構(gòu)器Xizhou

Zhu,Jinguo

Zhu,Hao

Li,Xiaoshi

Wu,Hongsheng

Li,XiaohuaWang*,JifengDai.Uni-perceiver:Pre-trainingunifiedarchitectureforgenericperceptionforzero-shotand

few-shot

tasks[C]//CVPR.2022:16804-16815.18/373、模型訓(xùn)練：預(yù)訓(xùn)練技術(shù)——多模態(tài)模型預(yù)訓(xùn)練電力領(lǐng)域多模態(tài)大模型預(yù)訓(xùn)練方案多模態(tài)統(tǒng)一預(yù)訓(xùn)練框架a)

在多模態(tài)交錯序列上應(yīng)用統(tǒng)

一的自回歸預(yù)測優(yōu)化目標(biāo)；b)

統(tǒng)一多模態(tài)數(shù)據(jù)的理解與生成

任

務(wù)

。多模態(tài)交織輸出圖像分詞編碼器文本分詞編碼器多模態(tài)交織輸入圖像編碼器-解碼器框架a)

圖片編碼為連續(xù)的特征向量b)在像素空間中重建RGB

圖像圖像重構(gòu)模塊文本重構(gòu)模塊多模態(tài)序列大規(guī)模多模態(tài)Transformer

模型多模態(tài)序列實現(xiàn)電力場景中的文本、圖像等數(shù)據(jù)類型的統(tǒng)一建模、統(tǒng)一理解、統(tǒng)一生成第一步：訓(xùn)練多模態(tài)分詞編碼器與重構(gòu)模塊(圖像模態(tài)為例)視覺編碼器因果Transformer圖像分詞編碼器Transformer

解碼器擴(kuò)散解碼器圖像重構(gòu)模塊第二步：預(yù)訓(xùn)練電力領(lǐng)域多模態(tài)大模型單模態(tài)序列19/373、模型訓(xùn)練：后訓(xùn)練技術(shù)——指令微調(diào)+強(qiáng)化學(xué)習(xí)步驟1:有監(jiān)督指令微調(diào)

步驟2:訓(xùn)練獎勵模型

步驟3:PPO

調(diào)整策略>有監(jiān)督指令微調(diào)增強(qiáng)模型在特定場景下理解和遵循人類指令的能力>人工反饋強(qiáng)化學(xué)習(xí)顯式地將人類反饋引入訓(xùn)練過程>通過人類反饋將模型輸出對齊到人類的價值觀和偏好，提高模型的回答質(zhì)量與可靠性回答1

回答2回答獎勵模型PPO回答1指令微調(diào)模型

回答2收集人工選擇數(shù)據(jù)文本圖像…

人工標(biāo)注

收集人工標(biāo)注多模態(tài)數(shù)據(jù)

指令微調(diào)模型提示A獎勵值獎勵模型微調(diào)

參數(shù)更新=9提示詞指令微調(diào)

模型指令微調(diào)

模型預(yù)訓(xùn)練模型預(yù)訓(xùn)練模型指令微調(diào)參數(shù)同步20/37大模型訓(xùn)練流程電力運維通用模型窖層0層

層2

懸n-1層N訓(xùn)練適配高效訓(xùn)練算法適配

…國產(chǎn)平臺海光DCU國產(chǎn)集群適配訓(xùn)練數(shù)據(jù)集支持功能3、模型訓(xùn)練：混合立體并行訓(xùn)練方案并行策略適配海光CPU基于國產(chǎn)計算集群搭建大模型訓(xùn)練軟硬件體系

21/3781612

20流水線并行干卡并行訓(xùn)練高效數(shù)據(jù)讀寫精度對齊任務(wù)自動恢復(fù)大模型混合立體并行訓(xùn)練方案綜合考慮國產(chǎn)化集群單個計算節(jié)點子數(shù)

據(jù)集子數(shù)

據(jù)集增加數(shù)據(jù)批大小2428數(shù)據(jù)并行04基于特征關(guān)系保留的知識蒸餾技術(shù)教師模型nT特征向量廠O00-基準(zhǔn)關(guān)系問鞋R

時世提失△△△梯度向量g學(xué)生模型口特

征

向

量?00O基準(zhǔn)關(guān)系向量

對比街失M?S槐度向

量g符空關(guān)系科品F5基于梯度精度分析的模型量化技術(shù)搜集每層梯度信息、估計量化敏感度基于量化敏感度確定量化步長使用確定的比例和級別進(jìn)行量化反量化方法將推理結(jié)果轉(zhuǎn)換回浮點數(shù)

w=s

·

(q-2)現(xiàn)有AI大模型對于計算資源需求較高，難以在資源受限的邊側(cè)設(shè)備進(jìn)行部署；高質(zhì)量輕量化技術(shù)是DeepSeek成功

要素之

一?；谔岢龅幕谔卣麝P(guān)系保留的知識蒸餾技術(shù)與基于梯度精度分析的模型

量化技術(shù)，有效地解決了Al

大模型模型參數(shù)高、推理復(fù)雜度高的問題。4、部署應(yīng)用：大模型輕量化全流程方案Jinguo

Zhu,Shixiang

Tang,DapengChen,ShijieYu,YakunLiu,MingzheRong,Aijun

Yang,Xiaohua

Wang*.Complementaryrelationcontrastivedistillation[C]//CVPR.2021:9260-9269.22/37(BF16)(BF16)(Int4)大模型輕量化流程教師模型

大參數(shù)

(>70億)

高精度量化模型

小參數(shù)

(<10億)

低精度學(xué)生模型

小參數(shù)

(<10億)

高精度特往關(guān)系計算

子網(wǎng)絡(luò)M'Ms間關(guān)系向特征關(guān)系計算

子網(wǎng)絡(luò)M2云邊協(xié)同中心服務(wù)器集群自適應(yīng)負(fù)載均衡與資源管理

支持

調(diào)整優(yōu)先級動態(tài)任務(wù)調(diào)度算法提供優(yōu)先策略

要求

下發(fā)

同步實時性評估與

增量數(shù)據(jù)同步與優(yōu)先級分配

邊緣緩存策略邊緣計算設(shè)備邊緣系統(tǒng)邊緣計算載入并構(gòu)建計算圖Torch模型計算圖分析、優(yōu)化、融合數(shù)據(jù)類型轉(zhuǎn)換TMFile模型后端算子接入與硬件運行CUDA

推理框架APIKernels推理框架RuntimeFPGAKernelsX86Kernels完善的算子支持，包括CPU、NPU

等多種后端實現(xiàn)

推理SDK

開發(fā)簡單、

新算子、后端擴(kuò)充技術(shù)門檻低單設(shè)備狀態(tài)感知與運維任務(wù)可由邊緣計算技術(shù)本地高效完成；對于變電站層的狀態(tài)數(shù)據(jù)處理，需要云邊協(xié)同技術(shù)，

各邊緣終端在中心服務(wù)器的統(tǒng)一調(diào)度下，將云端所需數(shù)據(jù)上傳并在云端實現(xiàn)戰(zhàn)級狀態(tài)綜合的感知、診斷與預(yù)測。4、部署應(yīng)用：邊緣計算+云邊協(xié)同推動高性能多模態(tài)大模型在真實電力場景大規(guī)模落地應(yīng)用

23/37任務(wù)調(diào)度

高效執(zhí)行算子描述、計算圖解析

Block重構(gòu)、數(shù)據(jù)重載量化/反量化訪存優(yōu)化ARMKernelsNPUKernels算子融合子圖劃分TMFile

模型TMFile

模型XPU

Kernels寒武

紀(jì)華為

昇騰瑞芯

微Kernel選取Arm

芯片03電力裝備多模態(tài)大模型的應(yīng)用24/3>隨著用戶規(guī)模和業(yè)務(wù)復(fù)雜度的提升，電網(wǎng)公司面臨海量客服需求，傳統(tǒng)人工客服難以滿足高效響應(yīng)

和全天候服務(wù)的要求。而現(xiàn)有通用模型缺乏電力領(lǐng)域的專業(yè)知識，處理用電客戶實際問題能力較弱。現(xiàn)有通用模型缺乏電力領(lǐng)域知

識，處理實際問題能力較弱我位于××市，我的電費欠費了，該如何繳費?

電價是多少?很抱歉，我并不了解中國××市的電價情況，也不了解如何進(jìn)行電費繳納，詳細(xì)信息建議電話

…全天候服務(wù)×成本高昂BLACKOUT延時解決

多語種支持(

一致性差(應(yīng)用一：電力專家與客服系統(tǒng)構(gòu)建

面向

復(fù)雜

問題

電力

專家客服

系統(tǒng)人為因素大

數(shù)據(jù)分析實

時

性

不

足×

歷史記錄(電力客服專業(yè)咨詢專業(yè)

問題電力專家與客服系統(tǒng)可以對海量客戶提供全天候、實時、專業(yè)的服務(wù)人工客服無法實現(xiàn)高效響應(yīng)和全天候服務(wù)突發(fā)

情況緊急

求助延時

解答電費7

725/37我現(xiàn)在位于××市××區(qū)，家里突然停電了，是什么原因?qū)е碌?我該如何處理?感謝您的咨詢，很抱歉給您帶來不便。經(jīng)過使用互聯(lián)網(wǎng)工具查詢，××市××區(qū)近期

處于夏季，氣溫高達(dá)35℃以上，并且處于雨季，降水多。在電力系統(tǒng)用電負(fù)荷極高

的同時，潮濕的環(huán)境也給電力設(shè)備帶來了額外的壓力。因此出現(xiàn)了短時的電力系統(tǒng)

供電不足的情況。您無需擔(dān)心，正常情況下，幾十分鐘至幾個小時之內(nèi)電力系統(tǒng)就會恢復(fù)供電，具體

的信息請你關(guān)注××電網(wǎng)官網(wǎng)(http://www.sn.sgcc.com.cn/

××/)

或者社區(qū)公告。

如果您還有任何問題，可以咨詢x×電網(wǎng)人工客服熱線95588。很抱歉聽到您遇到了停電的問題。導(dǎo)致家中突然停電的原因可能有多種，以下是一

些常見的原因及處理建議：●電力公司供電故障：可能是由于電力公司進(jìn)行設(shè)備檢修、線路故障或…..●家庭內(nèi)部電路問題：家中的斷路器可能因過載或短路而自動跳閘。

我無法了解到××市具體的情況信息，請你咨詢當(dāng)?shù)氐墓╇姽?。很抱歉聽到您遇到了停電的問題。我暫時無法分析出停電故障的原因。您可以通過以下的步驟進(jìn)行排查，找到問題的來源。如果您有任何新問題，請及時告訴我。排查的步驟有：檢查是否僅家中停電，檢查家中電路，咨詢社區(qū)人員……

如果以上方法都沒有解決您的問題，請你咨詢當(dāng)?shù)氐墓╇姽?。中國?nèi)大廠模型中國電工技術(shù)學(xué)會cdhsdhrkalii2024電氣人工智能最佳科技創(chuàng)新成果證書項目名稱：基于人工智能語言大模型的電力智能客

服原統(tǒng)研究及共應(yīng)同完成單位；西安交通大學(xué)電氣工程學(xué)院項汗成賢：王小華、榮命哲祝金國，羅海濃。應(yīng)用一：電力專家與客服系統(tǒng)羅海宸，楊逸舟，柳宇洋，李明軒，楊愛軍，榮命哲，王小華

.面向電力設(shè)備運維的人工智能大規(guī)模語言

模型關(guān)鍵技術(shù)及其應(yīng)用研究

.第十九屆中國電工技術(shù)學(xué)會學(xué)術(shù)年會

.2024年9月電

C

：中國電上我術(shù)會2024年2月07日季明軒。陳曉玄，楊愛牢用戶26/37多模態(tài)運維安全助手應(yīng)用案例是否有危險

是監(jiān)控視頻>

電力設(shè)備故障易引發(fā)人身安全事故，急需開發(fā)高效精準(zhǔn)的電力運維規(guī)劃與安全預(yù)警模型。變電站危險預(yù)警

運維人員路徑規(guī)劃快速預(yù)警響應(yīng)精準(zhǔn)定位故障

保障人身安全應(yīng)用二：多模態(tài)運維安全助手歷史信息振動信號現(xiàn)場圖像多模態(tài)運維安全助手

27/37需求多模態(tài)感知電力運維助手配電柜爆炸導(dǎo)致人

身傷亡紅外圖像油色譜>

現(xiàn)有電力人工智能算法大多為單任務(wù)算法，針對不同故障診斷任務(wù)需要開發(fā)不同的算法模型，研發(fā)

程序繁瑣、成本高、泛化性差；>

現(xiàn)有電力人工智能模型處理多模態(tài)數(shù)據(jù)能力較差，難以處理多場景結(jié)合的復(fù)雜任務(wù)。輸入圖像X語言指令X?圖像編碼器

文本編碼器Z!投影WH電力多模態(tài)大模型

f語言響應(yīng)應(yīng)用三：多模態(tài)電力設(shè)備狀態(tài)感知助手多模態(tài)電力設(shè)備狀態(tài)感知助手可完成電力設(shè)備的多模態(tài)數(shù)據(jù)狀態(tài)感知任務(wù)，并實現(xiàn)與運維人員的實時交互用戶咨詢電力專家運維人員實時交互支持28/37您好，根據(jù)您提供的視頻，這是一個三相雙臂式隔離開關(guān)的運行視頻。其中，隔離開關(guān)的作用是保證高壓電器及裝置在檢修工作時的安全，起到隔離電壓的作用。但是需要注意的

是，其不能用于切斷、投入負(fù)荷電流和開斷短路電流，僅可用于不產(chǎn)生強(qiáng)大電弧的某些切

換操作，即不具備滅弧功能。根據(jù)您提供的視頻，隔離開關(guān)進(jìn)行了閉合操作，這意味著該部分電路處于閉合狀態(tài)，無法

進(jìn)行檢修以及運維等相關(guān)工作。如需進(jìn)行運維工作，需要注意遵守相關(guān)的規(guī)范以及章程、

保障工作人員的人身安全。1.

視頻中展示的是一種戶外高壓隔離開關(guān)。隔離開關(guān)主要用于在電氣設(shè)備檢修時，切

斷

設(shè)備與電源之間的聯(lián)系，確保檢修人員的安全。同時，它還可以起到電氣隔離的作用以

便在系統(tǒng)發(fā)生故障時能快速隔離故障部分。2.

視頻中的隔離開關(guān)處于“合閘”狀態(tài)。可以看出隔離開關(guān)的觸頭已經(jīng)閉合，導(dǎo)電部件

連接在一起，說明電路是通的狀態(tài)。1.

視頻展示的是戶外高壓交流35KV

真空負(fù)荷開關(guān)。這種類型的產(chǎn)品主要用于電力系統(tǒng)和

工業(yè)生產(chǎn)領(lǐng)域，在電路運行過程中進(jìn)行隔離、切換或保護(hù)的功能。2.

在視頻中可以看到該開關(guān)處于閉合的狀態(tài)這說明它正在正常工作并且能夠有效地控制

電路的通斷情況。同時也可以看到一些紅色指示燈亮起，表示當(dāng)前的工作狀態(tài)是正常的。Power-LLaVAPowr/是一個電力圓文大模型手，你可以咨調(diào)他任何有關(guān)電力語罪的問題，不桐于挑們另一個工作

電力客BPowerChit,PowenL

可以支持文本和圖時兩種相態(tài)的輸入，該損型變持力多場罪的問需咨，中黃文間答、多輪對話，復(fù)雜批W等多種功能，上傳你的圍片和間模型會相據(jù)片

和文字內(nèi)容進(jìn)行推理與回苔.使用方法：兩圖檢測：點擊所提供的制圖，拜點擊上作，模型將會根據(jù)例園和時應(yīng)的河題給出回苦。本地圖片松到：上傳你的圖片并輸入同源，并點出發(fā)送輸入根型.多輪對話：在模型生成完一次回答酷，你可以續(xù)在對話柜內(nèi)輸入內(nèi)容，模型會根據(jù)上下文進(jìn)行多輪的時話與推理，9

酒應(yīng)用三：多模態(tài)電力設(shè)備狀態(tài)感知助手WANG,Jiahao.

…

.

Wang,Xiaohua*,Power-Llava:Large

Language

and

Vision

Assistant

for

Power

TransmissionLine

Inspection.In:2024

IEEE

InternationalConferenceon

Image

Processing(ICIP).IEEE,2024.p.963-969.

29/37圖像輸入文本問答請你根據(jù)給定的視頻，回答以下問題：1.

視頻中是什么類型的隔離開關(guān)，起

到什么作用?2.

視頻中的隔離開關(guān)正處于什么狀態(tài)?視頻感知多模協(xié)同

(用戶5s

10s

15s國內(nèi)大廠模型電力大模型GPT-4o>時序數(shù)據(jù)(如電壓、電流信號)是電力場景中最基本、最易獲取、參考性最大的數(shù)據(jù)。利用此類數(shù)據(jù)可以進(jìn)行電力場景精細(xì)化感知與深度分析。多種時序數(shù)據(jù)度

點里2as問題分析目標(biāo)：GIS開關(guān)任務(wù)：分析有無異常情況指令生成指令：獲取監(jiān)測視頻、獲

取UHF信

號

…

…實時監(jiān)測數(shù)據(jù)智能分析分析過程：監(jiān)測視頻中顯

示GIS開關(guān)表面未有裂痕、

損壞等情況，但UHF

信號顯示可能存在懸浮電位缺

陷

…

…決策生成電能使用應(yīng)用四：電力時序數(shù)據(jù)分析監(jiān)測模型電力時序數(shù)據(jù)分析監(jiān)測模型可根據(jù)人類交互輸入生成任務(wù)指令并對各類時序數(shù)據(jù)進(jìn)行分析與推理

30/37發(fā)電控制狀態(tài)監(jiān)測危險預(yù)警系統(tǒng)調(diào)節(jié)環(huán)境治理損耗估算故障檢修電能質(zhì)量生產(chǎn)監(jiān)控經(jīng)濟(jì)規(guī)劃電力時序數(shù)據(jù)分析監(jiān)測模型電力系統(tǒng)全方面細(xì)粒度分析拓展?；诮o定的電壓-時間二元組序列，

我們無法直接確定GIS

設(shè)備是否存在局部放電缺陷及其類別。這些數(shù)據(jù)點僅表示了UHF

信號幅度的變化，但沒有提供足夠的信號特征(如波形、

頻譜等)來做出準(zhǔn)確判斷。要確定是否存在局部放電及其類型，需要更詳細(xì)的UHF1信

號

數(shù)據(jù)以及專業(yè)的電氣測試分析。因此，建議進(jìn)一步收集和分析信號數(shù)據(jù)，或請專家進(jìn)行

評

估

。對于這個問題，我作為一個AI

模型，并不具備直接分析實際物理信號(如電壓和時間數(shù)據(jù)):

的能力來診斷GIS設(shè)備的局部放電缺陷。然而，通常情況下，局部放電信號會在超高頻(UHF)

測量中表現(xiàn)為特定模式：.脈沖或尖峰：如果在某些時刻出現(xiàn)峰值電壓對應(yīng)的時間點異常短且重復(fù)，可能是由于..…>

運維通用模型利用API

代碼工具，繪制出波形圖輔助判斷，結(jié)合原始數(shù)據(jù)，準(zhǔn)確判斷出故障的原因，

并給出相對準(zhǔn)確的分析與建議，

展示出專業(yè)的行業(yè)知識與可靠的

運

維

能

力

。您好，根據(jù)您提供的提供的UHF

特征，我首先調(diào)用Python

工具繪制了對應(yīng)的波形曲線如右圖所示。根據(jù)波形，

UHF曲線具有以下特征：(1)峰值達(dá)到了

1.17V。(2)

曲線積分面積為4.87e-10。(3)曲線的

上升時間0.003us,

下降時間0.1644

S。根據(jù)以上

特征，該GIS設(shè)備對應(yīng)的缺陷類型為懸浮電位。時序序列可視化繪圖(特征提取深度感知應(yīng)用四：電力時序數(shù)據(jù)分析監(jiān)測模型李明軒，王家浩，付雅俊，羅海宸，祝金國，楊愛軍，榮命哲，王小華

.基于人工智能多模態(tài)大模型的高壓斷路器在線監(jiān)測與故障診斷系統(tǒng)

.第十九屆中國電工技術(shù)學(xué)會學(xué)術(shù)年會

.2024年9月

.