2024年基于大語言模型的新型電力系統(tǒng)運行與仿真初探報告-香港中文大學

香港中文大學(深圳)TheChineseUniversityofHongKong,Shenzhen香港中文大學(深圳)深圳市人工智能與機器人研究院01n個1Al近代史Al現(xiàn)代史3LLM發(fā)展歷程決策式Al生成式Al決策+認知+感知+學習+執(zhí)行+社會協(xié)作重大突破(1980s~2010年)習模型(2011年~2016年)啟“大模型時代”Sora推出(2017年~)來源：艾瑞2023年AIGC場景應用展望研究報告人工智能Al現(xiàn)代史：深度學習的突破和近年來的發(fā)展2014年2017年2020年2023年語言處理Transformer語言處理Transformer類架構深度神經(jīng)網(wǎng)絡生成式對抗神經(jīng)網(wǎng)絡GAN視覺處理視覺處理CNN類架構引入人工反饋強化學習處理圖像引入人工反饋強化學習處理圖像引入注意力機制引入注意力機制架構預訓練大模型成為趨勢多模態(tài)+大模型●BERT的出現(xiàn)降低了NLP從業(yè)的準入門檻，那么大模型的出現(xiàn)則是進一步降低了各個行一019229一a21kk1234語言模型簡介你好。你也好。一個前綴輸入你好。人類肯德基瘋狂星期四。一個人類對話場景肯德基瘋狂星期四。什么是語言模型你好。你也好。一個前綴輸入你也好。真實分布真實分布你好。你也好。你好。V我50。語言模型預測分布給定相同前綴，語言模型是輸出能近似人類語語言模型預測分布多頭自注意力多頭自注意力全連接層全連接層層歸一化層歸一化自注意力層歸一化“你好美麗。”論文新聞網(wǎng)絡爬蟲私有知識庫私有知識庫開源數(shù)據(jù)集開源數(shù)據(jù)集理)美美麗你好你好美容納大數(shù)據(jù)的載體，通常由深度神經(jīng)網(wǎng)絡構成，學習大數(shù)據(jù)中的統(tǒng)計信息與抽象知識InputSequence大數(shù)據(jù)大算力大數(shù)據(jù)大算力(深度神經(jīng)網(wǎng)絡)promptdataset.每個類型的問題人工設計了指令每個類型的問題人工設計了指令LLM架構與訓練：微調階段-如何賦予LLM邏輯能力?代碼實現(xiàn)計算1-100pythonpython使用了等差數(shù)列求和Chain-of-ThoughtLLM架構與訓練：問題來了-回答是有問題的珠穆朗瑪峰10分我也不知道呀0分重復生成我也不知道呀0分世界最高的山峰是?人工排序A>B>C>D 語言模型的社會化語言模型加入代碼數(shù)據(jù)，重新訓練。加入指令數(shù)據(jù)，加入代碼數(shù)據(jù)，重新訓練。加入指令數(shù)據(jù)，生成分數(shù)打分模型自監(jiān)督學習監(jiān)督學習強化學習LLM架構與訓練：各個訓練階段綜合來看..百科、網(wǎng)頁等的答案強化學習(cny)基礎模型基礎模型帶著笑臉的修格斯。(由/anthrupad提供)展望與應用電力行業(yè)應用大模型的潛在應用領域：●機器代人(機巡、客服、公文寫作等)●信息-物理-社會系統(tǒng)(CPSSE)仿真/數(shù)字孿生●電力系統(tǒng)機理研究(Al4S)●在調度運行等核心領域，大模型的推理可靠性與“幻覺”問題，決定了大模型尚不能完全替代人工。●已經(jīng)應用良好的各種基于因果模型的工具無需替代。●應該采取因果模型+大模型+小模型融合的技術路線。2024,48(6):13-28.基于大語言模型實現(xiàn)高適應性負荷預測(多模態(tài)數(shù)據(jù)融合)·傳統(tǒng)方法局限：1.難以應對特殊事件發(fā)生時，短期電力負荷的快速變化或極端波動；2.不能適應超出歷史數(shù)據(jù)涵蓋范圍的新場景；3.無法基于文本數(shù)據(jù)(新聞事件)進行預測推理。能夠基于語言有效處理、整合非結構化及海量多源數(shù)據(jù)，通過Agent篩選實時相關新聞并理解文本邏輯，顯著提升預測的適應性和精確度。新新聞+地理+歷史負荷+氣象數(shù)據(jù)+典型天Input:predictthedailyloadconsumptioninthenextday.IlistoricIlistoricalDatacovers{Iday}an·mimtes}pert·Theweatherofpredictiondate:{minmamtemperatitemperature,hmidiry.wndpower,andpressire}:·Newsbeforetheprediction:/Newstrle,,briefsunmary!,publicationtime}.{category.[ullarticle}.Output:{Timesertesofactualloadinthepredicrlondate}.LLMs擅長解析和理解非結構化數(shù)據(jù)LLMAgentLLMAgent智能優(yōu)化用于負荷預測相關新聞的選擇預訓練模型能夠整合廣泛的社會、經(jīng)濟和技術知識新聞事件相關的文本數(shù)據(jù)的引入新聞事件相關的文本數(shù)據(jù)的引入，有效提升在特定事件發(fā)生時負荷預測精確度。NoNewhnigherporarlodduntingpoakhous….wthadropinconsumption..News:疫情封城商業(yè)活動帶來居民用電量上升區(qū)域大停電·Agent對新聞事件的篩選，在提升大模型輸入token效率的同時增強預測精確度：PERFORMANCEMETRICSOFDIFFERENTMO481006.30693.55523.2321.25475200.06689.35421.8211.61224497.31473.81323.891·預測效果普遍優(yōu)于現(xiàn)有方法，在不同時間和地理維度的適應性強，顯著提升預測的適應性和精確度：NSWLSTMReformerIaformer444LSTMReformerIaformer444ActualVal*sPredictedValssd48024ActualVabesPr基于LLM的負荷預測顯著提升準確性和可靠性，優(yōu)化對突發(fā)變化的應對，突出了語言處理在整合非結構化信息中的作用，標志負荷預測及時序決策研究范式的轉變?；谇捌谘芯浚覀儼l(fā)現(xiàn)可以將調度、市場行為以大語言模型的形式建模(語言模型化),解決傳統(tǒng)調度支撐體系中調度行為沒有更適應復雜開放場景事故處置輔助決策◎調度多模態(tài)數(shù)據(jù)(日志、語音)調度多模態(tài)數(shù)據(jù)(日志、語音)怕系統(tǒng)調員怕系統(tǒng)調員目標:m解決m母線失壓決策輔助性能提升支撐復雜開放場景下的調度決策推理與智能生成性能提升支撐復雜開放場景下的調度決策推理與智能生成調度及市場行為缺少有效建模工具度行為語言模型化與調度決策智能生成的技術框架電力調控運行多模態(tài)融合操作監(jiān)護：電力調控運行多模態(tài)融合知識數(shù)據(jù)集調度統(tǒng)一知識調度統(tǒng)一知識管混合專家模型(MoE)系統(tǒng)人機協(xié)同基于多頭注驅動機制人機協(xié)同工具使用工具使用大模型集群基于低秩適加速微調混合增強智能95%以上主要日常操作環(huán)節(jié)業(yè)務支持輔助決策：預判結果、自動輔助決策：預判結果、自動提醒和預警惡性基于檢索增強生成的知識庫框架事故處理：事故處理：多主體協(xié)同調度大模型數(shù)據(jù)處理初版領域數(shù)據(jù)集大模型訓練數(shù)據(jù)集output":Insulatlondeterlorstlon,oftencsuredbysolsture,overhesting,vtbrat*khaniclstressduriretransforrertheauchralts,iInstructian":xplainthepotentialcausesoftapchangauipuL":"TapchangerfailurncanLecasltyalfumctionufUewchnicalwresistanceloodcontacts,insulationtracking,overhoating,orcontainaticn4autput":"tatfstlesshosthat4一一output":"Toprevcnttransforwerwindingfailures,wsuressuchascnsuringproplevels,aoidingeverteatingd-fng(amltsrheinplerent調度大模型交互頁面osderinteostwlptO+ssrdluosderinteostwlptO+ssrdlumnteocop*01hilyigonskelrZkrrwlcknt0prtknwrterialpnstuis軸aiedihdihnttimlbtO.ACshdsandpstkdplraefcofhpwspun業(yè)務場景支持：測試教科書教科書論文NN十提取+分割+標簽+增強提取+分割+標簽+增強據(jù)集測試生成調度成+增強達性穩(wěn)定性測試集評測體系：■評測圍繞調度大模型在事實性、邏輯性、穩(wěn)定性、公平性、安全性、表達能力六大類二十四個子維度展開評估。測試集題型設定：評測方法：客觀題：GPT-4+評測腳本842穩(wěn)定性表達性事實性公平性邏輯性穩(wěn)定性調度測試數(shù)據(jù)集調度場景(一級指標)8642安全性安全性穩(wěn)定性表達性事實性公平性邏輯性安全性安全性穩(wěn)定性■調度相關問題的邏輯性、穩(wěn)定性和安全性上表現(xiàn)●大模型的“智能涌現(xiàn)”現(xiàn)象，再次表明復雜系統(tǒng)的研究問題無法完全在還原論的框架下解決?！RT以CPSSE框架刻畫復雜系統(tǒng)，以混合動態(tài)仿真來提取對象系統(tǒng)的高維仿真軌跡，基于軌跡動力學的時空保熵映射，將復雜系統(tǒng)的研究從線性的“局部還原”提升為非線性的“整體保熵還原”?！翊笳Z言模型可以基于仿真或實測軌跡數(shù)據(jù)，基于其內化的理論常識，以一定概率在局部自主進行邏輯●基于大模型內化的理論常識，大模型也可以用作嚴格因果模型與近似模型的選擇器?！裎覀兊某醪窖芯勘砻鳎笳Z言模型已具有模仿人進行系統(tǒng)性邏輯思維的能力。因此，可以在CPSSE仿真中，結合真人、因果模型和大語言模型，實現(xiàn)更精確的人機混合仿真?！翊竽Ｐ偷耐评砜煽啃耘c“幻覺”問題，目前尚無法完全解決。現(xiàn)階段，“人機混合智能”可能是最符合電力系統(tǒng)實際的解決方案。終極目標。泛化性較差：對于那些需要快速適應新信息和變化的實際應用場景，傳統(tǒng)的數(shù)學方法缺乏靈活性。推理能力：LLMs擁有處理復雜問題和理解復雜語境的能力，這使它們能夠理解和分析復雜的博弈策略。泛化能力：得益于LLM出色的zero-快速適應市場的動態(tài)變化。結合大量歷史案例，提高仿真的準確性和效率。代理模擬：將LLM與多代理仿真結合，通過模擬市場中player行為或策略，為市場仿真提供了一種新的思路。代碼解釋器()代碼解釋器()果反饋，自學習獎勵總結經(jīng)驗，形成長期記憶與尚尚*尚傳遞與經(jīng)驗知識共享效溝通協(xié)議與流程■FAISS:向量高性能查詢查詢基于大模型的市場仿真●市場仿真基礎流程分解得到交易機制信息反饋組織信息反饋交易者，調整決策輸入交易機制市場主體流程分解得到交易機制信息反饋組織信息反饋交易者，調整決策輸入交易機制市場信息公示市場信息公示·程序化、標準化、規(guī)范化市場規(guī)則匹配出清"三公"原則市場外部性外部干擾基于大模型的市場仿真●大語言模型訓練——以電力市場為例提示語工程·模擬電力交易員工作環(huán)境，給出機組工況、斷面阻塞、燃料成本、碳成本、市Q價開色沿外現(xiàn)貨市場o驗市反工大模