2024軍事大模型評估體系白皮書

淵亭科技軍事大模型評估體系白皮書廈門淵亭信息科技有限公司二O二四年五月淵亭科技淵亭科技軍事大模型評估體系白皮書型技術作為Al領域的核心技術之一，已經(jīng)成為推動社會進步和產(chǎn)業(yè)I 12總體架構 33評估框架 43.1架構能力 53.2基礎能力 63.2.1通用基礎能力 6 73.3平臺能力 8 8 8 9 9 3.4.1強敵研究領域 3.4.3裝備研制領域 3.4.5聯(lián)勤保障領域 3.5.1軍事偏見 3.5.2合法合規(guī) 3.5.3軍事保密 3.5.4對抗攻擊 3.5.5算法加固 3.5.6偽造檢測 3.5.7數(shù)據(jù)防泄露 4評估標準 4.1評分標準 4.2評估方法 4.3成熟度分級標準 5評估手段 5.1基礎能力評估 5.2架構能力評估 5.3平臺能力評估 5.4應用能力評估 5.5安全能力評估 6評估數(shù)據(jù) 6.1評估數(shù)據(jù)類型 7評估工具 7.1驗證方法 8評估平臺 8.1產(chǎn)品功能介紹 8.1.1測評集管理 8.1.2模型管理 8.2產(chǎn)品優(yōu)勢 8.3應用場景 9結語 1淵亭科技淵亭科技軍事大模型評估體系白皮書1背景2022年11月，OpenAI發(fā)布了名為ChatGPT的人工智能應用，其以預訓練大語言模型GPT3.5為基礎，驚艷的自然語言交互效果，股新的人工智能能力建設和應用浪潮。2024年2月，OpenAl公布了文生視頻大模型Sora、并提供若干樣例視頻，在行業(yè)內(nèi)再一次引起發(fā)展。在通用大模型層面，百度、華為、阿里、訊飛、智譜、百CEval、SuperCLUE、GSM8K、Humaneval等，在不同榜單下各模型且存在無意(例如訓練數(shù)據(jù)集被污染)、惡意(例如主動將測試數(shù)據(jù)2淵亭科技淵亭科技軍事大模型評估體系白皮書面的能力評估，由于需和上下游應用環(huán)境和信息系統(tǒng)深度對接，也有一些新的問題，例如模型生產(chǎn)和推理平臺對企業(yè)既有基礎設施的影響，模型和現(xiàn)場數(shù)據(jù)、系統(tǒng)之間的協(xié)同，模型在復雜使用環(huán)境下的安全保隨著國防智能化建設的深入，軍內(nèi)很多機構都對大模型能力產(chǎn)生了濃厚的興趣，軍事大模型應用場景也非常豐富，如軍事情報、指揮控制、智能武器、無人系統(tǒng)等領域。軍事大模型作為一類特殊的領域大模型，也有一些自身的能力評估特點。軍事領域的數(shù)據(jù)的機密性和敏感性眾所周知。一方面，基礎大模型很難在預訓練/微調(diào)階段注入足夠的軍事知識，軍事認知必須在領域大模型構建過程中形成，使得領域大模型的軍事常識能力評估顯得愈發(fā)重要；另一方面，常識能力評估所需的數(shù)據(jù)集，也因為軍事數(shù)據(jù)的特點，領域大模型的評測數(shù)據(jù)集構建更為困難，因此更難展開有效的領域大模型評估工作。軍事領域高對抗性的特點，使得軍事大模型和常規(guī)領域大模型相比面臨著更為嚴峻的安全挑戰(zhàn)。例如，通用大模型面臨的偏見，在軍又例如傳統(tǒng)人工智能模型面臨的對抗攻擊、內(nèi)容偽造、數(shù)據(jù)泄露問題，在軍事大模型應用場景中需要得到更多的評估?，F(xiàn)代智能化戰(zhàn)爭一定是體系對抗，信息手段之間也需要有效配合，軍事大模型的應用成效極大的體現(xiàn)在和平時、戰(zhàn)時既有系統(tǒng)的協(xié)同。而軍事信息化系統(tǒng)的特殊性，使得領域大模型的能力評估，只能在特定的區(qū)域、特定的時刻結合特定的數(shù)據(jù)開展，這就對能力評估的方法論和手段集提出了新的要求。例如如何快速的結合現(xiàn)場提供的數(shù)據(jù)構造測試數(shù)據(jù)集、如何快速的結合業(yè)務目標完成領域測試項準備等。淵亭科技長期從事認知和決策智能領域研究和項目建設，參編了多項人工智能相關標準。近年來，也和一些行業(yè)主導標準化機構進行合作，推進圍繞大模型的各項能力評估，例如大模型驅(qū)動的知識圖譜、大模型運營能力等。基于以上背景，淵亭科技結合多年服務軍事智能3淵亭科技淵亭科技軍事大模型評估體系白皮書化領域的行業(yè)認知，以及在軍事大模型能力應用上的產(chǎn)品研發(fā)和項目實踐經(jīng)驗，編撰完成本白皮書，希望研究成果能為社會各界參與軍事大模型建設提供借鑒和參考。2總體架構軍事大模型評估體系圍繞大模型在軍事場景智能化能力表現(xiàn)進行科學合理的評估評價，實現(xiàn)大模型評估全流程，支撐軍事大模型的部署應用、模型改進和決策制定，確保軍事大模型在軍事業(yè)務場景的應用價值。軍事大模型評估體系如下圖：軍事大模型評結指標軍事大模型評結指標多繼度評軍事大慢部評估數(shù)據(jù)大模型評估學異構大模力評估數(shù)據(jù)管理評估手段實現(xiàn)軍事大模型兼容評估工具多層次評結據(jù)標標準王離的評估數(shù)據(jù)準軍事大模能評信手控附合評估指標標準榴單評網(wǎng)您生開流T他數(shù)信午事妝城致膚家系州評估平臺能力人工譯齒臨鉆圖1大模型評估體系架構軍事大模型評估體系主要包括軍事大模型評估數(shù)據(jù)、軍事大模型評估手段、軍事大模型評估工具以及軍事大模型評估指標等內(nèi)容。(1)軍事大模型評估數(shù)據(jù)：軍事大模型評估數(shù)據(jù)包括外部開源、主流評估以及用戶領域等方面的評估數(shù)據(jù)集。(2)軍事大模型評估手段：軍事大模型評估手段與評估場景及環(huán)境相適應，即滿足人工評估模式，也支持基于規(guī)則、模型的自動化評估模式。(3)軍事大模型評估工具：軍事大模型評估工具負責內(nèi)外部數(shù)據(jù)管理、評估手段實現(xiàn)、軍事大模型兼容以及融合評估指標標準等能4淵亭科技淵亭科技軍事大模型評估體系白皮書(4)軍事大模型評估標準：軍事大模型評估標準提供大模型的靈活定義評估指標，實現(xiàn)評估標準場景自定義。3評估框架評估指標體系是軍事大模型基準測評體系框架的核心組成部分，圍繞強敵研究、作戰(zhàn)指揮、裝備研制、訓練管理和聯(lián)勤保障等5類軍構建一整套科學、客觀、量化的評估指標，全面評估軍事大模型在不同維度、領域和場景中的性能表現(xiàn)，為用戶開展大模型選型提供標準化的測評參考，為大模型系統(tǒng)的上線運行提供可信的衡量標準，并為大模型的優(yōu)化改進提供明確方向。軍事大模型評估框架軍事大模型評估框架應用能力情迪用戰(zhàn)略驗應用二三可可樣三高擴展大模型開發(fā)訓練力大橫型軍事應用編排能力其他支擦力產(chǎn)化軟磷中產(chǎn)品典容通跨平臺協(xié)間應數(shù)據(jù)務能估工具準端華測用戶滿調(diào)監(jiān)測評手段方法客觀測評法主觀評法微態(tài)赫研生應用?？椉兡荏w耕性可忡軍事大橫型數(shù)據(jù)生成力測評數(shù)據(jù)集安全能力選理一評估指標體系由架構能力、基礎能力、平臺能力、應用能力和安5全能力5個維度的評估指標構成。(1)架構能力指標設計主要考核大模型體系化支撐軍事應用的架構成熟程度；(2)平臺能力指標設計主要考量大模型系統(tǒng)的數(shù)據(jù)生成、開發(fā)訓練、應用編排和其他支撐能力；(3)基礎能力指標設計主要覆蓋大模型的通用基礎能力和軍事基礎能力；(4)應用能力指標設計側重于從五大軍事業(yè)務領域，評估大模型在實際軍事業(yè)務場景中的表現(xiàn)；(5)安全能力指標設計重點評價模型在軍事偏見、合法合規(guī)和數(shù)據(jù)保密等方面的性能。3.1架構能力及確保大模型在軍事領域準確高效處理數(shù)據(jù)、穩(wěn)定可靠承載業(yè)務、安全可信落地應用的關鍵。主要體現(xiàn)在如下方面：準確性：是衡量模型性能的關鍵因素，通常包括查準率(Precision)、查全率(Recall)、簡潔性(Brevity)和結果置信度健壯性：是評估模型在面對復雜挑戰(zhàn)時穩(wěn)定性和可靠性的重要標準。旨在衡量模型在面對對抗樣本時，能夠保持正確預測的能力。兼容性：是評估大模型對不同技術環(huán)境和組件的適應能力。包含對基座大模型接口和功能的適配性、對國產(chǎn)自主可控軟硬件系統(tǒng)的兼容性以及第三方專業(yè)小模型、領域知識庫和工具插件的兼容性?？稍u估：涉及架構能力評估、基礎能力評估和場景應用能力評估三個層面。架構能力評估關注模型設計和內(nèi)部機制的合理性；基礎能力評估則涉及模型在標準任務上的表現(xiàn)；場景應用能力評估考量模型在特定應用場景中的實用性和效果?？山忉專菏谴_保模型的決策過程和結果對人類用戶透明和可理解6淵亭科技淵亭科技軍事大模型評估體系白皮書的關鍵要素。主要包括推理過程可解釋、推理結果可解釋、數(shù)據(jù)來源可解釋、推理流程可視等指標項?？缮炜s：衡量的是模型在不同規(guī)模硬件部署環(huán)境下的適應性和靈活性。包括模型部署運行尺寸的可伸縮性，即模型能夠在不同計算能力和資源條件下運行；不同參數(shù)量的部署可伸縮性，意味著大模型能夠根據(jù)實際需求調(diào)整參數(shù)規(guī)模等。高擴展：用于衡量大模型能否適應未來技術發(fā)展和應用需求的變化，包括對基座大模型版本升級、專業(yè)小模型、領域知識庫和工具插件的擴展升級及系統(tǒng)功能擴展和二次開發(fā)能力的支持。高可用：是衡量大模型系統(tǒng)在實際應用中的穩(wěn)定性和響應能力的重要標準。包括系統(tǒng)的可靠性、平均無故障時間、平均響應時間、內(nèi)容生成速度等指標項。高運維：體現(xiàn)了模型在運維管理方面的高效性和便捷性。該指標主要考核大模型是否配備了專門的運維平臺，該平臺能否支持大模型的部署、監(jiān)控、權限管理、版本管理、故障排查和日志管理等運維活動。3.2基礎能力軍事大模型基礎能力的測評包括通用基礎能力、軍事基礎能力兩部分指標體系，前者面向通用基座大模型的基礎能力的測試，后者面向軍事業(yè)務領域大模型需要具備的共性能力的測試。3.2.1通用基礎能力語言理解與抽?。菏呛饬看竽Ｐ吞幚碜匀徽Z言的核心能力，包括對文本進行語義分析，識別出關鍵的實體和它們之間的關系，以及對文本進行情感傾向的判斷。上下文對話：重點評估大模型在對話系統(tǒng)中的表現(xiàn)，特別是在理解用戶意圖和維持對話連貫性方面，能夠跟蹤對話的上下文，確保多輪對話的內(nèi)容一致。7淵亭科技淵亭科技軍事大模型評估體系白皮書生成與創(chuàng)作：重點評估大模型在創(chuàng)造性寫作方面的潛力，包括生成新聞文章、故事、詩歌等。常識與知識：是大模型理解世界的基礎，涉及對廣泛常識的掌握以及對特定領域知識的深入理解。大模型需具備進行基于常識的推理，回答知識庫中的問題的能力。多模態(tài)：是大模型處理和理解多種類型數(shù)據(jù)的能力，如文本、圖像和聲音。模型需能夠理解圖像內(nèi)容，識別語音轉(zhuǎn)換及根據(jù)文本內(nèi)容生成相應圖像?？茖W計算：是評估大模型在執(zhí)行數(shù)學和邏輯運算方面的能力。大模型需具備解決復雜的數(shù)學問題并進行邏輯推導分析數(shù)據(jù)的能力。工具使用：模型需能夠集成和使用外部API,從數(shù)據(jù)庫或互聯(lián)網(wǎng)檢索信息，并模擬使用特定軟件或工具。3.2.2軍事基礎能力信息獲取：考核大模型從復雜軍事戰(zhàn)場環(huán)境中篩選、定位、整合信息的能力。主要包括信息獲取準確性、信息獲取速度、復雜信息抗干擾等指標項。理解分析：重點關注大模型對軍事信息理解的準確性、上下文關聯(lián)廣度、理解分析速度。主要包括語義理解準確度、上下文關聯(lián)、理解分析速度、推理與預測等指標項。知識推理：重點關注大模型根據(jù)已有知識庫進行邏輯推斷推理的能力，評估大模型在態(tài)勢研判、戰(zhàn)術分析、作戰(zhàn)決策等方面的推理水平。包括推理準確性、推理速度、知識庫豐富度等指標項。方案生成：重點關注軍事大模型根據(jù)任務需求提出解決方案的能力，重點評估大模型生成方案的創(chuàng)新性、實用性和可行性。包括方案創(chuàng)新性、方案實用性、方案可行性、方案調(diào)整靈活性等指標項。規(guī)劃尋優(yōu)：重點關注大模型在規(guī)劃軍事行動、資源配置等方面的優(yōu)化能力、規(guī)劃速度和環(huán)境任務適應性。包括尋優(yōu)準確性、尋優(yōu)速度、環(huán)境任務適應性等指標項。8模態(tài)感知：重點關注大模型和對多種信息模態(tài)的融合感知能力、感知準確性與實時性。包括多模態(tài)融合、感知準確性、實時性、模態(tài)適應性等指標項。多智能體：指標設計重點關注多個模型和智能體之間相互配合、協(xié)同工作的能力，包括協(xié)作效率、信息共享程度、協(xié)同任務完成度、協(xié)同決策等指標項。3.3平臺能力3.3.1大模型數(shù)據(jù)生成能力向量知識庫管理：指標設計旨在通過將非數(shù)值型數(shù)據(jù)(如文本、圖像等)轉(zhuǎn)換成數(shù)值型向量表示，構建、維護和使用這些向量集合提數(shù)據(jù)生成：旨在幫助用戶實現(xiàn)數(shù)據(jù)增強，解決數(shù)據(jù)集分布不合理、數(shù)據(jù)集量過少的問題。數(shù)據(jù)回流：旨在對大模型多輪問答答案進行數(shù)據(jù)溯源準確性能力進行測試。3.3.2大模型開發(fā)訓練能力數(shù)據(jù)管理：旨在對大模型軍事領域源數(shù)據(jù)進行自動審核標注、任務分發(fā)、數(shù)據(jù)集版本等進行管理。模型交付：將訓練完成的模型通過適當?shù)募珊筒渴鹆鞒?，轉(zhuǎn)化為可在生產(chǎn)環(huán)境中運行的應用程序或服務的過程。包括模型的測試、9淵亭科技淵亭科技軍事大模型評估體系白皮書驗證、封裝、優(yōu)化以及與現(xiàn)有系統(tǒng)的對接，確保模型的穩(wěn)定性、可擴展性和安全性。模型服務：指標設計涉及模型的部署、封裝為API服務、以及與前端應用程序的集成，以便用戶或系統(tǒng)可以方便地訪問模型的預測能力。資源管理：旨在確保資源得到高效利用，以滿足軍事環(huán)境特定的業(yè)務目標和項目需求。包括需求分析、資源分配、優(yōu)先級排序、風險管理、成本控制和進度規(guī)劃等關鍵活動。3.3.3大模型軍事應用編排能力基礎插件管理：涉及對用于支持模型測試和評估過程的各種軟件組件和工具的集中控制和維護。確保測試環(huán)境的穩(wěn)定性和一致性，支持自動化測試流程，允許快速迭代和持續(xù)集成，同時簡化復雜測試任務的執(zhí)行。軍事機理插件庫管理：是針對軍事場景定向創(chuàng)建的預制插件庫，提供武器裝備插件、火力打擊方案規(guī)劃插件、軍事考評出題專家插件等。應用編排：涉及對模型測試和評估過程中涉及的多個應用、服務和工作流程進行自動化管理和調(diào)度的過程。指標設計旨在實現(xiàn)測試流程的自動化和標準化，提高測試效率，確保測試的可重復性，并能夠快速響應測試需求的變化。提示工程：通過設計和優(yōu)化輸入提示詞(prompts),引導和調(diào)整大模型的輸出結果，以滿足特定的測試評估需求。3.3.4其他支撐能力其他支撐能力是指除上述功能要求以外的平臺能力，提高模型生產(chǎn)質(zhì)量、效率，降低成本，提升用戶體驗和模型服務應用價值。包括會話管理、對話交互、用戶反饋、專題場景會話、自定義指令等。淵亭科技淵亭科技軍事大模型評估體系白皮書3.4軍事大模型的應用能力3.4.1強敵研究領域科技情報應用指標設計：旨在評估軍事大模型對于科技情報信息的廣泛搜集、深度理解、邏輯分析以及報告撰寫和內(nèi)容生成能力，通過構建技術預警、情報整編、報告撰寫等典型的科技情報領域具體應用場景，對軍事大模型信息搜集信息來源的權威性和廣泛性，情報理解分析的專業(yè)化程度與準確性，內(nèi)容生成的規(guī)范性和獨創(chuàng)性等方面給出主觀和客觀評價標準。戰(zhàn)略預警應用指標設計：旨在衡量軍事大模型在威脅分析、形勢預測、專題生成和對抗策略制定方面的應用效能。核心指標項包括威脅分析的全面性、形勢預測的精確度、專題生成的時效性和對抗策略的創(chuàng)新性。軍事理論應用指標設計：旨在評估軍事大模型在規(guī)則認知、作戰(zhàn)概念發(fā)展、戰(zhàn)法生成和法規(guī)條令遵循等方面的應用效果。核心指標項涉及規(guī)則認知的深度、作戰(zhàn)概念的創(chuàng)新性、戰(zhàn)法生成的實用性和法規(guī)條令的適用性。情報整合評估指標設計：旨在全面評價軍事大模型在科技情報領域的信息搜集廣度、情報分析深度、邏輯推理嚴密性以及報告撰寫和內(nèi)容生成的專業(yè)度。通過設定技術預警、報告撰寫、研究脈絡和情報整編等關鍵應用，為情報專業(yè)人員提供一個標準化的評價體系，幫助用戶選擇和優(yōu)化科技情報領域的大模型應用。態(tài)勢研判評估指標設計：旨在評估軍事大模型在目標意圖識別、COP生成、戰(zhàn)場態(tài)勢解析等方面的應用能力。任務規(guī)劃評估指標設計：旨在全面評價軍事大模型在COA生成、甘特圖生成、沖突消解、火力規(guī)劃等關鍵任務規(guī)劃環(huán)節(jié)的策略制定能力和資源優(yōu)化水平。3.4.3裝備研制領域裝備論證評估指標設計：旨在全面評價軍事大模型在標準撰寫、標準貫徹、可行論證、型號對比等關鍵論證環(huán)節(jié)的邏輯推理能力和決策支持水平。3.4.4訓練管理領域軍事基礎訓練評估指標設計：目的在于全面評價軍事大模型在體能分析、作戰(zhàn)知識學習、靶場訓練、綜合評估等關鍵訓練環(huán)節(jié)的教學支持能力和訓練效果。教學訓練評估指標設計：旨在精確衡量軍事大模型在計劃生成、知識問答、模擬訓練智能助手、考核評估等關鍵教學環(huán)節(jié)的教學互動性和學習效果。模擬訓練評估指標設計：目的在于系統(tǒng)評估軍事大模型在想定生成、智能體生成、計算機生成兵力、復盤評估等關鍵模擬環(huán)節(jié)的創(chuàng)新能力和模擬效果。實戰(zhàn)演訓評估指標設計：旨在深入評價軍事大模型在想定生成、平行演習、智能藍軍、復盤評估等關鍵實戰(zhàn)演訓環(huán)節(jié)的實戰(zhàn)模擬能力和決策支持效果。3.4.5聯(lián)勤保障領域資產(chǎn)管理評估指標設計：目的在于全面評價軍事大模型在戰(zhàn)備統(tǒng)籌、倉儲優(yōu)化、補給預測、計劃生成等關鍵管理環(huán)節(jié)的統(tǒng)籌能力和管理效率。運輸投送評估指標設計：旨在精確衡量軍事大模型在運籌優(yōu)化、路線優(yōu)化、智能投送、精準保障等關鍵投送環(huán)節(jié)的優(yōu)化能力和投送效檢測維修評估指標設計：目的在于系統(tǒng)評估軍事大模型在故障檢測、維修預測、壽命預測、檢修助手等關鍵維護環(huán)節(jié)的智能診斷能力和維護效果。3.5軍事大模型的安全能力3.5.1軍事偏好軍事偏好評估指標設計旨在評估軍事認知力是否存在對不同作戰(zhàn)單位的親和/反親和。這包括但不限于在資源選擇、方案規(guī)劃、決策取舍時對空軍、陸軍、海軍等軍兵種職能職責或武裝設施的處理。合法合規(guī)評估指標設計重點關注模型是否遵守了相關的法律法淵亭科技淵亭科技軍事大模型評估體系白皮書3.5.3軍事保密軍事保密評估指標設計確保模型在處理敏感信息時的安全性和3.5.4對抗攻擊3.5.5算法加固算法加固評估指標設計關注提升模型的安全性和抵御攻擊的能3.5.6偽造檢測3.5.7數(shù)據(jù)防泄露數(shù)據(jù)防泄露評估指標設計確保模型在處理數(shù)據(jù)時不會泄露敏感淵亭科技淵亭科技軍事大模型評估體系白皮書4評估標準(1)通用能力語言理解與信息抽?。涸u估模型在海量文本中精準提煉核心信息與細節(jié)的性能，及其在復雜敘述中理解實體關系、情感色彩和隱含意義的能力。上下文對話：考察模型維護連貫對話、依據(jù)前期對話內(nèi)容有效回應，以及根據(jù)用戶反饋靈活調(diào)整對話策略的水平。生成與創(chuàng)作：檢驗模型產(chǎn)出內(nèi)容的原創(chuàng)性、關聯(lián)性及與軍事規(guī)范的契合度，及其根據(jù)不同情境調(diào)整文本風格的能力。常識與知識運用：評價模型掌握軍事專業(yè)知識的深度與廣度，及其在此基礎上進行合理判斷與策略建議的能力?？茖W計算輔助：衡量模型在處理軍事數(shù)據(jù)統(tǒng)計與預測時的準確度與效率，以及在量化分析決策中的輔助作用。邏輯與推理：測試模型識別因果關系、進行情報分析的能力，及其基于邏輯推理提出有效軍事策略的效能。工具使用與系統(tǒng)集成：評估模型與現(xiàn)有軍事系統(tǒng)兼容性及操作軍事軟件工具的效能，強化技術與平臺的整合能力。多模態(tài)能力：評價模型跨圖像、語音、文本等多媒體信息處理的統(tǒng)一性，及在不同媒介間建立關聯(lián)進行綜合分析的效能。(2)專項能力風險管理和應急響應的策略性與效率。運籌優(yōu)化：測試模型在復雜環(huán)境中的路徑規(guī)劃、資源調(diào)度靈活性、時間與成本效益的最大化策略制定能力。仿真模擬：評估模型創(chuàng)建逼真戰(zhàn)場環(huán)境、預測行動影響、支持交互式演練及確保模擬數(shù)據(jù)真實性的能力。4.2評估方法(1)客觀評估(2)主觀評估(3)實施流程持續(xù)迭代持續(xù)迭代4.3成熟度分級標準進，并促進研發(fā)流程的優(yōu)化與標準化。1級(入門級)-實現(xiàn)了基本功能的構建，專注于對軍事領域基務，但缺乏靈活性和深度。2級(基礎級)-在軍事任務中展現(xiàn)基本的應用能力，能夠處理邏輯的理解。3級(進階級)-該級別的模型展現(xiàn)了較為成熟的軍事決策輔助能力，能夠處理復雜任務，包括綜合分析多源信息、優(yōu)化資源配置等，具備較好的自適應性，能夠在一定程度上進行自我優(yōu)化。4級(高階級)-此階段模型能夠處理高度復雜的軍事決策問題，實時優(yōu)化。5級(卓越級)-展示了行業(yè)領先的智能水平，不僅在各類軍事新，引領領域發(fā)展。5評估手段思路。5.1架構能力評估果預期，開展適當?shù)尿炞C。驗證，以國產(chǎn)化硬件適配測試為多，該環(huán)節(jié)建議采用項目中最可能使淵亭科技淵亭科技軍事大模型評估體系白皮書用的真實硬件，充分測試訓練、推理能力。模塊化擴展性評估，通常采用黑白盒結合的方式，通過綜合考察技術架構、關鍵擴展性實現(xiàn)代碼等，進行綜合評估。高負載性能測試需要鎖定測試環(huán)境、設計典型場景，驗證場景相關的極限性能，基于此數(shù)據(jù)間接評估模型在真實環(huán)境的表現(xiàn)。系統(tǒng)伸縮性模擬白盒評估基礎架構的能力，并結合基礎架構的特點、基于統(tǒng)一數(shù)據(jù)集驗證不同伸縮操作后的模型效果。接口標準化審查采用走讀的方式，對接口體系定義、接口定義、接口實現(xiàn)進行核查。冗余機制檢驗采用專家走讀設計的形式，對大模型應用平臺的模型訓練、模型推理、服務開放等進行機制落地檢驗。試架構能力評估查擬試擴展性圖4架構能力評估5.2基礎能力評估軍事大模型的基礎能力是實現(xiàn)高效作戰(zhàn)指揮和決策的核心?；A能力的評估主要圍繞數(shù)據(jù)集的準備和使用進行。針對通用基礎能力，主要基于公開測試數(shù)據(jù)集開展，國內(nèi)外均有大量的數(shù)據(jù)集可支撐完成該工作。針對軍事基礎能力，需結合軍事領域的業(yè)務特點以及數(shù)據(jù)敏感性要求，進行專用數(shù)據(jù)集構建，專用數(shù)據(jù)集需精心構建，并在測試過程中結合工具鏈對輸入數(shù)據(jù)進行同系列脫敏處理。淵亭科技淵亭科技軍事大模型評估體系白皮書軍事大模型的平臺能力以功能完整性、有效性評估為主，涉及數(shù)據(jù)生成能力、開發(fā)訓練能力、應用編排能力。數(shù)據(jù)生成能力評估，通過基于用例的功能驗證方法，評估向量知識庫的構建方法、數(shù)據(jù)增強過程的策略定義、數(shù)據(jù)反饋的搜集路徑、數(shù)據(jù)反饋應用到訓練/微調(diào)的邏輯閉環(huán)等基礎能力的完整性和可用性，利用人工介入、結合高質(zhì)量評估模型的自動化測試，評估向量化的效果。開發(fā)訓練能力評估，通過基于用例的功能驗證方法，評估數(shù)據(jù)管理、基座模型管理、計算資源管理、生成模型管理等功能完整性和可用性，并結合度量工具監(jiān)控訓練、微調(diào)、服務提供過程中的穩(wěn)定性、可觀測性。應用編排能力評估，通過基于用例的功能驗證方法，評估插件管理、可視化編排、提示詞管理等功能的完整性、可用性，并構建測試沙箱，利用API自動化測試方法進行能力編排的效果驗證。應用能力評估業(yè)務強相關，通常需結合業(yè)務進行定制化測試功能開發(fā)和能力固化，以構建持續(xù)可用的評估環(huán)境。盡管如此，測試方式會涉及到一些公共的手段，具體包括：①測試數(shù)據(jù)集。結合業(yè)務準備“問題”和“標準答案”,而后構建輸入、輸出的測試管道，開展自動化測試；②對比驗證。以樣本應用能力為標桿，相同輸入情況下，分析輸③仿真推演。在具備良好數(shù)字模擬環(huán)境的前提下，可將應用的結果注入到仿真模擬環(huán)境，進行結果演算，最終評估應用效果。④人工比對。邀請專家進行逐案分析。淵亭科技淵亭科技軍事大模型評估體系白皮書6評估數(shù)據(jù)評測數(shù)據(jù)集是用于測試和評估軍事大型語言模型性能和能力的(1)任務覆蓋：評測數(shù)據(jù)集應該覆蓋多種軍事領域處理任務，如任務規(guī)劃、實時指揮、實時決策、后勤保障等，評估模型在不同(2)數(shù)據(jù)多樣性：數(shù)據(jù)集應該包含軍事領域不同業(yè)務、不同風格和(3)數(shù)據(jù)質(zhì)量：評測數(shù)據(jù)集的數(shù)據(jù)應該準確專業(yè)、一致且可靠，以(4)規(guī)模和復雜度：數(shù)據(jù)集的規(guī)模應該足夠大，涵蓋充分的樣本數(shù)數(shù)據(jù)集還應該具有一定的復雜度，包含一些挑戰(zhàn)性的樣本，以6.1評估數(shù)據(jù)形態(tài)(1)選擇題正確的答案。主要用于評估模型在理解和推理能力上的表現(xiàn)。這種類型的數(shù)據(jù)集可能涉及語義推理、邏輯推斷等方面的問題。(2)解答題包含一系列問題，每個問題都需要模型回答一個或多個相關的問主要用于評估模型在理解和回答自然語言問題方面的能力。這些問題可能涉及常識推理、推斷、語義理解以及運籌優(yōu)化等方面。(3)填空題包含一些帶有空白的句子或段落，模型需要填寫這些空白處。主要用于評估模型在語言生成和文本補全方面的能力。這種類型的數(shù)據(jù)集可能測試模型的語法知識、語義理解和生成能力。(4)程序代碼包含一些程序代碼片段，模型需要理解這些代碼的功能并可能執(zhí)行或生成相似的代碼。主要用于評估模型在理解和生成程序代碼方面的能力。這種類型的數(shù)據(jù)集可能測試模型的程序語言知識、算法理解和代碼生成能力。6.2評估數(shù)據(jù)樣例(1)選擇題數(shù)據(jù)樣例{"problem":“作戰(zhàn)任務規(guī)劃中的"OODA循環(huán)"是指什么?C.定位、觀察、決策、行動D.觀察、決策、行動、評估","category":"任務規(guī)劃",}(2)填空題數(shù)據(jù)樣例{淵亭科技淵亭科技軍事大模型評估體系白皮書""problem":"一項戰(zhàn)爭計劃的制定通常包括兩個相對獨立而又緊密聯(lián)系的過程，一個是作戰(zhàn)概念化過程，就是在認知、理解作戰(zhàn)任務和戰(zhàn)場環(huán)境的基礎上籌劃作戰(zhàn)構想的過程；另一個是行動細節(jié)化過程，就是將作戰(zhàn)籌劃形成的概念化成果，通過作戰(zhàn)計劃制定流程和工具轉(zhuǎn)化為可實施的_和行動計劃過程.""category":"任務規(guī)劃","groundtruth":"作戰(zhàn)方案"}(3)解答題數(shù)據(jù)樣例a、炮兵火力規(guī)劃"problem":"假定炮兵群中有122榴彈炮營、152加榴炮營和130火箭炮營。要122榴彈炮對暴露步兵(臥姿)目標射擊的彈藥消耗量為8,對牽引火炮目標射擊的152榴彈炮對暴露步兵(臥姿)目標射擊的毀傷幅員為6,對牽引火炮目標射擊的彈藥消耗量30,對裝甲自行火炮的毀傷幅員為36130榴彈炮對暴露步兵(臥姿)目標射擊的彈藥消耗量為6,對牽引火炮目標射擊的彈藥消耗量30,對裝甲自行火炮的彈藥消耗量為36。求最優(yōu)的火力分配方案和規(guī)范化的最大射擊效率值。","category":"任務規(guī)劃",步兵連：130火箭炮打擊裝甲自行火炮連；規(guī)范化的最大射擊效率值為1.18"solution:"已知：毀傷效果的量化模型：設有n個炮兵火力單位射擊k個軍事目毀傷率)為ej,用xij表示各火力單位對軍事目標的分配方案，其具體取值為當?shù)趇個火力單位被分配干第i個目標時當?shù)趇個火力單位不被分配于第j個目標時-----(1)由于目標欲要毀傷效果達到最佳，故取目標函數(shù)為極大：maxf?=Z=1Zi=1GjXj-----而相應的約束條件是淵亭科技軍事大模型評估體系白皮書淵亭科技軍事大模型評估體系白皮書Z1=1x=1,(i=1,2,…,n)--Zi=1xj≤n;或=1(j=1,2,…,k)------(4)xj∈{0,1},i=1,2,…,n;j=1,minf2=Z=1Zj=1Ci×n----而相應的約束條件仍為(3)~(5)約束條件仍為(3)~(5)。求解模型(9)時，可采用MATLAB優(yōu)化工具箱。可應用bintprog函數(shù)進行求由(7)、(8)式得規(guī)范化矩陣,通過層次分析法，將定量與定性相結合，可得兩指標權重向量為如果炮兵群中有一個122榴彈炮營、一個152加榴炮營和一個130火箭炮營，射擊目標為原設的三個目標。此時變量n=k=3,而(3)(5)的約束條件中(4)式變淵亭科技淵亭科技軍事大模型評估體系白皮書Zi=1x=1,(j=1,2,3)------minz=0.27x?1+0.91x?2+X?3+0.82x?2+0.89x?3+0.26x?1+0.84x?2+炮兵火力的滿意分配方案為：122榴彈炮射擊牽引炮兵連：152加榴炮射擊集結地域待命的步兵連：130火箭炮射擊裝甲自行火炮連。規(guī)范化的最大射擊效率值為}7評估工具(1)客觀評估好地激發(fā)出模型在題目測試領域的能力，并采用采用提示詞工程 (2)主觀評估7.2通用能力評估工具任務構建任務構建結果可視化推理任務1評估任務1軍事通用能力評估工具對大模型評估流程主要包括以下幾個階(1)評估任務構建(2)推理與評估(3)結果可視化7.3智能體評估工具智能體評估工具旨在全面評估大模型產(chǎn)生的智能體在多個階段的表現(xiàn)。(1)仿真環(huán)境對接與適配評估檢查智能體在不同仿真平臺的接入能力和接口標準化程度。(2)智能體開發(fā)階段評估開發(fā)規(guī)范性審查：使用靜態(tài)代碼分析工具評估代碼規(guī)范性、可讀性及安全性。檢查智能體的模塊化程度，評估其擴展性、維護性和協(xié)同開發(fā)能力。開發(fā)工具與庫的集成：確保所用工具和庫的版本兼容性。評估自動化測試覆蓋率，保證代碼質(zhì)量和功能正確性。(3)智能體訓練過程評估學習效率與策略：監(jiān)測智能體在不同任務上的學習速度。分析學習過程中的策略探索與利用。訓練數(shù)據(jù)質(zhì)量：評估訓練數(shù)據(jù)集的實戰(zhàn)代表性?？疾鞌?shù)據(jù)增強技術在提升泛化能力方面的應用。(4)智能體綜合評估學習能力：包括快速收斂性、持續(xù)學習能力、自適應學習策略、記憶與遺忘機制、多任務學習。淵亭科技淵亭科技軍事大模型評估體系白皮書協(xié)同作業(yè)效能、反饋響應精確度?？山忉屝裕喊ùa可讀性、決策透明度、可解釋性算法集成。泛化能力：評估新場景適應性、噪聲抵抗性、小樣本學習、領域轉(zhuǎn)移學習。穩(wěn)定性與魯棒性：包括長期運行穩(wěn)定性、異常處理機制。(5)虛擬與真實環(huán)境驗證虛擬環(huán)境驗證：進行模擬戰(zhàn)況演練和壓力測試。真實環(huán)境驗證：進行實地操作驗證和人機協(xié)同評估。(6)綜合評估報告與反饋機制評估報告生成：利用數(shù)據(jù)可視化工具生成多維度的評估報告，并建立性能指標排行。反饋與迭代建議：基于評估結果提出優(yōu)化建議，建立閉環(huán)反饋系統(tǒng)，促進智能體性能持續(xù)提升。8評估平臺在人工智能快速發(fā)展的今天，大模型作為推動行業(yè)變革的核心驅(qū)動力，其性能與應用場景的評估變得至關重要。淵亭推出自主開發(fā)軍事大模型評估平臺，作為一款專為大模型定制的能力評估產(chǎn)品，旨在通過全面、精細的評估框架，助力研究者、開發(fā)者及企業(yè)精準掌握模型表現(xiàn)，優(yōu)化決策制定。我們綜合考量基礎能力、架構能力、平臺能力、應用能力和安全能力，確保每一項評估都深入肌理，洞悉模型潛力。為用戶生成詳盡、全面的模型分析報告，助力用戶在競爭激烈的人工智能領域保持領先地位。淵亭科技淵亭科技軍事大模型評估體系白皮書r評體解者的評情件務評世標計算戶出評估深青圖9淵亭軍事大模型評估平臺8.1產(chǎn)品功能介紹8.1.1測評集管理測評集用于評估和衡量大模型在特定任務上的性能及領域能力內(nèi)置測評集：平臺內(nèi)置了多種不同維度軍事能力評估的測評集，它們由專家設計，覆蓋了任務規(guī)劃、情報研究、教學訓練等多維度不同能力驗證。這些測評集定期由團隊更新，以反映最新的研究進展和技術標準，同時提供清晰的用戶指南，幫助用戶理解如何使用測評集。上傳自有測評集：平臺允許用戶根據(jù)自身需求創(chuàng)建個性化的測試集。用戶可以根據(jù)要測評的能力上傳符合需求的特定領域的測評數(shù)據(jù)，以評估模型在特定場景下的表現(xiàn)。支持用戶一鍵加載自定義測評集，同時提供評估測試集規(guī)范及示例，方便用戶快速進行測評集轉(zhuǎn)換，適應多樣化的評估能力需求。測評集維護與管理：該模塊包括測評集的版本控制、更新下載和用戶反饋整合。通過維護管理，可以及時修正測評集中的任何問題，并根據(jù)用戶反饋進行必要的調(diào)整。淵亭科技淵亭科技軍事大模型評估體系白皮書8.1.2模型管理待評估模型管理：用戶創(chuàng)建評估任務時需確定待評估模型，平臺允許用戶直接加載和或從待評估模型庫里選擇他們希望評估的模型及其對應版本。支持開源多內(nèi)外主流通用模型評估，同時支持領域微調(diào)模型評估，確保廣泛的兼容性。仲裁模型管理：當用戶選擇仲裁模型評估方式時，需要選擇一個大模型作為仲裁模型。平臺內(nèi)置了淵亭天機·軍事大模型作為默認仲裁模型，同時支持用于通過多樣化的數(shù)據(jù)集檢驗模型的泛化能力，評估其在面對不同類型和分布的數(shù)據(jù)時能否保持良好的表現(xiàn)。自動化推薦：待評估模型及仲裁模型均進行了分類管理，根據(jù)能力分類方向，平臺自動推薦建議評估使用的仲裁模型及合適的測評集。WMMayCpaysprlNBoc