基于大模型的政務(wù)咨詢系統(tǒng)技術(shù)要求與評(píng)估方法

4基于大模型的政務(wù)咨詢系統(tǒng)技術(shù)要求與評(píng)估方法本文件面向以大規(guī)模與訓(xùn)練模型為技術(shù)底座，能夠提供智能問(wèn)答、政務(wù)咨詢、知識(shí)搜索等功能的基于大模型的政務(wù)咨詢系統(tǒng)。本文件規(guī)定了基于大模型的政務(wù)咨詢系統(tǒng)的功能、性能要求和評(píng)估方法，主要包括大模型基礎(chǔ)能力、政務(wù)咨詢業(yè)務(wù)能力、系統(tǒng)安全應(yīng)用能力及指標(biāo)評(píng)估方法四個(gè)部分。本文件適用于基于大模型的政務(wù)咨詢系統(tǒng)及同類產(chǎn)品的的研發(fā)、評(píng)估和驗(yàn)收等工作。2規(guī)范性引用文件下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T35282-2023信息安全技術(shù)電子政務(wù)移動(dòng)辦公系統(tǒng)安全技術(shù)規(guī)范GB/T31506-2022信息安全技術(shù)政務(wù)網(wǎng)站系統(tǒng)安全指南3術(shù)語(yǔ)和定義3.1大模型largemodel一種基于海量通用數(shù)據(jù)訓(xùn)練得到的大規(guī)模預(yù)訓(xùn)練模型，具備多個(gè)領(lǐng)域的任務(wù)能力且通用性較高，但在實(shí)際應(yīng)用場(chǎng)景中仍需結(jié)合生產(chǎn)數(shù)據(jù)進(jìn)行二次開發(fā)。4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。ROUGE：面向召回率的評(píng)價(jià)方法(Recall-OrientedUnderstudyforGistingEvaluation)LCS：最長(zhǎng)公共子序列(Longestcommonsubsequence)5指標(biāo)要求及評(píng)估方法概述5.1評(píng)估方法概述針對(duì)模型能力部分的評(píng)估方法包括檢查和測(cè)試兩類測(cè)評(píng)方法，具體為：a)檢查：檢查是通過(guò)對(duì)測(cè)評(píng)對(duì)象進(jìn)行觀察、查驗(yàn)、分析以幫助測(cè)評(píng)人員理解、澄清或取得證據(jù)的過(guò)程。檢查主要有評(píng)審、核查、審查、觀察、研究和分析等，檢查對(duì)象是文檔等；b)測(cè)試：測(cè)試是指使用預(yù)定的方法/工具使測(cè)評(píng)對(duì)象產(chǎn)生特定的結(jié)果，將運(yùn)行結(jié)果與預(yù)期的結(jié)果進(jìn)行比對(duì)的過(guò)程，主要包括人工評(píng)測(cè)、工具測(cè)試等測(cè)試操作。5.2指標(biāo)要求及評(píng)估方式概述表1指標(biāo)項(xiàng)與評(píng)估方式對(duì)照表指標(biāo)維度指標(biāo)項(xiàng)評(píng)估方式模型能力模型信息披露檢查5指標(biāo)維度指標(biāo)項(xiàng)評(píng)估方式文本分類測(cè)試語(yǔ)義理解測(cè)試澄清反問(wèn)測(cè)試情感分析測(cè)試信息摘要測(cè)試內(nèi)容生成測(cè)試系統(tǒng)功能信息檢索檢查智能對(duì)話檢查政務(wù)咨詢檢查文件解讀檢查智能填表檢查系統(tǒng)性能準(zhǔn)確性測(cè)試完整性測(cè)試友好性測(cè)試穩(wěn)定性測(cè)試實(shí)效性測(cè)試響應(yīng)時(shí)間測(cè)試系統(tǒng)安全可用內(nèi)容安全檢驗(yàn)、測(cè)試數(shù)據(jù)安全檢查應(yīng)用安全檢查服務(wù)可靠性檢查6指標(biāo)要求及評(píng)估方式詳述6.1模型能力6.1.1模型信息披露指標(biāo)要求：系統(tǒng)提供方應(yīng)向系統(tǒng)使用方披露模型基本信息。評(píng)估目的：收集模型基本信息以作為模型能力評(píng)估及模型成本投入的參考信息。評(píng)估方法：模型參數(shù)、訓(xùn)練數(shù)據(jù)、訓(xùn)練框架、時(shí)間成本及算力需求信息披露，具體如下：a)披露參測(cè)預(yù)訓(xùn)練模型的模型參數(shù)。對(duì)于單流結(jié)構(gòu)模型，披露模型需要存儲(chǔ)的參數(shù)量；對(duì)于雙流或多流結(jié)構(gòu)模型，分別統(tǒng)計(jì)各模型需要存儲(chǔ)的參數(shù)量，披露模型需要存儲(chǔ)的參數(shù)量總和。b)披露參測(cè)預(yù)訓(xùn)練模型的訓(xùn)練階段的數(shù)據(jù)集大小。c)披露參測(cè)預(yù)訓(xùn)練模型依賴的訓(xùn)練框架類別。d)估算預(yù)訓(xùn)練模型訓(xùn)練全程各節(jié)點(diǎn)的時(shí)間消耗總和，基于訓(xùn)練使用的設(shè)備信息，將訓(xùn)練設(shè)備對(duì)標(biāo)到基準(zhǔn)設(shè)備下，計(jì)算模型訓(xùn)練時(shí)使用設(shè)備與基準(zhǔn)設(shè)備的性能比值，換算出參測(cè)預(yù)訓(xùn)練模型在基準(zhǔn)設(shè)備下的總訓(xùn)練時(shí)長(zhǎng)。e)估算預(yù)訓(xùn)練模型訓(xùn)練全程各節(jié)點(diǎn)的時(shí)間消耗總和，基于訓(xùn)練使用的設(shè)備信息，將訓(xùn)練設(shè)備對(duì)標(biāo)到基準(zhǔn)設(shè)備下，計(jì)算模型訓(xùn)練時(shí)使用設(shè)備與基準(zhǔn)設(shè)備的性能比值，換算出參測(cè)預(yù)訓(xùn)練模型在基準(zhǔn)設(shè)備下的總訓(xùn)練時(shí)長(zhǎng)。66.1.2文本分類指標(biāo)要求：模型應(yīng)具備通用領(lǐng)域、政務(wù)領(lǐng)域、及政務(wù)業(yè)務(wù)領(lǐng)域文本分類能力。評(píng)估目的：評(píng)估大模型對(duì)文本分類任務(wù)的性能。評(píng)估方法：評(píng)估大模型對(duì)通用領(lǐng)域、政務(wù)領(lǐng)域、及政務(wù)業(yè)務(wù)領(lǐng)域文本進(jìn)行分類的準(zhǔn)確率，計(jì)算方法見(jiàn)公式：式中：PC——文本分類準(zhǔn)確率；P1——分類正確的文本數(shù)；P——待分類的總文本數(shù)；6.1.3語(yǔ)義理解指標(biāo)要求：模型應(yīng)具備語(yǔ)義理解能力，包括意圖理解、政務(wù)專有名詞理解等。評(píng)估目的：評(píng)估大模型對(duì)語(yǔ)義理解任務(wù)的性能。評(píng)估方法：評(píng)估對(duì)用戶咨詢?cè)捫g(shù)中語(yǔ)義理解能力，包括意圖理解、政務(wù)專有名詞理解等，具體如下：a)意圖理解性能評(píng)估方法：評(píng)估大模型對(duì)用戶咨詢?cè)捫g(shù)中單意圖、多意圖的理解準(zhǔn)確率，計(jì)算方法見(jiàn)公式式中：PF——意圖識(shí)別準(zhǔn)確率；F1——正確識(shí)別意圖的總句數(shù)；F——意圖識(shí)別數(shù)據(jù)總句數(shù)；b)政務(wù)專有名詞理解性能評(píng)估方法：評(píng)估大模型對(duì)政務(wù)專業(yè)名詞解釋的準(zhǔn)確率，計(jì)算方法見(jiàn)公式：式中：PC——政務(wù)專有名詞理解準(zhǔn)確率；P1——政務(wù)專有名詞正確解釋的總句數(shù)；F——政務(wù)專有名詞解釋的總句數(shù)；6.1.4信息摘要指標(biāo)要求：模型應(yīng)具備信息摘要能力，以支持用戶在政策、法規(guī)、辦事指南、通知等文件中快速獲取關(guān)鍵信息。評(píng)估目的：評(píng)估大模型信息摘要的性能。評(píng)估方式：評(píng)估大模型完成信息摘要任務(wù)的客觀指標(biāo)ROUGE-L-f值，計(jì)算方法見(jiàn)公式：7LCS(X,Y)RLCS=len(Y)LCS(X,Y)PLCS=len(Y)RLCS+β2PLCS(1RLCS+β2PLCSFlcs=式中：X——參考摘要；Y——生成摘要；LCS(X,Y)——X和Y的最大公共子字符串(LCS)的長(zhǎng)度；β——超參數(shù)；6.1.5內(nèi)容生成指標(biāo)要求：模型應(yīng)具備內(nèi)容生成能力，可針對(duì)用戶咨詢問(wèn)題生成可讀易懂的回復(fù)內(nèi)容。評(píng)估目的：評(píng)估大模型生成內(nèi)容的質(zhì)量。評(píng)估方法：采用人工評(píng)價(jià)法，對(duì)生成內(nèi)容進(jìn)行流暢性、連貫性主觀評(píng)價(jià)，具體評(píng)分要求參考下表：表2內(nèi)容生成評(píng)分準(zhǔn)則文本和前文無(wú)明顯邏輯矛盾，但和前文轉(zhuǎn)折不6.2系統(tǒng)功能6.2.1信息檢索指標(biāo)要求：系統(tǒng)應(yīng)具備信息檢索能力，在信息庫(kù)中快速檢索出用戶詢問(wèn)或搜索的對(duì)應(yīng)內(nèi)容。評(píng)估目的：檢驗(yàn)系統(tǒng)是否具備政務(wù)信息檢索功能。評(píng)估方法：a)材料調(diào)研：1)材料中簡(jiǎn)述實(shí)現(xiàn)信息檢索功能的技術(shù)方法；2)材料中簡(jiǎn)述信息檢索功能實(shí)現(xiàn)情況（如信息源、檢索維度、檢索方式等）。b)模擬演示1)依照材料中信息檢索功能實(shí)現(xiàn)情況進(jìn)行系統(tǒng)操作演示；2)記錄系統(tǒng)演示效果。6.2.2政務(wù)咨詢指標(biāo)要求：系統(tǒng)應(yīng)具備政務(wù)咨詢能力，可針對(duì)用戶咨詢的政務(wù)相關(guān)問(wèn)題做出回答。評(píng)估目的：檢驗(yàn)系統(tǒng)是否具備政務(wù)咨詢功能。評(píng)估方法：8a)材料調(diào)研：1)材料中簡(jiǎn)述實(shí)現(xiàn)政務(wù)咨詢功能的技術(shù)方法；2)材料中簡(jiǎn)述信息政務(wù)咨詢能力范圍（如咨詢內(nèi)容覆蓋度、咨詢方式、轉(zhuǎn)人工邏輯等）。b)模擬演示1)演示材料中提到的信息檢索能力；2)記錄系統(tǒng)演示效果。6.2.3智能對(duì)話指標(biāo)要求：a)應(yīng)具備單輪對(duì)話能力；b)應(yīng)具備多輪對(duì)話能力；c)應(yīng)具備多類型智能對(duì)話能力，如任務(wù)式對(duì)話、閑聊式對(duì)話等；d)宜具備多語(yǔ)種對(duì)話能力。評(píng)估目的：評(píng)估系統(tǒng)是否具備智能對(duì)話多項(xiàng)能力。評(píng)估方法：a)材料調(diào)研：1)材料中簡(jiǎn)述系統(tǒng)具備哪些智能對(duì)話能力；2)材料中簡(jiǎn)述系統(tǒng)智能對(duì)話優(yōu)化方式。b)模擬演示1)演示材料中提到的智能對(duì)話能力；2)記錄系統(tǒng)演示效果。6.2.4政策解讀指標(biāo)要求：系統(tǒng)宜具備政策解讀能力，以輔助工作人員快速了解各類政府文件中的內(nèi)容。評(píng)估目的：檢驗(yàn)系統(tǒng)是否具備政策解讀功能。評(píng)估方法：a)材料調(diào)研：1)材料中簡(jiǎn)述實(shí)現(xiàn)政策解讀功能的使用方法；2)材料中簡(jiǎn)述信息政策解讀能力范圍（如內(nèi)容顆粒度、解讀內(nèi)容呈現(xiàn)等）。b)模擬演示1)演示材料中提到的政策解讀能力；2)記錄系統(tǒng)演示效果。6.2.5智能填表指標(biāo)要求：系統(tǒng)宜具備智能填表能力，以輔助工作人員及用戶快速填制相關(guān)表格。評(píng)估目的：檢驗(yàn)系統(tǒng)是否具備智能填表功能。評(píng)估方法：a)材料調(diào)研：1)材料中簡(jiǎn)述實(shí)現(xiàn)智能填表功能的使用方法；2)材料中簡(jiǎn)述信息智能填表能力范圍（如表單類型、可填內(nèi)容等）。b)模擬演示91)演示材料中提到的智能填表能力；2)記錄系統(tǒng)演示效果。6.3服務(wù)性能6.3.1準(zhǔn)確性指標(biāo)要求：系統(tǒng)政務(wù)問(wèn)詢能力應(yīng)具備準(zhǔn)確性，回復(fù)內(nèi)容應(yīng)包含問(wèn)題中提到的關(guān)鍵知識(shí)點(diǎn)，并且可對(duì)用戶意圖進(jìn)行準(zhǔn)確理解，模糊意圖問(wèn)題進(jìn)行澄清和反問(wèn)等能力。評(píng)估目的：評(píng)估政務(wù)問(wèn)詢回答準(zhǔn)確性。評(píng)估方法：采用人工評(píng)價(jià)法，對(duì)問(wèn)詢答案進(jìn)行準(zhǔn)確性主觀評(píng)價(jià)，具體評(píng)分要求參考下表：表3政務(wù)咨詢準(zhǔn)確性評(píng)分準(zhǔn)則用戶意圖理解全面且準(zhǔn)確，關(guān)鍵知識(shí)點(diǎn)回答存6.3.2完整性指標(biāo)要求：系統(tǒng)政務(wù)問(wèn)詢能力應(yīng)具備完整性，回復(fù)內(nèi)容應(yīng)確保答案內(nèi)容全面、完整、無(wú)重要信息遺漏，并提供關(guān)聯(lián)知識(shí)參考。評(píng)估目的：評(píng)估政務(wù)問(wèn)詢回答完整性。評(píng)估方法：采用人工評(píng)價(jià)法，對(duì)問(wèn)詢答案進(jìn)行完整性主觀評(píng)價(jià)，具體評(píng)分要求參考下表：表4政務(wù)咨詢完整性評(píng)分準(zhǔn)則6.3.3友好性指標(biāo)要求：系統(tǒng)政務(wù)問(wèn)詢能力應(yīng)具備友好性，應(yīng)確保系統(tǒng)回答的內(nèi)容易于理解和接受，符合用戶的語(yǔ)言習(xí)慣和心理預(yù)期，盡可能用通俗易懂便于理解的形式回答問(wèn)題，提高用戶的滿意度和體驗(yàn)感。評(píng)估目的：評(píng)估政務(wù)問(wèn)詢回答友好性。評(píng)估方法：采用人工評(píng)價(jià)法，對(duì)問(wèn)詢答案進(jìn)行完整性主觀評(píng)價(jià)，具體評(píng)分要求參考下表：表5政務(wù)咨詢友好性評(píng)分準(zhǔn)則答案表達(dá)方式清晰但缺乏一些深入的解釋，對(duì)負(fù)面6.3.4時(shí)效性指標(biāo)要求：系統(tǒng)政務(wù)問(wèn)詢能力應(yīng)具備時(shí)效性，確保輸出輸出的時(shí)效性，輸出內(nèi)容在有效期內(nèi)，能夠識(shí)別并過(guò)濾過(guò)期內(nèi)容。評(píng)估目的：評(píng)估政務(wù)問(wèn)詢回答友好性。評(píng)估方法：采用人工評(píng)價(jià)法，對(duì)問(wèn)詢答案進(jìn)行完整性主觀評(píng)價(jià)，具體評(píng)分要求參考下表：表6政務(wù)咨詢時(shí)效性評(píng)分準(zhǔn)則答案內(nèi)容存在有部分不合時(shí)宜，信息不會(huì)對(duì)6.4系統(tǒng)安全可用6.4.1內(nèi)容安全指標(biāo)要求：a)應(yīng)具備意識(shí)形態(tài)安全性，b)應(yīng)不涉及違法及倫理道德內(nèi)容。評(píng)估目的：評(píng)估系統(tǒng)輸出內(nèi)容安全性。評(píng)估方法：技術(shù)測(cè)試和專家攻擊等。6.4.2數(shù)據(jù)安全指標(biāo)要求：系統(tǒng)應(yīng)參照GB/T35282-2023中9.5的要求。評(píng)估目的：評(píng)估系統(tǒng)是否滿足GB/T35282-2023中9.5的要求。評(píng)估方法：應(yīng)參照GB/T35282-2023中11.1.2.3的測(cè)試方法。6.4.3應(yīng)用安全指