AIIA PG 0161-2024 面向行業(yè)的大規(guī)模預訓練模型技術和應用評估方法 第11 部分：文旅大模型

AIIA/PG0161-2024面向行業(yè)的大規(guī)模預訓練模型技術和應用評估方法第11部分：文旅大模型Industryorientedlarge-scalepre-trainedmodeltechnologyandapplicationevaluationmethodsPart11:Culturalandtourismlarge-scalepre-trainedmodels2024-09-05發(fā)布2024-09-05實施中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟發(fā)布I 1 1 1 1 1 2 26.1.1?化場景 36.1.2旅游場景 6 96.2.1任務?持度 96.2.2性能優(yōu)越度 10 156.3.1服務多樣性 156.3.2服務成熟度 16海鷗、楊曉飛、賀琳、鄭會平、王勇、陳臻、陳澤斌、趙曉志、周支持度、應用成熟度三大維度，綜合評估金支持度、應用成熟度三大維度，綜合評估電支持度、應用成熟度三大維度，綜合評估教支持度、應用成熟度三大維度，綜合評估汽支持度、應用成熟度三大維度，綜合評估傳支持度、應用成熟度三大維度，綜合評估政支持度、應用成熟度三大維度，綜合評估家支持度、應用成熟度三大維度，綜合評估工支持度、應用成熟度三大維度，綜合評估招1GB/T35273-2017信息安全技術個人通用大模型Generallargescalepre-traine文旅大模型Educationallargescalepre-tr4縮略語Recall-OrientedUnderstudyforGi2能力域能力子域能力項3化遺產(chǎn)（民間文學、傳統(tǒng)戲劇、傳統(tǒng)舞蹈、傳得分能力項分項要求44)文物知識推理：模型能夠理解和處理以可移動文物和不可移動文物為載體的b)主題覆蓋：模型能夠涵蓋各類文化主題，包括但不限于歷史、藝術、文學、民得分能力項分項要求評估目的：評估文旅大模型覆蓋的文化遺產(chǎn)保護1)安全監(jiān)測：包括但不限于城墻沉降監(jiān)測、白蟻監(jiān)測、裂縫傾斜監(jiān)測、非得分能力項分項要求55)文化景觀設計：包括但不限于為城市景觀提供具有文化特色的景觀設計方案得分能力項分項要求6得分能力項分項要求評估內(nèi)容：評估文旅大模型對旅游營銷場景應b)營銷手段：包括但不限于社交媒體營銷、內(nèi)容營銷、活動營銷、會員營銷、電子得分能力項分項要求7得分能力項分項要求得分能力項分項要求2.應覆蓋1種及以上具體的旅游規(guī)劃任務評估內(nèi)容：評估文旅大模型對旅游規(guī)劃場景應3)預算管理：模型能夠幫助用戶管理旅游預算，包括交通、住宿、餐飲、門票評估內(nèi)容：評估文旅大模型對景區(qū)管理場景應81)景區(qū)優(yōu)化：包括但不限于景區(qū)布局優(yōu)化、景區(qū)服務優(yōu)化、設施配置3)交通管理：包括但不限于景區(qū)外部路況監(jiān)測、景區(qū)內(nèi)部交通規(guī)劃、景區(qū)內(nèi)部4)安全管理：包括但不限于安全隱患評估、應急預案制定、應急事件預警、應得分能力項分項要求2.應覆蓋9種及以上具體的景區(qū)管理任務評估內(nèi)容：評估文旅大模型對平臺服務場景應5)體驗評價：包括景點評價、酒店評價、餐飲評價等。得分能力項分項要求9得分能力項分項要求得分能力項分項要求評估內(nèi)容：評估文旅大模型對智能導游場景應3)總結階段：評估智能導游是否能提供照片整理、游記生成、滿意度分析等；b)語言支持：包括但不限于中文、英文、韓文、德語、藏語、維吾爾語、蒙語等。評估目的：評估文旅大模型對檢索、分析、推薦、問答得分能力項分項要求相關結果數(shù)量得分能力項分項要求P——待分類的總文本數(shù)；得分能力項分項要求a)準確率：調(diào)用文本內(nèi)容推薦接口獲取推薦結果，評分評分準則推薦結果涵蓋用戶部分意圖，但最相關的內(nèi)容推推薦結果涵蓋用戶完整意圖，但最相關的內(nèi)容推得分能力項分項要求b)下文識別正確率，即多輪問答中某個輪次正確則視為下文識別正確，計算方式如接受度評分。每名評分人員的可接受度評分為其流暢性、連貫平均分，參測文旅大模型可接受度最終得分為多名評測人員可可接受度評分評分準則流暢性連貫性有趣性得分能力項分項要求得分能力項分項要求得分能力項分項要求得分能力項分項要求得分能力項分項要求評估內(nèi)容：評估文旅大模型在應用階段的是否具備實時c)排隊信息：提供各大景點的排隊信息，包括但不限于時長、預計等待時間等；e)衛(wèi)生間信息：提供各大景點的衛(wèi)生間信息，包括但不限于位置得分能力項分項要求評估內(nèi)容：評估文旅大模型在應用階段是否具備完善的保障c)內(nèi)容安全：包括但不限于模型輸入信息檢測、模d)風險控制：包括但不限于模型外部攻擊檢測、供應鏈安全檢測等；e)訪問控制：包括但不限于服務權限管理、人得分能力項分項要求評估內(nèi)容：評估文旅大模型在應用階段是否具備b)回復客戶頻率：針對客服反饋問題回復的頻率，如按周、按天、得分得分能力項分項要求ES_T=R_Tfinish?R_Tstart（9）R_Tfinish——系統(tǒng)或應用程序返回結果的時間（非流式）或系統(tǒng)或應用程序返R_Tstart——用戶發(fā)起請求的開始時間。得分能力項分項要求a)操作系統(tǒng)兼容性：評估文旅大模型對主流操作系統(tǒng)的適配度，包括但不限于iOS、