AIIA PG 0161-2024 面向行業(yè)的大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用評估方法 第11 部分：文旅大模型

AIIA/PG0161-2024面向行業(yè)的大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用評估方法第11部分：文旅大模型Industryorientedlarge-scalepre-trainedmodeltechnologyandapplicationevaluationmethodsPart11:Culturalandtourismlarge-scalepre-trainedmodels2024-09-05發(fā)布2024-09-05實(shí)施中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟發(fā)布I 1 1 1 1 1 2 26.1.1?化場景 36.1.2旅游場景 6 96.2.1任務(wù)?持度 96.2.2性能優(yōu)越度 10 156.3.1服務(wù)多樣性 156.3.2服務(wù)成熟度 16海鷗、楊曉飛、賀琳、鄭會平、王勇、陳臻、陳澤斌、趙曉志、周支持度、應(yīng)用成熟度三大維度，綜合評估金支持度、應(yīng)用成熟度三大維度，綜合評估電支持度、應(yīng)用成熟度三大維度，綜合評估教支持度、應(yīng)用成熟度三大維度，綜合評估汽支持度、應(yīng)用成熟度三大維度，綜合評估傳支持度、應(yīng)用成熟度三大維度，綜合評估政支持度、應(yīng)用成熟度三大維度，綜合評估家支持度、應(yīng)用成熟度三大維度，綜合評估工支持度、應(yīng)用成熟度三大維度，綜合評估招1GB/T35273-2017信息安全技術(shù)個(gè)人通用大模型Generallargescalepre-traine文旅大模型Educationallargescalepre-tr4縮略語Recall-OrientedUnderstudyforGi2能力域能力子域能力項(xiàng)3化遺產(chǎn)（民間文學(xué)、傳統(tǒng)戲劇、傳統(tǒng)舞蹈、傳得分能力項(xiàng)分項(xiàng)要求44)文物知識推理：模型能夠理解和處理以可移動(dòng)文物和不可移動(dòng)文物為載體的b)主題覆蓋：模型能夠涵蓋各類文化主題，包括但不限于歷史、藝術(shù)、文學(xué)、民得分能力項(xiàng)分項(xiàng)要求評估目的：評估文旅大模型覆蓋的文化遺產(chǎn)保護(hù)1)安全監(jiān)測：包括但不限于城墻沉降監(jiān)測、白蟻監(jiān)測、裂縫傾斜監(jiān)測、非得分能力項(xiàng)分項(xiàng)要求55)文化景觀設(shè)計(jì)：包括但不限于為城市景觀提供具有文化特色的景觀設(shè)計(jì)方案得分能力項(xiàng)分項(xiàng)要求6得分能力項(xiàng)分項(xiàng)要求評估內(nèi)容：評估文旅大模型對旅游營銷場景應(yīng)b)營銷手段：包括但不限于社交媒體營銷、內(nèi)容營銷、活動(dòng)營銷、會員營銷、電子得分能力項(xiàng)分項(xiàng)要求7得分能力項(xiàng)分項(xiàng)要求得分能力項(xiàng)分項(xiàng)要求2.應(yīng)覆蓋1種及以上具體的旅游規(guī)劃任務(wù)評估內(nèi)容：評估文旅大模型對旅游規(guī)劃場景應(yīng)3)預(yù)算管理：模型能夠幫助用戶管理旅游預(yù)算，包括交通、住宿、餐飲、門票評估內(nèi)容：評估文旅大模型對景區(qū)管理場景應(yīng)81)景區(qū)優(yōu)化：包括但不限于景區(qū)布局優(yōu)化、景區(qū)服務(wù)優(yōu)化、設(shè)施配置3)交通管理：包括但不限于景區(qū)外部路況監(jiān)測、景區(qū)內(nèi)部交通規(guī)劃、景區(qū)內(nèi)部4)安全管理：包括但不限于安全隱患評估、應(yīng)急預(yù)案制定、應(yīng)急事件預(yù)警、應(yīng)得分能力項(xiàng)分項(xiàng)要求2.應(yīng)覆蓋9種及以上具體的景區(qū)管理任務(wù)評估內(nèi)容：評估文旅大模型對平臺服務(wù)場景應(yīng)5)體驗(yàn)評價(jià)：包括景點(diǎn)評價(jià)、酒店評價(jià)、餐飲評價(jià)等。得分能力項(xiàng)分項(xiàng)要求9得分能力項(xiàng)分項(xiàng)要求得分能力項(xiàng)分項(xiàng)要求評估內(nèi)容：評估文旅大模型對智能導(dǎo)游場景應(yīng)3)總結(jié)階段：評估智能導(dǎo)游是否能提供照片整理、游記生成、滿意度分析等；b)語言支持：包括但不限于中文、英文、韓文、德語、藏語、維吾爾語、蒙語等。評估目的：評估文旅大模型對檢索、分析、推薦、問答得分能力項(xiàng)分項(xiàng)要求相關(guān)結(jié)果數(shù)量得分能力項(xiàng)分項(xiàng)要求P——待分類的總文本數(shù)；得分能力項(xiàng)分項(xiàng)要求a)準(zhǔn)確率：調(diào)用文本內(nèi)容推薦接口獲取推薦結(jié)果，評分評分準(zhǔn)則推薦結(jié)果涵蓋用戶部分意圖，但最相關(guān)的內(nèi)容推推薦結(jié)果涵蓋用戶完整意圖，但最相關(guān)的內(nèi)容推得分能力項(xiàng)分項(xiàng)要求b)下文識別正確率，即多輪問答中某個(gè)輪次正確則視為下文識別正確，計(jì)算方式如接受度評分。每名評分人員的可接受度評分為其流暢性、連貫平均分，參測文旅大模型可接受度最終得分為多名評測人員可可接受度評分評分準(zhǔn)則流暢性連貫性有趣性得分能力項(xiàng)分項(xiàng)要求得分能力項(xiàng)分項(xiàng)要求得分能力項(xiàng)分項(xiàng)要求得分能力項(xiàng)分項(xiàng)要求得分能力項(xiàng)分項(xiàng)要求評估內(nèi)容：評估文旅大模型在應(yīng)用階段的是否具備實(shí)時(shí)c)排隊(duì)信息：提供各大景點(diǎn)的排隊(duì)信息，包括但不限于時(shí)長、預(yù)計(jì)等待時(shí)間等；e)衛(wèi)生間信息：提供各大景點(diǎn)的衛(wèi)生間信息，包括但不限于位置得分能力項(xiàng)分項(xiàng)要求評估內(nèi)容：評估文旅大模型在應(yīng)用階段是否具備完善的保障c)內(nèi)容安全：包括但不限于模型輸入信息檢測、模d)風(fēng)險(xiǎn)控制：包括但不限于模型外部攻擊檢測、供應(yīng)鏈安全檢測等；e)訪問控制：包括但不限于服務(wù)權(quán)限管理、人得分能力項(xiàng)分項(xiàng)要求評估內(nèi)容：評估文旅大模型在應(yīng)用階段是否具備b)回復(fù)客戶頻率：針對客服反饋問題回復(fù)的頻率，如按周、按天、得分得分能力項(xiàng)分項(xiàng)要求ES_T=R_Tfinish?R_Tstart（9）R_Tfinish——系統(tǒng)或應(yīng)用程序返回結(jié)果的時(shí)間（非流式）或系統(tǒng)或應(yīng)用程序返R_Tstart——用戶發(fā)起請求的開始時(shí)間。得分能力項(xiàng)分項(xiàng)要求a)操作系統(tǒng)兼容性：評估文旅大模型對主流操作系統(tǒng)的適配度，包括但不限于iOS、