大模型評測幻覺檢測-北京智源

大語言模型的幻覺檢測 02幻覺定義及檢測方法 02幻覺定義及檢測方法 03幻覺檢測工具構(gòu)建 03幻覺檢測工具構(gòu)建 04總結(jié)與展望我們所希望的評測范圍評測范圍被評測模型能力范圍實際可能的被評測模型能被評測模型能力范圍評測范圍甚至有可能被評測模型能被評測模型能力范圍評測范圍?我們不能預(yù)估模型的能力，只能不斷探索大模型能力的邊界模型評測模型能力探索模型評測模型能力探索大模型評測體系及開放評測平臺FlagEval天秤基礎(chǔ)模型支撐平臺與評測技術(shù)”旗艦項目支持下，智源研究院牽頭聯(lián)合多個團隊研制(2023~2025)向人工智能大模型工程化技術(shù)及應(yīng)用的產(chǎn)業(yè)公共?FlagEval已完成數(shù)十個國內(nèi)外主流開源模型的全面評測，在2023年完成了1800多模型評測次數(shù)，并連續(xù)14個月發(fā)布“大模型月度評測榜單”。的,但我嘗試從魯迅先生真實的經(jīng)歷和思想中汲取靈感,去想象周樹人和魯們銘記先賢,傳承他們的精神,用我們手中的"筆",書寫新時代的篇章。88幻覺定義及檢測方法幻覺的定義sources.100幻覺的定義事實性幻覺：強調(diào)生成的內(nèi)容與可驗證的現(xiàn)實世界事實之間的差異，通常表現(xiàn)為事實不一致或捏造事實。忠實性幻覺：指生成的內(nèi)容與用戶指令或輸入提供的上下文內(nèi)容不一致，以及生成內(nèi)容內(nèi)部上下文的不一致。11事實性幻覺檢測方法基于模型內(nèi)部行為的方法基于檢索的方法基于模型內(nèi)部行為的方法基于檢索的方法忠實性幻覺檢測方法2.2.用于自動化檢測的JudgeModel1.用于檢測的評測集幻覺檢測工具的構(gòu)建幻覺檢測的工作目標缺乏對幻覺信息的定位和解釋缺乏對幻覺信息的定位和解釋復(fù)雜場景依賴人工或裁判模型復(fù)雜場景下的幻覺檢測更多的依賴人工眾包，或者依賴如GPT-4作為裁判模型缺乏對話場景下的幻覺檢測更多是在句子&段落級別上進行檢測，少局限性幻覺檢測/定位/解釋?對主流的大語言模型進行了幻覺的檢測和評估第二步：幻覺檢測/定位/解釋信息生成（GPT-4生成）誘發(fā)式幻覺?含誘導(dǎo)信息的對話場景中產(chǎn)生的幻覺數(shù)據(jù)，生成幻覺的同時生成檢測/定位/解釋等信息（GPT-4生成）1.用于檢測的評測集?1.用于檢測的評測集?利用幻覺檢測標簽，可以評估LLM的幻覺檢測能力?利用幻覺定位和解釋信息，可以評估模型定位幻覺并提供理由的能力?利用HalluDial訓(xùn)練自己的幻覺評估器，自動的評估LLM的幻覺率?首個支持幻覺定位&解釋的檢測模型，支持更豐富的使用場景?幻覺檢測的精度達到SOTA；對幻覺定位及解釋也非常精準，人工檢驗HalluJudge的判斷有93.65%是合理的。?具有較高的泛化性，在同任務(wù)不同數(shù)據(jù)集上的檢測準確率可達82%以上?在不同任務(wù)不同數(shù)據(jù)集上，也有不俗表現(xiàn)，特別是在摘要類任務(wù)的幻覺檢測上?持續(xù)優(yōu)化中主流的大語言模型的幻覺率注：注：由于時間和資源的關(guān)系，除GPT系列外，尚未對閉源的LLM進行評測，后續(xù)將會集成到FlagEval平臺上，提供開放的評測服務(wù)，歡迎關(guān)注。開源鏈接：/FlagOpen/HalluDial22LLM容易產(chǎn)生幻覺的實例的主題分布LLM容易產(chǎn)生幻覺的實例的主題分布溫度對幻覺率的影響總結(jié)與展望??構(gòu)建了HalluDial，第一個用于對話級幻覺評估的大型基準，包含146,856個樣本的綜合數(shù)據(jù)集，以及幻覺檢測、定位和理由等詳細信息。?開發(fā)基于HalluDial訓(xùn)練的幻覺判斷語言模型HalluJudge，有助于法學(xué)碩士對話級幻覺的自動評估。?大語言模型普遍存在幻覺，GPT系列的模型幻覺率較低，部分國內(nèi)的開源模型表現(xiàn)良好。??大模型評測要