大模型評測：全方位評測神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)能力-北大+張銘

全方位評測神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)能力張銘簡介張銘主持的在研項目2023.10-2026.10，北大-安克具身智能聯(lián)合實驗室，安克創(chuàng)新2023.8–2024.8，低信噪比時序數(shù)據(jù)的可擴展式計算表征學(xué)習(xí)（二期正?教育部計算機教指委委員，獲2021年CCF杰出教育獎?主持北京大學(xué)《數(shù)據(jù)結(jié)構(gòu)與算法》，獲國家級精品課程、首批國家一流本科課程?北京大學(xué)《科技創(chuàng)新與創(chuàng)業(yè)》校友講座課程主持人 02多模態(tài) 02多模態(tài)STEM能力評測 03語言與社會規(guī)范評測 03語言與社會規(guī)范評測 04總結(jié)與展望背景與動機：多模態(tài)STEM數(shù)據(jù)集的缺乏制造一艘火箭，需要具備哪些能力？??STEM能力是解決真實世界中許多重要問題的基礎(chǔ)?模型是否理解多模態(tài)STEM科目的能力至關(guān)重要背景與動機：多模態(tài)STEM數(shù)據(jù)集的缺乏??過去的評測數(shù)據(jù)集常常只關(guān)注專家級別的能力，涵蓋的技能過于分散?缺少針對STEM科目的多模態(tài)數(shù)據(jù)集背景與動機：社會規(guī)范基礎(chǔ)能力評測的缺乏!??可信可靠的AI系統(tǒng)應(yīng)當(dāng)遵循一定的社會規(guī)范與習(xí)俗（SocialNorms）背景與動機：社會規(guī)范基礎(chǔ)能力評測的缺乏y…、Civics…、Civicsy??大語言模型對人類基礎(chǔ)的社會規(guī)范的理解能力在它們與人類合作過程中至關(guān)重要背景與動機：社會規(guī)范基礎(chǔ)能力評測的缺乏??過去的評測數(shù)據(jù)集常常只關(guān)注于高階的人類價值觀?缺少數(shù)據(jù)集用來評測模型對于社會規(guī)范形成過程中的基礎(chǔ)能力的掌握解決方案STEM數(shù)據(jù)集：評估模型的基礎(chǔ)STEM科目的能力Social數(shù)據(jù)集：評估模型對于基礎(chǔ)社會規(guī)范的掌握多模態(tài)STEM能力評測百萬量級多模態(tài)細(xì)粒度STEM評測數(shù)據(jù)集 https://arxiv./pdf/2402.17205STEM數(shù)據(jù)集：數(shù)據(jù)收集本報告的STEM數(shù)據(jù)主要來源于三個習(xí)題網(wǎng)站，通過程序爬取與人工檢查篩選的方式得到約百萬道題目STEM數(shù)據(jù)集：樣例提出的STEM數(shù)據(jù)集包含了STEM科了教育標(biāo)準(zhǔn)的K-12年級的難度每道題目都需要用到圖像感知能力，并包含年級與技能知識點的標(biāo)簽STEM數(shù)據(jù)集：基本統(tǒng)計數(shù)據(jù)集共包含了448個技能知識點，共1,073,146道選擇題，在技能知識點的數(shù)目與題目數(shù)量上均是最大規(guī)模的多模態(tài)STEM科目數(shù)據(jù)集按照6:2:2的比例分為訓(xùn)練集、驗證集、測試集STEM數(shù)據(jù)集：基本統(tǒng)計選項數(shù)量分布選項數(shù)量分布問題類型分布問題類型分布STEM數(shù)據(jù)集：技能知識點數(shù)據(jù)集包含了大規(guī)模的基礎(chǔ)STEM技能知識點STEM數(shù)據(jù)集：數(shù)據(jù)分布每個年級下的技能知識點數(shù)量與問題數(shù)量分布示意圖實驗設(shè)計：評測方法人類表現(xiàn)評估：測驗分?jǐn)?shù)與準(zhǔn)確率測驗分?jǐn)?shù)測驗分?jǐn)?shù)：考慮了學(xué)生學(xué)習(xí)進展用于評測人類對于STEM科目技能的掌握情況高于90.0的分?jǐn)?shù)被視為掌握了某個技能知識點人類準(zhǔn)確率：采樣了80道題目，人類準(zhǔn)確率為83.0%利用IXL網(wǎng)站的測驗分?jǐn)?shù)來比較模型與人類的表現(xiàn)差異，利用模型的輸出在網(wǎng)站測驗獲得分?jǐn)?shù)人類表現(xiàn)評估：測驗分?jǐn)?shù)與準(zhǔn)確率測驗分?jǐn)?shù)與模型準(zhǔn)確率測驗分?jǐn)?shù)與模型準(zhǔn)確率呈正相關(guān)主要實驗結(jié)果從準(zhǔn)確率與測驗分?jǐn)?shù)上看模型表現(xiàn)均仍弱于人類學(xué)生的平均水平主要實驗結(jié)果：分學(xué)科的情況問題變長、選項數(shù)量變多和樣例數(shù)量變少，模型的表現(xiàn)都會下降主要實驗結(jié)果：分?jǐn)?shù)與年級模型的測驗分?jǐn)?shù)隨著題目所屬年級的升高而降低實驗分析：細(xì)粒度分?jǐn)?shù)——困難的技能點：抽象知識與復(fù)雜推理實驗分析：案例分析困難的技能點：困難的技能點：抽象知識與復(fù)雜推理實驗分析：錯誤分析錯誤類型分析：錯誤類型分析：基于Zero-ShotCLIP模型采樣25個錯誤問題并人工分類實驗分析：模型能力校準(zhǔn)性（校準(zhǔn)性（Calibration微調(diào)過的模型具有更好的規(guī)模（規(guī)模（Scaling更大的模型具有更好的效果?我們評測了以CLIP為代表的多模態(tài)模型與以GPT-3.5-Turbo為代表的大語言模相關(guān)鏈接STEM數(shù)據(jù)集：評估模型的基礎(chǔ)STEM科目的能力語言與社會規(guī)范評測 /pdf/2404.02491/pdf/2404.02491每個年級的技能數(shù)量分布每個年級的技能數(shù)量分布每個年級的問題數(shù)量分布每個年級的問題數(shù)量分布預(yù)實驗：大語言模型的表現(xiàn)大語言模型帶來了明顯的效果提升，但仍然落后于人類表現(xiàn)預(yù)實驗：大語言模型的表現(xiàn)大語言模型帶來了明顯的效果提升，但仍然落后于人類表現(xiàn)，可以通過設(shè)計進一步的智能體框架進行提升符號知識符號知識如數(shù)學(xué)計算可以通過代碼執(zhí)行獲得LLMLLM推理知識推理知識可以幫助模型理解抽象與復(fù)雜概念我們設(shè)計了一個我們設(shè)計了一個多智能體交互的方案，增強模型在社會規(guī)范數(shù)據(jù)集上的表現(xiàn)設(shè)計思路：不同的智能體可以通過相互交流的方式增強彼此的能力，并獲得最終的答案主要實驗結(jié)果我們的多智能體交互的框架可以我們的多智能體交互的框架可以使LLMs達到和人類水實驗分析：模型能力模型效果隨規(guī)模增大而提升模型效果隨規(guī)模增大而提升消融實驗：推理模塊至關(guān)重要實驗分析：細(xì)粒度分?jǐn)?shù)這些技能需要這些技能需要更準(zhǔn)確的知識作為支撐，因此我們的多智能實驗分析：細(xì)粒度分?jǐn)?shù)類似于人類做題時類似于人類做題時隨年級提升，題目難度增大，題目準(zhǔn)確率降低，模型在測驗分?jǐn)?shù)與準(zhǔn)確率指標(biāo)上也有此特征?我們提出了評測大語言模型對于社會規(guī)范的基礎(chǔ)理解能力的大規(guī)模數(shù)據(jù)集，包含了K-12難度的402個技能知識點的基礎(chǔ)題目，共包含12,383道選擇題目；?我們評測了近期的LLMs，包括LLaMA-2和GPT-3.5-Turbo?我們提出了SocialAgent方案，可以增強模型的推理能力，并利用外部知識使模型更好地理解社會規(guī)范，通過該方法大模型在可以獲得和人類水平相當(dāng)?shù)谋憩F(xiàn)總結(jié)與展望?我們提出了評測大語言模型對于社會規(guī)范的基礎(chǔ)理解?我們評測了近期的LLMs，包括LLaMA-2和GPT-3.5-Turbo增強模型的推理能力與利用外部知識的能力STEM數(shù)據(jù)集（ICLR2024）?提出了最大規(guī)模的視覺-語言STEM科目數(shù)據(jù)集，包含?評測了以CLIP為代表的多模態(tài)模型與以GPT-3.5-?使用了在線習(xí)題網(wǎng)站來評測模型的測驗分?jǐn)?shù)，從而和任務(wù)二5個子賽道第1名任務(wù)一第3名總計約2000名參與者多模態(tài)評測方案在評測多模態(tài)能力嗎？?論文：https://huggingface.co/papers/2407.00468多模態(tài)評測方案在評測多模態(tài)能力嗎？多模態(tài)評測方案在評測多模態(tài)能力嗎？多模態(tài)評測方案在評測多模態(tài)能力嗎？多模態(tài)