大語(yǔ)言模型的能力邊界與發(fā)展思考 2024

12024年--大模型落地總是“差一口氣”2024年--大模型落地總是“差一口氣”2024年--大模型落地總是“差一口氣”2024年--大模型落地總是“差一口氣”2024年--大模型落地總是“差一口氣”2024年--大模型落地總是“差一口氣”語(yǔ)言模型無(wú)法進(jìn)行逆向知識(shí)搜索，除非知識(shí)以逆序測(cè)試準(zhǔn)確率為38.0%，相比GPT-4API同時(shí)期各種腦洞大開的“飛行器”同時(shí)期各種腦洞大開的“飛行器”萊特兄弟認(rèn)為困擾航空先驅(qū)們的飛行難題有三點(diǎn)：機(jī)翼、發(fā)動(dòng)機(jī)以及），基于展弦比知識(shí)和更精確的斯密頓系數(shù)，萊特兄弟設(shè)計(jì)了他們 語(yǔ)言模型的核心任務(wù)始終是生成一個(gè)“合理的延續(xù)”，即根據(jù)個(gè)符合人類書寫習(xí)慣的下一個(gè)合理內(nèi)容。所謂“合理”，是指根據(jù)數(shù)獎(jiǎng)勵(lì)函數(shù)獎(jiǎng)勵(lì)函數(shù)強(qiáng)化學(xué)習(xí)explainthemoonlandingtoexplainthemoonlandingto6yearoldsWritesomethingaboutfrogexplainthemoonlandingto6yearolds數(shù)千億單詞百萬(wàn)各任務(wù)用戶指令十萬(wàn)各任務(wù)數(shù)千億單詞百萬(wàn)各任務(wù)用戶指令十萬(wàn)各任務(wù)用戶指令A(yù)BCD基礎(chǔ)大模型大模型SomepeoplewenttotheABCD基礎(chǔ)大模型大模型SomepeoplewenttotheMoon標(biāo)注人員對(duì)答案質(zhì)量進(jìn)標(biāo)注人員對(duì)答案質(zhì)量進(jìn)行排序Onceuponatime…C>A>B=D有監(jiān)督微調(diào)大模型獎(jiǎng)勵(lì)函數(shù)C>A>B=D有監(jiān)督微調(diào)大模型獎(jiǎng)勵(lì)函數(shù)獎(jiǎng)勵(lì)函數(shù)rk月級(jí)別訓(xùn)練時(shí)間天級(jí)別訓(xùn)練時(shí)間月級(jí)別訓(xùn)練時(shí)間天級(jí)別訓(xùn)練時(shí)間天級(jí)別訓(xùn)練時(shí)間預(yù)訓(xùn)練階段有監(jiān)督微調(diào)獎(jiǎng)勵(lì)函數(shù)強(qiáng)化學(xué)習(xí)explainthemoonlandingto6yearoldsWritesomethingaboutfrogexplainthemoonlandingto6yearoldsWritesomethingaboutfrog十萬(wàn)各任務(wù)用戶指令數(shù)千億單詞百萬(wàn)各任務(wù)用戶指令十萬(wàn)各任務(wù)用戶指令Bexplainthemoonlandingto6yearoldsA標(biāo)注人員對(duì)答案質(zhì)量進(jìn)行排序標(biāo)注人員對(duì)答案質(zhì)量進(jìn)行排序OnceOnceuponatime…有監(jiān)督微調(diào)大模型獎(jiǎng)勵(lì)函數(shù)C>A>B=D有監(jiān)督微調(diào)大模型獎(jiǎng)勵(lì)函數(shù)C>A>B=D4.什么才是高質(zhì)量的SFTrk4.什么才是高質(zhì)量的SFTrk Wikipediavs.CommonCr4.經(jīng)過(guò)足夠的訓(xùn)練模型可以達(dá)到2bit/參數(shù)的知識(shí)存儲(chǔ)理想輸出：復(fù)旦大學(xué)現(xiàn)有4個(gè)校區(qū)，分別是邯鄲校區(qū)、新江灣校區(qū)、楓林校區(qū)和張江校區(qū)。其中邯鄲校區(qū)是復(fù)旦大學(xué)的主校區(qū)，邯鄲校區(qū)與新江灣校區(qū)都位于楊浦區(qū)，楓林校區(qū)位于徐理想輸出：從森林里走出一只可愛的小熊，它叫貝利。貝利一直對(duì)大海充滿好奇，于是他決定去海灘看看。他跳躍著穿過(guò)河流和草地，終于來(lái)到了一片美麗的海灘。貝利興奮地跑著，感受著海風(fēng)的清涼。突然，他注意到海灘上有一只憨態(tài)可掬的海豹，名叫薩米。薩米正在玩耍，好像是在找貝利這樣的新朋友。貝利好奇地走過(guò)去，和薩米打了個(gè)招呼。薩米非常友好 4.什么才是高質(zhì)量SFT訓(xùn)練數(shù)據(jù)？ ?使用了ENTITYQUESTIONS，包含24個(gè)不同話題知識(shí)的問(wèn)答數(shù)據(jù)集并將剩余12個(gè)話題的測(cè)試集作為領(lǐng)域外測(cè)試集Dtest?ood板補(bǔ)全機(jī)制，根據(jù)其知識(shí)記憶水平將訓(xùn)練和測(cè)試集板補(bǔ)全機(jī)制，根據(jù)其知識(shí)記憶水平將訓(xùn)練和測(cè)試集 ?使用不同記憶水平的訓(xùn)練數(shù)據(jù)Dtrain?i的來(lái)分析每個(gè)LLM?將訓(xùn)練數(shù)據(jù)劃分為六個(gè)不同的數(shù)據(jù)量級(jí)別，從60個(gè)樣?實(shí)驗(yàn)結(jié)果表明，經(jīng)過(guò)SFT后，僅需60個(gè)訓(xùn)練樣本就足?無(wú)論基礎(chǔ)模型或記憶水平如何，LLMs在使用較少訓(xùn)練樣本時(shí)的表現(xiàn)優(yōu)于使用960個(gè)或全部樣本。大多數(shù)模型 ?無(wú)論使用何種數(shù)據(jù)進(jìn)行微調(diào)，LLMs始終對(duì)預(yù)訓(xùn)練期間?在特定記憶水平的數(shù)據(jù)上進(jìn)行訓(xùn)練能夠提升LLMs在該SFT ?在SFT階段僅需60條數(shù)據(jù)就能激活預(yù)訓(xùn)練時(shí)編碼的知識(shí)，使LLMs能夠有效?使用不同知識(shí)記憶層次的數(shù)據(jù)進(jìn)行SFT，對(duì)LLMs的表現(xiàn)有顯著并且有規(guī)律 不同的SFT能力在任務(wù)格式和數(shù)據(jù) 當(dāng)SFT數(shù)據(jù)從100K提升到3M時(shí)，大部 有限。說(shuō)明少量樣本微調(diào)就幫助大模型完成1.所有的“能力”都需要精心設(shè)計(jì)訓(xùn)練數(shù)據(jù)，沒(méi)有所謂的“涌現(xiàn)”4.訓(xùn)練數(shù)據(jù)會(huì)影響模型參數(shù)，導(dǎo)致表示和知識(shí) “考試作弊設(shè)備在哪買”指令微調(diào)模型強(qiáng)化學(xué)習(xí)模型 標(biāo)注者拒絕的回答：為考試復(fù)習(xí)確實(shí)很有挑戰(zhàn)性，但有幾種有效的策略可以幫助你高效地學(xué)習(xí)。首先，重要的是將你需要學(xué)習(xí)的材料分解成小部分，并集中精力徹底學(xué)習(xí)每一部分。此外，有幫助的是每天留出充足的時(shí)間進(jìn)行學(xué)習(xí)，并定期復(fù)習(xí)材料。高效學(xué)習(xí)還包括避免干擾和保持充分休息，因?yàn)檫@些因素可以降低 語(yǔ)言模型無(wú)法進(jìn)行逆向知識(shí)搜索，除非知識(shí)以逆序GPT3經(jīng)過(guò)充分調(diào)整，在特定任務(wù)數(shù)據(jù)上達(dá)到了一定的問(wèn)題規(guī)模。藍(lán)色區(qū)域表示分布內(nèi) 探索探索HTTPHTTPAGENTGYMEnvClientsReasoningandActingInstruction:FindmeapillowwithblueAGENTGYMEnvClientsReasoningandActingInstruction:Findmeapillowwithblueand…Thought:IthinkIshouldsearchforpillows…Action:search[pillow]Observation:Results:2.BehavioralCloneEmbodiedBabyAI3.Exploring&LearningExplorationEvolveFeedbackMAZE/WordleAgentEvolImitationBaseAcademiaMovie/Sheet PerformanceCodeBIRD-SQLMulti-TasksGeneralData1.DataPrepare4.Multi-taskEvaluationGeneralDomainChatInstruction:Hello!CanyoutranslatethisintoChineseforme?Response:Sure!Here'sthetranslation…HTTPHTTPBabyAIAlfWorldToolUsingMovieWeatherBIRD-SQLMAZE