從大模型發(fā)展角度如何看待 DeepSeek 的突破_第1頁(yè)
從大模型發(fā)展角度如何看待 DeepSeek 的突破_第2頁(yè)
從大模型發(fā)展角度如何看待 DeepSeek 的突破_第3頁(yè)
從大模型發(fā)展角度如何看待 DeepSeek 的突破_第4頁(yè)
免費(fèi)預(yù)覽已結(jié)束，剩余2頁(yè)可下載查看

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

強(qiáng)化學(xué)習(xí)依賴于獎(jiǎng)勵(lì)函數(shù)，早期主要用于物理系統(tǒng)的狀態(tài)訓(xùn)練或者有簡(jiǎn)單規(guī)則約束的游戲大模型之后，開始是人工標(biāo)注訓(xùn)練數(shù)據(jù)的監(jiān)督學(xué)習(xí)好的大模型來制作獎(jiǎng)勵(lì)函數(shù)，問題解決了，這就是近期各種技術(shù)分析中的PPO（Proximal清，一系列論文鋪了路；DeepSeek如果還想要獲得準(zhǔn)確結(jié)果，只能依靠人來分解任務(wù)的方式進(jìn)行多次交互實(shí)現(xiàn)，或者，利用大模型“理解能力”的表現(xiàn)越來越像人，一方面，人們驚嘆于邏輯主義的“邏輯規(guī)則”是預(yù)設(shè)的，聯(lián)結(jié)主義得到的“邏輯規(guī)則”是總結(jié)的。微觀上看，邏輯主“控制自己”，更全面、實(shí)時(shí)、好用的控制，還依賴多模態(tài)、具身大模型“理解世界”、“理解自己”產(chǎn)生的意識(shí)內(nèi)容是否具有類似人的主觀性，鑒于人也沒有辦推理只激活一到兩個(gè)專家模塊，MoE劃分了多少個(gè)模塊，就能將成本降低到近似多少分之再說知識(shí)蒸餾問題，知識(shí)蒸餾有很多種形式，下面列舉幾個(gè)可能方式，1，同結(jié)布直接修改學(xué)生模型，成本極低。2，如果要做不同架構(gòu)，可以用教師模型生成高質(zhì)量的監(jiān)督學(xué)習(xí)訓(xùn)練集，由

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請(qǐng)與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論