ChatGPT的過(guò)去、現(xiàn)在與未來(lái)

哈爾濱工業(yè)大學(xué)/社會(huì)計(jì)算與信息檢索研究中心（SCIR）RESEARCHCENTERFORSOCIALCOMPUTINGANDINFORMATIONRETRIEVAL新聞報(bào)道新聞報(bào)道行業(yè)報(bào)告行業(yè)報(bào)告ChatGPT是2022年11月美國(guó)人工智能公司OpenAI所推出的生成式對(duì)話預(yù)訓(xùn)練模型。它通過(guò)對(duì)話的形式進(jìn)行交互，對(duì)話的形式使得其能夠回答后ChatGPT是2022年11月美國(guó)人工智能公司OpenAI所推出的生成式對(duì)話預(yù)訓(xùn)練模型。它通過(guò)對(duì)話的形式進(jìn)行交互，對(duì)話的形式使得其能夠回答后“智能行為包括知覺(jué)、“智能行為包括知覺(jué)、推理、學(xué)習(xí)、交流和在復(fù)雜環(huán)境中的行為。”——尼爾遜（美國(guó)斯坦福大學(xué)）移動(dòng)、飛翔、搬運(yùn)、操作······“人工”“人工”ArtificialIntelligence人工智能是人工制造出來(lái)的機(jī)器，行模擬的一門(mén)學(xué)科.“智能”“智能”?通常指人類(lèi)自身的智能（類(lèi)人智能）機(jī)器姬超能陸戰(zhàn)隊(duì)終結(jié)者終結(jié)者機(jī)器人總動(dòng)員掃地機(jī)器人跳舞機(jī)器人餐廳服務(wù)機(jī)器人.通用人工智能.機(jī)器具有真正的推理和解決.可能會(huì)對(duì)人類(lèi)生存產(chǎn)生威脅.暫時(shí)沒(méi)有實(shí)現(xiàn)的可能.超級(jí)人工智能是指具有自我意.在幾乎所有領(lǐng)域都比最聰明的集..完成特定任務(wù)的人工智能.表現(xiàn)出像是有智能的樣子.不具有自我意識(shí).不會(huì)威脅到人類(lèi)生存用計(jì)算機(jī)來(lái)理解和生成自然語(yǔ)言的各種理論和語(yǔ)言是更高級(jí)的一種認(rèn)知智能性性性性優(yōu)勢(shì)難點(diǎn) a 是aa 是a利用語(yǔ)言天然的順序性我喜歡吃土豆燉XX兩種任務(wù)類(lèi)型輸出層隱含層詞嵌入層輸入層我土豆吃喜歡吃吃純吃純通過(guò)歷史詞序列預(yù)測(cè)下一個(gè)詞通過(guò)周?chē)脑~預(yù)測(cè)中間的詞人驚訝的“智能”P(pán)re-TrainingKeyword:unsupervisedpre-tra siblingmodelsupervisedfine-tuning,auxiliaryobjectiv11234GPT-2GPTKeyword:unsupervisedpre-traininGPT-1的一個(gè)重要成就是其在各種理解任務(wù)上的具有較為出色的zero-shot性能GPT-1證明語(yǔ)言模型是有效的預(yù)訓(xùn)練目標(biāo)，可以幫助模型很好地推廣模型層數(shù)變化和參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響輸出：摘要輸入：“Englishsentence1=Frenchsentence1”+輸出：“Frenchsentence2”GPT-2在zero-shot設(shè)置下改進(jìn)了8種語(yǔ)言建模數(shù)據(jù)集中7種st傳統(tǒng)（稠密）注意力機(jī)制：局部注意力機(jī)制：膨脹（帶狀）注意力機(jī)制：架構(gòu)笨重，缺乏可解釋性缺少常識(shí)，對(duì)模型所產(chǎn)生的結(jié)果架構(gòu)笨重，缺乏可解釋性缺少常識(shí)，對(duì)模型所產(chǎn)生的結(jié)果數(shù)據(jù)偏見(jiàn)問(wèn)題GPT-3生成的文本具有其所訓(xùn)練語(yǔ)言的偏見(jiàn)5天）Qusetion:Whichishe5天）Qusetion:WhichisheQusetion:HowmanyeyedQusetion:Howmanyeyedoesmyfofew-zerofew-zero-one-InstructGPT演進(jìn)路徑（已知=>未知）/docs/moInstructGPT演進(jìn)路徑（能力猜測(cè)）InstructGPT演進(jìn)路徑（能力猜測(cè)）/docs/mo底座能力：大規(guī)模預(yù)訓(xùn)練模型模型規(guī)模足夠大才能有“涌現(xiàn)”的潛力將任務(wù)用Prompt形式統(tǒng)一精調(diào)語(yǔ)言模型（InstructionTuning）模型能夠處理未見(jiàn)任務(wù)思維鏈能力：在代碼上進(jìn)行繼續(xù)預(yù)訓(xùn)練代碼分步驟、模塊解決問(wèn)題和人類(lèi)對(duì)齊能力：RLHF結(jié)果更符合人類(lèi)的預(yù)期（多樣性、安全性）利用真實(shí)用戶的反饋（AI正循環(huán)、飛輪）指令微調(diào)（InstructionTuning）Credits:https://docs.cohere.ai/docs/prompt-engi指令微調(diào)（InstructionTuning）Credits:https://docs.cohere.ai/docs/prompt-engi情景學(xué)習(xí)（In-ContextLearning）Credits:https://docs.cohere.ai/docs/prompt-engi情景學(xué)習(xí)（In-ContextLearning）Credits:https://docs.cohere.ai/docs/prompt-engi思維鏈表示一系列中間推理步驟，相當(dāng)于在求解問(wèn)題過(guò)程中將解Wei.et.al.2022.Chain-of-ThoughtP思維鏈表示一系列中間推理步驟，相當(dāng)于在求解問(wèn)題過(guò)程中Wei.et.al.2022.Chain-of-ThoughtP人工收集、標(biāo)注訓(xùn)練樣本,進(jìn)行排序,訓(xùn)練獎(jiǎng)勵(lì)模型人工收集、標(biāo)注訓(xùn)練樣本,進(jìn)行排序,訓(xùn)練獎(jiǎng)勵(lì)模型通過(guò)獎(jiǎng)勵(lì)模型,利用強(qiáng)化學(xué)習(xí)的訓(xùn)練InstructGPT-beta版本SFT(Supervisedfine-tuning)：在人工書(shū)寫(xiě)的示例上Plain:標(biāo)注人員提出任意一個(gè)任務(wù)，同時(shí)保證任務(wù)的多樣性“查詢-回復(fù)”數(shù)據(jù)樣例/docs/mo標(biāo)注者選擇的模型最佳輸出上進(jìn)行有監(jiān)督微/docs/model-index-for收集排序數(shù)據(jù)，訓(xùn)練獎(jiǎng)勵(lì)模型獎(jiǎng)勵(lì)模型由參數(shù)量為6B的SFT模型初始化，輸入1[log(σ(Tθx,yw[log(σ(Tθx,yw?Tθ(x,yl)))]LossE0x,yw,yl~DPairwise能夠有效地增加訓(xùn)練數(shù)據(jù)如果將每個(gè)()候選pair當(dāng)作一個(gè)獨(dú)立的訓(xùn)練樣本，會(huì)導(dǎo)致過(guò)擬合使用強(qiáng)化學(xué)習(xí)PPO算法優(yōu)化policy□□優(yōu)化目標(biāo)中的正則項(xiàng)約束 rθx,y?βlog(πyx/πSFT rθx,y?βlog(πyx/πSFT(y|x))πφYEX~Dpretrain[log(π(x))]僅僅通過(guò)模擬人類(lèi)偏好來(lái)優(yōu)化模型會(huì)使得模型在很多NLP任務(wù)上性能加入一個(gè)額外的語(yǔ)言模型在預(yù)訓(xùn)練數(shù)據(jù)上的優(yōu)化目標(biāo)2231ChatGPT能夠生成更加翔實(shí)的回復(fù)：可能來(lái)ChatGPT更加擅長(zhǎng)多輪對(duì)話的內(nèi)容形式：可能來(lái)源于指令微調(diào)過(guò)發(fā)布時(shí)間在最近的一次訪談活動(dòng)中，OpenAI的上半年推出。他沒(méi)有給出具體的時(shí)間，負(fù)責(zé)任地運(yùn)行時(shí)，它自然就會(huì)出現(xiàn)?！蹦Ｐ蛥?shù)規(guī)模Altman還被問(wèn)及GPT-4的參數(shù)規(guī)模是否會(huì)像網(wǎng)上廣為流傳達(dá)到驚人的100萬(wàn)億參數(shù)，Altman稱其為“一派胡言”多模態(tài)模態(tài)模型，但是Altman在采訪中稱GPT4會(huì)和前三代一樣仍然是純?cè)~表優(yōu)化模型大小和訓(xùn)練數(shù)據(jù)規(guī)模應(yīng)該匹配。DeepMind通過(guò)實(shí)驗(yàn)表明，參數(shù)量為70B的Chinchilla模型，在使用下游任務(wù)上的性能都超過(guò)了在300Billiontokens上訓(xùn)練的280B計(jì)算優(yōu)化GPT4—Facts&ReasonableExpec最優(yōu)參數(shù)化