中國宏觀經(jīng)濟論壇-CMF中國宏觀經(jīng)濟專題報告（第73期）：大模型原理、進(jìn)展及其影響

大模型：原理、進(jìn)展及其影響主辦單位：中國人民大學(xué)國家發(fā)展與戰(zhàn)略研究院、中國人民大學(xué)經(jīng)濟學(xué)院、中誠信國際信用評級有限公司承辦單位：中國人民大學(xué)經(jīng)濟研究所大模型：原理、進(jìn)展及其影響報告人：文繼榮中國人民大學(xué)信息學(xué)院院長中國人民大學(xué)高瓴人工智能學(xué)院執(zhí)行院長國家高層次人才ChatGPT開啟了大模型浪潮–通過從大規(guī)模語料庫中學(xué)習(xí)語言規(guī)律，從而生成與人類語言相似的輸出–擬人化程度驚人，被認(rèn)為是人工智能里程碑式的突破比爾蓋茨：ChatGPT的重要性不亞于互聯(lián)網(wǎng)的發(fā)明2022年11月30日發(fā)布，5天獲得100萬用戶，今年1月份月活躍用戶數(shù)達(dá)1億ChatGPT的特點 有條有理道善解人意 6理解人類語言是人類探索文明發(fā)展的重要目標(biāo)計算機語言模型是對人腦的反向工程語言模型是對人腦的反向工程假設(shè)：世界知識和人類認(rèn)知能力蘊含在人類語言中問題：?可以對人類語言建模嗎？?語言模型是否能作為世界知識模型？?語言模型是否具有人類認(rèn)知能力？語言模型（人工神經(jīng)網(wǎng)絡(luò)）訓(xùn)練高瓴人工智能學(xué)院是中高瓴人工智能學(xué)院是中8統(tǒng)計機器學(xué)習(xí)神經(jīng)統(tǒng)計機器學(xué)習(xí)神經(jīng)預(yù)訓(xùn)練語言模型超大規(guī)模語言模型符號符號規(guī)則給定一組人工設(shè)定的規(guī)則，計算機通過對數(shù)據(jù)應(yīng)用這些規(guī)則來模擬自然語言理解初始的自動化初始的自動化解決嘗試在人工標(biāo)注的數(shù)據(jù)上進(jìn)行特征工程，訓(xùn)練機器學(xué)習(xí)模型參數(shù)，并將模型應(yīng)用于測試數(shù)據(jù)上用神經(jīng)網(wǎng)絡(luò)在大量數(shù)據(jù)上訓(xùn)練，使得網(wǎng)絡(luò)自主學(xué)會提取特征，并可以靈活搭建模型有監(jiān)督學(xué)習(xí)有監(jiān)督學(xué)習(xí)任務(wù)泛化性弱基于無標(biāo)注文本預(yù)訓(xùn)練語言“預(yù)訓(xùn)練-微調(diào)模式”工作，有監(jiān)督學(xué)習(xí)仍需要監(jiān)督學(xué)習(xí)仍需要監(jiān)督學(xué)習(xí)任務(wù)泛化性改善通過擴展語言模型規(guī)模，可以通過提示學(xué)習(xí)、情境學(xué)習(xí)等無需微調(diào)方式求解任務(wù)無/弱監(jiān)督學(xué)習(xí)無/弱監(jiān)督學(xué)習(xí)一定的通用能力任務(wù)求解能力任務(wù)求解能力word2vec、RNN-LM務(wù)式學(xué)習(xí)成本高、靈活性差word2vec、RNN-LM務(wù)式學(xué)習(xí)成本高、靈活性差缺乏知識、泛化性差預(yù)訓(xùn)練語言模型 202220182013202220182013s99lThechefcookedthemeal.lThechefcookedthe.突破lThechefcookedthemeal.lchefthemeal.和思維鏈能力InstructGPT和思維鏈能力InstructGPT模型元年20132013年2017年2018年2019年2020年2021年2022年各種預(yù)訓(xùn)練模型的參數(shù)量對比各種預(yù)訓(xùn)練模型的參數(shù)量對比參數(shù)量越多，人區(qū)分新聞是否由AI生成的準(zhǔn)確率越低?大模型可能難以直接解決一個困難的大問題。?可以在提問時加入引導(dǎo)，將大問題拆分為多個簡單的小問題，從而得到解答?或者只給一個提示，就可以對大模型進(jìn)行引導(dǎo)，提示其逐步地解決問題?Let’sthinkstepbystep.和思維鏈能力）：?收集人類真實指令，并且聘用了專門的合同工寫回答用于初始訓(xùn)練素材來自：素材來自：https://2/p/how-does-chatgpt）：?使用上述模型得到多個預(yù)測結(jié)果，請人按照回答質(zhì)量排序，訓(xùn)練出一個打分模型素材來自：素材來自：https://2/p/how-does-chatgpt）：l傳統(tǒng)強化學(xué)習(xí)：Agent根據(jù)反饋(rewards)選擇策略?預(yù)測模型扮演Agent，進(jìn)行策略選擇?評分模型提供rewards素材來自：素材來自：https://2/p/how-does-chatgptChatGPT的法寶之四：數(shù)據(jù)閉環(huán)+系統(tǒng)工程OpenA1在2015年作為一個非盈利實驗室運營，但為了吸引外部資金，已在2019商業(yè)化商業(yè)化2020202120222023研究研究使用垂域數(shù)據(jù)或人類標(biāo)注反饋數(shù)據(jù)持續(xù)訓(xùn)練，增強放近一周，最初一些問題（例如常識問題，安?尋找合作伙伴獲取訓(xùn)練數(shù)據(jù)：面向?qū)υ拡鼍?，和Twitter合作每天有大量人與人交互的數(shù)據(jù)產(chǎn)生，從而可以更好ChatGPTChatGPT優(yōu)秀體驗的原因：1）依托強大的基礎(chǔ)模型能力，是長期技術(shù)積累的結(jié)果；2）重視數(shù)據(jù)：持續(xù)收集和構(gòu)建高質(zhì)程：不僅是訓(xùn)練模型，是端到端復(fù)雜的系統(tǒng)工程；5)細(xì)節(jié)決定成?。阂陨瞎ぷ鞑粌H很系統(tǒng)，而且很細(xì)增強實時性和真實性支持多模態(tài)擴展知識和技能連接物理世界改進(jìn)復(fù)雜推理支持個性化提高訓(xùn)練和推理效率?Toolformer:LanguageModelsCanTeachThemselvestoUseTools.MetaAIResearch.Feb2023?在生成文本的過程中，遇到特定的任務(wù)，Toolformer會直接調(diào)用所需工具的API?比如說，在執(zhí)行這個任務(wù)：1400名參與者，有400人通過了測試，占多大比例？Toolformer直接“掏出”計算器，現(xiàn)場計算得出結(jié)果：29%。連接物理世界?ChatGPTforRobotics:DesignPrinciplesandModelAbilities,MicrosoftResearch.Feb2023?用ChatGPT的語言交互能力操縱機器人2023年3月15日：GPT-4發(fā)布！?圖片識別理解?更強的推理和更高的準(zhǔn)確性?文字輸入限制提升至2.5萬字?……多模態(tài)支持–看圖推理問：(看圖）手套掉下去會怎樣？答：它會掉到木板上，并且球會被彈飛。邏輯性和正確性–參加考試邏輯性和正確性–做物理題GPT-4解巴黎綜合理工學(xué)院的一道物理題，題目是法語，解答用英語。2023年3月16日：GPT-4全面接入Officel3月16日，微軟正式宣布推出Microsoft365Copilot，將GPT-4全面接入Office。lCEO納德拉在發(fā)布會上稱：今天，進(jìn)入人機交互的新時代，重新發(fā)明生產(chǎn)力。GPT-4接入Excel?Copilot可以從Excel數(shù)據(jù)中直接生成戰(zhàn)略分析2023年3月23日：ChatGPT插件發(fā)布?ChatGPT的應(yīng)用商店來了！>OpenAI開始建立應(yīng)用生態(tài)在需要的地方用自然語言調(diào)用插件我正在舊金山，這個周末想吃素食，能不能建議下，我周六去哪家餐館，周日按什么食譜做菜？請用WolframAlpha計算出食譜的熱量，最后在Instacart上訂購食材。找餐館計算熱量訂購食材2023年4月：自主智能體“Anautonomousagentisasystemsituatedwithinandapartofanenvironmentthatsensesthatenvironmentandactsonit,overtime,inpursuitofitsownagendaandsoastoeffectwhatitsensesinthefuture.”FranklinandGraesser(1997)2023年3月22日：《暫停大型人工智能研究》公開信2023年4月28日，政治局會議首提“通用人工智能”中共中央政治局2023年4月28日召開會議，會議指出“要重視通用人工智能發(fā)展，營造創(chuàng)新生態(tài)，重視防范風(fēng)險?！盋hatGPT帶來的虛假信息風(fēng)險?冒名問題（學(xué)術(shù)不端）?虛假信息傳播ChatGPT帶來的價值觀風(fēng)險?ChatGPT的價值觀傾向?AI機器人是有傾向的，或者更加確切地說，即便希望避免政治傾向，恐怕也很難避免。?有網(wǎng)友利用PoliticalCompass（一套主流的政治傾向測試）對ChatGPT進(jìn)行測試，發(fā)現(xiàn)針對其中的大多數(shù)問題，ChatGPT的回答更加接近于西方左翼的立場。ChatGPT帶來的價值觀風(fēng)險?ChatGPT的價值觀來源ChatGPT帶來的黑箱風(fēng)險?不確定性?ChatGPT輸出的結(jié)果具有一定的不確定性，可能會產(chǎn)生一些誤導(dǎo)性回答、充滿偏見的回答以及泄露敏感信息，造成一些不利后果。由于ChatGPT作答的具體過程是個“黑箱”，設(shè)計者無法在事前通過設(shè)計完全地杜絕這些風(fēng)險的出現(xiàn)，只能通過不斷改進(jìn)數(shù)據(jù)和算法，減少不確定性帶來的風(fēng)險。?操縱風(fēng)險?ChatGPT一類的AI設(shè)計者還有可能利用“黑箱”，來達(dá)到操縱特定的輸出結(jié)果。設(shè)計者可以通過操縱數(shù)據(jù)、參數(shù)、模型選擇等，影響AI的輸出結(jié)果，以達(dá)到自身的目的，而由于用戶很難理解其中的機制，這種操縱行為非常隱蔽，難以被公眾所察覺。這種操縱可能會導(dǎo)致偏見、不公平、不準(zhǔn)確的結(jié)果，影響用戶的思想和行為，帶來一定的社會風(fēng)險。ChatGPT帶來的侵權(quán)風(fēng)險?ChatGPT訓(xùn)練使用的數(shù)據(jù)可能包含受著作權(quán)保護(hù)的作品，如果未經(jīng)授權(quán)使用這些作品，有可能會侵犯著作權(quán)：?例如，OpenAI正面臨針對其產(chǎn)品Copilot的集體訴訟，被指控未經(jīng)授權(quán)使用了大量受著作權(quán)保護(hù)的代碼；?又如，許多媒體開始批評ChatGPT使用了它們的文章，但并未支付任何費用。ChatGPT帶來的侵權(quán)風(fēng)險還有很多?ChatGPT是否可以成為著作權(quán)主體？?ChatGPT生成的內(nèi)容能否構(gòu)成作品？或者在怎樣的條件下可以構(gòu)成作品？?如果構(gòu)成作品，權(quán)利人是誰？?如果不能構(gòu)成作品，是否可以基于反不正當(dāng)競爭法或其他法律，對生成內(nèi)容的復(fù)制傳播進(jìn)行一定限制？?人工智能生成內(nèi)容中如果存在與他人作品構(gòu)成實質(zhì)性相似的部分，人工智能系統(tǒng)研發(fā)者、人工智能服務(wù)提供者是否需要承擔(dān)侵權(quán)責(zé)任？?盡管侵權(quán)內(nèi)容是ChatGPT類服務(wù)提供者提供的，但為了促進(jìn)人工智能產(chǎn)業(yè)發(fā)展，法律是否可以為ChatGPT類服務(wù)提供者規(guī)定以“通知-刪除”為核心的“避風(fēng)港原則”？ChatGPT類服務(wù)提供者是否在一定情況下具有“過濾義務(wù)”？對產(chǎn)業(yè)界的影響?全球關(guān)注，有望引發(fā)新一輪產(chǎn)業(yè)革命?OpenAI聯(lián)手微軟研發(fā)NewBing，微軟市值增加5000億?谷歌面臨生死存亡，匆忙發(fā)布Bard，因為不及預(yù)期，市值蒸發(fā)7000億?國內(nèi)在追趕：百度、阿里、華為、訊飛等?機遇：首批掌握該技術(shù)的公司會有先發(fā)優(yōu)勢對學(xué)術(shù)界的影響?公認(rèn)ChatGPT是重大科技突破，看到了通用人工智能的曙光?會根本性改變?nèi)斯ぶ悄芎腿斯ぶ悄?的研究范式?會根本性改變教育方式?學(xué)術(shù)界難于擁有研制ChatGPT的算力和數(shù)據(jù)?機遇：首批掌握該技術(shù)的學(xué)校會有先發(fā)優(yōu)勢影響：不能用能用?長久難以解決的關(guān)鍵技術(shù)問題得到突破?所有傳統(tǒng)任務(wù)都可以被顯著改善?很多新應(yīng)用的大門打開了影響：專用通用?泛化能力大幅提高?通用人工智能（AGI）的一條可能路徑已經(jīng)清晰影響：體力勞動腦力勞動?人造大腦已經(jīng)出現(xiàn)?大量重復(fù)性、知識依賴性的腦力勞動將被替代?復(fù)雜問題求解？創(chuàng)造性？影響：數(shù)字世界物理世界?大模型的世界視野(WorldScopes)?當(dāng)數(shù)據(jù)集的范圍變得更大，基于它們訓(xùn)練得到的模型能力變得更強?大模型正在迅速走進(jìn)物理世界?硅基智能體，硅基生命？影響：自然科學(xué)實驗/abs/2304.05332驗?合成布洛芬?合成阿司匹林?合成阿斯巴甜?鈴木反應(yīng)機理研究Cross-couplingSuzukiand影響：社會科學(xué)實驗?借助大語言模型強大的理解能力賦能智能體?模擬用戶在推薦系統(tǒng)中的瀏覽和搜索等行為?模擬和推薦相關(guān)的社交行為，例如用戶在社交媒體上交談、發(fā)帖等?未來將在政府政策模擬，市場經(jīng)濟模擬等方面開展進(jìn)一步探索開源Github頁面：/RUC-GSAI/YuLan-Rec中國人民大學(xué)大模型研發(fā)情況團(tuán)隊在大模型方面具有扎實的研究基礎(chǔ)2022年，該期刊文章在社會科學(xué)與人類行為類別下載量達(dá)到前十位中國人民大學(xué)大模型研發(fā)情況?今年年初，組織團(tuán)隊完成大語言模型綜述學(xué)術(shù)界首篇以LLM為主題的綜述文章，已被引用300多次，GitHub獲星5.4K中國人民大學(xué)大模型研發(fā)情況?以“Know-how”為基本指導(dǎo)思想，構(gòu)建“玉蘭”大模型研究體系?自研大模型用于支持校內(nèi)跨學(xué)科科研、高考招生等重要活動類ChatGPT大語言模型提供量化后的65B、13B版本開源指令微調(diào)模型Yulan-Chat2023.6.8基于Yulan大模型構(gòu)建研究生態(tài)2023.6.8自研玉蘭大模型啟動訓(xùn)練?百億級別參數(shù)?精細(xì)的數(shù)據(jù)收集與清洗?可重啟的預(yù)訓(xùn)練數(shù)據(jù)策略啟動基座模型預(yù)訓(xùn)練工作2023.7.10未來已來謝謝！布之所以說ChatGPT的意義深刻，是因為語言語言始終在人類思想史，以及人工智能的歷GPT系列使用的是一種生成式語言模型，英文叫做GenerativeLanguageModel。程上下文依賴的問題，同時也能提高計算效率，模型構(gòu)的層次，通過層層抽象學(xué)習(xí)到更高層的語義，對概最重要的是，我們有海量的數(shù)據(jù)和巨大的算力。個詞是什么，通過大量的語料訓(xùn)練提高準(zhǔn)確率，最1）法寶一：“大”通過大數(shù)據(jù)、大算力得到一個大模型。GPT-3是1750億參會1200萬美元。GPT-3.5、GPT-4的參數(shù)量更大模型的參數(shù)可以類比為人腦的神經(jīng)元。神經(jīng)元之間有連800-1000億個神經(jīng)元，它們之間的連這是非常危險的。OpenAI聘請了很多人術(shù)上將其稱為RLHF，也就是基于人類反饋的4）法寶四：數(shù)據(jù)閉環(huán)+系統(tǒng)工程邏輯思考和推理能力是一籌莫展的，而Ch些難以從自然語言中學(xué)到的知識和技能，可以通數(shù)據(jù)和分析等。另一項值得關(guān)注的工作是Generative很多人覺得大模型的發(fā)展速度太快，可能會有很多潛在三、大模型的深刻影響事實上，現(xiàn)在已經(jīng)出現(xiàn)了這個問題。很多人很多人工智能領(lǐng)域的研究，包括人工智能+的研3）從“不能用”到“能用”4）從“專用”到“通用”5）從“體力勞動”到“腦力勞動”之所以要開發(fā)出我們自己的玉蘭系列大模型，論壇第二單元，結(jié)合CMF中國宏觀經(jīng)濟專題報告，各位專家圍繞“大模型未來的發(fā)的主要力量縮減之后，提升實體經(jīng)濟投資回報率和提高勞動生產(chǎn)率就需要在供給層面2.0版本，特別是在全要素生產(chǎn)率方面，人2）人工職能的硬件、軟件及應(yīng)用將在產(chǎn)業(yè)領(lǐng)域不斷深系統(tǒng)性推動人工智能大模型的發(fā)展；3）人工智能要素生產(chǎn)率呈現(xiàn)前期穩(wěn)定、后期明顯提升的趨勢。黃鐵軍：智力革命已經(jīng)打響，開源開放生態(tài)終將勝利局大模型的機構(gòu)，聚焦于探索大模型背后的技術(shù)體系。大2021年6月，我們思考了一個問題：大模型到底意要讓大模型的能力足夠強，服務(wù)足夠及時，就一定要盡可能因為大模型歸根結(jié)底是一個數(shù)字形式的智能服務(wù)，存在一定的壟斷屬性，再加上對大規(guī)模和實時數(shù)據(jù)的要求，運營難度是非常大的。2022年2月，智源開始研究誰有可能擁有這種大模型開啟了智業(yè)革命的時代，縱觀人類歷史，系統(tǒng)是由智源牽頭，多家共建的大模型開源開放開放將成為聯(lián)合各方的基本方式。實時行動。如此來看，當(dāng)前的神經(jīng)網(wǎng)絡(luò)還有很大的進(jìn)步空間，Transformer，而是類似于人腦的脈沖神經(jīng)網(wǎng)絡(luò)漆遠(yuǎn)：大模型發(fā)展與落地思考大模型的出現(xiàn)，如ChatGPT，讓我們看到了強人工智能（AGI）的曙光。微軟研究院的一篇文章《SparksofAGI》也對此進(jìn)行了深入的探討。對于那些長期從事人工智精力去訓(xùn)練不同的小模型，為解決一個個小任務(wù)。而現(xiàn)在，這種情況正在發(fā)生改變。大模型不僅能更好的跨領(lǐng)域泛化，而且能更好的推動產(chǎn)業(yè)發(fā)展和提升用戶交互水平。大模型的出現(xiàn)則改變了這一狀況。它具有很強的場景適應(yīng)能力，可以通過學(xué)習(xí)上已經(jīng)達(dá)到480億美元，并且仍在持續(xù)增長。2022年的投資額達(dá)到10倍，OpenAI便是其中的核心代表。其中，主要有三類企業(yè)。第一類是開發(fā)基礎(chǔ)模型但現(xiàn)在它發(fā)展迅速，成功地將生成式人工智能與協(xié)作和文檔等多種能力結(jié)合在一起；生成式AI在中國也發(fā)展地十分迅速。如阿里、百度、訊飛等大公司，以及許多初？）式人工智能可以讓一個相對初創(chuàng)公司對大規(guī)模公司產(chǎn)生非常有力的沖擊。微軟和做一個壓縮。傳統(tǒng)的網(wǎng)上公開數(shù)據(jù)已經(jīng)不再構(gòu)成護(hù)城河。未來的發(fā)展方向可能是在場景中打造真正需要的產(chǎn)品，將產(chǎn)品、算法和工程系統(tǒng)當(dāng)前，生成式人工智能總營收的10%-20%將流向云服務(wù)提供商，而應(yīng)用程序公司平均將20%-40%的年收入用于推理和定制化的微調(diào)，同時模型提供商也將一半的收入投入念，向我們證明了少量的員工也能產(chǎn)生巨大的影響力和價值。從這個案例中，我們可超過40%，這是一個驚人的數(shù)字。人工智能未來在金融、醫(yī)療、教育、游戲設(shè)計等行業(yè)理（agent）。代理是指在大語言模型基礎(chǔ)上增加規(guī)劃、反饋和使用工具的能力。它作為大模型與場景間價值傳遞的橋梁，能極大地拓展大模型的應(yīng)用邊界，使其成為一種至十億級的模型參數(shù)就能取得很好的效果。此外，國4、大模型作為生產(chǎn)力工具的挑戰(zhàn)盡。那么，未來的數(shù)據(jù)將從何處獲??？如何獲得大規(guī)模的算力支持？這些都是需要解在閱讀理解和數(shù)據(jù)推理的任務(wù)DROP上，GPT4落后于我們團(tuán)隊以前的QDGAT（Question型的大小并不是唯一重要因素。如果我們能夠進(jìn)行深入研究并結(jié)合其機制，也能取得三、大模型的應(yīng)用和發(fā)展方向例如，我們可以詢問大模型“美國CPI核心通脹率高于4%時，市場發(fā)生了什么？”對新能源領(lǐng)域，如風(fēng)力發(fā)電和光伏發(fā)電也有重大影響。我們利用復(fù)旦CFFF集群預(yù)報結(jié)果相當(dāng)，但預(yù)報速度從小時級提高到了大模型的研發(fā)如今才剛剛開始。它實際上是一個生態(tài)系統(tǒng)，需要產(chǎn)業(yè)、高校、服沈建光：大模型在經(jīng)濟活動中的應(yīng)用和前景提供服務(wù)，擁有5000萬種工業(yè)產(chǎn)品和800萬家活躍企業(yè)客戶。在全國范圍內(nèi)，我們涵蓋了200多個產(chǎn)業(yè)帶。這種規(guī)模非常值得研究。從產(chǎn)業(yè)鏈、供應(yīng)鏈的角度來看（包括金融的模型，直接為中小微企業(yè)提供高效、低成本三、大模型在營銷領(lǐng)域中的應(yīng)用使成本降低了90%。這是一個非常明顯的例子，展示了人工智能和大數(shù)據(jù)如何在產(chǎn)業(yè)上提高效率并降低成本。這種影響不僅在宏觀層面，在我李超：人工智能對宏觀經(jīng)濟的影響智能企業(yè)將成為未來十到二十年間反壟斷政策的最大受益者，有助于人工智能領(lǐng)域的些風(fēng)險都聚集于國家層面，因此未來金融危機基本只有一種形式，即主權(quán)債務(wù)危機。主權(quán)債務(wù)危機是一種較為劇烈的債務(wù)出清，對經(jīng)濟會造成巨大的沖擊。沫，而不同收入群體對資產(chǎn)價格泡沫的識別能力存在差異，進(jìn)當(dāng)這一差距達(dá)到一定極限時就會進(jìn)入民粹主義，即政治上的異化，對外轉(zhuǎn)移矛盾時就容易引發(fā)戰(zhàn)爭，戰(zhàn)爭毫無疑問是最慘烈的去債務(wù)方式。三、人工智能破解債務(wù)負(fù)向積累人工智能驅(qū)動的科技革命將極大的降低主權(quán)債務(wù)危機和戰(zhàn)爭爆發(fā)的風(fēng)險。微觀層面來看，人工智能將提升企業(yè)的資本回報率，破解企業(yè)層面的債務(wù)