2024年面向未來的前沿AI監(jiān)管：前沿AI模型未來算力預(yù)測報(bào)告

VCNASVCNAS2024年3月面向未來的前沿AI監(jiān)管關(guān)于作者器系統(tǒng)自主性的政策。他擁有倫敦大學(xué)國王學(xué)院的戰(zhàn)爭研究博濟(jì)學(xué)和公共政策碩士學(xué)位，以及圣華盛頓大學(xué)的物理學(xué)學(xué)士學(xué)關(guān)于技術(shù)與國家安全計(jì)劃CNAS技術(shù)與國家安全計(jì)劃探討了與新興技術(shù)相關(guān)的政關(guān)于人工智能安全與穩(wěn)定項(xiàng)目CNASAI安全與穩(wěn)定項(xiàng)目是一項(xiàng)為期多年、多項(xiàng)目的工智能相關(guān)的既定和新出現(xiàn)的風(fēng)險(xiǎn)。這項(xiàng)工作的重點(diǎn)是預(yù)測智能故障，改善美國S.國防部的人工智能測試和評估流程Acknowledgments助于進(jìn)一步向政策制定者展示他們的見解。這份報(bào)告建立在LeartHeim和JaimeSevil。作為一家致力于組織，知識和個人誠信的最高標(biāo)準(zhǔn)的研究和政策保持嚴(yán)格的知識獨(dú)立性和對其思想，項(xiàng)目，出版物，活動和其他容僅反映其作者的觀點(diǎn)。根據(jù)其使命和價值觀，CNAS不參與游全遵守所有適用的聯(lián)邦、州和地方法律。CNAS不會代表任何實(shí)TABLEOFCONTENTS01執(zhí)行摘要03Introduction0607080912成本和對AI模型的訪問對政策制定者的影響了解成本和計(jì)算增長相關(guān)工作當(dāng)前最佳估計(jì)和假設(shè)第二部分：分析172123272832成本和計(jì)算預(yù)測成本增長限制硬件改進(jìn)的限制增殖硬件受限演員的成本計(jì)算監(jiān)管閾值35Conclusion36附錄44精選參考書目技術(shù)與國家安全|2024年3月執(zhí)行摘要 用于訓(xùn)練前沿用于訓(xùn)練前沿AI模型的計(jì)算機(jī)隨著時間的推移而出現(xiàn)訓(xùn)練計(jì)算(FLOP)20222024202620282030203220342036203820402042計(jì)算(會計(jì)成本高低計(jì)算估計(jì)和硬件約束)(95%置信區(qū)間)2@@CNASDC通過算法改進(jìn)，有效的計(jì)算隨時間增長GPT-4估計(jì)計(jì)算有效計(jì)算(考慮成本和硬件限制)$1T$10B$1B$100M20222024202620282030203220342036203820402042培訓(xùn)費(fèi)用(任意錐形成本增長預(yù)測)高-低成本估算技術(shù)與國家安全|2024年3月 Introduction 2培訓(xùn)當(dāng)前前沿模型的成本3當(dāng)前的趨勢表明，未來的AI系統(tǒng)將比當(dāng)今的技術(shù)水平強(qiáng)大得多。3@@CNASDC研究問題AI模型的計(jì)算量和訓(xùn)練成本將如何隨著時間的推進(jìn)近45技術(shù)與國家安全|2024年3月成本和對AI模型的訪問了潛在危害最大和最有能力的大型語言模型具有兩用功能。@@CNASDC,一旦模型是開源的，它就會迅速擴(kuò)散。TT。反補(bǔ)貼趨勢增加模型訪問23 7技術(shù)與國家安全|2024年3月了解成本和計(jì)算增長例用更多的計(jì)算量和更多的訓(xùn)練數(shù)據(jù)訓(xùn)練更大的模型可以提高性能。@@CNASDC34計(jì)算長算法效率36改進(jìn)和計(jì)算費(fèi)用的增加，未來的前沿模型將使用更多的計(jì)算。算法的改進(jìn)使研究人員能夠更有效地使用這種計(jì)算，從而獲得更好的性能。本文將增加的計(jì)算和算法改進(jìn)的綜合效果顯示為的有效計(jì)算能力）表示。38相關(guān)工作TT9@CNASDC訓(xùn)練計(jì)算(FLOP)增量改進(jìn)2022GPT224估計(jì)計(jì)2算02620282030203220342036203820402042有效計(jì)算202220282030203220342036203820402042202220282030203220342036203820402042@@CNASDC41算法的改進(jìn)會影響模型使用計(jì)算的效率。技術(shù)與國家安全|2024年3月475558當(dāng)前最佳估計(jì)和假設(shè)@@CNASDC硬件性能成本增長62算法效率64當(dāng)前成本當(dāng)前計(jì)算256725Assumptions技術(shù)與國家安全|2024年3月第二部分：分析技術(shù)與國家安全|2024年3月成本和計(jì)算預(yù)測II圖2.1|訓(xùn)練前沿圖2.1|訓(xùn)練前沿AI模型的成本隨著時間的推移而上升（當(dāng)前趨勢的正向投影）最終培訓(xùn)運(yùn)行的成本$10T$1T$100B$100B$10B$1B$100M20222024202620282030203220342036203820402042@@CNASDC圖2.2|用于訓(xùn)練前沿AI模型的計(jì)算機(jī)隨著時間的推移而出現(xiàn)（當(dāng)前趨勢的正向投影）訓(xùn)練計(jì)算(FLOP)20222024202620282030203220342036203820402042（當(dāng)前趨勢的正向投影）有效計(jì)算2024202620282030202220322034204220362038204020242026202820302022203220342042技術(shù)與國家安全|2024年3月（當(dāng)前趨勢的正向投影）202420272030203320362022年的最終培訓(xùn)費(fèi)用美元$280M$50B$600BFinding。（當(dāng)前趨勢的正向投影）202420272030203320362022年的最終培訓(xùn)費(fèi)用美元$280M$3.6B$50B$600B2022年的最終培訓(xùn)費(fèi)用美元Finding成本增長限制大公司可能會以數(shù)十人的順序集結(jié)每年數(shù)十億美元的培訓(xùn)費(fèi)用。漸縮的成本增長預(yù)測@@CNASDC(任意縮編成本增長項(xiàng)目)最終培訓(xùn)運(yùn)行的成本$10T$100B$100B$10B$100M20222024202620282030203220342036203820402042(縮減成本增長預(yù)測)訓(xùn)練計(jì)算(FLOP)202220222024202620282030203220342036203820402042在漸縮的成本增長預(yù)測下計(jì)算 硬件改進(jìn)的限制 @CNASDC技術(shù)與國家安全|2024年3@CNASDC巨大的成本和大量的計(jì)算仍然是訓(xùn)練計(jì)算最密集的前沿模型的入門代價。84技術(shù)與國家安全|2024年3月圖4.2|前沿模型培訓(xùn)成本(任意縮編成本增長項(xiàng)目)圖4.1圖4.2|前沿模型培訓(xùn)成本(任意縮編成本增長項(xiàng)目)最終培訓(xùn)運(yùn)行的成本（2022美元最終培訓(xùn)運(yùn)行的成本（2022美元）$10T10$10T10$1T10×$1T$100B10$100B10$10B×$10B10$1B10$1B10$100M20222024202620282030203220342036203820402042圖4.3|培訓(xùn)計(jì)算(2031年前后縮減成本預(yù)測和硬件限制圖4.3|培訓(xùn)計(jì)算(2031年前后縮減成本預(yù)測和硬件限制)（折線成本項(xiàng)目和硬件限制周圍2031)訓(xùn)練計(jì)算有效計(jì)算有效計(jì)算10101010×10101010101010101010101010×101010102022202420262028203020322034204220362038204020222024202620282030203220342042203620382040ff@@CNASDC表2.1|前沿模型培訓(xùn)成本和隨時間的計(jì)算20242027203020332036$30BFindingTABLE2.2|前沿模型訓(xùn)練成本和有效計(jì)算隨時間變化202420272030203320362022年的最終培訓(xùn)費(fèi)用美元$220M$30B2022年FLOP等效有效計(jì)算growth)Finding增殖型，從而減緩了擴(kuò)散。然而，隨著時間的推,最終培訓(xùn)成本變得足夠低，以至于愿意開源該模型的參與者可以負(fù)擔(dān)得起。例如，第一個版本的Stable最終培訓(xùn)運(yùn)行的成本$100B$10B元$10B $1B$1B$100M$1000萬202220242026202820302032@CNASDC技術(shù)與國家安全|2024年3@CNASDC。FINDINGFINDING硬件受限演員的成本了算法效率的進(jìn)步將使訓(xùn)練模型與曾經(jīng)的前沿模型具有同等能力，僅在幾年內(nèi)就可以負(fù)擔(dān)得起。@CNASDC$100B$10B$1B$100M$1000萬最終培訓(xùn)運(yùn)行的成本最終培訓(xùn)運(yùn)行的成本202220242026202820302032得任何硬件改進(jìn)的情況下訓(xùn)練前沿AI模被拒絕。@CNASDC最終培訓(xùn)運(yùn)行的成本最終培訓(xùn)運(yùn)行的成本$120B$100Bbenefitfromalgorithmicprogress.benefitfromalgorithmicprogress.$10B$1B$100M$100M$1000202220242026202820302032技術(shù)與國家安全|2024年3月FINDING在前沿AI模型中。即使不考慮工程挑戰(zhàn)，使用更多的得負(fù)擔(dān)不起。然而，算法效率的進(jìn)步將使訓(xùn)練模型具有與當(dāng)?shù)哪芰Γ瑑H在幾年內(nèi)就可以負(fù)擔(dān)得起。如果算法改進(jìn)仍硬件限制的最可能影響將使這些參與者對任何給定級別的FINDING在前沿AI模型中。即使不考慮工程挑戰(zhàn)，使用更多的得負(fù)擔(dān)不起。然而，算法效率的進(jìn)步將使訓(xùn)練模型具有與當(dāng)?shù)哪芰?，僅在幾年內(nèi)就可以負(fù)擔(dān)得起。如果算法改進(jìn)仍硬件限制的最可能影響將使這些參與者對任何給定級別的 計(jì)算監(jiān)管閾值 262626@CNASDC技術(shù)與國家安全|2024年3月@CNASDC圖7.1|火車費(fèi)用A10隨著時間的推移，F(xiàn)LOP調(diào)節(jié)閾值模型遞減最終培訓(xùn)運(yùn)行的成本$155M$100M$100$10M$10$1M$1$100K20242025202620272028202920302031203220332034圖7.2|訓(xùn)練容量等于A10的模型的成本2024年的FLOP模型隨著時間的推移而下降最終培訓(xùn)運(yùn)行的成本$155M$100M$10M$1$1M$100202420252026202720282029203020312032203320342024202520262027202820292030203120322033203426252626技術(shù)與國家安全|2024年3月Conclusion@@CNASDC量性技術(shù)與國家安全|2024年3月 附錄A：計(jì)算增長的其他限制 硬件限制22到數(shù)據(jù)限制@@CNASDC工程挑戰(zhàn)技術(shù)與國家安全|2024年3月觀察到的增長率倍增期每年的訂單(OOMs/yr)多年來達(dá)到公制10×改進(jìn)來源公制訓(xùn)練計(jì)算(FLOP)用于訓(xùn)練大型模型的計(jì)算(FLOP)機(jī)器學(xué)習(xí)GPU性價比(FLOP/s/美元）大型語言模型算法效率@@CNASDC 估算計(jì)算成本 為40技術(shù)與國家安全|2024年3月成本預(yù)測的不確定性對初始起始成本的敏感性對增長率的敏感性圖A.1|前沿模型訓(xùn)練成本隨時間變化(靈敏度分析)$100M最終培訓(xùn)運(yùn)行的成本（2022美元）$50M起始成本$90M起始成本$30M起始成本5000萬美元的起始成本,高低成本增長估計(jì)(95%CI)2022202420262028203020322034203620382040204220222024@CNASDC表A.2|2022年美元培訓(xùn)成本的中，高和低估計(jì)（直進(jìn)投影）202420272030203320369.7個月成本加倍$50B$600B7.3個月成本加倍$490M$450B$400T13.5個月成本加倍$1.7M$40B表A.3|隨著時間的推移訓(xùn)練計(jì)算的中、高和低估計(jì)（直進(jìn)投影）20242027203020332036表A.4|實(shí)現(xiàn)培訓(xùn)成本增長的中，高和低估計(jì)的培訓(xùn)成本里程碑的年份（直進(jìn)投影)2022年培訓(xùn)成本$5億美元$5B$10B$20B9.7個月成本加倍20257.3個月成本加倍2024202513.5個月成本加倍20262030表A.5|實(shí)現(xiàn)中，高，低估計(jì)訓(xùn)練計(jì)算增長的訓(xùn)練計(jì)算里程碑的年份（直進(jìn)投影）FLOP1026中的訓(xùn)練計(jì)算10271028102910307.0個月計(jì)算加倍202420305.7個月計(jì)算加倍202320308.6個月計(jì)算加倍2024技術(shù)與國家安全|2024年3月 附錄E：逐步成本增長預(yù)測 圖A.2|前沿模型隨時間變化的培訓(xùn)成本(縮減成本增長項(xiàng)目)$10T$1T$100B$10B$1B$100M最終培訓(xùn)運(yùn)行的成本（2022美元）20222024202620282030203220342036203820402042表A.6|成本增長的各種情況下的模型培訓(xùn)成本和成本倍增率20242027203020332036恒定成本倍增率9.7個月$50B$600B翻番率增加+0.5月/年$90B$400B倍增率增加+1.0$2.4M$30B$80B月/年)翻番率增加+1.5$4B$30B月/年))翻番率增加+2.5$200M$800M$4B月/年))))@@CNASDC精選參考書目AI趨勢-.。.Dorner,FlorianE.MeasuringProgressinDeep.Grace,Katja.AlgorithmicProgressinSixDomains.44技術(shù)與國家安全|2024年3月.何安森等。語言建模的算法進(jìn)展。即將出版。.Hoffman,Jordan,etal.TrainingCompute-OptimalL.Kaplan,Jared,etal.ScalingLawsforNeuralLanguageabs/2001.08361...Sevilla,Jaime,etal.ComputeTrendsacrossThreeErasofMachineLearning.arXiv.org,March9,2022https:///abs/2202.05924.@@CNASDC美國政府政策46@@CNASDC,opeai-ceo-sam-），），davidtayar5/stats/1627690520456691712;KyleWigger“Athropic的5億美元，4年計(jì)劃承接OpeAI”thathropics-5b-4年計(jì)劃采取。。 技術(shù)與國家安全|2024年3月www-files.anthropic.com/production/images/chinsights-finds-sm9aa9f81a446198ac5402aaf97a87/bcg-the-the-future-of-jobs-Hoffmann等人，TrainingCom-putresearch/publications/llama-2-open-fouresearch/publications/llama-2-open-fou@@CNASDC36.KonstantinPilz等人，“提高計(jì)算效率和AI能力的擴(kuò)散”，“語言建模的月，https://docs。谷歌。com/doc-gPeXdSJgFlwIpvavc0atjHGM82Q--compte-cetric-framewo。。publication/ai-aAlgorithmicProgress.p49技術(shù)與國家安全|2024年3月xyING/核試驗(yàn)歷史/曼哈頓項(xiàng)目/，xyING/核試驗(yàn)歷史/曼哈頓項(xiàng)目/，google.com/drive/1O99z9b1I5O66bT78r9ScslE_nOjscrollTo=CytB-er25到2.0×1026FLOP.Epochdata/epochdb/table;