全球人工智能簡史2024

前言如今我們正在進(jìn)入人工智能(AI)帶來的第五次工業(yè)革命，人工智能技術(shù)的運(yùn)行速度遠(yuǎn)遠(yuǎn)快于人類的輸出，并且能夠生成曾經(jīng)難以想象的創(chuàng)造性內(nèi)容，例如文本、圖像和視頻，這些只是已經(jīng)發(fā)生的一部分。人工智能的發(fā)展速度前所未有，要理解我們?nèi)绾巫叩浇裉欤陀斜匾私馊斯ぶ悄艿钠鹪?。人工智能的歷史可以追溯到19世紀(jì)，幾乎每幾十年都會有重大的里程碑事件出現(xiàn)，并盡管計(jì)算機(jī)和人工智能的歷史并不算長，但它們已經(jīng)從根本上改變了我們所看到的東西、我們所知道的東西以及我們所做的事情。對于世界的未來和我們自己的生活來說，沒有什么比這段歷史如何延續(xù)更重要。要了解未來會是什么樣子，研究我們的歷史往往很有幫助。這就是本文所要做的，我回顧了計(jì)算機(jī)和人工智能的簡史，人工智能發(fā)展歷程中發(fā)生的一些重大事件，看看我全球人工智能簡史2024|Fastdata極數(shù)類語言，還可以生成與人類行為非常相似的我們深入探索廣闊的人工智能世界，掌握基是對日常接觸的技術(shù)所依賴的人工智能感興趣的段探索大型語言模型領(lǐng)域及其歷史起源的旅程都次令人著迷的探險(xiǎn)。在踏上探索大型語言模型內(nèi)原理的征程時(shí)，我們必須認(rèn)識到大語言模型在人工智能葉。要了解人工智能的發(fā)展方向，我們必須回到過去，向眾多像艾倫·馬西森·圖靈這樣才華橫溢的人致敬，是他們的開創(chuàng)性努力為我們今天看到的LLM格局奠定了基全球人工智能簡史2024|Fastdata極數(shù)什么是大型語言模型(LLM)？大型語言模型是生成或嵌入式文本的基礎(chǔ)模型（一種大型神經(jīng)網(wǎng)絡(luò)）。它們生成的文本可以通過為其數(shù)據(jù)科學(xué)家和研究人員通過自監(jiān)督學(xué)習(xí)，在大量非結(jié)構(gòu)化數(shù)據(jù)上訓(xùn)練LLM。在訓(xùn)練過程中，模型接受缺單詞，這個過程不僅會為模型產(chǎn)生一組有價(jià)值的權(quán)在推理時(shí)，用戶向LLM提供“提示”——模型用作起點(diǎn)的文本片段。首先，模型將提示中的每個標(biāo)記轉(zhuǎn)換為其嵌入。然后，它使用這些嵌入來預(yù)測可能跟隨的所有可能標(biāo)記的相對可能性。然后，它以半隨機(jī)的方式選擇下一個標(biāo)記并重復(fù)此過程，直到模型選擇STOP標(biāo)你可以把它想象成一條從零到一的數(shù)字線。從左然后，模型在該數(shù)字線上選擇一個隨機(jī)點(diǎn)并返回與其關(guān)聯(lián)的標(biāo)記。實(shí)際上，大型語言模型通常只將自己限制在具有相對較高可能性的標(biāo)記上。這就是為什么當(dāng)輸入提示“我去看了紐約”時(shí)，例如，當(dāng)GPT-3發(fā)布時(shí)，其生成的第一個標(biāo)記幾乎總是與該城市相關(guān)的運(yùn)動隊(duì)或表演全球人工智能簡史2024|Fastdata極數(shù)大語言模型簡史?萌芽前的準(zhǔn)備大型語言模型是一種人工神經(jīng)網(wǎng)絡(luò)（算法在短短幾年內(nèi)就從新興發(fā)展到廣泛應(yīng)用。它們在ChatGPT的開發(fā)中發(fā)揮了重要作用，而ChatGPT是人工智能的下一個進(jìn)化步驟。生成式人工智能與大型語言模型相結(jié)合，產(chǎn)生了更智能的人工智能。大型語言模型(LLM)基于人工神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)的最新改進(jìn)支持了其發(fā)展。大型語言模型還使用語義技術(shù)（語義學(xué)、語義網(wǎng)和自然語言處理）。大型語言模型的歷史始于1883年法國語言學(xué)家米歇爾·布雷亞爾提出的語義概念。米歇爾·布雷亞爾研究了語言的組織方式、語言隨時(shí)間的變化以及語言中單詞的連接方式。目前，語義用于為人類開發(fā)的語言，例如荷蘭語或印地語，以及人工智能編程語言，例如然而，自然語言處理專注于將人類交流內(nèi)容翻譯成計(jì)算機(jī)能夠理解的語言，然后再翻譯回來。它使用能夠理解人類指令的系統(tǒng)，使計(jì)算機(jī)能夠理解書面文本、識別語音并在計(jì)算機(jī)和人類語言普通語言學(xué)和梵語。全球人工智能簡史2024|Fastdata極數(shù)在此期間，他為語言系統(tǒng)這一高度實(shí)用的模型奠定了基礎(chǔ)。他在1913年去世，沒有整理和出版他的作品。幸運(yùn)值得保存。這兩位導(dǎo)師收集了他的筆記，以備將來的手稿之用，然后努力收集索緒爾學(xué)生的筆記?；谶@些筆記，他們撰寫了索緒爾的書，名為《通用語言學(xué)課程》（又譯為《語言作為一門科學(xué)，最終演變?yōu)樽匀徽Z言處理（NLP）》，并于1916年出版。語言作為一門科學(xué)奠?加速孕育階段稱為《神經(jīng)活動中內(nèi)在思想的邏輯演算》。在這項(xiàng)研究中，討論了人工神經(jīng)網(wǎng)絡(luò)的第一個數(shù)學(xué)模型。該論文提供了一種以抽象術(shù)語描述大腦功能的方法，并表明連接在神經(jīng)網(wǎng)絡(luò)中的簡單元素可以具有巨大的計(jì)算能力。在《神經(jīng)活動中內(nèi)在思想的邏輯演算》奠定了人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，是現(xiàn)代深度學(xué)習(xí)的前身，其神經(jīng)元的數(shù)學(xué)模型：M-P模型一直沿用至今。在不遠(yuǎn)的未來，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)思想的科學(xué)家們，會大大發(fā)展人工神經(jīng)網(wǎng)絡(luò)的成果。如果說符號主義是利用邏輯學(xué)，自上而下的通過推理演繹的方式解決人工智能這個課題的話，的原理來解決人工智能這個課題。這些科學(xué)家全球人工智能簡史2024|Fastdata極數(shù)假設(shè)有人要求你設(shè)計(jì)出最強(qiáng)大的計(jì)算機(jī)。艾倫·圖靈是計(jì)算機(jī)科學(xué)和人工智能領(lǐng)域的核心人物，自1954年他英年早逝后，他的聲譽(yù)才得以提升。在我們所知的計(jì)算機(jī)出現(xiàn)之前的時(shí)代，他將自己的天才運(yùn)用到解決此類問題上。他對這個問題和其他問題的理論研究仍然是計(jì)算、人工智能和現(xiàn)代加密標(biāo)準(zhǔn)（包括NIST推薦的標(biāo)準(zhǔn)）的基礎(chǔ)。二次世界大戰(zhàn)期間，“Hut8”小組，負(fù)責(zé)德國海軍密碼分析。期間圖靈設(shè)計(jì)了一些加速破譯德國密碼的技術(shù)，包括改進(jìn)波蘭戰(zhàn)前研制的機(jī)器Bombe，一種可以找到恩尼格瑪密碼機(jī)設(shè)置的機(jī)電機(jī)器。圖靈在破譯截獲的編碼信息方面發(fā)揮了關(guān)鍵作用。圖靈對于人工智能的發(fā)展有諸多貢獻(xiàn)，圖靈曾寫過一篇名為《計(jì)算機(jī)器和智能》的論文，提問“機(jī)器會思考嗎？”，作為一種用于判定機(jī)器是否具有智能的測試方法，即圖靈測試。至今，每年都有試驗(yàn)的比賽。此外，圖靈提出的著名的圖靈機(jī)模型為現(xiàn)代計(jì)算機(jī)的邏輯工作方式奠定了圖靈于1947年在倫敦的一次公開演講中宣稱，機(jī)器修改自身指令的潛力在大型語言模型領(lǐng)域具有重要意義。它強(qiáng)調(diào)了大型語言模型的適應(yīng)能力、持續(xù)改進(jìn)、解決各種問題的能力以及緊跟不斷發(fā)展的語言趨勢的能力。這個想法與大語言模型的動態(tài)性質(zhì)完全吻合，使大語言模型能夠在瞬息萬變的語言環(huán)境中獲取知識、進(jìn)行調(diào)整并保持最新狀態(tài)。全球人工智能簡史2024|Fastdata極數(shù)腦游戲與人工智能方面的先鋒。塞謬爾的電腦跳棋程式是世界上最早能成功進(jìn)行自我學(xué)習(xí)的計(jì)算機(jī)程序之一，也因此是人工智能（AI）基礎(chǔ)概念的早期展示之一。計(jì)算機(jī)在語言相關(guān)任務(wù)中的最早用途之一是機(jī)器翻譯兩位擅長破解敵方秘密密碼的人（1964年）開始了首批使用計(jì)算機(jī)進(jìn)行翻譯的項(xiàng)目之一。此后，美國各研究機(jī)構(gòu)在接下來的幾年里開始研究這個想法。這標(biāo)志著使用計(jì)算機(jī)進(jìn)行語言翻譯和理解的研究的開始，也是導(dǎo)致我代，當(dāng)時(shí)機(jī)器理解和處理人類語言的想法還處于起步階段。正是在這個時(shí)代，IBM和喬治城大學(xué)（1954）的研究人員開始了一個開創(chuàng)性的項(xiàng)目。他們的目標(biāo)是開發(fā)一個可以自動將一組短語從俄語翻譯成英語的系統(tǒng)，這是然而，掌握自然語言處理的道路絕非易事。在接下來的幾十年里，研究人員嘗試了各種方法，包括概念本體和基于規(guī)則的系統(tǒng)。盡管他們盡了最大努力，但這些早期嘗試都沒有取得可靠的結(jié)果，這凸顯了教機(jī)器掌?基于規(guī)則的模型一個計(jì)算機(jī)程序下跳年將其描述為“機(jī)器學(xué)一個計(jì)算機(jī)程序下跳年將其描述為“機(jī)器學(xué)全球人工智能簡史2024|Fastdata極數(shù)?Mark1感知器使用神經(jīng)網(wǎng)絡(luò)1958年，康奈爾航空實(shí)驗(yàn)室的弗蘭克·羅森布拉特將赫布的神經(jīng)網(wǎng)絡(luò)算法模型與塞繆爾的機(jī)器學(xué)習(xí)工作相結(jié)合，創(chuàng)建了第一個人工神經(jīng)網(wǎng)絡(luò)，稱為Mark1感知器。盡管語言翻譯仍然是一個目標(biāo)，但計(jì)算機(jī)主要是為數(shù)學(xué)目的而制造的（比語言混亂得多）。這些用真空管制造的大型計(jì)算機(jī)用作計(jì)算器，計(jì)算機(jī)和軟件都是被定制的。感知器的獨(dú)特之處還在于它使用了為IBM704設(shè)計(jì)的軟件，并確定了類似的計(jì)算機(jī)可以共享標(biāo)準(zhǔn)化的軟件程在1960年MarkI感知機(jī)的開發(fā)和硬件建設(shè)中達(dá)到了頂峰。從本質(zhì)上講，這是第一臺可以通過試錯來學(xué)習(xí)新技能的計(jì)算機(jī)，它使用了一種模擬人類思維過程的神經(jīng)網(wǎng)絡(luò)。MarkI感知機(jī)被公認(rèn)為人工智能的先驅(qū)，目前位于華盛頓特區(qū)的史密森尼博物館。MarkI能夠?qū)W習(xí)、識別字母，并能解決相當(dāng)復(fù)雜的問題。1969年，明斯基和西摩·佩珀特出版了《感知機(jī)》一書，徹底改變?nèi)藗儗Ω兄獧C(jī)的看法。不幸的是，Mark1感知器無法識別許多種基本的視覺模式（例如面部），導(dǎo)致期望落空，神經(jīng)網(wǎng)絡(luò)研究和機(jī)器學(xué)習(xí)投入也被消減。?ELIZA使用自然語言編程直到1966年，麻省理工學(xué)院的計(jì)算機(jī)科學(xué)家約瑟夫·魏森鮑姆開發(fā)了ELIZA，它被稱為第一個使用NLP的程序。它能夠從收到的輸入中識別關(guān)鍵詞，并以預(yù)先編程的答案做出回應(yīng)。魏森鮑姆試圖證明他的假設(shè)，即人與機(jī)器之間的交流從全球人工智能簡史2024|Fastdata極數(shù)ELIZA的機(jī)器人小程序。通過一個名為DOCTOR的腳程序SHRDLU從根本上說是膚淺的，但事情并沒有按計(jì)劃進(jìn)行。為了簡化實(shí)驗(yàn)并盡量減少爭議，魏森鮑姆開發(fā)了一個程序，使用“積極傾聽”，它不需要數(shù)據(jù)庫來存儲現(xiàn)實(shí)世界的信息，而是會反映一個人的陳述以推動對話向前發(fā)展。盡管Eliza的功能相對有限，但它代表了該領(lǐng)域的一次重大飛躍。這個開創(chuàng)性的程序使用模式識別來模擬對話，將用戶輸入轉(zhuǎn)換為問題并根據(jù)預(yù)定義規(guī)則生成響應(yīng)。盡管Eliza遠(yuǎn)非完美，但它標(biāo)志著自然語言處理(NLP)研究的開始，并為開發(fā)更高級的語言模型奠定了基礎(chǔ)。?SHRDLU-理解自然語言的軟件誕生1970年特里·維諾格拉德在麻省理工學(xué)院（MIT）創(chuàng)建了SHRDLU，為人工智能領(lǐng)域做出了杰出貢獻(xiàn)。SHRDLU是一款旨在理解自然語言的創(chuàng)新軟件。它主要通過電傳打字機(jī)與用戶進(jìn)行對話，討論一個稱為“積木世界”的封閉虛擬環(huán)境。在這個世界中，用戶可以通過移動物體、命名集合和提出問題進(jìn)行交互。SHRDLU的突出之處在于它能夠熟練地結(jié)合名詞、動詞和形容詞等基本語言元素，盡管虛擬世界很簡單，但它卻能夠熟練地理解用戶指令。全球人工智能簡史2024|Fastdata極數(shù)?統(tǒng)計(jì)語言模型20世紀(jì)90年代，我們處理語言的方式發(fā)生了重大變化。研究人員不再依賴嚴(yán)格的規(guī)則，而是開始使用統(tǒng)計(jì)模型來分析現(xiàn)實(shí)世界的文本示例。這些模型更加靈活，可以處理更廣泛的語言模式，但它們需要大量的計(jì)算機(jī)能力和大量數(shù)據(jù)集才能正常工作。20世紀(jì)70年代初，人工智能領(lǐng)域由倫納德·鮑姆(1971)等人引入了隱馬爾可夫模型(HMM)和條件隨機(jī)場(CRF)。HMM使用概率來判斷句子中發(fā)生了什么，例如識別單詞的角色（名詞、動詞等）。它們非常擅長處理單詞序列并找到句子背后最可能的故事，這使得它們對于語音識別和詞性標(biāo)注等任務(wù)非常有用。轉(zhuǎn)向統(tǒng)計(jì)方法提高了語言處理的靈活性和上下文敏感性。盡管如此，它們也需要大量的計(jì)算資源和數(shù)據(jù)才能有效執(zhí)行。這種轉(zhuǎn)變也帶來了新的障礙，為語言建模領(lǐng)域的未來發(fā)展鋪平了道路。在20世紀(jì)90年代和21世紀(jì)初期，N-gram模型對統(tǒng)計(jì)語言建模做出了重大貢獻(xiàn)。這些模型簡單但功能強(qiáng)大。它們通過查看某個單詞前面的單詞序列來估計(jì)該單詞出現(xiàn)的可能性。這種直接的方法有助于理解語言的上下文。N-gram的一個突出用途是Google的PageRank算法（1996年）。本質(zhì)上，N-gram模型強(qiáng)調(diào)了語言中語境的重要性，并為能夠捕捉更廣泛的語言細(xì)微差別的更先進(jìn)的技術(shù)奠定了基礎(chǔ)。HMM模型示意圖全球人工智能簡史2024|Fastdata極數(shù)?深度學(xué)習(xí)模型1983年，辛頓發(fā)明玻爾茲曼機(jī)，后來，簡化后的受限玻爾茲曼機(jī)被應(yīng)用于機(jī)器學(xué)習(xí)，成為深度神經(jīng)網(wǎng)絡(luò)的層級結(jié)構(gòu)基礎(chǔ)。1986年，辛頓提出適用于多層感知機(jī)的誤差反向傳播算法（BP這一算法奠定了后來深度學(xué)習(xí)的基礎(chǔ)。辛頓每隔一段時(shí)間都能發(fā)明出新東西，而他也堅(jiān)持寫了兩百多篇神經(jīng)網(wǎng)絡(luò)相關(guān)的論文，盡管這些論文不被待見。到了2006年，辛頓已經(jīng)積累了豐富的理論和實(shí)踐基礎(chǔ)，而這一次，他發(fā)表的論文將改變整個機(jī)器學(xué)習(xí)乃至整個世界。辛頓發(fā)現(xiàn)，擁有多個隱藏層的神經(jīng)網(wǎng)絡(luò)能夠具有自動提取特征學(xué)習(xí)的能力，相比傳統(tǒng)的手工提取特征的機(jī)器學(xué)習(xí)更有效果。另外，通過逐層預(yù)訓(xùn)練的方式可以降低多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度，而這解決了長期以來多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的難題。辛頓將他的研究成果發(fā)表在兩篇論文中，而當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)一詞被許多學(xué)術(shù)期刊編輯所排斥，有些稿件的標(biāo)題甚至因?yàn)榘吧窠?jīng)網(wǎng)絡(luò)”就會被退回。為了不刺激這些人的敏感神經(jīng)，辛頓取了個新名字，將該模型命名為“深度信念網(wǎng)絡(luò)”在20世紀(jì)90年代，卷積神經(jīng)網(wǎng)絡(luò)(CNN)被引入。CNN主要用于圖像處理，但也可用于某些NLP任務(wù)，例如文本分類。人工智能和神經(jīng)網(wǎng)絡(luò)架構(gòu)的這些發(fā)展，包括感知器(1960)、RNLSTM和CNN，共同塑造了自然語言處理和深度學(xué)習(xí)的格局，為理解和處理人類語言開辟了新的可能性。度學(xué)習(xí)方面的貢獻(xiàn)與約書全球人工智能簡史2024|Fastdata極數(shù)學(xué)圣地亞哥分校（UCSD）（SRNN又稱“Elman1986年，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)能夠捕捉語言中的序列依賴關(guān)系，但它面臨著長距離依賴關(guān)系和梯度消失的挑戰(zhàn)。同時(shí)，在語言建模的早期，杰語言模型(RNNLM)發(fā)揮了重要作用。該模型擅長識別序列中的短期單詞關(guān)系，但在捕獲長距離依賴關(guān)系時(shí)其局限性變得明顯，促使研究人員探索除了RNNLM之外，該領(lǐng)域還出現(xiàn)了潛在語義分析(LSA)，它由朗道爾和杜邁斯于1997年提出。LSA利用高維語義空間來揭示文本數(shù)據(jù)中隱藏的關(guān)系和含義。雖然它提供了對語義關(guān)聯(lián)的寶貴見解，但在處理更復(fù)雜的語言任務(wù)時(shí)遇到了某些限制。RNNLM和LSA的貢獻(xiàn)以及其他具有影響力的里程碑共同塑造了語言建模取得重大進(jìn)步的道路。1997年，長短期記憶(LSTM)模型的推出改變了游戲規(guī)則。LSTM允許創(chuàng)建更深層、更復(fù)雜的神經(jīng)網(wǎng)絡(luò)，能夠處理大量數(shù)據(jù)。門控循環(huán)單元(GRU)是深度學(xué)習(xí)和自然語言處理領(lǐng)域的一個顯著新成員。GRU由Kyung-hyunCho及其團(tuán)隊(duì)2014年是一種循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)，采用門控機(jī)制來控制輸入并忘記某些特征，類似于長短期記憶(LSTM)網(wǎng)絡(luò)。然而，GRU與LSTM的在于，它們沒有上下文向量或輸出門，因此架構(gòu)更簡單，參數(shù)更少。研究表明，GRU在各種任務(wù)中的表現(xiàn)與LSTM相似，包括復(fù)音音樂建模、語音信號建模和自然語言處理。這一發(fā)現(xiàn)凸顯了門控機(jī)制在循環(huán)神經(jīng)網(wǎng)絡(luò)中的價(jià)值，并促進(jìn)了自然語言處理神經(jīng)網(wǎng)絡(luò)架構(gòu)的持續(xù)全球人工智能簡史2024|Fastdata極數(shù)?圖形處理單元(GPU)的誕生在1999年推出第一款GPU（NvidiaGeForce256）之前，NLP模型完全依賴CPU進(jìn)行推理。具有并行處理能力的GPU的引入將標(biāo)志著一個關(guān)鍵的轉(zhuǎn)變，因?yàn)樗鼘⒃试S高效執(zhí)行NLP任務(wù)，從而能夠處理以前僅靠CPU無法實(shí)現(xiàn)的大型文本數(shù)據(jù)集和復(fù)雜計(jì)算。這項(xiàng)GPU技術(shù)將徹底改變深度學(xué)習(xí)模型，并將在機(jī)器翻譯和文本生成等任務(wù)方面取得重大此外，神經(jīng)網(wǎng)絡(luò)開始用于預(yù)測文本中的下一一個神經(jīng)語言模型，使用一個隱藏層前饋神經(jīng)網(wǎng)絡(luò)和開創(chuàng)性的詞嵌入。自從谷歌的TomasMikolov和他的團(tuán)隊(duì)于2013年推出Word2Vec以來，人們開始更多地使用神經(jīng)網(wǎng)絡(luò)來完成語言任務(wù)。這些詞向量將單詞表示為連續(xù)空間中的密集向量，標(biāo)志著傳統(tǒng)方法的轉(zhuǎn)變，并顯著改善了語言理解和單詞間語義關(guān)系的建模。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行語言建模使系統(tǒng)能夠預(yù)測句子中的下一個單詞，超越了統(tǒng)計(jì)分析并產(chǎn)生了更復(fù)雜的語言模型。2015年，Bahdanau等人提出了序列到序列模型（Seq2Seq），這是一種神經(jīng)網(wǎng)絡(luò)，可以有效地將可變長度的輸入序列映射到可變長度的輸出序列。Seq2Seq模型架構(gòu)由兩個關(guān)鍵組件組成：編碼器和解碼器。編碼器負(fù)責(zé)處理輸入序列，產(chǎn)生一個固定長度的上下文向量，該向量封裝了輸入序列的含義。其具有強(qiáng)大的3D圖形渲染力和可編程性能，也被業(yè)界譽(yù)為世界上第一個真正意義上的GPU，GPU在后來的人“AI教父”和“深度學(xué)習(xí)教全球人工智能簡史2024|Fastdata極數(shù)NLP中許多最先進(jìn)模型的基ChatGPT等應(yīng)用程序的語言模型的核心。他是解碼器隨后利用該上下文向量逐步生成輸出序列。更詳細(xì)地說，編碼器通常采用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)逐個元素處理輸入序列，在每一步創(chuàng)建一個固定長度的隱藏狀態(tài)向量。最后一個隱藏狀態(tài)向量用作上下文向量并傳遞給解碼器。解碼器通常也以RNN的形式實(shí)現(xiàn)，它采用上下文向量并按順序生成輸出序列。它通過為每個步驟的潛在輸出元素生成概率分布，然后通過從該分布中采樣來選擇輸出序列的下一個元素來實(shí)現(xiàn)這一點(diǎn)。然而，盡管Seq2Seq模型取得了成功，但它們也存在一定的局限性，尤其是在處理NMT任務(wù)中的較長序列時(shí)。當(dāng)谷歌于2016年推出其“神經(jīng)機(jī)器翻譯”系統(tǒng)時(shí)，這些局限性就變得顯而易見，這展示了深度學(xué)習(xí)在語言相關(guān)任務(wù)中的強(qiáng)大功能，并標(biāo)志著機(jī)器翻譯能力的重大進(jìn)步。最終，Seq2Seq模型的許多缺點(diǎn)，從而顯著提高了NMT性能。NMT技術(shù)的這種發(fā)展凸顯了自然語言處理的動態(tài)性質(zhì)以及對更有效解決方案的不斷追求。Transformer的演變重塑了大型語言模型的格局。AshishVaswani在2017年的論文《注意力就是你所需要的一切》中引入Transformer模型，帶來了并行序列處理和捕獲大型序列中廣泛依賴關(guān)系的能力。關(guān)鍵創(chuàng)新在于它們使用了自注意力機(jī)制，能夠無縫集成序列內(nèi)所有位置的上下文信息，消除了對遞歸和卷積的需求，從而產(chǎn)生了更可并行化、訓(xùn)練速度更快的優(yōu)質(zhì)模型。全球人工智能簡史2024|Fastdata極數(shù)自注意力機(jī)制代表了一次重大飛躍，它允許模型關(guān)注輸入序列的不同部分，并根據(jù)相關(guān)性分配不同的權(quán)重，即使單詞相距很遠(yuǎn)。這一功能對于文本生成、語言翻譯和文本理解等任務(wù)至關(guān)重?GPT-12018年，OpenAI推出了他們的第一個大型語言模型GPT-1。這是谷歌在2017年創(chuàng)建了一種名為“Transformer”的新型計(jì)算機(jī)程序結(jié)構(gòu)之后推出的。OpenAI在一篇名為《通過生成式預(yù)訓(xùn)練提高語言理解能力》的論文中分享了他們的工作。這篇論文不僅介紹了GPT-1，還介紹了生成式預(yù)訓(xùn)練?BERT2018年，谷歌推出了Transformer雙向編碼器表示(BERT)，這是一個重大突破，凸顯了預(yù)訓(xùn)練模型的潛力。BERT代表了一種革命性的方法，它涉及在大量文本數(shù)據(jù)上訓(xùn)練廣泛的Transformer模型，并針對特定任務(wù)對其進(jìn)行微調(diào)，標(biāo)志著語言建模新時(shí)代的到來。BERT的影響是深遠(yuǎn)的，因?yàn)樗诟鞣N自然語言理解任務(wù)（包括問答和情感分析）中建立了新標(biāo)準(zhǔn)。這標(biāo)志著從僵化、特定于任務(wù)的模型轉(zhuǎn)向更具適應(yīng)性和可遷移性的全新模型。通過在預(yù)訓(xùn)練期間利用大量可用的文本數(shù)據(jù)，BERT深入了解了語言的微妙之處和上下文關(guān)系，重塑了自然語言處理的格局。全球人工智能簡史2024|Fastdata極數(shù)?GPT-2OpenAI于2019年推出了GPT-2，這標(biāo)志著LLM領(lǐng)域的一個轉(zhuǎn)折點(diǎn)。GPT-2擁有15億個參數(shù)，展示了生成式模型的巨大潛力。該模型具有準(zhǔn)確預(yù)測序列中下一個元素的一般能力。然而，對濫用的擔(dān)憂導(dǎo)致了謹(jǐn)慎的發(fā)布策略。該模型能夠生成連貫且上下文豐富的文本，證明了深度學(xué)習(xí)和NLP的快速進(jìn)步。同時(shí)，百度ERNIE、XLNet、XLMERT（微軟）、RoBERTa（Facebook）等模型出現(xiàn)在LLM領(lǐng)域，開創(chuàng)了自然語言處理可能性和能力的新時(shí)代。2020年，OpenAI發(fā)布了GPT-3，這是一款擁有1750億個參數(shù)的大型LLM。GPT-3突破了LLM的極限。它在語言翻譯和文本完成、編碼輔助和交互式講故事等任務(wù)中表現(xiàn)出色。它的“few-shot”和“zero-shot”學(xué)習(xí)能力非常出色，使其能夠用最少的訓(xùn)練示例執(zhí)行任務(wù)。GPT-3引入了“提示工程”的概念，使用戶能夠根據(jù)自己的需求調(diào)整在當(dāng)年推出。全球人工智能簡史2024|Fastdata極數(shù)2021年，LLM社區(qū)因引入各種新模式而熱鬧（EleutherAI）、XLM-R（Facebook）、LaMDA（谷歌）、Copilot（GitHub）、GPT-J（ElCodex（OpenAI）、WebGPT（OpenAI）和BERT2（谷歌）。每個模型都有其獨(dú)特的優(yōu)勢，為不斷發(fā)展的NLP領(lǐng)域做出了貢獻(xiàn)，但名為LoRA的訓(xùn)練技術(shù)卻吸引了人們的注意力。?LoRA低秩自適應(yīng)(LoRA)是一種突破性的訓(xùn)練方法，旨在加快大型語言模型的訓(xùn)練，同時(shí)節(jié)省內(nèi)存資源。LoRA將秩分解權(quán)重矩陣（稱為更新矩陣）引入現(xiàn)有模型權(quán)重，并將訓(xùn)練工作完全集中在這些新增加的權(quán)重上。這種方法有兩個明顯的優(yōu)勢：首先，預(yù)訓(xùn)練模型的權(quán)重保持不變，降低了災(zāi)難性遺忘的風(fēng)險(xiǎn)。其次，LoRA的秩分解矩陣的參數(shù)明顯較少，使得訓(xùn)練后的LoRA權(quán)重易于遷移。緊接著一種突破性的方法問世，可以加速量化模型的微調(diào)，同時(shí)保持其性能。這項(xiàng)創(chuàng)新被稱為QLoRA（量化低秩自適應(yīng)），它為大型語言模型領(lǐng)域帶來了范式轉(zhuǎn)變。QLoRA以LoRA（低秩自適應(yīng)）為基礎(chǔ)，通過引入一系列新技術(shù)將其提升到新的水平，這些技術(shù)不僅可以減少內(nèi)存需求，還可以提高微調(diào)過程的效率。就像廚師將食譜數(shù)字化以節(jié)省空間同時(shí)保留進(jìn)行調(diào)整的能力一樣，QLoRA使研究人員和開發(fā)人員能夠有效地微調(diào)大型語言模型，即使在計(jì)算資源有限的情況下也是如此。foacebook全球人工智能簡史2024|Fastdata極數(shù)從本質(zhì)上講，QLoRA利用了多項(xiàng)關(guān)鍵創(chuàng)新，包括模型的微調(diào)，同時(shí)保持了性能。這一重大突破使大型語言模型微調(diào)變得民主化，使小型研究團(tuán)隊(duì)能夠使用它，并預(yù)示著自然語言處理的新可能性。隨著我們繼續(xù)突破該領(lǐng)域的可能性界限，QLoRA無疑將在塑造NLP的未來方面發(fā)揮關(guān)鍵作用。智能模型LaMDA的開發(fā)。了LaMDA，布萊克·雷蒙恩為了觀測應(yīng)用LaMDA創(chuàng)?LamdaBrain于2021年發(fā)布的LLM系列。Lamda使用了僅解碼器的轉(zhuǎn)換器語言模型，并在大量文本語料庫上進(jìn)行了預(yù)訓(xùn)練。2022年，當(dāng)時(shí)的谷歌工程師BlakeLemoine公開聲稱該程序具有感知能力，Lamda引起了廣泛關(guān)注。它建立在Seq2Seq架構(gòu)上。?開源模型的興起2022年，開源大型語言模型(LLM)領(lǐng)域經(jīng)歷了重大變革，一些先驅(qū)模型引領(lǐng)了潮流。EleutherAI的創(chuàng)作GPT-NeoX-20B是最早的開源LLM之一。盡管它的規(guī)模較小（與GPT-3等專有模型相比，它有200億個參數(shù)但它通過RoPE嵌入和并行注意層等創(chuàng)新產(chǎn)生了影響。它的自定義標(biāo)記器可有效進(jìn)行代碼標(biāo)記化，并在各種開源模型中得到采用。劃旨在使LLM的獲取更加民主化。OPT提供不同大小的模型，在精選數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并提供開源訓(xùn)練框架。全球人工智能簡史2024|Fastdata極數(shù)雖然OPT模型的表現(xiàn)并不優(yōu)于專有模型，但它們在使LLM更易于研究和提高訓(xùn)練效率方面發(fā)揮了關(guān)鍵作用。BLOOM是一個包含1760億個參數(shù)的LLM，它誕生于1000多名研究人員歷時(shí)一年的大規(guī)模協(xié)作。它使用多語言文本數(shù)據(jù)集ROOTS語料庫進(jìn)行訓(xùn)練。盡管BLOOM在各種基準(zhǔn)測試中都具有競爭力，并且在機(jī)器翻譯任務(wù)中表現(xiàn)出色，但在某些方面仍然落后于專有模型。GPT-J和GLM等著名模型也取得了成功，為開源LLM領(lǐng)域的進(jìn)一步發(fā)展奠定了基礎(chǔ)。2022年標(biāo)志著語言模型領(lǐng)域向開放可訪問性和協(xié)作研究的重大轉(zhuǎn)變。?LoRA低秩自適應(yīng)(LoRA)是一種突破性的訓(xùn)練方法，旨在加快大型語言模型的訓(xùn)練，同時(shí)節(jié)省內(nèi)存資源。LoRA將秩分解權(quán)重矩陣（稱為更新矩陣）引入現(xiàn)有模型權(quán)重，并將訓(xùn)練工作完全集中在這些新增加的權(quán)重上。這種方法有兩個明顯的優(yōu)勢：首先，預(yù)訓(xùn)練模型的權(quán)重保持不變，降低了災(zāi)難性遺忘的風(fēng)險(xiǎn)。其次，LoRA的秩分解矩陣的參數(shù)明顯較少，使得訓(xùn)練后的LoRA權(quán)重易于遷移。2023年，OpenAI發(fā)布了GPT-4，在大型語言模型(LLM)領(lǐng)域邁出了開創(chuàng)性的一步。GPT-4是一個龐大的多模態(tài)模型，擁有約一萬億個參數(shù)。從這個角度來看，GPT-4比其前身GPT-3大約五倍，比原始BERT模型大3,000倍。這一規(guī)模和容量上的巨大飛躍改變了LLM領(lǐng)域的格局，使其能夠一次性處理多達(dá)50頁的文本。全球人工智能簡史2024|Fastdata極數(shù)要真正了解GPT-4的演變，了解這些模型的時(shí)間順序至關(guān)重要。近年來，我們見證了幾個值得關(guān)注的LLM的發(fā)展，它們?yōu)楫?dāng)前的技術(shù)水平做出了貢獻(xiàn)。這些模型為GPT-4的出現(xiàn)鋪平了道路，它們反映了開源LLM研究的充滿活力和生機(jī)勃勃的前景。?SOTA開源模型集這一演變的關(guān)鍵時(shí)刻之一是2023年2月MetaAI推出LLaMA。LLaMA是人工智能領(lǐng)域的一項(xiàng)突破性進(jìn)展。其重要性在于它作為Meta向公眾發(fā)布的基礎(chǔ)大型語言模型。LLaMA的重要性可以從幾個角度來理解：它通過提供更易于訪問且性能更高的大型語言模型替代方案，使人工智能研究的訪問變得民主化，減少了人工智能實(shí)驗(yàn)所需的計(jì)算資源，并為更多開源計(jì)劃（如Alpaca、Vicuna、Dolly、WizardLM）奠定了基礎(chǔ)。此外，LLaMA用途廣泛，可以針對各種應(yīng)用進(jìn)行微調(diào)，解決偏見和歧視等人工智能挑戰(zhàn)，同時(shí)通過受控訪問堅(jiān)持負(fù)責(zé)任的人工智能實(shí)踐。繼LLaMA之后，MosaicML的MPT套件提供了開源LLM的商業(yè)可用替代方案。初始版本MPT-7B引起了廣泛關(guān)注，隨后是更大的MPT-30B模型。這些模型提供了質(zhì)量和商業(yè)可行性的精彩融合，拓展了開源LLM應(yīng)用的視野。另一個值得注意的進(jìn)展是FalconLLM套件，其性能可與專有模型相媲美。Falcon-7B和Falcon-40B雖然是商業(yè)是可行的，結(jié)果表現(xiàn)也相當(dāng)出色。這些模型挑戰(zhàn)了有關(guān)數(shù)據(jù)質(zhì)量的傳統(tǒng)觀念，表明在經(jīng)過精心過濾和重復(fù)數(shù)據(jù)刪除的網(wǎng)絡(luò)數(shù)據(jù)上訓(xùn)練的模型可以與在精選來源上訓(xùn)練的模型相媲美。全球人工智能簡史2024|Fastdata極數(shù)LLaMA-2模型套件通過縮小開源和閉源LLM之間的差距標(biāo)志著另一個重要里程碑。LLaMA-2的參數(shù)大小從70億到700億不等，并在2萬億個token的海量數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，突破了開源模型性能的界限。大型語言模型(LLM)領(lǐng)域最顯著的進(jìn)步之一是Zephyr7B擁有卓越的功能，這主要?dú)w功于它利用了精煉直接偏好優(yōu)化(dDPO)和AI反饋(AIF)，使其能夠與用戶意圖緊密結(jié)合。值得注意的是，該模型的性能不僅創(chuàng)下了新基準(zhǔn)，而且令人印象深刻的是，在聊天基準(zhǔn)測試中甚至超越了備受推崇的Zephyr7B真正與眾不同之處在于其卓越的效率。該模型以驚人的速度實(shí)現(xiàn)了卓越的性能，僅需幾個小時(shí)的訓(xùn)練。值得注意的是，這種效率是在無需人工注釋或額外采樣的情況下實(shí)現(xiàn)的，使其成為利用技術(shù)簡化模型開發(fā)流程的出色范例。Zephyr7B的創(chuàng)新方法將傳統(tǒng)的蒸餾監(jiān)督微調(diào)(dSFT)與偏好數(shù)據(jù)相結(jié)合，展示了融合各種技術(shù)的潛力，以創(chuàng)建一個重新定義自然語言理解和生成領(lǐng)域可實(shí)現(xiàn)的邊界的模型。Orca由微軟開發(fā)，擁有130億個參數(shù)，這意味著它足夠小，可以在筆記本電腦上運(yùn)行。它旨在通過模仿LLM實(shí)現(xiàn)的推理過程來改進(jìn)其他開源模型所取得的進(jìn)步。Orca以明顯更少的參數(shù)實(shí)現(xiàn)了與GPT-4相同的性能，并且在許多任務(wù)上與GPT-3.5相當(dāng)。Orca建立在130億個參數(shù)版本的LLaMA之全球人工智能簡史2024|Fastdata極數(shù)Geini?GeminiGemini是Google在2023年6月發(fā)布的，為該公司的同名聊天機(jī)器人提供支持。該模型取代了Palm為聊天機(jī)器人提供支持，在模型切換后，聊天機(jī)器人從Bard更名為Gemini。Gemini模型是多模態(tài)的，這意味著它們可以處理圖像、音頻和視頻以及文本。Gemini還集成在許多Google應(yīng)用程序和產(chǎn)品中。它有三種尺寸——Ultra、Pro和Nano。Ultra是最大、功能最強(qiáng)大的模型，Pro是中端模型，Nano是最小的模型，專為提高設(shè)備上任務(wù)的效率而設(shè)計(jì)。Gemini在大多數(shù)評估基準(zhǔn)上都優(yōu)于GPT-4。2024年2月9日，谷歌宣布GeminiUltra可免費(fèi)Gemma。Gemma采用了與Gemini相同的技術(shù)和基礎(chǔ)架構(gòu)，基于英偉達(dá)GPU和谷歌云TPU等硬件平臺進(jìn)行優(yōu)化，有20億、70億兩種參數(shù)規(guī)模。每種規(guī)模都有預(yù)訓(xùn)練和指令微調(diào)版本，使用條款允許所有組織（無論規(guī)模大?。┴?fù)責(zé)任地進(jìn)行商用和分發(fā)。谷歌介紹，Gemma模型與其規(guī)模最大、能力最強(qiáng)的AI模型Gemini共享技術(shù)和基礎(chǔ)架構(gòu)。2024年6月28日，谷歌宣布面向全球研究人員和開發(fā)者發(fā)布Gemma2大語言模型。據(jù)介紹，Gemma2有90億（9B）和270億（27B）兩種參數(shù)大小，與第一代相比，其性能更高、推理效率更高，Gemma227B的性能比大其兩倍的同類產(chǎn)品更具競爭力；9B的性能也處于同類產(chǎn)品領(lǐng)先水平，優(yōu)于Llama38B和其他開放模型。全球人工智能簡史2024|Fastdata極數(shù)大模型產(chǎn)品——Grok。據(jù)介紹，Grok通過X平臺實(shí)時(shí)了解項(xiàng)基準(zhǔn)測試超越GPT-4V，而且看懂梗圖寫Python代碼也?GPT-4oGPT-4o是由OpenAI訓(xùn)練的多語言、多模態(tài)（多種類型數(shù)據(jù)，例如文本、圖像、音頻等）GPT大型語言模型。GPT-4o于2024年5月13日發(fā)布。該模型比其前身GPT-4快兩倍，而價(jià)格僅為其50%。GPT-4Omni（GPT-4o）是OpenAI的GPT-4繼任者，與之前的模型相比有多項(xiàng)改進(jìn)。GPT-4o為ChatGPT創(chuàng)造了更自然的人機(jī)交互，是一個大可以捕捉情緒。GPT-4o可以在交互過程中查看照片或屏幕并提出相關(guān)問題。GPT-4o的響應(yīng)時(shí)間僅為232毫秒，與人類的響應(yīng)時(shí)間相似，比GPT-4Turbo更快。GPT-4o模型OpenAIo1，是OpenAI發(fā)布的推理模型系列。該模使其在嘗試解決問題時(shí)可以識別并糾正錯誤驟分解為更簡單的部分，并在當(dāng)前方法無效全球人工智能簡史2024|Fastdata極數(shù)究人員和開發(fā)人員打開大門。我們已經(jīng)走了很長一段路，究人員和開發(fā)人員打開大門。我們已經(jīng)走了很長一段路，但前進(jìn)的道路同樣令人興奮。展望未來，我們必須時(shí)刻牢記道德考量、可訪問性和負(fù)責(zé)任的人工智能發(fā)展。我們可以共同努力，繼續(xù)塑造一個語言模型賦能并連接全球人民的世界。我們希望這次探索能讓您更深入地了解語言模型的歷史和潛力。當(dāng)我們探索這個激動人心的人工智能領(lǐng)域時(shí)，讓我們記住，旅程還遠(yuǎn)未結(jié)束，可能性無窮無盡。發(fā)展，到GPT-4o等強(qiáng)大模型的出現(xiàn)，再到LLaMA等開源計(jì)劃的出現(xiàn)，我們見證了人工智能和自然語言處理領(lǐng)域的深刻變革。時(shí)間軸見證了人類的智慧、奉獻(xiàn)和協(xié)作。我們見證了從基于規(guī)則的模型到統(tǒng)計(jì)方法的轉(zhuǎn)變，以及最終改變游戲規(guī)則的Transformer架構(gòu)的引入，這使得GPT-4o等模型成為可能。在此過程中，BERT和Seq2Seq等模型留下了自己的印記，重新定義了我們理解語言的方式。LoRA和QLoRA等最新創(chuàng)新有望使大型語言模型微調(diào)變得民主化，為更多研全球人工智能簡史2024|Fastdata極數(shù)生成式人工智能崛起生成式人工智能(GenAI)是一種人工智能技術(shù)，可以生成各種類型的內(nèi)容，包括文本、圖像、音頻和合成數(shù)據(jù)。最近，圍繞生成式人工智能的討論是由新用戶界面的簡單性推動的，該界面可以在幾秒鐘內(nèi)創(chuàng)建高質(zhì)量的文本、圖形和視頻。需要注意的是，這項(xiàng)技術(shù)并非全新技術(shù)。生成式人工智能于20世紀(jì)60年代在聊天機(jī)器人中被引入。但直到2014年，隨著生成對抗網(wǎng)絡(luò)（GAN，一種機(jī)器學(xué)習(xí)算法）的引入，生成式人工智能才能夠創(chuàng)建令人信服的真實(shí)人物圖像、視頻和音頻。模型，而無需事先標(biāo)記所有數(shù)據(jù)。因此，新模型可以在數(shù)十億頁文本上進(jìn)行訓(xùn)練，從而得到更有深度的答案。此外，Transformers還開為注意力的新概念，使模型能夠跟蹤跨頁面、跨章節(jié)和跨書籍的單詞之間的聯(lián)系，而不僅僅是單個句子之間的聯(lián)系。不僅僅是單詞：Transformers還可以利用其跟蹤聯(lián)系的能力來分析代碼、蛋白質(zhì)、化學(xué)物質(zhì)和DNA。所謂的大型語言模型(LLM)（即具有數(shù)十億甚至數(shù)萬億個參數(shù)的模型）的快速發(fā)展開啟了一個新時(shí)代，在這個時(shí)代，生成式人工智能模型全球人工智能簡史2024|Fastdata極數(shù)可以編寫引人入勝的文本、繪制逼真的圖像，甚至可以即時(shí)創(chuàng)建一些有趣的情景喜劇。此外，多模式人工智能的創(chuàng)新使團(tuán)隊(duì)能夠生成多種媒體類型的內(nèi)容，包括文本、圖形和視頻。這是Dall-E等工具的基礎(chǔ)，這些工具可以根據(jù)文本描述自動創(chuàng)建圖像或根據(jù)圖像生成文本標(biāo)題。盡管取得了這些突破，但我們?nèi)蕴幱谑褂蒙墒饺斯ぶ悄軇?chuàng)建可讀文本和逼真風(fēng)格化圖形的早期階段。早期的實(shí)施存在準(zhǔn)確性和偏見問題，并且容易產(chǎn)生幻覺并給出奇怪的答案。不過，迄今為止的進(jìn)展表明，這種生成式人工智能的固有能力可以從根本上改變企業(yè)技術(shù)，改變企業(yè)的運(yùn)營方式。展望未來，這項(xiàng)技術(shù)可以幫助編寫代碼、設(shè)計(jì)新藥、開發(fā)產(chǎn)品、重新設(shè)計(jì)業(yè)務(wù)流程和轉(zhuǎn)變供應(yīng)鏈。?生成式AI模型生成式人工智能模型結(jié)合了各種人工智能算法來表示和處理內(nèi)容。一旦開發(fā)人員確定了表示世界的方式，他們就會應(yīng)用特定的神經(jīng)網(wǎng)絡(luò)來響應(yīng)查詢或提示生成新內(nèi)容。諸如GAN和變分自動編碼器(VAE)（帶有解碼器和編碼器的神經(jīng)網(wǎng)絡(luò)）之類的技術(shù)適合生成逼真的人臉、用于AI訓(xùn)練的合成數(shù)據(jù)，甚至是特定人類的復(fù)制品。谷歌的GPT和谷歌AlphaFold等Transformer的最新進(jìn)展也使得神經(jīng)網(wǎng)絡(luò)不僅可以編碼語言、圖像和視頻。全球人工智能簡史2024|Fastdata極數(shù)02023年全球AI專利授權(quán)數(shù)量達(dá)37.8萬件全球人工智能簡史2024|Fastdata極數(shù)美國其他地區(qū) 德國 芬蘭英國法國全球人工智能簡史2024|Fastdata極數(shù)世界知識產(chǎn)權(quán)組織(WIPO)的最新報(bào)告顯示，中國發(fā)明家申請的生成式人工智能(GenAI)專利數(shù)量最多，遠(yuǎn)遠(yuǎn)超過排名前五的美國、韓國、日本和印度。《WIPO生成式人工智能專利態(tài)勢報(bào)告》記錄了截至2023年的十年間54,000項(xiàng)GenAI專利，其中僅在去年一年就有超過25%的發(fā)明誕生。GenAI允許用戶創(chuàng)建包括文本、圖像、音樂和計(jì)算機(jī)代碼在內(nèi)的內(nèi)容，為一系列工業(yè)和消費(fèi)產(chǎn)品提供支持，包括ChatGPT、GoogleGemini或百度的ERNIE等聊天機(jī)器人。2014年至2023年期間，中國將有超過38,000項(xiàng)GenAI發(fā)明，是排名第二的美國的六倍。印度是GenAI發(fā)明的第五大來源地，在前五大國家中，其年均增長率最高，達(dá)到56%。報(bào)告顯示，GenAI已經(jīng)遍及生命科學(xué)、WIPO總干事?“GenAI已經(jīng)成為一項(xiàng)WIPO希望讓每個人都更好地了解這項(xiàng)快速發(fā)展的技術(shù)的發(fā)展方向和發(fā)展方向。這可以幫助政策制定者塑造GenAI的發(fā)展，造福我們共同利益，并確保我們繼續(xù)將人類置于創(chuàng)新和創(chuàng)意生態(tài)系統(tǒng)的中心。我們相信，這份報(bào)告將使創(chuàng)新者、研究人員和其他人能夠駕馭快速發(fā)展的生成式人工智能格局及其對世界的影響，”全球人工智能簡史2024|Fastdata極數(shù)2014年-2023年獲得GenAI專利數(shù)量主要公司全球人工智能簡史2024|Fastdata極數(shù)u開源u半開源u閉源892019年-2023年全球不同可訪問類型基 全球人工智能簡史2024|Fastdata極數(shù)清華大學(xué)Anthropic 上海人工智能實(shí)驗(yàn)室 英國阿聯(lián)酋加拿大新加坡以色列 德國 芬蘭 瑞士 瑞典西班牙883222211111全球人工智能簡史2024|Fastdata極數(shù)2011年-2023年GitHub人工智能項(xiàng)目星2023年全球各主要地區(qū)GitHub人工智能項(xiàng)目美國其他地區(qū)歐盟和英國印度全球人工智能簡史2024|Fastdata極數(shù)直到2014年，學(xué)術(shù)界在人工智能模型的發(fā)布方面一直處于領(lǐng)先地位。2014年之后企業(yè)就占據(jù)了主導(dǎo)地位。2023年，全球AI領(lǐng)域產(chǎn)生了51個值得注意的人工智能模型，而學(xué)術(shù)界只有15個。值得注意的是，2023年，有21個值得注意的模型來自產(chǎn)學(xué)研合作創(chuàng)下新高?，F(xiàn)在創(chuàng)建尖端的人工智能大模型需要大量的數(shù)據(jù)、算力和資金投入，而這些是學(xué)術(shù)界所不具備的。這種由企業(yè)主導(dǎo)領(lǐng)先人工智能模型研發(fā)的趨勢和去年相比基本保持不變，并且還將持續(xù)下去。2023年值得關(guān)注人工智能大模型發(fā)布國家分布 8444332全球人工智能簡史2024|Fastdata極數(shù)全球人工智能簡史2024|Fastdata極數(shù)2012年-2023年各領(lǐng)域著名人工智AlexNet是推廣使用GPU改進(jìn)Al模型的現(xiàn)有標(biāo)準(zhǔn)做法的論文之一，它需要估計(jì)470petaFLOP進(jìn)行訓(xùn)練。需要大約7,400petaFLOP，谷歌的GeminiUltra是目前最先進(jìn)的基礎(chǔ)模型之一，需要500億petaFLOP。而最新的Grok3需要的算力更加驚人。全球人工智能簡史2024|Fastdata極數(shù)2017年-2023年部分模型訓(xùn)練成本預(yù)估TransformerTransformer-3 全球人工智能簡史2024|Fastdata極數(shù)2024年海外市場AI相關(guān)企業(yè)重點(diǎn)融資LumaAI3D模型研發(fā)商C輪元亞馬遜AmazonAMD英偉達(dá)NVIDIA元EQTVentures元TRAC基于MoveVM的OpenAI司亞馬遜AmazonxAI卡塔爾投資局QIARoxA輪Rox全球人工智能簡史2024|Fastdata極數(shù)GendoSERENITY商A輪AI創(chuàng)意工作流8VCAI理賠成本降A(chǔ)輪C輪ICONIQGrowthAdobeIBM商C輪A輪OpenAI金C輪金DePIN項(xiàng)目全球人工智能簡史2024|Fastdata極數(shù)金融領(lǐng)域AIDhyanVCXTXVenturesAI網(wǎng)站前端優(yōu)化HackVCHFOAI網(wǎng)絡(luò)內(nèi)容社區(qū)PowerofNManagementA輪HomeToGoWaymo商A+輪IBMDCVCBioCrewAIA輪B輪ACMEVenturesD輪全球人工智能簡史2024|Fastdata極數(shù)DeepMindAlbaVCAI轉(zhuǎn)錄和音頻智A輪NumericAI會計(jì)自動化服A輪D輪OpenSVAngelNearA輪EvenUpD輪AI技能管理服務(wù)商AI軟件及代碼開商B輪DSTGlobal英偉達(dá)NVIDIALG集團(tuán)VoyageAIRAG人工智能應(yīng)用A輪全球人工智能簡史2024|Fastdata極數(shù)OpenAI司英偉達(dá)NVIDIA軟銀愿景基金 MGXB輪M13B輪AI編程服務(wù)提供商A輪HarmonicAI視頻處理播放A輪DSTGlobal錄A輪AdamD'AngeloA輪A輪全球人工智能簡史2024|Fastdata極數(shù)AI并購服務(wù)臺E輪AI畫作制作AI金融科技GREENSAI驅(qū)動客戶全球人工智能簡史2024|Fastdata極數(shù)CodeiumC輪Byers(KPCB全球)A輪SamsungNEXTDCM海外GTMFundA輪AI動畫生成商A輪OpkeyB輪PangeamModelOpB輪本AI代碼審查平臺A輪CRVEvenUpC輪SagaVCNepoeOKXVenturesMaskNetworkHanowFund全球人工智能簡史2024|Fastdata極數(shù)OWB輪A+輪SIG海納亞洲GroqAI芯片研發(fā)商AIAI大模型方案A輪英偉達(dá)NVIDIA商B輪AI法律助手服C輪OpenAIByers(KPCB全球)A輪TESAIAI算力協(xié)議提A輪[領(lǐng)投]XFORCEFoundationCMCCGlobalD輪AMDEDC英偉達(dá)NVIDIAA輪[領(lǐng)投]NEA恩頤投資-NewMP商AIAI驅(qū)動的智能全球人工智能簡史2024|Fastdata極數(shù)AIAI實(shí)驗(yàn)和生產(chǎn)B輪英偉達(dá)NVIDIAAMDMongoDBAI創(chuàng)意工作室C輪HubSpotAdobeYCombinator教練”O(jiān)penAI商商GendoBaobabNetworkB輪DustAI技術(shù)服務(wù)商AI賦能人機(jī)混ARCAAWSNVIDIA英偉達(dá)GroqAI芯片研發(fā)商全球人工智能簡史2024|Fastdata極數(shù)A輪B+輪GroqAI芯片研發(fā)商A輪CuspAIAI語言識別工具DAOMakerB輪英偉達(dá)NVIDIAIBMDSTGlobalA輪[領(lǐng)投]NEA恩頤投資AIAI大模型方案解SVAAI語音代理服務(wù)AirMDRAI自主管理檢測商全球人工智能簡史2024|Fastdata極數(shù)B輪A輪商B輪B+輪MavenAGIA輪M13TheE14FundNFXxAIB輪DeepLC輪ICONIQGrowthAI數(shù)據(jù)平臺F輪Meta亞馬遜AmazonAMD英偉達(dá)NVIDIAHCreandum商B輪全球人工智能簡史2024|Fastdata極數(shù)CoreWeaveGPU云服務(wù)算C輪英偉達(dá)NVIDIAGammaAppAI自動生成PPTA輪AI深度學(xué)習(xí)和商E輪高通Qualcomm英偉達(dá)NVIDIAManagementB輪FLOODGATEFund0xGenAI整合DeFi平臺XLabsAI醫(yī)療成像解B+輪AI大模型訓(xùn)練A輪亞馬遜Amazon微軟MicrosoftTeam8NumericAI會計(jì)自動化8VC構(gòu)建企業(yè)級AIA輪AMDCoreWeaveGPU云服務(wù)算C輪全球人工智能簡史2024|Fastdata極數(shù)AugmentCodeB輪AI程序員技術(shù)A輪B輪AI社交媒體應(yīng)用SamAltmanA輪FYLD金AI數(shù)據(jù)標(biāo)簽提OpenAIARKInvestAI基礎(chǔ)模型開A輪GoodGist亞馬遜AmazonAI創(chuàng)意工作室A輪20VCAIC輪C輪NendoLabs全球人工智能簡史2024|Fastdata極數(shù)SOAIAI社交平臺臺MaskNetworkMacnBTC亞馬遜AmazonAI實(shí)驗(yàn)和生產(chǎn)平A輪AI人力資源管理LuminoTRGCOrangeDAOAIA輪SVAngelA輪AmploBVPRTXVenturesOpenAIAI程序員技術(shù)研全球人工智能簡史2024|Fastdata極數(shù)AIWeb3服務(wù)提Kaedim人工智能2D圖像轉(zhuǎn)換3D模型A輪Cogna商亞馬遜AmazonOpenAIEmaAI辦公自動化商AMECloudVenturesB輪Wordware創(chuàng)建AI代理工具M(jìn)12A輪臺A輪KIT-AR工業(yè)AR解決方D輪ICONIQGrowthKPCB凱鵬華盈中國全球人工智能簡史2024|Fastdata極數(shù)FlowGPTNLXA輪GenmoNetwork基于MoveVM的IBM英偉達(dá)NVIDIATRGCAIAI大模型訓(xùn)練MagicAIA輪商FORLIFEA輪TUDAGTUDresdenAG高通QualcommINTUITAI語言學(xué)習(xí)應(yīng)A輪CARPL商全球人工智能簡史2024|Fastdata極數(shù)商商D輪AI語音合成軟商全球人工智能簡史2024|Fastdata極數(shù)A輪SLB商園DashFundB輪NEA恩頤投資-英偉達(dá)NVIDIAMotherDuck全球人工智能簡史2024|Fastdata極數(shù)B輪AI教育機(jī)器人B輪B輪商A輪元和資本B輪C輪A+輪領(lǐng)沨資本AI蛋白質(zhì)設(shè)計(jì)A輪數(shù)字人AIGC平臺A輪智譜AID輪全球人工智能簡史2024|Fastdata極數(shù)提供AGI算A輪MaaS賦能企B+輪B+輪AIGC大模型A輪AI繪畫原創(chuàng)A輪AI人工智能A+輪全球人工智能簡史2024|Fastdata極數(shù)AI大模型推理和智譜AI51WORLDVR+AI科技公司F輪B輪A+輪啟明創(chuàng)投智譜AIC輪AI初創(chuàng)大模型公司B輪L4自動駕駛卡車B+輪AIGC產(chǎn)品開發(fā)AIGC視覺多模A+輪AI行業(yè)應(yīng)用服務(wù)臺C+輪全球人工智能簡史2024|Fastdata極數(shù)A輪AI初創(chuàng)大模型B輪AI行業(yè)應(yīng)用服C+輪車C輪智譜AI產(chǎn)品開發(fā)商A輪AIGC視覺多商A輪奇B輪A輪AI初創(chuàng)大模型A輪A+輪B輪全球人工智能簡史2024|Fastdata極數(shù)DPMC輪B輪幣IDG資本B輪A+輪啟明創(chuàng)投VAST哇嘶通?3D大模型研英諾天使基金D輪魔量資本MFundA輪商B輪C+輪全球人工智能簡史2024|Fastdata極數(shù)司A輪北航投資普華資本能AI芯片設(shè)計(jì)商B輪A+輪商C輪光學(xué)技術(shù)及3D視覺B輪IT系統(tǒng)解決方案提A+輪B輪B輪AI大算力芯片公司A輪A+輪A輪全球人工智能簡史2024|Fastdata極數(shù)C輪L4級自動駕駛產(chǎn)品B輪B輪L4級自動駕駛產(chǎn)品A輪B輪投臺發(fā)D輪AI解決方案提供商C輪AI芯片研發(fā)商B+輪幣AI基礎(chǔ)架構(gòu)與數(shù)據(jù)B+輪AI芯片研發(fā)商B輪C輪全球人工智能簡史2024|Fastdata極數(shù)C輪C輪C輪B+輪金AI科技創(chuàng)新公司B輪AIGC技術(shù)服片A+輪商B輪戈壁大灣區(qū)GobiGBA全球人工智能簡史2024|Fastdata極數(shù)全球人工智能市場規(guī)模00全球人工智能簡史2024|Fastdata極數(shù)2024年上半年全球各地區(qū)每周至少使用一次人工智全球人工智能簡史2024|Fastdata極數(shù)2024年上半年中小企業(yè)主對使用人工智能的擔(dān)憂全球人工智能簡史2024|Fastdata極數(shù)2024年10月全球用戶對AI在就業(yè)市場應(yīng)用的觀點(diǎn)分析認(rèn)為至少有20%工作崗全球人工智能簡史2024|Fastdata極數(shù)人工智能應(yīng)用已在企業(yè)中快速普及人工智能最常見的應(yīng)用已經(jīng)從2023年長遠(yuǎn)戰(zhàn)略次要組成部分，轉(zhuǎn)變?yōu)?024年廣泛應(yīng)用并推動企業(yè)關(guān)鍵價(jià)值增長。提高產(chǎn)品或服務(wù)質(zhì)量并通過提高IT效率節(jié)省成本是開發(fā)AI應(yīng)用程序的主要驅(qū)動力。泛實(shí)施，推動關(guān)鍵價(jià)值”的受訪者比例從28%上升到33%，成為最常見的答案。對于北美受訪者來說，這一比例甚至更高，為48%，而亞太地區(qū)（26%）和歐洲、中東和非洲（25%）則為26%。2024年10月全球主要地區(qū)認(rèn)為Ai被廣泛應(yīng)用且推動關(guān)鍵單位：%北美歐洲全球全球人工智能簡史2024|Fastdata極數(shù)化并縮短上市時(shí)間的機(jī)會。全球人工智能簡史2024|Fastdata極數(shù)人工智能日益增長的戰(zhàn)略重要性正在推動各企業(yè)大幅增加相關(guān)計(jì)劃。廣泛的實(shí)驗(yàn)和教育是企業(yè)應(yīng)盡的義務(wù)，如果不鼓勵，企業(yè)將失去其應(yīng)有的職責(zé)。然而，缺乏明確價(jià)值識別途徑的項(xiàng)目正因數(shù)據(jù)挑戰(zhàn)而受到阻礙，從而扼殺這一機(jī)會。人工智能項(xiàng)目可能會在有限的部署困境中停滯不前，從而浪費(fèi)公司的金錢、時(shí)間和資源，而無法達(dá)到預(yù)期的使用水平。數(shù)據(jù)孤島、數(shù)據(jù)質(zhì)量差以及數(shù)據(jù)和模型管道效率低下等問題正阻礙這些計(jì)劃的實(shí)施。在普通組織中，51%的AI項(xiàng)目正在生產(chǎn)但尚未大規(guī)模交付。將AI項(xiàng)目引入生產(chǎn)環(huán)境時(shí)，數(shù)據(jù)質(zhì)量是最大的阻礙。35%的組織認(rèn)為，存儲和數(shù)據(jù)管理是AI計(jì)劃最常見的基礎(chǔ)設(shè)施抑制因素；然而，那些已經(jīng)廣泛實(shí)施AI的組織對這些挑戰(zhàn)的感受不那么強(qiáng)烈。長的目標(biāo)，企業(yè)的項(xiàng)目流程中出現(xiàn)了一個問題。雖然越來越多的計(jì)劃被集中到分部署。平均而言，受訪企業(yè)被歸類為有限部署的生產(chǎn)項(xiàng)目多于擴(kuò)大能力的項(xiàng)目。在追求新計(jì)劃時(shí)，許多組織可能無進(jìn)到生產(chǎn)階段時(shí)，數(shù)據(jù)質(zhì)量是最常被提及的挑戰(zhàn)。數(shù)據(jù)質(zhì)量問題（42%的組織缺（32%）和預(yù)算限制（31%）更為嚴(yán)重。媒體和娛樂（59%）、高等教育（53%）以及航空航天和國防（48%）全球人工智能簡史2024|Fastdata極數(shù)別相關(guān)數(shù)據(jù)更顯著的障礙。34%的組織認(rèn)件的限制。在報(bào)告其組織內(nèi)廣泛實(shí)施AI的受訪者中，只有28%的人認(rèn)為存儲和數(shù)據(jù)管理挑戰(zhàn)是他們最大的阻礙；相反，他相比之下，42%的受訪者認(rèn)為AI僅限于其組織內(nèi)的少數(shù)用例或項(xiàng)目。大規(guī)模實(shí)施組織將AI應(yīng)用從試點(diǎn)轉(zhuǎn)移到生產(chǎn)環(huán)境的三大障礙分析全球人工智能簡史2024|Fastdata極數(shù)各組織紛紛投資生成式人工智能，其興趣超過了對長期存在的人工智能形式的興趣。隨著這波投資熱潮的塵埃落定，一小部分生成式人工智能先驅(qū)者應(yīng)運(yùn)而生。這些組織擁有更廣泛的整合能力，并從該技術(shù)在新產(chǎn)品開發(fā)、增強(qiáng)創(chuàng)新和更快上市時(shí)間方面獲得了顯著的競爭優(yōu)勢。隨著生成式人工智能先驅(qū)者開始建立與他人之間的顯著差距，這些競爭優(yōu)勢可能會不斷增長，而這些差距是由他們的投資和基礎(chǔ)設(shè)施優(yōu)勢決定的。88%的組織正在積極研究生成式人工智能。24%的受訪者已將生成式人工智能視為其整個組織的一項(xiàng)綜合能力。大多數(shù)生成式人工智能開拓者都認(rèn)為，生成式人工智能計(jì)劃對提高創(chuàng)新率（79%）、支持新產(chǎn)品推出（76%）和縮短產(chǎn)品上市時(shí)間（76%）等競爭差異化領(lǐng)域具有“高”或“非常高”長的目標(biāo)，企業(yè)的項(xiàng)目流程中出現(xiàn)了一個問題。雖然越來越多的計(jì)劃被集中到分部署。平均而言，受訪企業(yè)被歸類為有限部署的生產(chǎn)項(xiàng)目多于擴(kuò)大能力的項(xiàng)目。在追求新計(jì)劃時(shí)，許多組織可能無法最大限度地發(fā)揮其現(xiàn)有投全球人工智能簡史2024|Fastdata極數(shù)生成式人工智能的采用正在迅速推進(jìn)。一組開拓者（占24%）已經(jīng)將生成式人工智能投資轉(zhuǎn)化為規(guī)?；a(chǎn)能力。相比之下，11%的公司尚未投資生成式人工智能，29%的公司仍在試驗(yàn)該技生成式人工智能的采用正在迅速推進(jìn)。一組開拓者（占24%）已經(jīng)將生成式人工智能投資轉(zhuǎn)化為規(guī)?；a(chǎn)能力。相比之下，11%的公司尚未投資生成式人工智能，29%的公司仍在試驗(yàn)該技術(shù)，37%的公司已將生成式人工智能投入生產(chǎn)但尚未實(shí)現(xiàn)規(guī)模化。ChatGPT后才引起公眾關(guān)注的技術(shù)而言，這是一個了不起的采用水平。已集成并廣泛部署生成式AI的組織將獲得廣泛的好處。重要的是，這些好處通常體現(xiàn)在提供競爭優(yōu)勢的領(lǐng)域。超過四分之三(79%)的先驅(qū)者認(rèn)為生成式AI對其創(chuàng)新率具有“高”或“非常高”的影響，76%對其新產(chǎn)品上市時(shí)間具有影響，76%對其支持新產(chǎn)品推出具有影響，74%對其產(chǎn)品或服務(wù)質(zhì)量的改進(jìn)具有影響，67%對其產(chǎn)品和/或服務(wù)差異化具有影響。這些水平超過了“AI成熟度”較低的組織，這表明生成生成式AI的先驅(qū)者在其支持基礎(chǔ)設(shè)施和策略方面更加成熟。他們使用更廣泛的場所進(jìn)行AI模型訓(xùn)練和推理。但更根本的是，在AI基礎(chǔ)設(shè)施規(guī)劃方面，他們考慮的因素要多得多。與沒有進(jìn)行同等程度投資的組織相比，他們更有可能在規(guī)劃基礎(chǔ)設(shè)施時(shí)考慮安全性、AI加速器訪問、數(shù)據(jù)隱私、可擴(kuò)展性、客戶支持以及對AI工具和框架的訪問。與那些嘗試生成式AI的人相比，這些先驅(qū)者不太可能考慮的唯一因素是前期成本，他們認(rèn)為前期成本不如長期運(yùn)營支出重要。通過在基礎(chǔ)設(shè)施決策之初考慮這些因素，這些組織可以確保這些問題不會在項(xiàng)目進(jìn)展過程中出現(xiàn)。全球人工智能簡史2024|Fastdata極數(shù)AI加速器在優(yōu)化AI性能方面發(fā)揮著重要作用。這些專用硬件設(shè)備（最突出的例子是GPU）旨在加速模型訓(xùn)練和推理；對于AI工作負(fù)載，它們比CPU更快、更高效。組織在訪問GPU時(shí)可能會面臨挑戰(zhàn)，而這種稀缺性提升了它們在基礎(chǔ)設(shè)施規(guī)劃中的地位，并鼓勵采用專業(yè)的AI云計(jì)算平臺。在安全性之后，44%的組織認(rèn)為加速器可用性是基礎(chǔ)設(shè)施決策的主要因素。超大規(guī)模公共云是通往GPU的一條途徑，但許多人也轉(zhuǎn)向了專業(yè)的AI云。GPU云正成為訓(xùn)練（近三分之一，即32%的組織采用）和推理（31%）的關(guān)鍵場所。在某些地區(qū)，特別是亞太地區(qū)，缺乏人工智能加速器已經(jīng)限制了組織將模型投入生產(chǎn)。超大規(guī)模公共云為尋求GPU的組場所，分別有46%和40%的組織表示，GPU云的普及度激增，反映了對GPU的高需求。近三分之一（32%）的已投資AI的組織正在使用GPU云執(zhí)行訓(xùn)練工作負(fù)載，31%的組織正在執(zhí)行推理。這些專業(yè)云產(chǎn)品在信息技術(shù)和服務(wù)公司中特別受歡迎，51%的組織將GPU云全球人工智能簡史2024|Fastdata極數(shù)大，GPU云有望進(jìn)一步增長。各組織預(yù)GPU云的推理和訓(xùn)練采用率預(yù)計(jì)將增長至34%。高等教育機(jī)構(gòu)似乎是一個增長可擴(kuò)展性是組織認(rèn)為GPU云將要扮演GPU云的明顯驅(qū)動因素。濟(jì)體）的組織強(qiáng)烈感受到GPU可用性更有可能將GPU可用性列為將模型投入生產(chǎn)的三大挑戰(zhàn)之一。瑞典（39%）和阿聯(lián)酋（35%）在這方面也表現(xiàn)突出。全球人工智能簡史2024|Fastdata極數(shù)2024年全球人工智能趨勢報(bào)告展現(xiàn)了與2023年報(bào)告截然不同的人工智能應(yīng)用前景。人工智能正在得到更廣泛的應(yīng)用，更加注重提供產(chǎn)品和服務(wù)質(zhì)量改進(jìn)和收入增長。生成式人工智能的成熟是這一轉(zhuǎn)變的關(guān)鍵驅(qū)動力。然而挑戰(zhàn)依然存在。許多組織正在努力將投資轉(zhuǎn)移到他們可以大規(guī)模提供的能力上，他們承認(rèn)業(yè)務(wù)運(yùn)營的可持續(xù)性面臨壓力。構(gòu)建強(qiáng)大的數(shù)據(jù)架構(gòu)，助力AI成功明智的投資是生成式AI成功的關(guān)鍵實(shí)踐并最大限度地提高GPU的可用性和利用率，包括研究專門的GPU和AI探索生成式AI驅(qū)動的IT效率擴(kuò)大可持續(xù)發(fā)展實(shí)踐04全球人工智能簡史2024|Fastdata極數(shù)TheTrend全球人工智能發(fā)展趨勢發(fā)式進(jìn)入公眾視野的一年，2023年是它因?yàn)檠芯咳藛T和企業(yè)都在尋求確定如何將這一技術(shù)的革命性飛躍最實(shí)際地融入生成式人工智能的發(fā)展與計(jì)算機(jī)少數(shù)公司生產(chǎn)的大型集中式計(jì)算機(jī)逐漸被企業(yè)和研究機(jī)構(gòu)使用的小型高效機(jī)器取代。在隨后的幾十年里，技術(shù)逐漸進(jìn)隨著時(shí)間的推移，功能強(qiáng)大的個人計(jì)算生成式人工智能已經(jīng)進(jìn)入了“業(yè)余愛好者”階段——與計(jì)算機(jī)一樣，進(jìn)一步的進(jìn)步旨在以更小的成本實(shí)現(xiàn)更高的性能。2023年，具有開放許可的高效基礎(chǔ)模型呈爆炸式增長，首先是Meta推對平價(jià)和易用。借助開源社區(qū)開發(fā)的微調(diào)技術(shù)和數(shù)據(jù)集，許多開放模型現(xiàn)在可以在大多數(shù)基準(zhǔn)測試中勝過除最強(qiáng)大的閉源模型之外的所有模型，盡管參數(shù)數(shù)型不斷擴(kuò)展的功能將獲得最多的媒體關(guān)注。但最具影響力的發(fā)展可能是那些專注于治理、中間件、訓(xùn)練技術(shù)和數(shù)據(jù)管道的發(fā)展，這些發(fā)展使生成式人工智能可持續(xù)和易于訪問。以下是未來一年值全球人工智能簡史2024|Fastdata極數(shù)當(dāng)生成式人工智能首次引起大眾關(guān)注時(shí)，典型的商業(yè)領(lǐng)袖的知識主要來自營銷材料和令人振奮的新聞報(bào)道。實(shí)際經(jīng)驗(yàn)（如果有的話）僅限于擺弄ChatGPT和DALL-E?，F(xiàn)在塵埃落定，商界現(xiàn)在對人工智能解決方案有了更深入的了解。有機(jī)構(gòu)將用技術(shù)成熟度曲線將生成式人工智能定位在“預(yù)期膨脹的頂峰”，即將滑入“幻滅的低谷”——換句話說，即將進(jìn)入一個（相對）令人失望的過渡期——而德勤2024年第一季度的“企業(yè)生成式人工智能狀況”報(bào)告指出，許多領(lǐng)導(dǎo)者“預(yù)計(jì)短期內(nèi)將產(chǎn)生重大的變革影響”。而現(xiàn)實(shí)情況可能介于兩者之間：生成式人工智能提供了獨(dú)特的機(jī)會和解決方案，但它并不會滿足所有人的需求?，F(xiàn)實(shí)世界的結(jié)果與炒作相比如何，在一定程度上取決于觀點(diǎn)。像ChatGPT這樣的獨(dú)立工具通常占據(jù)大眾想象的焦點(diǎn)，但順利集成到現(xiàn)有服務(wù)中往往會產(chǎn)生更大的持久力。在當(dāng)前的炒作周期之前，生成機(jī)器學(xué)習(xí)工具（如谷歌在2018年推出的“智能撰寫”功能）并沒有被視為范式轉(zhuǎn)變，盡管它們是當(dāng)今文本生成服務(wù)的先驅(qū)。同樣，許多影響深遠(yuǎn)的生成式AI工具正在作為企業(yè)環(huán)境的集成元素實(shí)施，它們增強(qiáng)和補(bǔ)充現(xiàn)有工具，而不是徹底改變或取代Photoshop中的“生成填充”功能或生產(chǎn)力和協(xié)作應(yīng)用程序中的虛擬代理。生成式人工智能在日常工作流程中首先獲得發(fā)展勢頭的地方，將對人工智能工具的未來產(chǎn)生比任何特定人工智能功能的假設(shè)優(yōu)勢更大的影響。根據(jù)IBM最近對1,000多名企業(yè)級公司員工進(jìn)行的一項(xiàng)調(diào)查，推動人工智能采用的三大因素是人工智能工具的進(jìn)步使其更易于訪問、降低成本和自動化關(guān)鍵流程的需求，以及嵌入到標(biāo)準(zhǔn)現(xiàn)成業(yè)務(wù)應(yīng)用程序中的人工智能數(shù)量不斷增加。全球人工智能簡史2024|Fastdata極數(shù)最先進(jìn)的生成式人工智能的野心正在不斷增長。下一波進(jìn)步不僅將側(cè)重于提高特定領(lǐng)域的性能，還將側(cè)重于能夠?qū)⒍喾N類型的數(shù)據(jù)作為輸入的多模態(tài)模型。雖然跨不同數(shù)據(jù)模態(tài)運(yùn)行的模型并不是一個嚴(yán)格意義上的新現(xiàn)象——文本到圖像模型（如CLIP）和語音到文本模型（如Wave2Vec）已經(jīng)存在多年——但它們通常只在一個方向上運(yùn)行，并且經(jīng)過訓(xùn)練以完成特定任務(wù)。新一代跨學(xué)科模型包括OpenAI的GPT-4V或Google的Gemini等專有模型，以及LLaVa、Adept或Qwen-VL等開源模型，它們可以在自然語言處理(NLP)和計(jì)算機(jī)視覺任務(wù)之間自由切換。新模型還將視頻納入其中：2024年1月底，Google宣布推出Lumiere，這是一種文本轉(zhuǎn)視頻的傳播模型，它還可以執(zhí)行圖像轉(zhuǎn)視頻的任務(wù)或使用圖像作為風(fēng)格參考。多模態(tài)人工智能最直接的好處是更加直觀、功能多樣的人工智能應(yīng)用和虛擬助手。例如，用戶可以詢問圖像并收到自然語言答案，或者大聲詢問修復(fù)某些東西的說明，并獲得視覺輔助和分步文本說明。從更高層次來看，多模態(tài)人工智能允許模型處理更多樣化的數(shù)據(jù)輸入，從而豐富和擴(kuò)展可用于訓(xùn)練和推理的信息。尤其是視頻，為整體學(xué)習(xí)提供了巨大的潛力。全球人工智能簡史2024|Fastdata極數(shù)在特定領(lǐng)域的模型中，我們可能已經(jīng)達(dá)到了參數(shù)數(shù)量增加帶來的收益SamAltman（GPT-4模型有大約1.76萬億個參數(shù)）在2023年4月麻省理工學(xué)院的“想象力在行動”活動上提出了同樣的觀點(diǎn)：“我認(rèn)為我們正處于一個巨型模型時(shí)代的終結(jié)，我們會以其他方式讓它們變得更好，”他預(yù)測道。“我認(rèn)為人們過于關(guān)注參數(shù)數(shù)量?！贝笠?guī)模模型開啟了人工智能黃金時(shí)代，但它們并非沒有缺點(diǎn)。只有最大的公司才有資金和服務(wù)器算力來訓(xùn)練和維護(hù)具有數(shù)千億個參數(shù)的耗能模型。根據(jù)華盛頓大學(xué)的一項(xiàng)估計(jì)，訓(xùn)練一個GPT-3大小的模型需要消耗1,000多戶家庭一年的用電量；標(biāo)準(zhǔn)的ChatGPT查詢?nèi)障牡碾娏肯喈?dāng)于與此同時(shí)，較小的模型所需的資源要少得多。Deepmind于2022年3月發(fā)表了一篇頗具影響力的論文，該論文表明，在更多數(shù)據(jù)上訓(xùn)練較小的模型比在較少數(shù)據(jù)上訓(xùn)練較大的模型能產(chǎn)生更好的性能。因此，LLM中正在進(jìn)行的大部分創(chuàng)新都集中在從較少的參數(shù)中產(chǎn)生更大的輸出。正如30億到700億參數(shù)范圍內(nèi)的模型的最新進(jìn)展所證明的那樣，特別是2023年基于LLaMa、LLaMa2和Mistral基礎(chǔ)模型構(gòu)建的模型，模型可以在不犧牲太多性能的情況下縮小規(guī)模。開源模型的力量將不斷增強(qiáng)?！癕ixtral”，這是一個集成了8個神經(jīng)網(wǎng)絡(luò)的混合專家(MoE)模型，每個神經(jīng)網(wǎng)絡(luò)都有70億個參數(shù)。Mistral聲以6倍的推理速度超越了Llama2的70B參數(shù)變體，而且在大多數(shù)標(biāo)準(zhǔn)基準(zhǔn)測試中甚至匹敵或超越了OpenAI規(guī)模更大的GPT-3.5。此后不久，Meta發(fā)布的Llama3模型，它依然開源。較小模型的進(jìn)步具有三個重要優(yōu)點(diǎn)：它們有助于實(shí)現(xiàn)人工智能的民主化：可以在更易獲得的硬件上以更低成本運(yùn)行的小型模型使更多的業(yè)余愛好者和機(jī)構(gòu)能夠研究、訓(xùn)練和改進(jìn)現(xiàn)有模型。它們可以在較小的設(shè)備上本地運(yùn)行：這允許在邊緣計(jì)算和物聯(lián)網(wǎng)(IoT)等場景中實(shí)現(xiàn)更復(fù)雜的AI。此外，在本地運(yùn)行模型（例如在用戶的智能手機(jī)上）有助于避免與敏感的個人或?qū)Ｓ袛?shù)據(jù)交互而產(chǎn)生的許多隱私和網(wǎng)絡(luò)安全問題。全球人工智能簡史2024|Fastdata極數(shù)隨著硬件可用性下降導(dǎo)致云計(jì)算成本增加，小型模型的趨勢將受到必要性和創(chuàng)業(yè)活力的雙重驅(qū)動。大公司（以及更多大公司）都在嘗試將AI功能引入內(nèi)部，GPU也出現(xiàn)了一定程度的搶購。這不僅會給GPU產(chǎn)量帶來巨大壓力，還會迫使創(chuàng)新者想出更便宜、更易于制造和使用的硬件解決方案。正如2023年末那樣，云提供商目前承擔(dān)了大部分計(jì)算負(fù)擔(dān)：相對較少的AI采用者維護(hù)自己的基礎(chǔ)設(shè)施，而硬件短缺只會增加設(shè)置內(nèi)部服務(wù)器的障礙和成本。從長遠(yuǎn)來看，這可能會給云成本帶來上行壓力，因?yàn)樘峁┥虝潞蛢?yōu)化自己的基礎(chǔ)設(shè)施以有效滿足生成式AI的需求。對于企業(yè)來說，駕馭這種不確定的環(huán)境需要靈活性，包括模型（在必要時(shí)依靠