對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在

對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在對話ChatGPT之父我們對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁，當(dāng)前為第1頁?！ぁ拔椅ㄒ欢萌绾沃贫ú呗缘姆椒ň褪?，一次又一次地進行非常長期的、資本密集型的、困難技術(shù)相關(guān)的投資。而且我甚至不認為我在這方面特別擅長。我只是覺得沒有太多人嘗試這些，所以競爭很小。”·“我認為對參數(shù)數(shù)量的關(guān)注度過高。”山姆·奧特曼在麻省理工學(xué)院（MIT）舉辦的活動中遠程連線。ChatGPT開發(fā)機構(gòu)OpenAI的CEO山姆·奧特曼4月曾在一個對話活動中稱，他們沒有在訓(xùn)練GPT-5，并提到“我們現(xiàn)在已經(jīng)接近巨型模型時代的尾聲”，正在尋找其他方式改進模型。這場名為“想象行動”的活動由麻省理工學(xué)院（MIT）舉辦，其完整對話內(nèi)容在當(dāng)?shù)貢r間5月8日被主辦方公布。奧特曼在對話中詳細闡述了他的思路，認為模型規(guī)模不一定能帶來最佳的效果，模型能力才是最重要的結(jié)果。奧特曼被問及基于大模型的商業(yè)思路，他坦承自己不是商業(yè)策略家，“很多公司用非常輕量級的東西構(gòu)建了具有掠奪性機制的產(chǎn)品，但這并不是什么持久之計。而那些真正按照正常步驟去打造偉大企業(yè)的公司在過去15年里持續(xù)發(fā)展。所以你肯定希望成為后者。”以下是對話內(nèi)容，略有刪節(jié)：主持人：第一個我想問的是，如果AGI（通用人工智能）即將到來，那么我們現(xiàn)在正處于一個拐點。人類歷史在AGI出現(xiàn)之前是一個段落，然后，從這里開始顯然有一個完全不同的歷史。所以在我看來，無論事態(tài)如何發(fā)展，你都將成為歷史書中的焦點。你認為是這樣嗎？對話ChatGPT之父我們不是為對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁，當(dāng)前為第2頁。主持人：關(guān)于歷史將如何描述這個時刻，這個時刻是（人工智能）這個領(lǐng)域里的創(chuàng)新之年。奧特曼：我希望這會成為歷史書中的一頁或一章，但我認為在接下來的幾十億年里會發(fā)生如此多不可思議的事情，以至于這將只是其中的一個小部分。所以我認為，在我們面前會有更多新的、更大的、更令人興奮的機遇和挑戰(zhàn)。主持人：你能否給剛創(chuàng)業(yè)的公司一些快速建議，需要從一開始就做出哪些決定？從哪里開始？如何讓它在任何特定的垂直用例中發(fā)揮作用？等等。奧特曼：沒有什么能超過你為用戶打造一個他們喜愛的產(chǎn)品的責(zé)任。你要非常了解你的用戶，滿足他們的需求，考慮長期可持續(xù)的商業(yè)策略。在平臺轉(zhuǎn)換期間，這實際上可能變得更加重要，而不是變得不那么重要?；叵胍幌聭?yīng)用商店的推出，這可能是最近類似的例子，有很多公司用非常輕量級的東西構(gòu)建了具有掠奪性機制的產(chǎn)品，但這并不是什么持久之計。這樣的公司經(jīng)歷了令人難以置信的流星般的興衰。而那些真正按照正常步驟去打造偉大企業(yè)的公司在過去15年里持續(xù)發(fā)展。所以你肯定希望成為后者。技術(shù)只是一個新的推動器，但你作為公司需要做的是建立一個具有長期復(fù)合戰(zhàn)略優(yōu)勢的優(yōu)秀公司。主持人：讓我們開始談?wù)劵A(chǔ)大模型?；仡欉^去兩年，開始的最好方法之一是采用現(xiàn)有的基礎(chǔ)模型，添加一些層，然后針對垂直領(lǐng)域重新訓(xùn)練它?，F(xiàn)在基礎(chǔ)模型可能有一萬億個參數(shù)，規(guī)模要大得多。但是，在不重新對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁，當(dāng)前對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁，當(dāng)前為第3頁。奧特曼：最大的模型中大約有32000個，基礎(chǔ)模型中有8000個。主持人：那么，基礎(chǔ)模型未來會如何迭代？這應(yīng)該相當(dāng)快就會被推出了。奧特曼：我們?nèi)栽谂ε宄?，開發(fā)者在模型定制方面到底需要什么。我們愿意在這里做很多事情，我們也把開發(fā)者當(dāng)作我們的用戶。因此，我們的目標(biāo)是讓開發(fā)者非常滿意，弄清楚他們需要什么。我們原以為這將是一個更精細的微調(diào)（finetune）的故事，我們一直在思考如何以不同的方式提供這種服務(wù)。但是，人們似乎更喜歡使用基礎(chǔ)模型來完成一些非常了不起的事情，所以我們正在積極地重新考慮，要優(yōu)先考慮哪些定制。因為用戶需要的東西似乎在模型變得越來越好的情況下也在不斷改進。隨著模型越來越好，對微調(diào)的需求也越來越小，你可以在上下文中做越來越多的事情。主持人：當(dāng)你說微調(diào)時，你是指改變參數(shù)權(quán)重。奧特曼：是的。我們肯定會在GPT里提供一些修改參數(shù)權(quán)重的功能，但就目前來看，與提供非常便宜的上下文能力相比，可能調(diào)整參數(shù)權(quán)重的使用頻率會較低，如果我們能解決（可輸入）100萬個token的問題的話。主持人：我們來稍微深入了解一下。無論具體細節(jié)如何，趨勢似乎是，隨著模型變得越來越大，從1萬億到10萬億個參數(shù)，prompt提示工對話ChatGPT之父我們不是為對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁，當(dāng)前為第4頁。奧特曼：從參數(shù)規(guī)模的角度，不成比例地增長，是的。但我認為我們現(xiàn)在已經(jīng)接近這些巨型模型時代的尾聲。我們將通過其他方式改進它們。我想說的是，它們和模型能力成比例地增長。主持人：關(guān)于基礎(chǔ)模型的創(chuàng)建投資，在訓(xùn)練過程中可能需要5000萬至1億美元的規(guī)模？奧特曼：我們沒有透露過具體金額，但實際上比這個數(shù)字要多得多。主持人：隨著時間的推移，投資也在增加。那么，試圖從零開始的人需要迎頭趕上，他們可能要追趕一個巨大的差距。奧特曼：也許我們都很愚蠢，錯過了一個重要的想法，所有這些或許并不像我們想象的那么困難或昂貴，可能將有一個完全新的范例取代我們。這對世界來說是好事，盡管對我們來說可能不是。主持人：讓我聽聽你對這些事情的看法。保羅·格雷厄姆（美國風(fēng)險投資家）稱，你是他見過的最偉大的商業(yè)策略家。在場所有這些人都在努力應(yīng)對他們的商業(yè)策略，思考到底要建立什么和在哪里建立。所以我一直在問你一些問題，這些問題或多或少地涉及到在GPT-4、ChatGPT以及即將到來的GPT-5等基礎(chǔ)之上的垂直應(yīng)用案例。但是，還有許多與之相鄰的商業(yè)模式，如聯(lián)合學(xué)習(xí)、數(shù)據(jù)調(diào)節(jié)或部署等。如果你只是投資于這個生態(tài)系統(tǒng)中的一類公司，那也是有趣的商業(yè)模式。關(guān)于哪里有更高回報、哪里有更快增長的商業(yè)模式，你有什么想法？奧特曼：我不認為保羅·格雷厄姆真的那樣說過。我知道他說過類似的話，但無論如何，我不認為這是真的。對話ChatGPT對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁，當(dāng)前為第5頁。我唯一懂得如何制定策略的方法就是，一次又一次地進行非常長期的、資本密集型的、困難技術(shù)相關(guān)的投資。而且我甚至不認為我在這方面特別擅長。我只是覺得沒有太多人嘗試這些，所以競爭很小，這種策略我認為沒有太多競爭。但要利用像OpenAI這樣的平臺，構(gòu)建一個新的、快速增長、有防御能力的消費者企業(yè)公司，我?guī)缀跻粺o所知。我知道所有的理論，但不了解實踐。我會去尋找那些做過這些事情的人，并向他們尋求實踐建議。主持人：關(guān)于底層技術(shù)平臺，我有幾個問題。自從參數(shù)數(shù)量還不到100萬時，我就一直在自己構(gòu)建神經(jīng)網(wǎng)絡(luò)。實際上，它們在許多商業(yè)應(yīng)用中非常有用。然后我看著它們的參數(shù)數(shù)量增長到10億，GPT-2大約是15億個參數(shù)，接著是GPT-3，現(xiàn)在是GPT-4、我們不知道當(dāng)前的參數(shù)數(shù)量，但我認為GPT-3中是1250億。與GPT-2相比，它的差距簡直令人難以置信，然后GPT-4更是讓人難以置信地不同。聽了英偉達的預(yù)測，參數(shù)數(shù)量似乎處于上升趨勢，從1萬億到10萬億，然后英偉達說未來十年將達到10千兆。你認為這個數(shù)字是正確的嗎？奧特曼：我認為對參數(shù)數(shù)量的關(guān)注度過高。參數(shù)數(shù)量肯定會上升，但這讓我想起了上世紀90年代和21世紀初芯片中的兆赫茲競賽。每個人都試圖指向一個很大的數(shù)字，然后最后，你可能連自己的iPhone上有多少兆赫都不知道，但它很快。我們實際上關(guān)心的是能力。對話ChatGPT之父我對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁，當(dāng)前為第6頁。我們想為世界提供最有能力、最有用、最安全的模型。我們不是為了炫耀參數(shù)數(shù)量而存在。主持人：但這類算法與我以前見過的任何算法相比，有一個絕對獨特的地方，無論你是用參數(shù)數(shù)量還是其他方式來衡量，它都會讓你驚訝于它的原始性能，它利用了規(guī)模的優(yōu)勢。今天早上我舉的例子是，如果你有一個電子表格，你將其編碼并在一臺速度提高了10000倍的計算機上運行，它不會讓你感到驚訝；它反應(yīng)很好，但它仍然是一個電子表格。而這類算法在純粹提高性能方面做了以前無法做到的事情（指AI大模型的智能涌現(xiàn)）。實際上我們風(fēng)險投資基金的一位合伙人用GPT-2寫了一本書。你可以在亞馬遜上購買，書名叫《從這里開始》或《從這里開始：浪漫》，我想大概賣了10本，我買了其中的一本，所以可能只賣了9本。如果你讀這本書，你會發(fā)現(xiàn)這本書并不好。這只是4年前。僅僅4年，從GPT-2、3到4，現(xiàn)在它已經(jīng)從質(zhì)量不怎么好，到有些合理，到現(xiàn)在有可能寫出一本真正優(yōu)秀的書。所以，如果底層基礎(chǔ)設(shè)施越來越快，這類算法將在相對較短的時間范圍內(nèi)做出令人驚訝的事情。對話ChatGPT之父我們對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁，當(dāng)前為第7頁。奧特曼：我認為，永遠不要失去對愿景和長期目標(biāo)的關(guān)注，要有非常緊密的反饋循環(huán)，關(guān)注哪些有效果，哪些無效果；做更多有效果的事情，少做無效果的事情。非常非常仔細的用戶觀察可以讓我們走得很遠。所以，我可以猜測想法，你們都可以猜測想法，但沒有什么比把產(chǎn)品放出去，真正深入了解發(fā)生了什么，并且對其做出及時響應(yīng)更有價值。主持人：你什么時候知道你的ChatGPT非常特別？是什么讓你實現(xiàn)了其他人無法實現(xiàn)的事情？奧特曼：我們已經(jīng)為此努力了很長時間，我們逐漸更有信心地知道這真的會奏效。這個公司已經(jīng)成立了7年，事情需要很長時間。關(guān)于為什么其他人沒有成功我們卻成功了，就是因為我們一直在努力工作，長時間關(guān)注每一個細節(jié)，大多數(shù)人不愿意這么做。至于我們什么時候知道，ChatGPT特別是作為一款消費者產(chǎn)品會火起來的，大概是在發(fā)布后的48小時左右。主持人：我們在MIT，這里與馬克斯·泰格馬克（Ma某Tegmark，麻省理工學(xué)院教授）等人發(fā)起制定了一個“關(guān)于暫停AI發(fā)展6個月”的公開信。關(guān)于這封公開信，你有什么想法？對話ChatGPT之父我們不是為對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁，當(dāng)前為第8頁。自從我們發(fā)布了GPT-4以來，很多人都說，哇，這不僅是OpenAI發(fā)布的最有能力的模型，而且是最安全、最有目標(biāo)的模型。除非我嘗試讓它做壞事，否則它不會這樣做。所以，我們完全同意（以上這點）。我還同意，隨著AI能力變得越來越強大，安全標(biāo)準也必須提高。但不幸的是，我認為這封信缺乏關(guān)于哪里需要暫停的技術(shù)細節(jié)。事實上，在信的早期版本中宣稱我們OpenAI正在訓(xùn)練GPT-5，但事實并非如此。我們還需要一段時間。從這個意義上說，這封信有點可笑。山姆·奧特曼在對話中表示，OpenAI沒有在訓(xùn)練GPT-5，“一段時間”內(nèi)也不會訓(xùn)練。(02:03)我們正在GPT-4之上做一些其他事情，我認為有很多安全問題需要解決，而這封信卻完全忽略了這些問題。所以，我認為謹慎行事，增加對安全問題的嚴格性非常重要，但這封信并不是解決問題的最佳途徑。主持人：你一直非常開放，進行很多對話，非常誠實，而且OpenAI也是如此，而其他公司就相對封閉得多。這背后的理念是什么？你打算繼續(xù)這樣做嗎？奧特曼：我們當(dāng)然打算繼續(xù)這樣做。我們權(quán)衡的是，有時候我們會說一些愚蠢的話，說出一些事實上是錯誤的東西。我想很多其他公司在確定件事是正確之前都不想說出來。對話ChatGPT之父我對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁，當(dāng)前為第9頁。即使我們有時候在公開場合會感到尷尬，不得不根據(jù)新數(shù)據(jù)改變想法，我們還是會繼續(xù)這樣做，因為我們認為這比任何替代方案都要好。OpenAI的一個重要目標(biāo)是讓世界參與其中，思考這個問題，逐步更新和建立新的制度，或者調(diào)整我們現(xiàn)有的制度，以便能夠找出我們都希望建立的未來，這就是我們在這里的原因。主持人：我們只剩下幾分鐘了。我必須問你一個自從我13歲以來一直縈繞在我心頭的問題。如果讀過雷蒙德·庫茨魏爾（RaymondKurzweil，美國作家、未來學(xué)家）或者這個領(lǐng)域的任何杰出人物的書籍，（都明白）在算法開始編寫改進算法代碼的那一天，就是一個關(guān)鍵的日子，這將使世界加速發(fā)展，直至無窮大。如今，很多我投資或者參與創(chuàng)立的公司開始使用AI模型進行代碼生成。這些代碼生成的提升范圍相當(dāng)廣泛，從大約5%到20倍不等。這取決于你要做什么，要編寫什么類型的代碼，以及它需要多少上下文等等，很多與調(diào)整系統(tǒng)有關(guān)。所以問題有兩個：首先，在OpenAI，你們在創(chuàng)建下一代代碼時已經(jīng)看到了多少效果倍增？對話ChatGPT之父我對話ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁，當(dāng)前為第10頁。奧特曼：這是一個很好的問題。我認為，到