機(jī)器學(xué)習(xí)中激動(dòng)人心的趨勢：來自谷歌研究團(tuán)隊(duì)的見解

ai.google/research/people/機(jī)器學(xué)習(xí)中的激動(dòng)人心的趨勢ai.google/research/pe問題可以匿名提交為全球影響而設(shè)立為全球影響而設(shè)立的Al、數(shù)據(jù)和計(jì)算研究所—些觀察增加規(guī)模(計(jì)算、數(shù)據(jù)、模型大小)會(huì)帶來更好的結(jié)果我們想要運(yùn)行的計(jì)算類型以及我們運(yùn)行它們的硬件正在發(fā)生巨大變化“l(fā)eopard”“Bonjour,commentallez-vous?”輸出輸出"豹子""你好，你好嗎?""Bonjour,你好嗎?""一只獵豹躺在一輛車頂上谷歌Source:/sota/iAlexNet:在ImageNet競賽中使用的第一個(gè)神經(jīng)網(wǎng)絡(luò)63.3%InceptionV2-Net20112012201320142015201620172018MetaPseudoLabels(EfficieLibriSpeech測試中的語音識(shí)別-其他深度語音2Conv+Transformer-AM-(帶TransforConformer+Wav2vec2.0+SpecAugment-基于Libri-Light的嘈雜學(xué)生訓(xùn)練02016年7月2017年1月2017年7月2018年1月2018年7月2019年1月2019年7月2020年1月2020年7月2021年1月2021年7月5"外面有多冷?"機(jī)器學(xué)習(xí)優(yōu)化硬件效率更高從一代到下一代的重大改進(jìn) X二降低精度,可以少數(shù)特定操作是In-DatacenterPerformanceAnalysisofaTensorProcessingADomain-SpecificSupe(僅推斷)/芯片液冷液冷每個(gè)Pod的芯片數(shù)芯片Bf16TFLOPS芯片Int8TOPS無HBM帶寬(GB/s)每個(gè)芯片的ICl帶寬(Gb/s)4.1艾克萬浮點(diǎn)運(yùn)算，8960個(gè)芯片LargeLanguageModelsinThispaperreportsontheiscapableofprovidingsmoothedprobabil-StupidBackoff,thatofKneser-NeySmoothingastheamountof十五年的語言模型進(jìn)展大規(guī)模N-gram模型(2007年)機(jī)器翻譯中的大型語言模型ThorstenBrantsAsho中的好處。提出了一個(gè)分布式基礎(chǔ)設(shè)施，我們用它來訓(xùn)練多達(dá)2萬億個(gè)標(biāo)記，從而產(chǎn)生具有多達(dá)3000億個(gè)n-gram的語言模型。它能夠?yàn)榭焖?、單次解碼提供平滑的概率。我們引大型數(shù)據(jù)集上訓(xùn)練成本低廉，并且隨著訓(xùn)練數(shù)EfficientEstimationofWordRejeff@ICLR2013workshop,https:/DistributedRepresentationsofWordsandPhrasesTomasMikolovMountainViewMountainViewMountainViewGregCorradoMountainView十五年的語言模型進(jìn)展Word2Vec(2013年)TomasMikolovGoogleInc.,加利福尼亞州山景城GoogleInc.,GoogleInc.,加利福尼亞州山景城GregCorradoGoogleInc.,加利福尼亞州山景城GoogleInc.,加利福尼亞州山景城jeff@分布式表示是強(qiáng)大的IlyaSutskeverilyasu@kai@國王-女王≈男人-女人谷歌公司谷歌公司jeff@withNeuralNetworks十五年的語言模型進(jìn)展序列到序列(2014年)谷歌序列到序列學(xué)習(xí)使用神經(jīng)網(wǎng)絡(luò)亞爾斯谷歌WWZZ使用神經(jīng)編碼器對(duì)輸入序列進(jìn)行狀態(tài)生成，然后用該狀態(tài)初始化神經(jīng)解碼器的狀態(tài)。擴(kuò)展LSTM,這樣就可以運(yùn)行。ANeuralConversationalMvinyals@qvl@十五年的語言模型進(jìn)展神經(jīng)聊天機(jī)器人：一個(gè)神經(jīng)對(duì)話模型(2015年)一個(gè)神經(jīng)對(duì)話模型(前面的句子)無是wzNxNx十五年的語言模型進(jìn)展Transformer模型(2017年)注意力就是一切AidanN.Gomez*t多倫多大學(xué)不要試圖將狀態(tài)強(qiáng)加到單一的遞歸分布表示中。相反，保存所有過去的表示并關(guān)注它們。更高的準(zhǔn)確性，計(jì)算量減少10倍至100倍!apoorvk,gnemade,yifen十五年的語言模型進(jìn)展朝著人類化的開放領(lǐng)域聊天機(jī)器人DanielAdiwardanaMinh-ThangLuongNoahFiedelRomalThoppilanZiYangApoorvKulshreshthaGauravNemadeYifengLuQuocVapoorvk,gnemade,yifenglu,q擴(kuò)大規(guī)模并在會(huì)話式數(shù)據(jù)上進(jìn)行訓(xùn)練，使用新的“合理性和特異性平均值”指標(biāo)評(píng)估，取得了，十五年的語言模型進(jìn)展神經(jīng)聊天機(jī)器人：神經(jīng)對(duì)話模型(2015年)Meena(2020年)神經(jīng)語言模型的發(fā)展：序列到序列(2014年)地鼠(2021年：280億)雙子座(2023年)ChatGPT(2022年)T5(2020年：110億)PALM(2022年：540億)巴德(2023年)Transformer(2017年)毛絲鼠(2022年：70億)https://blog.google/technology/ai/google-gemini-aihttps://g.co/g項(xiàng)目于2023年2月開始許多來自GoogleDeepMind、GoogleResearch和Google其他部門的合作者目標(biāo)：訓(xùn)練世界上最好的多模態(tài)模型，并在整個(gè)Google中使用它們AaAaFigure2|Geminisupportsbytokensofdifferen雙子座-從一開始就是多模態(tài)的Aa輸出交錯(cuò)的圖像和文本響應(yīng)。雙子座：一系列高度能干的多模態(tài)模型，由雙子座團(tuán)隊(duì)提供，/abs/2312.11805Gemini:AFamilyofHighlyCapableMultimodalMo雙子座模型尺寸類別口超級(jí)一-用于高度復(fù)雜任務(wù)的最大和最有能力的模型，是跨廣泛任務(wù)范圍●專業(yè)一擴(kuò)展的最佳模型，是用于設(shè)備上任務(wù)的高效模型(1.8B和3.●納米—25B參數(shù)，量化為4位)雙子座：一系列高度能干的多模態(tài)模型，由雙子座團(tuán)隊(duì)提供，/abs/2312.11805雙子座訓(xùn)練基礎(chǔ)設(shè)施：路徑·Gemini:AFamilyofHighlyCapableMultimodalMo●最小化故障很重要，但同時(shí)也要最小化恢復(fù)時(shí)間Gemini使用快速從模型狀態(tài)的其他數(shù)將恢復(fù)時(shí)間從幾分鐘縮短到幾秒PaLM模型訓(xùn)練的吞吐量為85%=>即使在更大規(guī)模下，GeminiUltra的吞吐量也達(dá)到97%雙子座：一系列高度能干的多模態(tài)模型，由雙子座團(tuán)隊(duì)提供，/abs/2312.11805Gemini:AFamilyofHighlyCapableMultimodalMoGemini訓(xùn)練數(shù)據(jù)網(wǎng)絡(luò)文檔，書籍和代碼，以及圖像，音頻和視頻數(shù)據(jù)。所有數(shù)據(jù)集的質(zhì)量過濾：啟發(fā)式+基于模型的分類器通過對(duì)較小模型進(jìn)行消融確定最終數(shù)據(jù)混合/權(quán)重在訓(xùn)練結(jié)束時(shí)增加領(lǐng)域相關(guān)數(shù)據(jù)的權(quán)重雙子座：一系列高度能干的多模態(tài)模型，由雙子座團(tuán)隊(duì)提供，/abs/2312.11805進(jìn)展(要求模型“展示他們的工作”可以提高準(zhǔn)確性和可解釋性)Q:ShawnhasfivetoyQ:ShawnhasfivetoySchuurmans,MaartenBosma,EdChi,Quoc他現(xiàn)在有多少個(gè)?答案是9。問題：約翰照顧10只狗。每只狗每天需要0.5小時(shí)遛狗和照顧它們的生意。他每周花多少小時(shí)照顧模型模型思維鏈引發(fā)輸入：輸入：各得到2個(gè)玩具，那就是多了4個(gè)玩具。5+4=9。答案是輸出：約翰照顧10只狗。每只狗每天需要0.5小時(shí)遛狗和處理輸出：Schuurmans,MaartenBosma,EdChi,Qu思維鏈模型規(guī)模(#參數(shù)，以十億計(jì))23.AskierslidesdownDidthestudentgetthecorrectanMakesuretouseLaTeXformathandroundoffthefinalanswertotwooftheslope.Thestudentusedthelengthofthe。學(xué)生在計(jì)算勢能時(shí)使用了坡道的長度L,而不是高度H。在坡道開始時(shí)，滑雪者只有勢能，即mgh?；┱呦嗤陂_始和結(jié)束時(shí)相同：在開始時(shí)學(xué)生是否得到了正確答案?如果解決方案錯(cuò)誤，請解釋錯(cuò)誤之處并解決問題。r雙子座評(píng)估●幫助識(shí)別模型的優(yōu)勢和劣勢●幫助了解在線方式中的"訓(xùn)練進(jìn)展如何"●幫助做出改進(jìn)的決策從自然圖像、音頻和視頻理解到數(shù)學(xué)推理，GeminiUltra在32個(gè)廣泛使用的大型語言模型(LLM)研究和開發(fā)中的學(xué)術(shù)基準(zhǔn)中的30個(gè)中超越了當(dāng)前最先進(jìn)的結(jié)果。雙子座：一系列高度能干的多模態(tài)模型，由雙子座團(tuán)隊(duì)提供，/abs/2312.11805CapabilityBCapabilityBandothers)requiringmuli-stepreaBasicarithmeticmanipulatChallengingmathproutdatasetHumanEval雙子座基準(zhǔn)(報(bào)告)(F1得分)(報(bào)告)問題)94.4%的準(zhǔn)確率@32具有挑戰(zhàn)性的數(shù)學(xué)問題(包分等)4-射出Python代碼生成0-時(shí)擊(T)《報(bào)告)188.1%GoogleDePlot,1-shoMathematicalreason86.1%Naturalimageunderstzero-shot,especiallyforOCR-relatedimageunderstandingt雙子座雙子座圖像基準(zhǔn)A(僅像素)(僅像素)(僅像素)(僅像素)多學(xué)科大學(xué)水平問題(Yue等人，2023年)(Singh等人，2019年)DocVQA(測試)(Mathew等人，2021年)ChartQA(測試)圖表理解(Masry等人，2022)InfographicVQA(測試)(Mathew等人，2022)MathVista(測試迷你版)(Lu等人，2023)Al2D(測試)(Kembhavi等人，2016)VQAV2(測試-開發(fā))自然圖像理解(Goyal等人，2017)(僅像素)(僅像素)(Liu等人，2023)表7|圖像理解GeminiUltra在零-shot情況下始終優(yōu)于現(xiàn)有方法，特別是對(duì)于自然圖像、文本、文檔和圖表的OCR相關(guān)圖像理解任務(wù)，而不使用任何外部OCR引擎(僅像素)。許多現(xiàn)有方法在各自的任務(wù)上進(jìn)行微調(diào)，用灰色突出顯示，這使得與0-shot的比較不是蘋果對(duì)蘋果。雙子座：一系列高度能干的多模態(tài)模型，由雙子座團(tuán)隊(duì)提供，/abs/2312.11805DeepMindFlamingo,4--DeepMindFlamingo,4-VideoquestionanswDeepMindFlamingo,0VideoquestionanswVideoquestionansw雙子座雙子座基準(zhǔn)測試(王等，2019年)-中文視頻字幕(王等，2019年)(周等人，2018年)(蕭等人，2021年)ActivityNet-QA(測試)(于等人，2019年)(帕特勞切安等人，2023年)表10|在選定的學(xué)術(shù)基準(zhǔn)上跨任務(wù)和語言進(jìn)行少樣本視頻理解。報(bào)告的度量標(biāo)準(zhǔn)是視頻字幕的CIDER,Ndeo-LLAVA(林等人，2023年)評(píng)估協(xié)議。9.1%GeminiNano1SOTAon4of5Table4|PerformanceofGeminim雙子座基準(zhǔn)5項(xiàng)中的5項(xiàng)SOTA納米-1納米-1(OpenAl,2023;(張等人，Radfor自動(dòng)語音識(shí)別多語言(Pratap等人，2020)(62種語言)9.1%(14種語言)(Wang等人，2021年)自動(dòng)語音翻譯(21種語言)(Wang等人，2020年)雙子座雙子座(平均BLEURT)GeminiNano2高資源中等資源所有語言5個(gè)中的4個(gè)上的SOTA話))Sure.Thereversedstringsof"①①print(reverse_string("TensorThiscodefirstdefinesafunc①查看其他草稿√當(dāng)然?！癏otChips”和“TensorProcessingUnit”的反轉(zhuǎn)字符串分別為“spihCtoH”和“tinUgnissecorProsneT”。reversed_string這段代碼首先定義了一個(gè)名為reverse_string()的函數(shù)。該函數(shù)接受一個(gè)字符串作為輸入，并返回一個(gè)反轉(zhuǎn)的字符串。該函數(shù)通過從末尾到開頭循環(huán)遍歷字符串，并將每個(gè)字母添加到反轉(zhuǎn)的字口HerearesomeofthekeyfeaturesofTPUs:·Theyaredesigned·Theyareavailableforpurclanguageprocessingandimagconsider.Theycanhelp當(dāng)然。TensorProcessingUnits(TPUs)是由谷歌開發(fā)的專門用于加速機(jī)器學(xué)習(xí)的硬件處理器。TPUs專門設(shè)計(jì)用于處理張量運(yùn)算，這占據(jù)了深度學(xué)習(xí)模型中大部分計(jì)算量。對(duì)于機(jī)器學(xué)習(xí)任務(wù)，TPUs比通用處理器(CPU)或圖形處理器(GPU)快得多。這是因?yàn)門PUs被設(shè)計(jì)為非常高效地執(zhí)行矩陣乘法，這是深度學(xué)習(xí)中的關(guān)鍵操作。TPUs被用于各種谷歌產(chǎn)品，包括谷歌搜索，谷歌翻譯和谷歌相冊。它們也被第三方公司用來開發(fā)他們自己的機(jī)器學(xué)習(xí)應(yīng)用程序。以下是TPUs的一些關(guān)鍵特點(diǎn)：·它們專門設(shè)計(jì)用于機(jī)器學(xué)習(xí)任務(wù)?！に鼈兛梢员坏谌焦举徺I。用硬件處理器，用于加速機(jī)器學(xué)習(xí)。"TPUs是加速機(jī)器學(xué)習(xí)應(yīng)用程序的寶貴工具。它們可以幫助改善機(jī)器學(xué)習(xí)模型的性能和效率，從而加快機(jī)器學(xué)習(xí)應(yīng)用程序的開發(fā)和部以下是使用TPUS進(jìn)行機(jī)器學(xué)習(xí)的一些好處：·更快的訓(xùn)練和推斷：TPUs可以顯著加快機(jī)器學(xué)習(xí)模型的訓(xùn)練和推斷速度。這對(duì)于需要實(shí)時(shí)或準(zhǔn)實(shí)時(shí)推斷的應(yīng)用程序，如自動(dòng)駕駛汽車或欺詐檢測，可以是一個(gè)重要優(yōu)勢?！そ档统杀荆篢PU比CPU或GPU更節(jié)能，這可以降低訓(xùn)練和推理的成本。這對(duì)于大規(guī)模機(jī)器學(xué)習(xí)應(yīng)用特別重要，比如谷歌搜索或Facebook使用的應(yīng)用?！じ玫男阅埽篢PU在某些機(jī)器學(xué)習(xí)任務(wù)中可以實(shí)現(xiàn)比CPU或GPU更好的性能，比如自然語言處理和圖像識(shí)別。這是因?yàn)門PU專門為這些類型的任務(wù)設(shè)計(jì)的。如果您正在開發(fā)一個(gè)需要高性能和效率的機(jī)器學(xué)習(xí)應(yīng)用程序，那么TPU是一個(gè)值得考慮的好選擇。它們可以幫助您提高應(yīng)用程序的性能、效率和成本。谷歌希望這有所幫助!如果您有任何其他問題，請告訴我。Total#models:56.Total#votes:244024.Lastupdated:Jan26,2024.12345678Mixtral-8x7b-9Imsys聊天競技場評(píng)估：用戶輸入提示并看到來自兩個(gè)不同的匿名聊天機(jī)器人的回復(fù)，并然后可以計(jì)算EloImsys聊天競技場評(píng)估：用戶輸入提示并看到來自兩個(gè)不同的匿名聊天機(jī)器人的回復(fù)，并然后可以計(jì)算Elo分?jǐn)?shù)(類賽的頭對(duì)頭排名)Elo高100意味著贏~64%的時(shí)間(Elo經(jīng)過校準(zhǔn)，所以400分差距是10:1的優(yōu)勢)排名▲投票1專有的2巴德(GeminiPro)谷歌專有的34專有的專有的5678克勞德-1專有的專有的克勞德-2.0專有的9GeminiPro(開發(fā)API).谷歌專有的克勞德-2.1專有的專有的這真的很不錯(cuò)。看看這個(gè)例子：JeffJeffDean(@金)@JeffDean·Jan26顯示更多2024年1月26日上午9點(diǎn)33分，查看次數(shù)為22.5千https://g.co/bard/share/eb4cdd6Taiwan,andSingapore.Presentyournumbersint))Singapore.tsimportanttonotethatthesearejusof"company"used.However,thistableshouldgive國家人口(百萬)公司(千)美國韓國臺(tái)灣