硅谷AI考察報告20230526

近期，我們專程前往硅谷學(xué)習(xí)考察，先后參觀了微軟、Google、英偉達、Meta等公司總部，與眾多業(yè)內(nèi)人士進行了深入交流，收獲多多，感觸頗深。通過交流過所了解到的很多關(guān)于算力和大模型的前沿認知，與國內(nèi)目前資本市場的理解不盡相同，甚至天差地別，這些差異也許蘊含著重要的投資機遇。為此，特將此次學(xué)習(xí)考察收獲第一時間與各位分享。此行中我們最大的感受是，在美國AI已經(jīng)不是剛開始引發(fā)好奇與爭議的新鮮事物，而是像水和電一樣融入到社會生產(chǎn)、公司經(jīng)營和百姓生活的各個方面。同時，AI技術(shù)進步的速度處于一個“寒武紀”的時代，幾乎每一周甚至每一天，都有讓人興奮的新技術(shù)或者新產(chǎn)品橫空出世并且迅速應(yīng)用到實際場景中，因而美國的VC、PE可以說是幾乎無孔不入，深入到AI各個方面去尋找投資機會。以谷歌為代表的全球科技巨頭普遍認為，本次AI革命是人類未有之大變局，它是人類進步的一個空前的拐點。我們曾經(jīng)指出，這一次，AI將計算機歷史上最大想象空間的互聯(lián)網(wǎng)最高流量入口、公有云最大的市場、統(tǒng)一萬物的操作系統(tǒng)合三為一，即使這樣我們可能仍然低估了它的意義：這或?qū)⑹侨祟惏l(fā)展史上最偉大的科技革命！我們從底層技術(shù)路徑與算力、行業(yè)應(yīng)用以及大模型與垂直模型的發(fā)展趨勢三個方面來介紹硅谷AI學(xué)習(xí)考察之行的收獲：1大模型的底層技術(shù)與算力需求1大模型的底層技術(shù)與算力需求第一，GPT大模型的底層技術(shù)是谷歌的TransFormer，其核心的意義在于給定前文后推理出下一個最有可能的字符來進行輸出，一些巨頭的基礎(chǔ)大模型差別在于解碼單向結(jié)構(gòu)還是編解碼雙向結(jié)構(gòu)。ChatGPT可以支持對前文32000個字符分析再推理出下一個字，這已經(jīng)是一個非常龐大的數(shù)量級，且ChatGPT只允許根據(jù)前文分析推理不允許加入后文來分析推理（decoderonly）。谷歌最先推出的大模型Bard是前后文都可以用來分析推理（編解碼雙向結(jié)構(gòu)但后來改成與ChatGPT類似只能用前文推理的語言的方式。第二，大模型本質(zhì)上更像依賴AI基礎(chǔ)設(shè)施的“煉丹”，是推理并不是認知;目前視頻生成受制于對基礎(chǔ)設(shè)施的高要求仍存在一定局限性。雖ChatGPT在QA、總結(jié)等領(lǐng)域表現(xiàn)令人震驚，但實際上還是推理而不是認知，包括生成圖片其實本質(zhì)上也是生成文本，但是在生成視頻上AI推理難度很大，因為視頻的每幀都是大量圖片，需要非常強大的AI基礎(chǔ)設(shè)施去支撐。形象地說，大模型訓(xùn)練就像煉丹，AI基礎(chǔ)設(shè)施越好火力越旺，但是一開始都不知道大模型到底有沒有用，有一定的運氣的成分在里面。第三，大模型后來者的追趕難度并沒有大家想象那么大，中國大模型追趕海外也會比較快。OpenAI本身并不是技術(shù)絕對領(lǐng)先于其他科技巨頭，核心在于專注于TransForemer往通用人工智能方向發(fā)展，而微軟、谷歌、Meta都有很多賺錢的業(yè)務(wù)不太重視大模型。入群學(xué)習(xí)關(guān)注公眾號有道調(diào)研OpenAI做出來之后大公司發(fā)現(xiàn)AI有前途，自己資源更好肯定會加緊追趕。硅谷專家預(yù)測6個月到1年以后，全球大廠大模型水平基本看齊。中國大模型追趕海外也會比較快，中國本身是一個很好的市場，現(xiàn)在大模型所有的技術(shù)大家都了解，無非就是資源的集中堆訓(xùn)練太花錢。第四，海外AI巨頭算力儲備A100芯片基本在50萬片以上的量級，英偉達在把算力資源向云服務(wù)方向發(fā)展，同時也在布局自身大模型。目前海外巨頭平均A100量級估計在50萬片以上，H100可能每家一兩百張，六七月份才能大規(guī)模上線。英偉達的實際優(yōu)勢是軟硬件結(jié)合，它的硬件上面有一層框架tensorRT，英偉達有幾百人的工程設(shè)計團隊做框架，比如pytorch必須有TensorRT才能跑，這個中間層軟件一般硬件公司寫不了。英偉達不止做硬件，做一個云品牌，同時自己也在布局大模型，可能會對整個AI生態(tài)造成極大影響。第五，推理芯片的市場遠大于訓(xùn)練芯片，甚至也遠大于訓(xùn)練市場加上云端推理市場的總和，中國在邊緣AI算力市場空間非常大。邊緣計算應(yīng)用于物聯(lián)網(wǎng)等小設(shè)備對制程要求不高，現(xiàn)在市場的格局分散，而推理芯片的市場遠大于訓(xùn)練芯片，甚至也遠大于訓(xùn)練市場加上云端推理市場的總和，中國可以借助自己的制造業(yè)優(yōu)勢，把物聯(lián)網(wǎng)這一塊的制程降低，然后專用一點的這種小體量低算力的AI推理芯片推向市場，這是巨大機會。其實終端設(shè)備的體量是極大的，世界上能夠提供云服務(wù)的提供商，數(shù)據(jù)中心的量跟海是2/8的比例。在大模型的底層技術(shù)與算力需求方面，我們認為：1、算力需求沒有天花板。當(dāng)前大模型的主要算力需求來自于文字訓(xùn)練，未來從文字到圖像再到視頻，從訓(xùn)練到推理，從云端到邊緣端，算力需求的持續(xù)高增長是確定性非常強的。2、GPU芯片的市場格局或?qū)l(fā)生變化，在微軟等巨頭的強力支持下，AMD較為薄弱的軟件生態(tài)有望取得長足進步，AMD將對NVIDIA形成強有力的挑戰(zhàn)。3、芯片是中美競爭的最大鴻溝。兩國達到一個數(shù)量級的算力儲備既是目前亟待解決的瓶頸，也是未來確定的投資算力的市場，也給了中國展現(xiàn)制造業(yè)優(yōu)勢的機會。2關(guān)于2關(guān)于AI行業(yè)應(yīng)用第一，大模型適用于需要一定容錯率的行業(yè)，ChatGPT開始做商業(yè)化付費使用plus其實并不賺錢，核心是為了擋掉一些亂用而把成本變得過高的用戶。大模型應(yīng)用在要求100%準確的行業(yè)目前難度比較大，更多的是比如客服咨詢、藝術(shù)創(chuàng)作、會議記錄、寫文章、入群學(xué)習(xí)關(guān)注公眾號有道調(diào)研數(shù)據(jù)分析等。大模型的商業(yè)化在B端已經(jīng)看到成果了，比如：微軟的全家桶office，減少制作時間、提升完成度、提升復(fù)購率；客服：給地產(chǎn)公司、醫(yī)療公司節(jié)省前端客服的成本。視頻制作：一鍵生成visla.us只能生成demo視頻等工具，就不需要找工作室了，節(jié)約人力成本。GPT4到現(xiàn)在只有一個半月，市場還在討論如何應(yīng)用，再過六個月能看到更多更清晰的落地。第二，微軟M365產(chǎn)品主要在大規(guī)模交付、隱私和安全方面發(fā)力。微軟現(xiàn)在主要的目標(biāo)是怎樣去大規(guī)模的交付，尤其是解決一些個性化的AI特征，另外就是安全與隱私方面的準備。M365是微軟現(xiàn)在最核心的產(chǎn)品。對于企業(yè)整個工作流，整個的協(xié)作平臺，整個工具、存儲、安全都在M365的目錄下面。Copilot是對于現(xiàn)有的產(chǎn)品線的生產(chǎn)能Azure的數(shù)據(jù)中心做全球的擴張，M365內(nèi)部也有自己的數(shù)據(jù)中心；M365是把openAI嵌入產(chǎn)品，不是用公用的openAI。M365在中國落地技術(shù)上有難度：1）運算資源；2）法規(guī)：數(shù)據(jù)透明度、敏感信息的管理。我們認為，在美國，AI技術(shù)的應(yīng)用已經(jīng)非常普遍，例如客服咨詢、藝術(shù)創(chuàng)作、會議記錄、寫文章、數(shù)據(jù)分析等眾多行業(yè)。但需要注意的是，目前大模型的應(yīng)用應(yīng)該定位在“副駕駛員”，需要一定的容錯率而非確定性的決策工作。此外，以微軟為代表的海外大模型應(yīng)用目前進入中國仍存在較大難度，這些難度不僅僅是在數(shù)據(jù)安全與合規(guī)政策的要求方面，大模型與算力資源的本地化部署方面也面臨諸多挑戰(zhàn)。3大模型與垂直模型的發(fā)展趨勢3大模型與垂直模型的發(fā)展趨勢第一，谷歌和微軟的大模型大概率閉源，而Meta可能是最重要的開源“攪局者”。谷歌因為搜索會被大模型顛覆是沒有退路的，再開源大模型就沒有優(yōu)勢了，而且AI未來會成為重要賺錢工具，所以大概率閉源。微軟則是完全依靠OpenAI，希望GPT賦能MS365Copilot等效率辦公工具和Bing搜索引擎，微軟大概率也不會把AI開源。而Meta最重要的業(yè)務(wù)是社交，AI可以作為聊天助手，Meta的思路比較來看，Meta的大模型1750億參數(shù)，估計GPT4參數(shù)5000億左右，Meta開源了超過650億個參數(shù)的大模型，估計精確度比ChatGPT低20%左右。很多公司和學(xué)習(xí)使用Meta的開源模型做微調(diào)，在模型參數(shù)很小的基礎(chǔ)下效果和GPT等差不多。開源的意義在于可以發(fā)動全世界上百萬工程師一起參與微調(diào)。第二，大模型走向移動端是個趨勢。未來大模型開源生態(tài)中大公司做大模型，小公司做微調(diào)，大模型還會被簡化到在各個移動終端上，比如原來的32位浮點運算改成INT8等，提升運算速度。大語言模型在開源中會有一個很好的生態(tài)圈，大語言模型就像水、電一樣，在一些細分領(lǐng)域讓開源生態(tài)做。開源社區(qū)有些聰明的人可以把模型蒸餾的很小，比如把36位浮點運算改成INT4，可以把體積縮小十倍，小到可以在電腦和手機端裝，未來可能會有很多有創(chuàng)意的應(yīng)用開發(fā)出來。未來iOS或者安卓可能會內(nèi)置大模型，以后所有的移動端應(yīng)用跑一次給蘋果一定費用。第三，大模型繼續(xù)發(fā)展中參數(shù)量的增加核心要考慮ROI。處于科研角度，當(dāng)然參數(shù)越多越好，但是處于商業(yè)使用的角度，每多一個參數(shù)就會增加成本，包含收集成本、訓(xùn)練成本。ChatGPT3.0用了1750B的參數(shù)量，而GitHub上有效果。從商業(yè)應(yīng)用層面，需要找ROI最高的參數(shù)。第四，大模型最終會通吃一些通過互聯(lián)網(wǎng)即可獲得數(shù)據(jù)的垂直行業(yè)，可能無法覆蓋某些數(shù)據(jù)無法獲得的垂直領(lǐng)域模型?，F(xiàn)在谷歌正在做一件事讓AI像人一樣實時學(xué)習(xí)互聯(lián)網(wǎng)的內(nèi)容，而數(shù)據(jù)在線下無法獲得的領(lǐng)域，可能會出現(xiàn)線上的大模型和本地模型做交互的形式，但這個涉及難度比較大的耦合問題。我們認為：1、中國可能是以Meta為代表的開源大模型的最大受益者。2、我們對于國內(nèi)大模型追趕全球領(lǐng)先水平的進度應(yīng)該保持信心，