淺談 AI 芯片生態(tài)的競爭邏輯

這套體系實際上是自計算機誕生以來持續(xù)迭代演進至今的一套事實標(biāo)準(zhǔn)組成的體系，其中很多組件都具有歷史的厚重感。整個體系不屬于任何一個組織，是全行業(yè)多年競爭博弈后的結(jié)果，但同時，博弈中的勝者也都擁有整個體系中某一生態(tài)位的話語權(quán)。整個體系又大大小小的各種生態(tài)位構(gòu)成，生態(tài)位之間相互依賴，每個生態(tài)位上的組件既是其他生態(tài)位的應(yīng)用，需要滿足相應(yīng)生態(tài)位的規(guī)則，又給其他生態(tài)位搭建平臺，可以制定相應(yīng)的游戲規(guī)則。生態(tài)位的話語權(quán)并不取決于誰是誰的平臺，而取決于需求，例如NVidia的GPU名義上仍然是Intel定義的“中央”處理器+各種PCIe“從屬”設(shè)備游戲規(guī)則下的“從屬”設(shè)備，但今天在AI的需求暴漲的情況下，NVidia在這一塊的解決方案形態(tài)的定義上有著遠超Intel的話語權(quán)。PyTorch雖然是基于C++和Python構(gòu)建的深度學(xué)習(xí)框架，但C++和Python語言本身的演進也很難對深度學(xué)習(xí)領(lǐng)域有多強的話語權(quán)。當(dāng)然這種話語權(quán)也并不意味著可以為所欲為，需求本身也限定了各個掌握了話語權(quán)的玩家可以折騰的邊界。Intel雖然在傳統(tǒng)云、虛擬化、處理器安全、包括PCIe、CXL的演進上擁有充分的折騰自由度，但在AI領(lǐng)域基本沒什么號召力。同樣，NVidia的折騰一定要能解決目前體系在AI領(lǐng)域的各類瓶頸問題，漸進式地講整個體系逐漸改造成一個更加適用于AI需求的整體解決方案。今天有很多人說NVidia不只是一家芯片公司，更是一家軟件公司，是一家系統(tǒng)級解決方案公司，NVidia也正在打造各行各業(yè)的整體解決方案。這些都是非常客觀的評價，NVidia事實上也確實不斷圍繞GPU產(chǎn)品打造越來越多行業(yè)的軟件解決方案，而且在很多垂直行業(yè)都做到了老大的地位。但這并不意味著整體解決方案就是芯片競爭的有效途徑。解決方案式的思維是目前在芯片領(lǐng)域競爭最常見的坑。實際上解決方案式的產(chǎn)品模式本身就是已經(jīng)取得生態(tài)統(tǒng)治力的玩家收割各行各業(yè)的手段，是構(gòu)建了生態(tài)統(tǒng)治力之后的果，而不是他們?nèi)〉酶偁幜Φ囊颉＝裉煊袩o數(shù)公司把端到端解決方案當(dāng)作取得競爭力的方法論，但NVidia駕馭的整體解決方案是上述事實標(biāo)準(zhǔn)體系，而其他玩家自己從芯片到軟件全棧打造解決方案，并期望通過軟硬件整體解決方案的競爭力來構(gòu)建自己的生態(tài)，屬實搞錯了因果。事實標(biāo)準(zhǔn)體系實際上需要極強的親和性，NVidia的CUDA采用C/C++語言擴展的形式構(gòu)建，并且整體設(shè)計對C/C++的編譯、鏈接、構(gòu)建、調(diào)試等體系具有更好的親和性，例如形式上兼容elf格式的object文件，兼容C/C++的整個函數(shù)調(diào)用和符號體系，最大化減少對用戶項目的侵入性。這樣在一個復(fù)雜的C/C++項目中，只有和GPU直接相關(guān)的代碼用nvcc編譯器編譯，其他代碼的編譯以及整個項目的鏈接和構(gòu)建都原來用啥還用啥。這種對C/C++的親和性實際上對于切入事實標(biāo)準(zhǔn)體系是非常重要的。而今天CUDA已然成為事實標(biāo)準(zhǔn)體系中的一部分，新的玩家入場，就不止要考慮C/C++的親和性，也一樣要考慮對CUDA的親和性。當(dāng)然與哪些東西親和取決于要從整個體系的大大小小生態(tài)位的什么位置切入，NVidia設(shè)計CUDA時，深度學(xué)習(xí)還沒有起飛，C/C++也是高性能計算非常主流的平臺，選擇從C/C++切入自然是當(dāng)時最優(yōu)選擇。今天C/C++仍然是最優(yōu)選擇之一，不過深度學(xué)習(xí)在應(yīng)用層也帶飛了Python，與Python親和也是今天一種可能的選擇，但在整體設(shè)計上就需要考慮更多與Python及其周邊生態(tài)的親和性。像TVM雖然選擇了Python庫的形式，但整體上采用了Python寫編譯和優(yōu)化流程這種坑爹形式，自然跟Python親和性完全扯不上邊。這里面沒有什么標(biāo)準(zhǔn)答案，成敗全在細節(jié)之中，需要對周邊生態(tài)的親和性有極強的感知和理解。即使像TVM這種純軟件背景團隊的作品甚至TensorFlow這種出自Google這種頂級軟件公司的作品，也因為缺乏這方面意識而在生態(tài)上各種碰壁。今天有無數(shù)微架構(gòu)背景的架構(gòu)師把編譯器、軟件框架當(dāng)作萬金油，只著眼于最終的業(yè)務(wù)，最終做出的產(chǎn)品自然也和生態(tài)親和性相去甚遠。這背后的細節(jié)把控其實無論軟件背景還是芯片背景都沒有孰優(yōu)孰劣，能同時清楚所有邊界上生態(tài)位的設(shè)計理念才是最重要的。在今天AI領(lǐng)域的軟件生態(tài)已然包含CUDA、PyTorch等組件構(gòu)建的龐大體系，整個親和性的設(shè)計就變得愈發(fā)困難，于是很多公司就走上了端到端整體解決方案式的邪路。芯片的算子編程語言做不好親和性，就把上面各種可能用到算子編程語言的圖編譯、深度學(xué)習(xí)框架、推理引擎、甚至具體業(yè)務(wù)全都做了，以期望減少算子編程語言親和性的問題。但同時帶來的也有上層這些框架、引擎與周邊生態(tài)的親和性。最后等于是為了解決一個親和性問題創(chuàng)造了無數(shù)個親和性問題，只是在不斷redirect問題。除了軟件棧之外，其他方面類似的踩坑簡直不要太常見，芯片搞不好就包成整機，整機搞不好就包成云。最后邊界越搞越大，周邊與之交互的標(biāo)準(zhǔn)化生態(tài)位越搞越多，親和性問題基本就爆炸到無法解決了。最后實際上是游離于標(biāo)準(zhǔn)化體系之外的獨立體系。表面看起來和NVidia一樣在打造整體軟硬件解決方案，但NVidia是駕馭著事實標(biāo)準(zhǔn)體系，而你如果只是駕馭著一套游離于標(biāo)準(zhǔn)化體系之外的私有解決方案，和事實標(biāo)準(zhǔn)體系競爭無疑是蚍蜉撼樹。當(dāng)然了，凡事都有例外，這種游離于標(biāo)準(zhǔn)化體系之外的解決方案在某些特定的業(yè)務(wù)下也是一種捷徑。極端一點的比如像礦機，因為需求足夠單一，而且市場規(guī)模巨大，這時候拋開現(xiàn)有體系整個做一套獨立的體系倒也是可以分一杯羹。但無論如何，NVidia駕馭著事實標(biāo)準(zhǔn)體系競爭力也是非常強悍的，并且也在礦潮時狠狠大賺了一筆。對于礦老板而言，礦難了礦卡也就是電子垃圾了，NVidia顯卡還能轉(zhuǎn)手翻新一下賣給游戲佬和AI市場。其他市場，比如安防攝像頭、車載自動駕駛芯片等等，相比礦機市場肯定差不少，但好在需求還沒分化得特別嚴重，也有脫離體系分一杯羹的空間。到云端數(shù)據(jù)中心就別想了，從計算機發(fā)明至今多少巨頭共建的體系，業(yè)務(wù)需求變化極快。不過這種特定市場分一杯羹雖然有捷徑，也同樣沒法建立真正意義上的生態(tài)統(tǒng)治力。今天你可以走捷徑拿到一定市場，明天別人也可以走捷徑把你的市場拿走。今天客戶可以克服生態(tài)的慣性付出遷移成本遷到你的自建體系上，明天也一樣可以遷到其他自建體系或者標(biāo)準(zhǔn)化體系上，走捷徑實際上也意味著和生態(tài)帶來的統(tǒng)治力和護城河無緣。解決方案層面真實有效的競爭是爭奪標(biāo)準(zhǔn)化體系內(nèi)的話語權(quán)。這套體系里的每一個手握方向盤、掌控著某一塊生態(tài)位的玩家都借助自己的生態(tài)位根據(jù)地，試圖按照符合自己利益的方式漸進式改造整個標(biāo)準(zhǔn)化體系，同時給競爭對手使絆子。比如Intel過去卡著PCIe帶寬的升級速度，讓NVidia的GPU始終存在各種瓶頸，包括今天Intel推出CXL作出一定的讓利，希望團結(jié)更多玩家一起打NVidia。但這些都是已經(jīng)成功上車，手握方向盤的玩家之間的事情，沒有上車的玩家連參與這個層面競爭的資格都沒有，打造自建的整體解決方案只是營造了一種自己在車上的虛幻感。其實NVidia本身也是生態(tài)競爭的極佳案例，但學(xué)習(xí)NVidia不能光看人家今天大口吃肉就有樣學(xué)樣，更重要的反而是過去30年里，NVidia怎么從車下的nobody成功上車，并且拿到了體系里面一個足夠大生態(tài)位的方向盤。這個尺度應(yīng)該拉長到30年這個尺度去看NVidia如何在生態(tài)競爭的殘酷邏輯里實現(xiàn)了上車掌握方向盤的壯舉。生態(tài)競爭的邏輯無比殘酷，事實標(biāo)準(zhǔn)往往會給大家一種錯覺，就是計算機系統(tǒng)似乎就應(yīng)該是這樣的，過于自然而然了，從而使很多人低估了生態(tài)競爭的殘酷性，認為老黃只是有超出常人的直覺和堅持賭對了賽道。實際上建立賽道本身就是壯舉，只不過建立成功了，讓人覺得似乎本來就應(yīng)該存在這樣的賽道。放到今天，我們會覺得計算機系統(tǒng)里自然而然就需要一塊獨立顯卡，因為CPU的集成顯卡性能太差了，只能滿足中低端需求。但放到NVidia剛成立的那個年代，這件事情可不這么顯然。NVidia當(dāng)時作為一個nobody，實際上需要競爭的并不是已經(jīng)存在的幾百家顯卡公司，而是當(dāng)時整個標(biāo)準(zhǔn)化體系的王牌駕駛員Intel。Intel作為車上的駕駛員，掌握著制訂游戲規(guī)則的權(quán)力，而Intel制訂的游戲規(guī)則就是它自己的產(chǎn)品CPU作為“中央”處理器，通過PCIe擴展的形式，讓圍繞CPU的整個計算機系統(tǒng)變得非常具有可擴展性，可以圍繞CPU打造各行各業(yè)的解決方案。而這套游戲規(guī)則的殘酷之處在于，一旦一種PCIe設(shè)備的需求變得穩(wěn)定，Intel就在CPU里增加一些專用指令，于是這種PCIe設(shè)備就從歷史長河中抹去了，這種方式消失的各類PCIe擴展卡不計其數(shù)，顯卡在這套游戲規(guī)則下也并不例外。生態(tài)競爭的殘酷實際上是運動員和裁判的競爭。任何一種新興需求都有潛力催生一些新的生態(tài)位，但游戲規(guī)則的定制者會建立一套讓自己立于不敗之地的規(guī)則。生態(tài)競爭需要臺下的nobody構(gòu)造一個在這樣一個體系內(nèi)打造并守住獨立生態(tài)位的戰(zhàn)略。這個說實話，沒有可復(fù)制的路徑，不同時間節(jié)點下標(biāo)準(zhǔn)化體系的形態(tài)是完全不一致的，不同的需求和生態(tài)位對生態(tài)親和性的要求，包括可以借力的點也是完全不一致的。如果沒有老黃對于這場競爭深刻的洞察力，以及相應(yīng)的戰(zhàn)略，顯卡也一樣會消失在歷史的長河中。老黃當(dāng)時意識到這個問題后，提出了Intel的摩爾定律是十八個月翻一番，NVidia要做到六個月翻一番。用更快的性能提升曲線快速拉高需求，讓Intel的集顯變成落后的產(chǎn)品。于是NVidia把顯卡越做越大，功耗越做越高，性能拉升的幅度也遠超Intel，從而讓游戲畫質(zhì)提升飛快，導(dǎo)致Intel的集顯疲于去追NVidia的節(jié)奏，面積和功耗各方面都承受巨大的壓力。最終，獨立顯卡在Intel的游戲規(guī)則下成為了事實標(biāo)準(zhǔn)，NVidia也卡住了游戲卡這個不大不小的生態(tài)位。但老黃這套競爭邏輯，其實沒有直接借鑒的可能性，今天顯卡的生態(tài)位早成為事實標(biāo)準(zhǔn)中的一環(huán)。我們即使學(xué)會了怎么在Intel的規(guī)則下打Intel也沒有什么意義了，因為時過境遷，今天制訂規(guī)則的變成了NVidia，實際上每個屠龍少年都會成為新的惡龍，他們的成功也同時堵死了對應(yīng)生態(tài)位的后來者。今天要爭取的是AI這個需求。老黃這套打法背后的思想，才是真正值得借鑒的，但如何因地制宜在現(xiàn)如今的情形下用好，也是極具挑戰(zhàn)性的。AI芯片這個形態(tài)不是既成事實，而是需要靠AI芯片這個賽道的“老黃”去爭取這個賽道的獨立性的，否則NVidia的GPGPU就會把AI芯片這個賽道打成曇花一現(xiàn)的形態(tài)，而GPGPU會生態(tài)位也會繼續(xù)擴大到AI的整個領(lǐng)域。過去十年，幾乎沒有人把NVidia的GPGPU襯托成AI需求下的落后產(chǎn)品，大家甚至在做產(chǎn)品規(guī)劃的時候，也是對標(biāo)著自己產(chǎn)品上市的時間點，去預(yù)估NVidia的產(chǎn)品規(guī)格。本質(zhì)上是沿著和老黃一樣的曲線去走，自然也不可能把老黃的產(chǎn)品搞成落后的產(chǎn)品，也更不可能爭取到獨立的生態(tài)位了。實際上大家產(chǎn)品迭代的曲線甚至比不過NVidia，在16年那個時間節(jié)點宣傳的都是比NVidia快十倍，到今天這個時間點宣傳的也僅僅是對標(biāo)了。像TPU這種產(chǎn)品，其性能增長曲線甚至不如NVidia。這種戰(zhàn)略意識的缺失本身就是致命的。誠然，讓芯片性能提升速度超過NVidia也極具挑戰(zhàn)性，這不僅僅是某一代產(chǎn)品比它高個多少百分比的性能，也不是每一代都比NVidia高個多少百分比的性能。而是NVidia基本2年一代產(chǎn)品，性能提升3~5倍，挑戰(zhàn)者如果能每代相比自己上一代提升10~20倍，和NVidia的性能優(yōu)勢越拉越大。這才是NVidia當(dāng)年挑戰(zhàn)Intel時所作的壯舉，這對于芯片設(shè)計本身也極具挑戰(zhàn)，但當(dāng)年NVidia也是在摩爾定律演進的半導(dǎo)體工藝上走出了黃氏定律增長的GPU性能。生態(tài)競爭最難的地方也在于沒有可復(fù)制的路徑。每一個成功從運動員翻身成為裁判的玩家，本質(zhì)上也都成功建立了新的游戲規(guī)則，堵死了后來者競爭這個新生態(tài)位的機會。換句話講，每一個翻身的案例都是在特定歷史時期，特定需求下，設(shè)計一套超凡的戰(zhàn)略，并且配合超凡的戰(zhàn)術(shù)執(zhí)行才完成的壯舉。這方面的微操在今天實際上沒有任何現(xiàn)實意義。而老黃不僅完成了這樣的壯舉，還完成了兩次。NVidia成立的最初十年，成功保住了獨立顯卡這個不大不小的生態(tài)位，也成功上市。而Intel雖然沒能按死獨立顯卡的生態(tài)位，但倒也不太動搖Intel的王牌駕駛員地位，隨著互聯(lián)網(wǎng)的興起，Intel在數(shù)據(jù)中心大把大把撈錢。要和Intel在數(shù)據(jù)中心領(lǐng)域競爭，最直接的辦法似乎是做一款更有競爭力的CPU，但這件事AMD和ARM做了好多年，一直都翻不起巨大的浪花。生態(tài)競爭最有效的路線是生態(tài)位的競爭。實際上同一個生態(tài)位內(nèi)的競爭只存在兩種可能性：一種是生態(tài)位建立的初期，新興的需求催生了新的生態(tài)位，但這個生態(tài)位的贏家還沒出現(xiàn)時，無數(shù)玩家會下場去競爭這個生態(tài)位。但最終往往會決勝出一兩家，一旦穩(wěn)定下來之后基本是沒有什么機會的。另外一種就是神仙打架了，整個標(biāo)準(zhǔn)化體系內(nèi)有無數(shù)大大小小的生態(tài)位，每個生態(tài)位也會和周邊的生態(tài)位有千絲萬縷的聯(lián)系。一個擁有更大生態(tài)位的裁判可以借著生態(tài)位的影響力去侵入其他稍弱一些的生態(tài)位，擴張自己的地盤，比如今天ARM聯(lián)合蘋果和NVidia去侵蝕x86的生態(tài)位。但這兩條路實際上都不適合今天我們這些nobody。實際上后面這種生態(tài)位都不適合以小博大，NVidia上市之后所掌握的獨立顯卡的生態(tài)位相比Intel的x86生態(tài)位還是小到可以忽略不計的。想以小博大根本沒有可能性，甚至到16年前后NVidia已經(jīng)如日中天時，想把NVLink擴展到CPU上替換PCIe都沒能成功，只留下IBM的power處理器在風(fēng)中凌亂。當(dāng)然，NVidia今天做ARMCPU也是持續(xù)不斷想侵蝕Intel最后的陣地，但這個過程以今天NVidia的話語權(quán)仍然不是一件容易的事情，放到當(dāng)年只有獨立顯卡的生態(tài)位時更是不可能。而nobody做同一個生態(tài)位內(nèi)的競爭就更是無稽之談了，但今天仍然有無數(shù)玩家前赴后繼要和已有的生態(tài)位上做差異化競爭。其實NVidia的第二段壯舉向我們展示了另外一種更加有效的生態(tài)競爭方式。NVidia并不是靠差異化的CPU去和Intel競爭的，而是靠把GPGPU的生態(tài)位在數(shù)據(jù)中心的價值占比越做越大實現(xiàn)的。這個過程實際上是不同生態(tài)位隨著需求變化的此消彼長，而不是同一個生態(tài)位內(nèi)部暴烈地替換。這種此消彼長就意味著，在整個更替的全過程，兩種生態(tài)是高度親和共存的，而且在很長一段時間內(nèi)，原有生態(tài)位的體量會大得多。所以即使今天一臺服務(wù)器內(nèi)90%以上的價值是NVidia的產(chǎn)品，但服務(wù)器的常見形態(tài)仍然是2個“中央”處理器搭配8個“從屬設(shè)備”GPU。這個形態(tài)實際上還是符合Intel的游戲規(guī)則，只不過“從屬設(shè)備”這邊的生態(tài)位已經(jīng)遠大于“中央”處理器的生態(tài)位了，大家買服務(wù)器更多是為了買這些“從屬設(shè)備”，而且也盡量追求用更少的CPU來支持更多的“從屬設(shè)備”。實際上今天這種2CPU+8GPU這種看起來自然而然的形態(tài)也不是天然就該這樣，而是老黃整個布局和執(zhí)行的結(jié)果，Intel在這個過程處處給老黃挖坑，但奈何老黃對生態(tài)競爭邏輯的深刻理解以及十幾年的布局。這個過程實際上要解決三個層級的問題：第一個層級是芯片本身要足夠好用，開發(fā)效率要足夠高。實際上今天很多AI芯片的開發(fā)效率是遠低于NVidia的CUDA+GPGPU的。這個層級也是無數(shù)AI芯片玩家至今沒能邁過去的坎。第二個層級是更進一步的要求，芯片不是一代產(chǎn)品，而是一個延續(xù)十幾年，需要有持續(xù)生命力的體系。硬件層面能有延續(xù)數(shù)十年的持續(xù)性能提升空間，而且這個提升的速度要比競爭對手的更快，同時軟件層面也不光是開發(fā)效率要高，在芯片持續(xù)演進的過程中，這種開發(fā)效率、兼容性要穩(wěn)定平滑地延續(xù)幾十代產(chǎn)品。第三個層級就不光是純技術(shù)問題了，畢竟生態(tài)是具有巨大慣性的，一個再好的方案如果游離于目前的主流形態(tài)太遠，也很難克服生態(tài)巨大的慣性。同時，還需要足夠好的需求來催化，因為生態(tài)位是由需求產(chǎn)生的。今天的AI芯片大多連第一個層級都還沒邁過去，老黃也用好幾年時間完成了GPU到GPGPU的改造，同時也建立了CUDA相關(guān)的體系，邁過了前兩個臺階，同時也為第三個階段的親和性做了極致的設(shè)計，就像我們最開始講的，一方面保持對C/C++這套體系的親和性，另一方面減少對不相關(guān)部分的侵入性。但第三個階段不光是技術(shù)問題，老黃的這套體系也需要需求的東風(fēng)吹起來，在那個階段，老黃也很難預(yù)料什么樣的需求會爆發(fā)，只能頂著股價下滑的壓力等，同時投資各種潛在的需求。終于，等來了2012年AlexNet引爆的深度學(xué)習(xí)。整個這個階段，老黃給我們演示了，和Intel的CPU競爭的最佳方式不是做另一種形態(tài)的CPU，而是在Intel的游戲規(guī)則下做大PCIe設(shè)備在加速計算領(lǐng)域的生態(tài)位。讓這個生態(tài)位從CPU+PCIe擴展的體系下一個小的生態(tài)位逐漸增長為一個足夠大的生態(tài)位，甚至超過CPU的生態(tài)位，進而吞噬Intel在數(shù)據(jù)中心的市場份額，甚至到今天可以拉著ARM試圖把Intel從數(shù)據(jù)中心的AI解決方案中抹掉。其實這個事情對我們今天去搞AI芯片的生態(tài)是有很大借鑒意義的，當(dāng)然這種借鑒不是戰(zhàn)術(shù)層面的微操，生態(tài)競爭的戰(zhàn)術(shù)戰(zhàn)略都很難復(fù)制，畢竟今天要應(yīng)對的是NVidia以及CUDA的軟件體系。但從更宏觀的層面來講，和NVidiaCUDA競爭的不一定是AMDROCm，這個本質(zhì)上還是同一個生態(tài)位內(nèi)部的競爭，AMD錯過了2012年那個前后的時間窗口后其實就沒太多直接從這個生態(tài)內(nèi)部競爭的機會了。實際上，CUDA之上還有深度學(xué)習(xí)框架的生態(tài)位，當(dāng)然深度學(xué)習(xí)框架在12年前后開始形成需求，到16年前后也逐漸開始收斂，到今天事實上已經(jīng)被PyTorch把持，今天這個時間點繼續(xù)在深度學(xué)習(xí)框架上卷機會也不多。深度學(xué)習(xí)框架同樣不是重點，深度學(xué)習(xí)框架之上仍然有更多生態(tài)位機會。這里面任何一層抓住了機會，如果在未來這一層的重要性變得更高了，其他層的重要性相對下滑，這里面實際上是存在非常多機會的。不過挑戰(zhàn)也在魔鬼般的細節(jié)里，例如今天的深度學(xué)習(xí)框架實際上更多解決的是計算圖的表示和在不同設(shè)備上計算的問題，方便算法用戶能夠自由探索模型結(jié)構(gòu)。對于算子編寫這一層并沒有真正意義上隔離，只是通過內(nèi)置上千個算子的方式滿足了高頻需求。因此PyTorch這一層實際上沒有辦法真正意義上隔離掉CUDA的生態(tài)位，類似TensorFlow希望隔離GPU和TPU的差異這種嘗試就走得異常痛苦。當(dāng)然了，Google的TensorFlow還是在深度學(xué)習(xí)框架領(lǐng)域占據(jù)過很長一段時間上風(fēng)的，在這個生態(tài)位是，Google至少是有方向盤的，其他沒有方向盤的肯定就別想通過這種方式借力了。今天要看生態(tài)的機會，從軟件角度也更應(yīng)當(dāng)著眼于PyTorch之上的生態(tài)位機會，來構(gòu)思一整套打法，比如今天的大模型實際上也催生了PyTorch之上的大模型訓(xùn)練/推理框架的生態(tài)位機會，而且目前實際上正處于生態(tài)位建設(shè)的早期，大量玩家在這個領(lǐng)域造輪子爭奪這一塊的生態(tài)位。當(dāng)然了，這種軟件生態(tài)位的機會怎么反哺芯片生態(tài)位，其實老黃在12年之后的整個動作也可以體會到NVidia對這一塊的把控，機會來了怎么把控好也非常關(guān)鍵。生態(tài)的卡位靠的是開發(fā)者而不是業(yè)務(wù)。生態(tài)卡位最終目的是要讓業(yè)務(wù)“不得不用”，但如果這個組件時直接服務(wù)最終業(yè)務(wù)的，那只能因為單純的“好用”而用，但任何一個產(chǎn)品都有不好用的地方，很難真正意義上長期綁定，達不到“不得不用”的地步。實際上不得不用需要兩層遞進關(guān)系，也就是說在一個組件之上有大量“好用”的二次開發(fā)的組件，用戶因為很多二次開發(fā)的組件“好用”，進而才能“不得不用”這些組件依賴的組件。這個層級遞進越深，這種“不得不用”會越來越強烈。我們看NVIDIA第三個階段，借著深度學(xué)習(xí)的熱潮是怎么布局自己的生態(tài)位的。他并不去搶深度學(xué)習(xí)框架的生態(tài)位，而是給各個造深度學(xué)習(xí)框架的開發(fā)者提供無微不至的服務(wù)，包括異常健全的文檔，甚至連debugAPI這種估計很少有開發(fā)者會關(guān)注的文檔都寫得非常詳細，也包括給很多開發(fā)者送顯卡。當(dāng)然最關(guān)鍵的，還是產(chǎn)品在這個生態(tài)位需求下的絕對競爭力。換句話講，寫深度學(xué)習(xí)框架的核心需求是讓海量算法用戶能簡單獲得極高的算力跑深度學(xué)習(xí)模型，AlexNet也證明了GPU比CPU快太多，因此對于做深度學(xué)習(xí)框架的開發(fā)者，支持GPU的框架顯然也比只支持CPU的框架更具有競爭力，這就給了上面無數(shù)開發(fā)者最基礎(chǔ)的動力去支持GPU，再加上事無巨細的文檔和無微不至圍繞開發(fā)者的一整套打法，自然海量開發(fā)者涌入CUDA體系，在CUDA之上寫了無數(shù)的深度學(xué)習(xí)框架去競爭。上面開發(fā)者開發(fā)了不同特點的框架，每個最終用戶都會其中一些框架的“好用”而加入某一陣營，但也因為所有框架基本都支持CUDA和NVidia的GPU，從而使得用戶進入了“不得不用"CUDA和NVidia的GPU的狀態(tài)。這實際上做所有解決方案都繞不開的子集的思路，而大多數(shù)人做項目都不自覺會陷入做大而全的超集的思路。以NVidia的軟件開發(fā)能力，在那個階段去研發(fā)一個深度學(xué)習(xí)框架和TensorFlow、PyTorch包括早期的Caffe、theano競爭是完全沒問題的，甚至可以借助軟硬件協(xié)同的能力比各家的框架做得更有競爭力，甚至借此干掉其他框架。但NVidia實際上沒有這么做，NVidia是一種典型的做子集的思路，做一個所有人都繞不開的子集。與之相對的是做一個大而全的超集的思路，這種思路是今天很多項目不自覺就會落入的思路，所有競爭對手有的所有好的特性我們也都支持，我們再做一些自己的特性，這樣是一個功能比所有人更全的超集。實際上NVidia在下面看上面所有人卷超集，各個超集都把自己的CUDA納入其中，間接促成了自己成為所有人繞不開的子集的目的。而成為很多解決方案的子集，無論每個方案有多少用戶覺得好用，每個解決方案都能給NVidia帶來足夠多“不得不用”CUDA的用戶。而每個深度學(xué)習(xí)框架自己僅僅靠“好用”捆綁用戶，那自然也很容易因為“不好用”而被用戶拋棄。這個其實是一個極具生態(tài)競爭智慧的打法，今天很多人說NVidia是一家軟件公司，有大量軟件的人，于是也投海量的軟件工程師去打造產(chǎn)品競爭力，最后都落入了大而全的超集思路，實際上跟NVidia這種做子集的思路完全南轅北轍。大家想想以NVidia的軟件能力，真的要去搶各種軟件層面的生態(tài)位，雖說不一定能干掉其他目前主流的產(chǎn)品，但至少分一杯羹完全不在話下。NVidia真正下場干的軟件，要么開源讓大家隨便抄，把自己的產(chǎn)品繼續(xù)抄成所有人的子集，要么是覺得整個業(yè)界實在沒在某個場景下用好GPU，不得不下場帶一波節(jié)奏。解決方案式的打法是最后的收割階段。實際上NVidia這幾年才算真正開啟了收割模式，如果你關(guān)注老黃這幾年的演進，他會更多提到“重構(gòu)計算機工作方式”，實際上這是向Intel發(fā)起沖鋒了，今天的整個計算機系統(tǒng)實際上是圍繞CPU定義的，圍繞CPU定義了指令集、軟件、以及繁榮的軟硬件生態(tài)，老黃今天終于拿到了整個生態(tài)位里面最大的話語權(quán)。老黃借著三十年臥薪嘗膽打下來的生態(tài)地位，開始真正對這個事實標(biāo)準(zhǔn)的體系進行重塑。這種重塑同樣不是destructive的，無論有多大的話語權(quán)，生態(tài)的慣性仍然需要遵從。老黃更多把AI作為切入點，要在今天的計算機系統(tǒng)上支撐一個圍繞AI的全新計算機系統(tǒng)，那么在AI領(lǐng)域擁有最大話語權(quán)的老黃自然也就可以將底層的經(jīng)典計算機系統(tǒng)塑造成一個更適用于支撐上層新興的AI計算機系統(tǒng)的底座。這種重塑是王者的特權(quán)?；氐轿覀冮_頭說的，學(xué)習(xí)NVidia不能光看老黃這幾年吃肉的模樣有樣學(xué)樣，這屬于生態(tài)競爭最基本的邏輯都沒搞清楚。我們更需要關(guān)注NVidia這三十年的臥薪嘗膽，以及整套戰(zhàn)略思維，反過來，去考慮今天在NVidia游戲規(guī)則下的真正出路，當(dāng)然這也是今天最難的問題了。其實生態(tài)這個事情就是這樣，我們今天站在如此自然而然的計算機系統(tǒng)看過去，似乎到了那個時間點自然而然有這樣那樣的一些機會被今天的王者抓住了，而今天似乎缺乏這樣那樣的機會。殊不知，今天的王者正是當(dāng)時那種絕境種塑造了這樣那樣的機會，把整個計算機系統(tǒng)塑造成了這種形態(tài)，也只有這種今天看起來足夠自然而然的形態(tài)才能順應(yīng)生態(tài)的邏輯取得競爭的勝利。萬字長文看到這里也是不容易，說了這么多競爭邏輯，今天該怎么做？今天圍繞NVidia建立的標(biāo)準(zhǔn)化體系看起來似乎堅不可摧，CUDA牢牢卡住了算子編程生態(tài)位，甚至PyTorch都沒法屏蔽，而今天海量軟件又都建立在這套體系之上。但需求一直都在變，這種變化實際上也造成了很多生態(tài)位的此消彼長，生態(tài)位的萎縮并不是那么立竿見影的，CPU的生態(tài)位已經(jīng)萎縮到今天這個當(dāng)量也絲毫不會讓大家覺得x86似乎沒影響力了，其實仍然是強大到基本不可動搖。同樣，這些今天看起來牢不可破的生態(tài)位實際上也在悄悄發(fā)生很多變化。CUDA的生態(tài)位最大的時候?qū)嶋H上是2012~2018年，無數(shù)的深度學(xué)習(xí)框架在CUDA的基礎(chǔ)上爭奪用戶，上面這些通過自身的“好用”幫助CUDA實現(xiàn)“不得不用”的東西越多越碎片，CUDA自然就越穩(wěn)固。而深度學(xué)習(xí)框架收斂到TensorFlow和PyTorch之后，實際上CUDA的生態(tài)位是一定程度下降的，但問題在于深度學(xué)習(xí)框架并沒有屏蔽算子編程，只不過內(nèi)置了一個子集消除絕大多數(shù)算子編程的需求。所以實際上CUDA的需求實際上是穿透了深度學(xué)習(xí)框架捅上去了，今天仍然有無數(shù)PyTorch之上的領(lǐng)域框架寫了大量PyTorch算子集之外的CUDA算子，所以實際上CUDA雖然削弱了一些，但還是極具生命力。這實際上也是很多希望通過PyTorch這一層解決AI芯片軟件生態(tài)問題屢屢碰壁的主要原因。而深度學(xué)習(xí)框架最輝煌的階段是在2023年以前，深度學(xué)習(xí)框架是提供了一個構(gòu)建不同深度學(xué)習(xí)模型結(jié)構(gòu)的平臺，在模型結(jié)構(gòu)探索最活躍的年代自然也是深度學(xué)習(xí)框架最高光的時刻。而隨著Transformerisallyouneed被大模型進一步鎖定，模型結(jié)構(gòu)的探索活躍度實際上是降低的，深度學(xué)習(xí)框架的生態(tài)位重要性實際上開始逐步降低。今天最活躍的是大模型的框架，大量開發(fā)者在PyTorch之上瘋狂造輪子，從各個角度解決大模型訓(xùn)練、推理的各種問題。這里面最核心的實際上是顯存和帶寬的利用，是大模型不同數(shù)據(jù)如何在這有限的顯存和帶寬之上調(diào)度，并合理地穿插相應(yīng)的計算。這一塊