豆包大模型升級(jí)字節(jié)ai產(chǎn)業(yè)鏈?zhǔn)崂?申萬宏源-241222

2024年12月22日豆包大模型升級(jí)，字節(jié)AI產(chǎn)業(yè)鏈行行業(yè)點(diǎn)評(píng)證券分析師本期投資；（報(bào)楊海晏A0230518070003（3）未上市，新業(yè)務(wù)拓展容錯(cuò)率高。架構(gòu)包括：AI應(yīng)用Flow部門、專注于大模型研發(fā)李國(guó)盛A0230521080003用全棧AI布局。其中應(yīng)用環(huán)節(jié)：1）C端產(chǎn)品為主：對(duì)標(biāo)優(yōu)質(zhì)競(jìng)品推出產(chǎn)品，覆蓋聊天ligs@助手、情感陪伴、教育等；同步在國(guó)內(nèi)海外推出；利用產(chǎn)品流量助力推廣，堅(jiān)持大模型黃忠煌A0230519110001zhaohang@力加持下，豆包大模型日均tokens增長(zhǎng)使用量已超過4萬億；2）從細(xì)分行業(yè)看，豆包token使用量在汽車、智能終端、客服銷售、教育等2B中，我們認(rèn)為重點(diǎn)值得關(guān)注的是視覺理解模型產(chǎn)品，有識(shí)別理解物體關(guān)系、復(fù)雜推理、jinling@多圖關(guān)聯(lián)等能力，達(dá)到了GPT-4v以上水平。豆包視頻理解黃俊儒A0230123070011(8621)23297818×技發(fā)布AI+硬件智躍計(jì)劃，我們認(rèn)為AI玩具兼具教育和陪伴價(jià)值，用ligs@場(chǎng)景。我們認(rèn)為伴隨傳統(tǒng)數(shù)據(jù)中心向“智算中心”演進(jìn)，IDC行業(yè)供需開始出現(xiàn)缺口，“有效供給”的稀缺性較強(qiáng)。（2）通信網(wǎng)絡(luò)：推引擎FORCE原動(dòng)力大會(huì)提出了“以AI負(fù)載為中心”的基礎(chǔ)架構(gòu)范式，對(duì)通信網(wǎng)絡(luò)的需求增加巨大。字節(jié)重視推理布局，P/D分離架構(gòu)利于整體效率和推理體驗(yàn)提升。我們認(rèn)以太網(wǎng)（設(shè)備、芯片等）、連接方案（銅、連接器等）等領(lǐng)域的增量機(jī)會(huì)。（3）技英維克、盛科通信、光訊科技等；2）AI硬件：兆易創(chuàng)新、樂鑫科技、移遠(yuǎn)通信、潤(rùn)欣科技、中科藍(lán)汛、恒玄科技等；3）數(shù)據(jù)：海天瑞聲、視覺中國(guó)等；4）應(yīng)用和生態(tài)合作：中科創(chuàng)達(dá)、漢得信息、盛天網(wǎng)絡(luò)、游族網(wǎng)絡(luò)、實(shí)豐文化、居然智家、浙文互聯(lián)、掌閱科技、博納影業(yè)、芒果超媒、華策影視、冰川網(wǎng)絡(luò)、易點(diǎn)天下、富春股份、蜂助手l風(fēng)險(xiǎn)提示：宏觀環(huán)境不確定性帶來的風(fēng)險(xiǎn)；AI技術(shù)發(fā)展不及預(yù)時(shí)代變革，在競(jìng)爭(zhēng)中處于不利地位的風(fēng)險(xiǎn)；反壟斷訴請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與行業(yè)點(diǎn)評(píng)請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第2頁共25頁簡(jiǎn)單金融成就夢(mèng)想字節(jié)是國(guó)內(nèi)投入AI激進(jìn)的互聯(lián)網(wǎng)大廠，有望拉動(dòng)國(guó)內(nèi)AI全產(chǎn)業(yè)鏈從預(yù)期到現(xiàn)實(shí)，并形成2025年二級(jí)投資最重要的映射機(jī)會(huì)。字節(jié)跳動(dòng)積極投入AI的原因：（1）字節(jié)跳動(dòng)不可錯(cuò)失下一代入口級(jí)的重大機(jī)會(huì)2）AI拉動(dòng)云計(jì)算需求，布局AI是字節(jié)跳動(dòng)云計(jì)算業(yè)務(wù)火山引擎彎道超車的機(jī)會(huì)3）未上市，在新業(yè)務(wù)拓展上容錯(cuò)率高。從AI部門架構(gòu)來看，字節(jié)跳動(dòng)已形成較為清晰的AI部門架構(gòu)，專注于AI應(yīng)用落地的Flow部門、專注于大模型研發(fā)的Seed、為AI應(yīng)用產(chǎn)品提供技術(shù)支持的Stone團(tuán)隊(duì)，目前朱文佳、洪定坤、朱駿等為AI部門團(tuán)隊(duì)主要負(fù)責(zé)人，均已在字節(jié)跳動(dòng)任職多年。資料來源：字節(jié)跳動(dòng)，第一財(cái)經(jīng)，申萬宏源研究字節(jié)跳動(dòng)目前形成算力-算法-應(yīng)用的全產(chǎn)業(yè)鏈布局，且自研C端應(yīng)用是重要發(fā)力點(diǎn)。算力環(huán)節(jié)：依托火山引擎的算力基礎(chǔ)設(shè)施，可為模型訓(xùn)練和推理提供支持。自研云服務(wù)器、GPU服務(wù)器等，即可對(duì)內(nèi)為模型和應(yīng)用提供算力支持，也可對(duì)外賦能B端客戶的算力租用。AI+云浪潮下火山引擎有望為字節(jié)打開云計(jì)算市場(chǎng)空間。此前字節(jié)在云計(jì)算領(lǐng)域已有較多布局嘗試，AI+云將帶來新的機(jī)會(huì)?；鹕揭鏋樽止?jié)跳動(dòng)的核心云基礎(chǔ)設(shè)施層布局，23H2GenAIIaaS市場(chǎng)規(guī)模約為32.2億元，其中火山引擎占比約為21%。字節(jié)跳動(dòng)此前在算卡購買上較為積極，已有著較為充沛的算力儲(chǔ)備，支撐公司整體的AI應(yīng)用布請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第3頁共25頁簡(jiǎn)單金融成就夢(mèng)想火山引擎阿里巴巴商湯百度騰訊其他算法環(huán)節(jié)：以豆包大模型為核心，涵蓋圖像、視頻、音頻和開發(fā)等多個(gè)領(lǐng)域，支撐字節(jié)跳動(dòng)的AI應(yīng)用開發(fā)并為開發(fā)者提供成熟完整的工具鏈。應(yīng)用環(huán)節(jié)：字節(jié)在AI應(yīng)用的戰(zhàn)略較為清晰：1）對(duì)標(biāo)優(yōu)質(zhì)競(jìng)品推出產(chǎn)品，覆蓋聊天助手、情感陪伴、教育等全領(lǐng)域。2）產(chǎn)品同步在國(guó)內(nèi)海外推出；3）堅(jiān)持大模型到應(yīng)用的端到端布局。4）利用產(chǎn)品矩陣的流量助力重要APP推廣。目前，已有部分AI應(yīng)用產(chǎn)品關(guān)注度較高，豆包（對(duì)話助手）之后我們預(yù)計(jì)即夢(mèng)AI （AI視頻）將是下一個(gè)發(fā)力重點(diǎn)：1）字節(jié)持續(xù)導(dǎo)流的豆包助手；字節(jié)豆包已成中國(guó)排名第一名的AIAPP。11月，豆包APPDAU接近900萬。2）依托自身豐富短視頻數(shù)據(jù)的即夢(mèng)AI視頻生成平臺(tái)：11月8日，字節(jié)跳動(dòng)旗下的AI內(nèi)容平臺(tái)即夢(mèng)AI宣布，即日起，由字節(jié)跳動(dòng)自研的視頻生成模型Seaweed面向平臺(tái)用戶正式開放，用于設(shè)計(jì)、影視、動(dòng)畫等內(nèi)容場(chǎng)景，助力想象力的實(shí)現(xiàn)和故事創(chuàng)作。平臺(tái)提供智能畫布、故事創(chuàng)作模式、以及首尾幀、對(duì)口型、運(yùn)鏡控制、速度控制等AI編輯能力，并有海量影像靈感及興趣社區(qū)，一站式提供用戶創(chuàng)意靈感、流暢工作流、社區(qū)交互等資源，為用戶的創(chuàng)作提效。3）AI教育領(lǐng)域的AI答題助手Gauth近期流量實(shí)現(xiàn)了較快增長(zhǎng)。此外，辦公、硬件（耳機(jī)、玩具）、陪伴等均有布局。團(tuán)隊(duì)類型產(chǎn)品團(tuán)隊(duì)類型產(chǎn)品請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第4頁共25頁簡(jiǎn)單金融成就夢(mèng)想AI模型社區(qū)爐來Lumi（國(guó)內(nèi)） 資料來源：ZFinance，DataEye應(yīng)用數(shù)據(jù)情報(bào)公眾號(hào)，第一財(cái)經(jīng)，申萬宏源研究我們認(rèn)為豆包在國(guó)產(chǎn)模型、應(yīng)用端的成功，證明了我們之前對(duì)2025年AI行業(yè)趨勢(shì)判斷，核心變化為：1）算力上，頭部模型廠商證明國(guó)產(chǎn)大模型自主迭代能力，可能加快巨頭云廠商競(jìng)爭(zhēng)，但也意味著進(jìn)入門檻更高；同時(shí)各家開始更多布局推理，訓(xùn)練算力的增量可能低于最樂觀預(yù)測(cè)，由于國(guó)產(chǎn)AI芯片在推理能力上有更多儲(chǔ)備，這一趨勢(shì)可能利好國(guó)產(chǎn)AI芯片；2）應(yīng)用上，豆包2B行業(yè)應(yīng)用調(diào)用token高增，證明了大模型除場(chǎng)景2C應(yīng)用外，在企業(yè)端也大有可為；同時(shí)2024年后底層模型迭代減緩，反而會(huì)促進(jìn)AI應(yīng)用投入。此前AI應(yīng)用商擔(dān)憂底層模型迭代后，基于上一代模型開發(fā)的應(yīng)用落后，因此應(yīng)用投入較為謹(jǐn)慎，這一情況在24H2后已開始出現(xiàn)轉(zhuǎn)變；3）數(shù)據(jù)上，大幅利好儲(chǔ)備了高質(zhì)量、非通用行業(yè)數(shù)據(jù)的廠商，此前OpenAI已證明了使用特定行業(yè)案例進(jìn)行強(qiáng)化微調(diào)是可行的，而豆包等國(guó)產(chǎn)大模型也為行業(yè)客戶提供了好用的基礎(chǔ)模型平臺(tái)，因此預(yù)計(jì)“大小模型結(jié)合”的形式在2025年后會(huì)大量出現(xiàn)在醫(yī)療、法律、教育、金融等行業(yè)中。12月18日，字節(jié)在2024火山引擎FORCE會(huì)議上發(fā)布了豆包大模型新升級(jí)產(chǎn)品。1）各項(xiàng)能力加持下，豆包大模型日均tokens增長(zhǎng)使用量已超過4萬億；2）從細(xì)分行業(yè)看，豆包token使用量在2B場(chǎng)景有極大提升；3）新產(chǎn)品中，我們認(rèn)為重點(diǎn)值得關(guān)注的是視覺理解模型產(chǎn)品，定價(jià)較低且達(dá)到了GPT-4v以上水平。基于以上，我們認(rèn)為2025年后，以豆包為代表的AI大模型應(yīng)用有望迎來一輪爆發(fā)，且無論2C或2B都有更多大模型場(chǎng)景應(yīng)用。各項(xiàng)能力加持下，豆包大模型日均tokens增長(zhǎng)使用量已超過4萬億，較7個(gè)月前首次發(fā)布時(shí)增長(zhǎng)了33倍。1）汽車，豆包大模型已與八成主流汽車品牌合作，過去7個(gè)月汽車行業(yè)日均Tokens消耗增長(zhǎng)了50倍；2）智能終端，接入到多家手機(jī)、PC等智能終端，覆蓋終端設(shè)備約3億臺(tái)，來自智能終端的豆包大模型調(diào)用量在半年時(shí)間內(nèi)增長(zhǎng)100倍；請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第5頁共25頁簡(jiǎn)單金融成就夢(mèng)想行業(yè)點(diǎn)評(píng)3）其它企業(yè)客戶，最近3個(gè)月，在信息處理場(chǎng)景的調(diào)用量增長(zhǎng)了39倍，客服與銷售場(chǎng)景增長(zhǎng)16倍，硬件終端場(chǎng)景增長(zhǎng)13倍，AI工具場(chǎng)景增長(zhǎng)9倍，學(xué)習(xí)教育等場(chǎng)景也有大幅增長(zhǎng)。豆包視覺模型拓寬了大模型場(chǎng)景邊界，從demo演示看已達(dá)到了GPT-4v水平。通過豆包·視覺理解模型，用戶可以同時(shí)輸入文本和圖像相關(guān)的問題。模型能夠綜合理解并給出準(zhǔn)確的回答。目前看我們認(rèn)為能力達(dá)到了GPT-4水平1）具有識(shí)別、理解物體關(guān)系的能力：不僅可以識(shí)別出圖像中的物體類別、形狀等基本要素，還能理解物體之間的關(guān)系、空間布局以及場(chǎng)景的整體含義。2）具有復(fù)雜推理能力：不僅能更好地識(shí)別內(nèi)容，還能根據(jù)所識(shí)別的文字和圖像信息進(jìn)行復(fù)雜的邏輯計(jì)算。例如下圖可以理解復(fù)雜圖表圖3：識(shí)別圖內(nèi)容并按照格式輸出圖4：多圖關(guān)聯(lián)場(chǎng)景，按照?qǐng)D片查詢指南資料來源：豆包官網(wǎng)、申萬宏源研究資料來源：豆包官網(wǎng)、申萬宏源研究3）已具有多圖關(guān)聯(lián)能力：如上圖，識(shí)別圖1中物體，并與圖2說明書中文字信息對(duì)4）部分視覺答案水平已經(jīng)超過GPT-4準(zhǔn)確性。根據(jù)部分網(wǎng)絡(luò)測(cè)試，在大多數(shù)的任務(wù)上，豆包視覺理解大相比GPT4o識(shí)別的更精準(zhǔn)、更詳細(xì)，尤其涉及中國(guó)文化些內(nèi)容準(zhǔn)確性更高。請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第6頁共25頁簡(jiǎn)單金融成就夢(mèng)想行業(yè)點(diǎn)評(píng)資料來源：數(shù)字生命卡茲克、申萬宏源研究豆包視頻理解模型的輸入價(jià)格定為0.003元/千Tokens，比行業(yè)價(jià)格降低85%。即1元能同時(shí)處理284張720P圖片。同時(shí)火山引擎還將提供更高的初始流量，RPM達(dá)到了15,000次，TPM達(dá)到120萬，讓企業(yè)和開發(fā)者用好視覺理解模型，找到更多創(chuàng)新場(chǎng)景。該模型已經(jīng)接入豆包App和PC端產(chǎn)品。請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第7頁共25頁簡(jiǎn)單金融成就夢(mèng)想行業(yè)點(diǎn)評(píng)資料來源：火山引擎官方公眾號(hào)、申萬宏源研究火山引擎已邀請(qǐng)數(shù)百家企業(yè)測(cè)試該模型，并在教育、電商等下游中發(fā)現(xiàn)有價(jià)值的場(chǎng)景。比如教育場(chǎng)景的判卷指導(dǎo)、作文批改、兒童陪伴等，旅游場(chǎng)景的目的地推薦、外文菜單識(shí)別、著名建筑識(shí)別及講解；電商營(yíng)銷場(chǎng)景的拍照找同款、商品搭配建議、廣告種草文案等。盡管目前豆包并未明確給出實(shí)現(xiàn)低價(jià)原因，我們猜測(cè)：1）在這一價(jià)格下豆包并未實(shí)現(xiàn)盈利，以搶占客戶為主；2）有較多活躍用戶后，火山云可以實(shí)現(xiàn)較高的芯片利用率，減少公有云閑置算力，從而降低成本。3．應(yīng)用：3D、音樂、圖片視頻等發(fā)布新品，宣veOmniverse：上線3D生成模型，實(shí)現(xiàn)物理世界仿真字節(jié)與英偉達(dá)合作的veOmniverse平臺(tái)發(fā)布最新的豆包3D生成模型?？梢愿咝瓿芍悄苡?xùn)練、數(shù)據(jù)合成和數(shù)字資產(chǎn)制作，成為一套支持AIGC創(chuàng)作的物理世界仿真模擬器?？蔀?D資產(chǎn)生產(chǎn)商提供AI開發(fā)工具，有望在游戲等領(lǐng)域?qū)崿F(xiàn)落地。請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第8頁共25頁簡(jiǎn)單金融成就夢(mèng)想行業(yè)點(diǎn)評(píng)字節(jié)AI音樂模型：降低用戶創(chuàng)作門檻，AI向生成創(chuàng)意方向持續(xù)取得進(jìn)展降低音樂創(chuàng)作門檻，AIUGC內(nèi)容平臺(tái)向音樂領(lǐng)域延伸。字節(jié)AI音樂模型具備獨(dú)特的音樂生成的架構(gòu)，用戶可在海綿音樂等應(yīng)用上體驗(yàn)，可實(shí)現(xiàn)用戶輸入一個(gè)靈感，AI工具在十幾秒后生成質(zhì)量較好的成品。字節(jié)AI音樂模型亮點(diǎn)在于歌詞生成更加精準(zhǔn)、押韻效果也不錯(cuò)、旋律豐富多樣。有望極大降低AI音樂創(chuàng)作門檻。字節(jié)AI視頻創(chuàng)作：即夢(mèng)平臺(tái)，有較強(qiáng)內(nèi)容一致性24年5月字節(jié)發(fā)布即夢(mèng)平臺(tái)，集成AI圖片生成、AI視頻生成等AI功能，定位為綜合AI創(chuàng)意工具平臺(tái)，近期新一代模型更新上線。24年11月字節(jié)跳動(dòng)在即夢(mèng)平臺(tái)上線新一代AI視頻大模型PixelDance，可實(shí)現(xiàn)較為出色的性能。相比同類競(jìng)品等，基于請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第9頁共25頁簡(jiǎn)單金融成就夢(mèng)想行業(yè)點(diǎn)評(píng)PixelDance模型的圖生視頻功能生成內(nèi)容的一致性、視頻內(nèi)容拓展幅度、文本忠實(shí)度及連貫性上均有著較為亮眼的表現(xiàn)。字節(jié)AI教育：推出垂類場(chǎng)景模型，已有標(biāo)桿客戶AI應(yīng)用探索高等教育場(chǎng)景的應(yīng)用，賦能“教、學(xué)、管、評(píng)、測(cè)”多個(gè)環(huán)節(jié)。大會(huì)“智能體+實(shí)體產(chǎn)業(yè)”專場(chǎng)中，同濟(jì)大學(xué)信息化辦公室主任許維勝教授發(fā)表“教育行業(yè)實(shí)踐”主題演講，介紹重點(diǎn)應(yīng)用：1）高等教育垂類模型：土木學(xué)院開發(fā)的CivilGPT模型，收集注冊(cè)工程師考試題目和專業(yè)課程、考試、規(guī)范等資料，微調(diào)開源大模型，提供答疑、自測(cè)、助教等服務(wù)。此外數(shù)學(xué)系開發(fā)了數(shù)學(xué)專用大模型DeepMath，基于5000多本現(xiàn)代數(shù)學(xué)書籍與30多萬篇數(shù)學(xué)論文，助力數(shù)學(xué)專業(yè)研究；2）推出“數(shù)智學(xué)伴小舟”，提供幫教（智能課件、測(cè)試、批閱、知識(shí)圖譜等）、幫學(xué)（智能筆記、答疑、文獻(xiàn)閱讀等）以及幫辦（預(yù)定會(huì)議、課表管理、組織考試、校園導(dǎo)航等），全面助力高校學(xué)生的校園學(xué)習(xí)及生活。請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第10頁共25頁簡(jiǎn)單金融成就夢(mèng)想行業(yè)點(diǎn)評(píng)字節(jié)AI營(yíng)銷：大模型助力降本增效大會(huì)“智能體+實(shí)體產(chǎn)業(yè)”專場(chǎng)中，美宜佳CIO代迪先生受邀發(fā)表“營(yíng)銷Al助力增效降本”主題演講。美宜佳全國(guó)共擁有3.7萬家連鎖便利店，每月服務(wù)約2.5億人次線下消費(fèi)者。美宜佳與火山深度合作，打造工具鏈平臺(tái)，豆包大模型+云資源賦能多個(gè)AI落地場(chǎng)景：1）數(shù)字店員：通過數(shù)字人店員，提供24小時(shí)服務(wù)、具備多語言能力、增強(qiáng)和顧客互動(dòng)與營(yíng)銷能力；2）營(yíng)銷素材生成：AI精準(zhǔn)定位商圈人群，生成對(duì)應(yīng)營(yíng)銷文案和素材。形成數(shù)據(jù)資產(chǎn)與業(yè)務(wù)應(yīng)用的飛輪，持續(xù)優(yōu)化ROI。4.端側(cè)智能：AI玩具+AI眼鏡，切入2C場(chǎng)景大會(huì)首日的“視頻云&邊緣云”專場(chǎng)活動(dòng)中，火山引擎與樂鑫科技、ToyCity、Folotoy、魂伴科技聯(lián)合發(fā)布了AI+硬件智躍計(jì)劃，其后樂鑫科技副總經(jīng)理王玨女士受邀發(fā)表主題演講。樂鑫提供的“連接+處理”芯片，將作為潮玩產(chǎn)品的“大腦和神經(jīng)”。制造商構(gòu)建玩具的結(jié)構(gòu)和骨肉，作為“肉體”部分；云端大模型賦予產(chǎn)品半個(gè)靈魂，IP創(chuàng)作者賦予手辦形象，其想傳遞的精神和內(nèi)容賦予了產(chǎn)品另半個(gè)靈魂；而樂鑫作為連接和交互能力的技術(shù)提供者，其具有連接功能的處理器芯片則可以將“肉體”和“靈魂”相連。端側(cè)處理+云端調(diào)用，提供一站式Turnkey解決方案。本次與字節(jié)的合作方案中，樂鑫將提供一站式Turnkey解決方案，通過Wi-Fi調(diào)用云端提供的智能體服務(wù)。該解決方案可以理解為：“一站式硬件”（已有豐富解決方案的端側(cè)音視頻處理）+“端到端大行業(yè)點(diǎn)評(píng)請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第11頁共25頁簡(jiǎn)單金融成就夢(mèng)想模型”（通過低延遲抗干擾的RTC技術(shù)，設(shè)備端到云端的大模型應(yīng)用可實(shí)現(xiàn)真人感的實(shí)時(shí)通話）。預(yù)計(jì)未來更多AI應(yīng)用落地，樂鑫的無線SoC以及方案作為將AI大模型運(yùn)用到端側(cè)設(shè)備的關(guān)鍵環(huán)節(jié)預(yù)計(jì)充分受益。樂鑫技術(shù)端可支撐通用IoT/邊緣AI/云端AI功能。其中，通用IoT功能主要包括連接、控制、屏顯、攝像頭等；邊緣AI功能主要包括支持語音喚醒、語音控制、人臉和物體識(shí)別等；云端AI功能主要為依托于豆包等大模型實(shí)現(xiàn)生成式內(nèi)容輸出，不論輸出形式是語音或是屏幕顯示。AI玩具兼具教育+陪伴價(jià)值。24年中秋節(jié)火山引擎發(fā)放“顯眼包”非商業(yè)化產(chǎn)品，其集合了藍(lán)白色毛絨玩具+內(nèi)嵌FoloToy的AI機(jī)芯魔匣+火山引擎AI技術(shù)（豆包大模型、扣子專業(yè)版、語音識(shí)別、語音合成等），不僅能理解并回應(yīng)復(fù)雜的問題，同時(shí)積極鼓勵(lì)的互動(dòng)，甚至主動(dòng)發(fā)出互動(dòng)邀請(qǐng)、主動(dòng)建立高質(zhì)量情感連接，內(nèi)置中英文兩個(gè)角色。作為非賣品，顯眼包在二手市場(chǎng)交易價(jià)格已超過200元。同類產(chǎn)品已有可觀銷量：1）Bubblepal單價(jià)399元，24年7月發(fā)售，全年預(yù)計(jì)銷量8-10萬；2）FoloToyAI玩具C端累計(jì)出貨量2萬；3）AI萌寵機(jī)器人LOVOT單價(jià)2萬人民幣起，銷量已破1.4萬；4）AI伴老機(jī)器人Hyodol單價(jià)6500元，累計(jì)出貨1萬臺(tái)。AI玩具可滿足教育和陪伴價(jià)值，疊加低成本的優(yōu)點(diǎn)實(shí)現(xiàn)快速落地，隨模型能力與軟硬結(jié)合度提高，有望落地更多場(chǎng)景。請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第12頁共25頁簡(jiǎn)單金融成就夢(mèng)想行業(yè)點(diǎn)評(píng)火山原動(dòng)力大會(huì)發(fā)布AI+硬件智躍計(jì)劃。該計(jì)劃結(jié)合豆包大模型+火山引擎的擬人化語音對(duì)話+ToyCity的潮玩設(shè)計(jì)+樂鑫科技的AI芯片等，推動(dòng)AI潮玩的普及化。樂鑫科技副總經(jīng)理王玨女士認(rèn)為，未來AI玩具在多個(gè)產(chǎn)品形態(tài)中均具備潛力：1）二次元品類包括吧唧、卡片、亞克力立牌等產(chǎn)品，通過底座嵌入電路板實(shí)現(xiàn)電子化功能，簡(jiǎn)單實(shí)現(xiàn)“AI+”的同時(shí)避免“三次元翻車”；2）三次元產(chǎn)品例如手辦、可動(dòng)人偶、藝術(shù)模型。增加AI實(shí)現(xiàn)更好的交互體驗(yàn)，并塑造更立體的IP形象，增加受眾面積，提高用戶粘性及付費(fèi)意愿。行業(yè)點(diǎn)評(píng)請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第13頁共25頁簡(jiǎn)單金融成就夢(mèng)想繼MetaRayban二代眼鏡爆火后，眼鏡成為AI終端落地?zé)衢T方向。MetaRay-Ban二代于2023年9月發(fā)布，2024年4月升級(jí)AI功能、鏈接Llama3大模型，成為2024年AI爆款終端。TheVerge統(tǒng)計(jì)，截止2024年5月，MetaRay-Ban智能眼鏡的全球銷量已突破100萬副，預(yù)計(jì)2024年全年出貨量有望超過150萬副。字節(jié)跳動(dòng)在眼鏡產(chǎn)品線布局已久，PICO國(guó)內(nèi)市占率已超70%。2015年P(guān)ICO發(fā)布便攜式虛擬現(xiàn)實(shí)頭盔Pico1，6年后字節(jié)跳動(dòng)收購PICO，并于2022年發(fā)布PICO4，創(chuàng)新搭載Pancake折疊光路設(shè)計(jì)、62-72毫米無級(jí)電動(dòng)瞳距調(diào)節(jié)。目前PICO已發(fā)布十余款頭顯產(chǎn)品，據(jù)洛圖科技RUNTO數(shù)據(jù)，2024年上半年P(guān)ICO國(guó)內(nèi)市占率73%。據(jù)Counterpoint，2Q24PCIO全球市占率第二，僅次于Meta。也使得字節(jié)在眼鏡領(lǐng)域具備了豐富的技術(shù)能力和市場(chǎng)經(jīng)驗(yàn)。AI眼鏡方面，投資李未可科技，持股比例20%。李未可科技是一家專注于AI+AR技術(shù)的科技公司，22年獲得字節(jié)跳動(dòng)千萬元天使輪融資，24年推出AI智能眼鏡——MetaLensChat，售價(jià)699元，主打AI語音交互，通過點(diǎn)觸鏡腿喚醒AI語音助手，搭載自研大模型WAKE-AI，不僅能在500毫秒內(nèi)快速響應(yīng)用戶指令，還支持百科問答、學(xué)習(xí)輔助、英文翻譯、語音導(dǎo)航、情感陪伴等多種功能。同時(shí)李未可也曾推出多款A(yù)R眼鏡例如MetaLensS系列。至此，字節(jié)跳動(dòng)已全面布局VR、AR、AI眼鏡，眼鏡是第一視角的最佳載體，結(jié)合其視覺大模型的識(shí)別、理解、推理能力，字節(jié)此賽道未來將會(huì)有更大發(fā)展空MetaPicoSonyAppleOthers字節(jié)推出首款智能耳機(jī)產(chǎn)品OlaFriend，接入豆包大模型。2024年10月，字節(jié)跳動(dòng)旗下首款智能耳機(jī)產(chǎn)品OlaFriend正式發(fā)布，外觀延續(xù)了Oladance的開放式設(shè)計(jì)風(fēng)格，單只重量6.6g，主體部分最寬10mm，最薄7mm，耳掛連接處為0.7毫米金屬鈦絲，佩戴幾乎無感，即使長(zhǎng)時(shí)間佩戴也不會(huì)感到負(fù)擔(dān)。單只耳機(jī)的續(xù)航時(shí)間為8小時(shí)，搭請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第14頁共25頁簡(jiǎn)單金融成就夢(mèng)想行業(yè)點(diǎn)評(píng)配充電盒使用則可將續(xù)航延長(zhǎng)至28小時(shí)。搭載5核專業(yè)音頻芯片，采用物理+算法雙防風(fēng)噪設(shè)計(jì)，精準(zhǔn)提取人聲，實(shí)現(xiàn)高通話清晰度，售價(jià)1199元。功能上，OlaFriend接入了豆包AI大模型，用戶在下載豆包手機(jī)APP并連接OlaFriend后，可通過“豆包豆包“喚醒詞或長(zhǎng)按耳機(jī)進(jìn)行語音交互，支持隨時(shí)問答、英語陪練、旅行導(dǎo)游、音樂控制以及情緒溝通等多項(xiàng)AI功能，提供隨時(shí)隨地陪伴。資料來源：公司官網(wǎng)，申萬宏源研究5．算力部署：推理優(yōu)先，存儲(chǔ)、組網(wǎng)等環(huán)節(jié)相應(yīng)火山引擎發(fā)布新一代veStack混合云智算版2.0，支撐10萬卡集群異構(gòu)場(chǎng)景。2.0支持更多的異構(gòu)卡、更廣泛的操作系統(tǒng)和更大規(guī)模的集群組網(wǎng)能力，和火山引擎公有云同源同構(gòu)，能夠給用戶提供與公有云一致的用云體驗(yàn)。當(dāng)前該平臺(tái)已支持英偉達(dá)系列GPU及國(guó)產(chǎn)GPU等20余類AI芯片，且支持一套平臺(tái)管理多個(gè)異構(gòu)卡集群。訓(xùn)練場(chǎng)景可支持10萬卡集群，推理場(chǎng)景支持prefill與decode分離需求（后文詳解最大化算力利用率。智算平臺(tái)的持續(xù)迭代，進(jìn)一步確保字節(jié)算力底座的投建確定性與節(jié)奏。行業(yè)點(diǎn)評(píng)請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第15頁共25頁簡(jiǎn)單金融成就夢(mèng)想IDC行業(yè)而言，市場(chǎng)和產(chǎn)業(yè)對(duì)以算力為代表的資源供給是否“過剩”分歧較大，尤其是在傳統(tǒng)上架率指標(biāo)的視角下；而我們通過測(cè)算認(rèn)為，伴隨傳統(tǒng)數(shù)據(jù)中心向“智算中心”演進(jìn)，行業(yè)供需開始出現(xiàn)缺口，“有效供給”的稀缺性較強(qiáng)，行業(yè)發(fā)展面臨分化。機(jī)房/IDC/智算中心每一輪周期都遵循自上而下的傳導(dǎo)邏輯，由資本開支拐點(diǎn)開始。國(guó)內(nèi)BAT24年三季度加總資本開支同比增長(zhǎng)128.48%，自2023Q4起顯著回暖，且同樣重點(diǎn)投資GPU、AI服務(wù)器等基礎(chǔ)設(shè)施設(shè)備。國(guó)內(nèi)AI模型與應(yīng)用發(fā)展空間巨大，下游Agent產(chǎn)品、AI應(yīng)用終端等遠(yuǎn)未達(dá)到最終形態(tài)，算力需求具有長(zhǎng)期持續(xù)性。結(jié)合字節(jié)近期“AllinAI”決心與國(guó)內(nèi)互聯(lián)網(wǎng)廠商競(jìng)爭(zhēng)態(tài)勢(shì)，我們認(rèn)為國(guó)內(nèi)互聯(lián)網(wǎng)廠商將持續(xù)加大算力投資，擴(kuò)大智算中心建設(shè)。圖18：BAT資本開支顯著回暖（單位：百萬元人民0圖19：海外亞馬遜、微軟、谷歌、Meta資本開支0第三方IDC廠商交付節(jié)奏迎來轉(zhuǎn)折點(diǎn)。在建IDC樓棟轉(zhuǎn)固可一定程度上體現(xiàn)IDC交付情況；同時(shí)由于未來需求以可承載AI算力集群的大規(guī)模批發(fā)型數(shù)據(jù)中心為主，進(jìn)一步重資產(chǎn)的約束下IDC廠商基本按需、按客戶定產(chǎn)，因此IDC廠商在建工程轉(zhuǎn)固情況亦可體現(xiàn)預(yù)期需求落地情況。此前由于短期供需失衡，核心第三方IDC廠商普遍放慢新增樓棟請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第16頁共25頁簡(jiǎn)單金融成就夢(mèng)想交付節(jié)奏；24年前三季度，絕大多數(shù)主流第三方IDC廠商轉(zhuǎn)固同比增速均回升，體現(xiàn)市場(chǎng)整體供需關(guān)系轉(zhuǎn)好，當(dāng)下或?yàn)橹匾D(zhuǎn)折點(diǎn)?！f國(guó)數(shù)據(jù)世紀(jì)互聯(lián)潤(rùn)澤科技奧飛數(shù)據(jù)寶信軟件光環(huán)新網(wǎng)——數(shù)據(jù)港“算力盡頭是電力”，能耗跟蹤是IDC行業(yè)景氣變化的重要線索。IDC/AIDC作為高耗能行業(yè)，算力與電力匹配是現(xiàn)實(shí)需求。不同于傳統(tǒng)IDC，由于AI訓(xùn)練/推理的高負(fù)載特性，包括AIGPU在內(nèi)的AI硬件運(yùn)行功率通常接近其熱設(shè)計(jì)功率（TDP）。因此，自下而上來看，由于GPU芯片功耗不斷提升，單臺(tái)AI服務(wù)器以及單機(jī)柜功率持續(xù)提高。另據(jù)Vertiv（維諦）預(yù)測(cè)，以能耗為單位，2023-2029年全球新增智算中心總負(fù)載將達(dá)100GW，每年新增約13-20GW。能耗視角，承載GPU/AI服務(wù)器的智算中心新增有效供給，仍然供不應(yīng)求。基于華為、Nvidia（英偉達(dá)）等文件以及IDC數(shù)據(jù)，測(cè)算得到2023年以及24年上半年承載算力集群的AI服務(wù)器對(duì)應(yīng)智算中心所需總負(fù)載約為2GW；同時(shí)基于主流第三方廠商資本開支（由于智算中心建設(shè)預(yù)計(jì)以超大規(guī)模為主，馬太效應(yīng)凸顯，主要考慮7家核心第三方IDC廠商）以及每MW容量智算中心建設(shè)對(duì)應(yīng)資本投入，得出23年+24年上半年實(shí)際供給的總IT負(fù)載不到1GW，供應(yīng)缺口較大。即便考慮運(yùn)營(yíng)商1與CSP自建，由于算力規(guī)模爆發(fā) 與智算中心建設(shè)均處于起步階段，且場(chǎng)景差異化較大，我們認(rèn)為短期內(nèi)整體格局實(shí)際供不單臺(tái)AI服務(wù)器關(guān)鍵IT負(fù)載值；數(shù)值包含整個(gè)集群內(nèi)存儲(chǔ)/管理服務(wù)器以及各類網(wǎng)絡(luò)交換機(jī)的電力需請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第17頁共25頁簡(jiǎn)單金融成就夢(mèng)想行業(yè)點(diǎn)評(píng)臺(tái)參考潤(rùn)澤科技、奧飛數(shù)據(jù)、世紀(jì)互聯(lián)等運(yùn)營(yíng)節(jié)奏與智算中心參數(shù)測(cè)資料來源：IDC，華為官網(wǎng)，Nvidia官網(wǎng)拉長(zhǎng)時(shí)間維度，當(dāng)前以AI為技術(shù)錨點(diǎn)的產(chǎn)業(yè)紅利傳導(dǎo)邏輯，與上一代移動(dòng)互聯(lián)網(wǎng)時(shí)期是相似的；時(shí)間關(guān)系對(duì)應(yīng)來看，AI帶來的行業(yè)新周期仍在前期上行階段；下游應(yīng)用/終端等進(jìn)一步催化后，行業(yè)或?qū)⑦M(jìn)入類似16-20年的高速增長(zhǎng)周期。此外，新一輪AI周期或?qū)殡S核心互聯(lián)網(wǎng)廠商的“此消彼長(zhǎng)”，對(duì)第三方IDC公司而言，贏優(yōu)質(zhì)客戶、贏長(zhǎng)期合作關(guān)系者“贏天下”。此次火山引擎FORCE原動(dòng)力大會(huì)提出了“以AI負(fù)載為中心”的基礎(chǔ)架構(gòu)范式，對(duì)通信網(wǎng)絡(luò)的需求增加巨大。計(jì)算角度看：新一代的火山引擎GPU實(shí)例，通過vRDMA網(wǎng)絡(luò)，支持大規(guī)模并行計(jì)算和P/D分離推理架構(gòu)，顯著提升訓(xùn)練和推理效率，降低成本。存儲(chǔ)角度看：新推出的EIC彈性極速緩存，能夠?qū)崿F(xiàn)GPU直連，使大模型推理時(shí)延降低至1/50；成本降低20%。安全角度看：火山將推出PCC私密云服務(wù)，構(gòu)建大模型的可信應(yīng)用體系。基于PCC，企業(yè)能夠?qū)崿F(xiàn)用戶數(shù)據(jù)在云上推理的端到端加密，而且性能很好，推理時(shí)延比明文模式的差異在5%以內(nèi)。字節(jié)重視推理布局，P/D分離架構(gòu)利于整體效率和推理體驗(yàn)提升。請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第18頁共25頁簡(jiǎn)單金融成就夢(mèng)想行業(yè)點(diǎn)評(píng)在Transformer推理過程中利用KVCache技術(shù)可降低Decoding階段的計(jì)算量，目前已成為L(zhǎng)LM推理系統(tǒng)的必選技術(shù)。采用KVCache的LLM推理過程通常分為預(yù)填充（Prefill）和解碼（Decode）兩個(gè)階段。Prefill階段：將用戶請(qǐng)求的prompt傳入大模型，進(jìn)行計(jì)算，中間結(jié)果寫入KVCache并推出第1個(gè)token，該階段屬于計(jì)算密集型操作。Decode階段：將請(qǐng)求的前1個(gè)Token傳入大模型，從顯存讀取前文產(chǎn)生的KVCache再進(jìn)行計(jì)算，該階段屬于訪存密集型操作。在實(shí)際的深度學(xué)習(xí)模型部署中，考慮到Prefill和Decode兩階段的計(jì)算/通信特征的差異特點(diǎn)，為了提升性能和資源利用效率，通過P-D分離部署方案將Prefill和Decode分別部署在不同規(guī)格和架構(gòu)的集群中，在提供更好用戶體驗(yàn)的前提下，提升算力利用率。行業(yè)點(diǎn)評(píng)請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第19頁共25頁簡(jiǎn)單金融成就夢(mèng)想因此可以近似理解為：Prefill階段的算力網(wǎng)絡(luò)需求，對(duì)單卡算力性能要求較高，而Decode階段則可適當(dāng)降低單卡算力要求但對(duì)訪存能力的需求大幅提升；因此對(duì)chiptochip或machinetomachine維度的通信網(wǎng)絡(luò)需求增加（例如以太網(wǎng)、NVLink、PCIe硬件角度看，芯片的算力性能提升速度快于內(nèi)存性能，模型參數(shù)量的增速也快于硬件性能提升；字節(jié)P/D分離的推理架構(gòu)，也一定程度指引了未來算力網(wǎng)絡(luò)硬件在推理場(chǎng)景下的發(fā)展方向。由于Prefill和Decode對(duì)硬件需求側(cè)重不同，實(shí)際上將GPU分類并專用于P或D場(chǎng)景的架構(gòu)效率，高于合并運(yùn)行的架構(gòu)，同時(shí)D過程的吞吐量更高；且P/D并行時(shí)，兩個(gè)階段的并行方式也共享（例如數(shù)據(jù)并行、張量并行、流水線并行等），而分離后可以針對(duì)不同階段的不同特征，分別應(yīng)用不同的并行策略。因此P/D分離后可以分別優(yōu)化計(jì)算和存儲(chǔ)的性能，最大化硬件利用率。實(shí)際上推理階段（尤其字節(jié)P/D分離的推理架構(gòu)）對(duì)高性能硬件的需求增加，而非市場(chǎng)普遍理解的推理對(duì)硬件性能需求下降，且成本、效率、應(yīng)用體驗(yàn)、安全等剛需下，硬件擴(kuò)展的網(wǎng)絡(luò)設(shè)計(jì)復(fù)雜度和需求量均增加，與訓(xùn)練階段形成明顯差異。我們認(rèn)為，在字節(jié)為代表的架構(gòu)設(shè)計(jì)趨勢(shì)下，應(yīng)繼續(xù)重視光通信（光模塊、光連接、光芯片）、以太網(wǎng)（設(shè)備、芯片等）、連接方案（銅、連接器等）等領(lǐng)域的增量機(jī)會(huì)?；鹕揭嫱瞥鯣PUDirectKV–EIC技術(shù)服務(wù)，使大模型推理時(shí)延降低至1/50，讀寫吞吐量提升10倍，推理成本降低20%。大模型推理過程中的關(guān)鍵環(huán)節(jié)是KV緩存的加速以及GPU的高效利用?；鹕揭嫱ㄟ^GPUDirectRDMA技術(shù)，繞過主機(jī)的CPU和內(nèi)存，直接從遠(yuǎn)程數(shù)據(jù)源訪問KV數(shù)據(jù)。此外，EIC服務(wù)通過“以存代算”的策略，降低了20%以上的GPU消耗。在對(duì)比通用方案和GPUDirectKV–EIC方案時(shí)，通用KV存儲(chǔ)方案如Redis/Valkey需要通過CPU進(jìn)行數(shù)據(jù)處理和傳出，效率較低；而通過GPUDirect直連和EIC，數(shù)據(jù)可以由GPU讀取并傳輸，讀寫吞吐量提升并且計(jì)算時(shí)延優(yōu)化。請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第20頁共25頁簡(jiǎn)單金融成就夢(mèng)想行業(yè)點(diǎn)評(píng)GPUDirectKV旨在優(yōu)化KV存儲(chǔ)與GPU之間的數(shù)據(jù)傳輸效率。GPUDirectKV是一種結(jié)合GPUDirect直連與鍵值存儲(chǔ)（Key-ValueStore）的計(jì)算框架。GPUDirect是英偉達(dá)推出的一系列技術(shù)，旨在提高數(shù)據(jù)在GPU與存儲(chǔ)設(shè)備之間的傳輸效率。在數(shù)據(jù)處理和存儲(chǔ)系統(tǒng)中，鍵值對(duì)（KV）存儲(chǔ)是一種常見的數(shù)據(jù)存儲(chǔ)方式。在涉及GPU計(jì)算的場(chǎng)景中，KV存儲(chǔ)與GPU的高效傳輸對(duì)計(jì)算效率較為關(guān)鍵?；鹕揭娴腉PUDirectKV使用GPU直連對(duì)鍵值對(duì)（KV）數(shù)據(jù)存儲(chǔ)進(jìn)行訪問和加載，通過直接內(nèi)存訪問等技術(shù)，減少數(shù)據(jù)傳輸?shù)闹虚g環(huán)節(jié)，允許GPU直接與KV存儲(chǔ)設(shè)備進(jìn)行高速數(shù)據(jù)交互。資料來源：英偉達(dá)官網(wǎng)，申萬宏源研究彈性極速緩存EIC通過以存代算大幅降低推理GPU資源消耗，優(yōu)化推理時(shí)延。彈性極速緩存EIC（ElasticInstantCache）是火山引擎為大模型等場(chǎng)景提供的高速KVCache服務(wù)。傳統(tǒng)的大模型推理執(zhí)行多輪對(duì)話時(shí)，為了節(jié)省顯存，歷史對(duì)話的鍵值對(duì)（KV）Cache都不會(huì)保存。后續(xù)推理需要反復(fù)計(jì)算歷史Token的KVCache，導(dǎo)致計(jì)算資源浪費(fèi)、推理成本增加。彈性極速緩存EIC位于GPU和存儲(chǔ)之間，負(fù)責(zé)緩存大模型推理過程中的中間結(jié)果和常用數(shù)據(jù)。當(dāng)GPU需要?dú)v史tokenKV時(shí)，首先會(huì)在EIC中查找，如果數(shù)據(jù)已經(jīng)存在于緩存中，則可以直接從緩存中調(diào)用，無需再從KV存儲(chǔ)設(shè)備中讀取，以此降低推理GPU資源消耗。火山引擎EIC和華為云EMS采用類似的以存代算策略。2024年6月，華為云發(fā)布EMS彈性內(nèi)存存儲(chǔ)服務(wù)（ElasticMemoryService），旨在緩解大模型訓(xùn)練與推理面臨的“內(nèi)存墻”問題，其中一個(gè)策略便是以存代算；7月，華為云EMS團(tuán)隊(duì)發(fā)布CachedAttention論文進(jìn)行解釋，基于AttentionStore實(shí)現(xiàn)了大模型推理過程中的KVCache復(fù)用，降低了高達(dá)87%的大模型推理的首Token時(shí)延，提升了Prefill階段7.8倍的吞吐量，從而大幅降低端到端推理成本。延請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第21頁共25頁簡(jiǎn)單金融成就夢(mèng)想行業(yè)點(diǎn)評(píng)火山引擎GPUDirectKV-EIC技術(shù)顯著提高大模型推理性能。2024火山引擎冬季FORCE原動(dòng)力大會(huì)智算專場(chǎng)中，火山引擎展示了該技術(shù)的應(yīng)用效果。1）多輪對(duì)話場(chǎng)景性能穩(wěn)定性大幅提升：得益于GDKV更大的KVCache緩存能力，在多輪對(duì)話中，系統(tǒng)能夠保持高效的吞吐量（Goodput）。在Prefill和Decode階段，吞吐量會(huì)受到影響，尤其是在多輪對(duì)話時(shí)。經(jīng)過對(duì)比發(fā)現(xiàn)，采用GDKV技術(shù)方案即使達(dá)到6到7輪的對(duì)話，有效吞吐量仍然保持在90%以上，而傳統(tǒng)方案的性能已經(jīng)顯著下降。2）模型加載加速顯著：大模型的參數(shù)規(guī)模不斷增大。由于GPU資源昂貴，很多時(shí)候同一GPU會(huì)被用于多個(gè)模型，導(dǎo)致模型加載時(shí)可能會(huì)遇到瓶頸。GDKV從遠(yuǎn)端直接讀取GPU顯存，GDR帶寬大幅提升，70B大模型的加載速度提升6倍之多。字節(jié)AI產(chǎn)業(yè)鏈標(biāo)的，我們建議重點(diǎn)關(guān)注：1）算力：潤(rùn)澤科技、寒武紀(jì)、兆易創(chuàng)新、浪潮信息、華工科技、英維克、盛科通信、光訊科技等；2）AI硬件：兆易創(chuàng)新、樂鑫科技、移遠(yuǎn)通信、潤(rùn)欣科技、中科藍(lán)汛、恒玄科技等；3）數(shù)據(jù)：海天瑞聲、視覺中國(guó)等；4）應(yīng)用和生態(tài)合作：中科創(chuàng)達(dá)、漢得信息、盛天網(wǎng)絡(luò)、游族網(wǎng)絡(luò)、實(shí)豐文化、居然智家、浙行業(yè)點(diǎn)評(píng)請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第22頁共25頁簡(jiǎn)單金融成就夢(mèng)想文互聯(lián)、掌閱科技、博納影業(yè)、芒果超媒、華策影視、冰川網(wǎng)絡(luò)、易點(diǎn)天下、富春股份、蜂助手等。 公司是字節(jié)跳動(dòng)等頭部互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)中301165.SZ銳捷網(wǎng)絡(luò)交換機(jī)主流供應(yīng)商。2024年，公司中標(biāo)的字節(jié)跳動(dòng)智算中 000977.SZ浪潮信息服務(wù)器浪潮信息：互聯(lián)網(wǎng)收入占比過半，NV/國(guó)產(chǎn)算力雙β 688256.SH寒武紀(jì)芯片互聯(lián) 000988.SZ華工科技光模塊國(guó)產(chǎn)光模塊頭部供應(yīng)商002837.SZ英維克液冷本土IDC風(fēng)冷/液冷頭部供應(yīng)商。 688702.SH盛科通信交換機(jī)002281.SZ光迅科技光模塊子、智能可穿戴設(shè)備等終端領(lǐng)域，其中包括AI耳603986.SH兆易創(chuàng)新存儲(chǔ)公司與字節(jié)跳動(dòng)旗下的云服務(wù)平臺(tái)火山引擎型的軟、硬件解決方案。公司與豆包大模型的合作，將分多階段進(jìn)行，現(xiàn)階段已經(jīng)適配了實(shí)時(shí)翻譯、紀(jì)要、實(shí)時(shí)對(duì)話等功能，后續(xù)雙方將會(huì)面對(duì)不同商商與火山引擎達(dá)成深度合作,共建聯(lián)合實(shí)驗(yàn)與火山引擎達(dá)成深度合作,共建聯(lián)合實(shí)驗(yàn)公司是字節(jié)跳動(dòng)核心代理商。公司與巨量引公司是字節(jié)跳動(dòng)核心代理商。公司與巨量引603533.SH掌閱科技生產(chǎn)、廣告商業(yè)化等多方面開展了深度合作。在豆包111支持方，基于豆包大模型技術(shù)，為《三星堆：未來啟畫面生成、圖像到視頻轉(zhuǎn)換、視頻編輯和媒體內(nèi)容增300921.SZ南凌科技火山引擎代理商公司是火山引擎全線產(chǎn)品的代理商。300921.SZ南凌科技火山引擎代理商公司是火山引擎全線產(chǎn)品的代理商。300413.SZ芒果超媒短劇策出品的《重生之農(nóng)門肥妻》及華策和抖音的《我在冷宮忙種田》等多部精品短劇在紅策團(tuán)隊(duì)開發(fā)劇本、制作、出品，紅果給予優(yōu)公司自研游戲產(chǎn)品與字節(jié)跳動(dòng)相關(guān)方在中國(guó)公司自研游戲產(chǎn)品與字節(jié)跳動(dòng)相關(guān)方在中國(guó)東南亞、韓國(guó)等地區(qū)開展合作；公司與字節(jié)跳動(dòng)301171.SZ易點(diǎn)天下廣告營(yíng)銷