計(jì)算機(jī)行業(yè)2024年4月Kimi引領(lǐng)國(guó)產(chǎn)大模型群雄并起國(guó)內(nèi)AI應(yīng)用迎發(fā)展良機(jī)

內(nèi)容目錄TOC\o"1-2"\h\z\uKimi實(shí)現(xiàn)破圈，引領(lǐng)國(guó)產(chǎn)大模型新方向 4月之暗面成為國(guó)產(chǎn)大模型新星 4Kimi主打長(zhǎng)文本能力，產(chǎn)品能力優(yōu)異 5長(zhǎng)文本能力成為產(chǎn)業(yè)共識(shí)，Kimi取得領(lǐng)先并成為破局關(guān)鍵 7應(yīng)用體驗(yàn)得到廣泛認(rèn)可，B、C兩端均有突破 8Kimi火爆再次拉動(dòng)算力需求增長(zhǎng) 10階躍星辰發(fā)布大模型，多模態(tài)能力領(lǐng)先 12階躍星辰多款大模型問(wèn)世，參戰(zhàn)國(guó)內(nèi)大模型市場(chǎng) 12應(yīng)用和算力積極布局，AI生態(tài)逐步構(gòu)建 13Pixverse引領(lǐng)全球AI視頻，國(guó)內(nèi)開啟測(cè)試 15投資建議 18風(fēng)險(xiǎn)提示 18圖表目錄圖月之暗面發(fā)展歷程 4圖Kimi智能助手自3月以來(lái)訪問(wèn)量持續(xù)增長(zhǎng) 5圖長(zhǎng)上下文能解決部分大模型的問(wèn)題 5圖LongContext實(shí)現(xiàn)功能案例 6圖LongContext解決了模型定制的90問(wèn)題 6圖Kimi閱讀8篇指定論文并進(jìn)行文獻(xiàn)綜述 6圖Kimi用指定語(yǔ)言復(fù)現(xiàn)學(xué)術(shù)論文代碼 6圖Kimi“大海撈針”實(shí)驗(yàn)表現(xiàn) 7圖GPT-4Turbo“大海撈針”實(shí)驗(yàn)表現(xiàn) 8圖Claude2.1“大海撈針”實(shí)驗(yàn)表現(xiàn) 8圖Kimi嘗試解決實(shí)時(shí)性和幻覺(jué)焦慮 9圖Kimi小程序 9圖接入MoonshotAI開放平臺(tái)內(nèi)測(cè)的應(yīng)用 9圖階躍星辰股權(quán)穿透圖（截至2024年3月27日） 13圖階躍星辰AGI發(fā)展路徑 13圖上海智能算力科技有限公司股權(quán)結(jié)構(gòu)（截至2024年3月27日） 14圖Step-1V多個(gè)測(cè)試集表現(xiàn)領(lǐng)先 15圖Step-1V大模型具備數(shù)學(xué)和推理能力 15圖愛(ài)詩(shī)科技發(fā)展歷程 16圖Pixverse日訪問(wèn)量 17圖Pixverse視頻生成界面 17表月之暗面融資情況一覽 4表全球玩家不斷提升上下文窗口大小 7表MoonshotAI的API定價(jià) 10表芯片利用率情況 11表Kimi訓(xùn)練算力測(cè)算 11表Kimi推理算力測(cè)算 12表階躍星辰大模型及產(chǎn)品介紹 12表階躍星辰合作項(xiàng)目 14表躍問(wèn)、冒泡鴨差異化產(chǎn)品定位 15表愛(ài)詩(shī)科技融資歷程 16Kimi實(shí)現(xiàn)破圈，引領(lǐng)國(guó)產(chǎn)大模型新方向月之暗面成為國(guó)產(chǎn)大模型新星愿景宏大，Kimi。月之暗面科技有限公司成立于2023311（AGI）202310Kimi2020242MoonshotAI243200KimiAI圖1：月之暗面發(fā)展歷程資料來(lái)源：公司官網(wǎng)，AI。2023624202024210A25AI表1：月之暗面融資情況一覽輪次時(shí)間金額投資方天使輪2023年6月超過(guò)2億美元紅杉中國(guó)、真格基金、礪思資本A輪2023年10月2024年2月近20億元人民幣超10億美元紅杉中國(guó)、今日資本、礪思資本等阿里巴巴、紅杉中國(guó)、小紅書、美團(tuán)等資料來(lái)源：澎湃新聞，企查查，KimiKimi243200SimilarWeb320Kimi/桌面端的訪問(wèn)量同比分別高增332/987pctAI2Kimi圖2：Kimi智能助手自3月以來(lái)訪問(wèn)量持續(xù)增長(zhǎng)資料來(lái)源：SimilarWeb，Kimi主打長(zhǎng)文本能力，產(chǎn)品能力優(yōu)異上下文長(zhǎng)度不足為傳統(tǒng)大模型應(yīng)用帶來(lái)定制化和迭代問(wèn)題。傳統(tǒng)大模型應(yīng)用中，由于較短的上下文，會(huì)出現(xiàn)分割輸入（同一單詞分段輸入后，出現(xiàn)語(yǔ)義理解的歧義）、快速遺忘（角色扮演時(shí)，多輪對(duì)話后遺忘早期設(shè)定）、長(zhǎng)度受限（AgentContextfine-tunefine-tuneContext圖3：長(zhǎng)上下文能解決部分大模型的問(wèn)題資料來(lái)源：MoonshotAI，長(zhǎng)上下文可以解決90的定制問(wèn)題。通過(guò)LongContext，上下文中可以承載足夠KimiChat20萬(wàn)字的上下文處理能力，能滿足大多數(shù)場(chǎng)景應(yīng)用，例如角色定制、客服交流、簡(jiǎn)歷篩選等，在輸入大多數(shù)客戶要求的內(nèi)容后（角色要求、產(chǎn)品手冊(cè)、篩選標(biāo)準(zhǔn)），LongContextLongContextfine-tune5fine-tunetoken的成本也更高。公司選擇用LongContext方式來(lái)解決90的問(wèn)題，更好向前向后兼容，也成為公司最高優(yōu)先級(jí)的技術(shù)突破方向。圖Context實(shí)現(xiàn)功能案例 圖Context解決了模型定制的90問(wèn)題資料來(lái)源：MoonshotAI， 資料來(lái)源：MoonshotAI，KimiChat。我們對(duì)其進(jìn)行測(cè)試，發(fā)送了83020KimiPython、R圖閱讀8篇指定論文并進(jìn)行文獻(xiàn)綜述 圖用指定語(yǔ)言復(fù)現(xiàn)學(xué)術(shù)論文代碼資料來(lái)源：Kimi智能助手， 資料來(lái)源：Kimi智能助手，長(zhǎng)文本能力成為產(chǎn)業(yè)共識(shí)，Kimi取得領(lǐng)先并成為破局關(guān)鍵提升長(zhǎng)文本能力是全球大模型技術(shù)趨勢(shì)。目前，海內(nèi)外的主要大模型玩家正在積極擴(kuò)展上下文窗口，以進(jìn)一步強(qiáng)化模型處理復(fù)雜信息、理解并生成有邏輯的長(zhǎng)文Kimi2001000200-500360500表2：全球玩家不斷提升上下文窗口大小公司模型名稱發(fā)布時(shí)間上下文長(zhǎng)度(token數(shù))OpenAlGPT-4Turbo2023年11月128kGoogleGemini1.5Pro2024年2月1M（內(nèi)測(cè)版本10M）AnthropicClaude32024年3月200k(內(nèi)側(cè)版本1M）華為PanGu-Σ2023年4月32k百川智能Baichuan22023年10月192k（約35萬(wàn)漢字）百度文心一言2023年10月2.8萬(wàn)漢字零一萬(wàn)物Yi-34B2023年11月200k科大訊飛星火3.52024年1月8k月之暗面Kimi2024年3月200萬(wàn)漢字阿里巴巴Qwen-72B2024年3月32k資料來(lái)源：各公司官網(wǎng)、新浪科技、KimiPrompt202312KimiChat（支持20128K2.1（200K上下文窗口ChatGPT-4TurboClaude2.1。圖8：Kimi“大海撈針”實(shí)驗(yàn)表現(xiàn)資料來(lái)源：MoonshotAI，KimiKimiKimi圖Turbo“大海撈針”實(shí)驗(yàn)表現(xiàn) 圖2.1“大海撈針”實(shí)驗(yàn)表現(xiàn)資料來(lái)源：MoonshotAI， 資料來(lái)源：MoonshotAI，應(yīng)用體驗(yàn)得到廣泛認(rèn)可，B、C兩端均有突破CAI（AGI）CAPPCKimiKimiKimiAI-NativeLongContextCAI互聯(lián)網(wǎng)打法快速占領(lǐng)用戶心智，已經(jīng)過(guò)多次擴(kuò)容。在產(chǎn)品和運(yùn)營(yíng)領(lǐng)域，公司也配DAUAPP端之外，公司也推出了小程序；配合市場(chǎng)導(dǎo)流，公司小程序憑借極其便捷的交互243KimiAPP圖嘗試解決實(shí)時(shí)性和幻覺(jué)焦慮 圖小程序資料來(lái)源：KimiChat， 資料來(lái)源：KimiChat，BMoonshotAI開放平臺(tái)，APIOpenAI20242MoonshotAIKimi型，MoonshotAI開放平臺(tái)的APIOpenAIMoonshotAIBKimiCommits、做企業(yè)法律問(wèn)題盡調(diào)的案牘AutoDocs、高效閱讀CoolPapers1tokensGPT3.5MoonshotAI，但用戶反饋依然很好。MoonshotAI。圖MoonshotAI開放平臺(tái)內(nèi)測(cè)的應(yīng)用資料來(lái)源：MoonshotAI，MoonshotAIOpenAI，長(zhǎng)文本場(chǎng)景是應(yīng)用落地方向。目前公司提供三個(gè)moonshot-v1-8k/32k/128ktoken12、24、60GPT-4Turbotoken1030AI價(jià)格優(yōu)勢(shì)明顯。結(jié)合公司最大優(yōu)勢(shì)在于“超長(zhǎng)文本”的上下文，MoonshotAIAI表3：MoonshotAI的API定價(jià)模型計(jì)費(fèi)單位價(jià)格（人民幣）moonshot-v1-8k1Mtokens12.00moonshot-v1-32k1Mtokens24.00moonshot-v1-128k1Mtokens60.00資料來(lái)源：MoonshotAI，國(guó)信證券經(jīng)濟(jì)研究所整理Kimi火爆再次拉動(dòng)算力需求增長(zhǎng)訓(xùn)練算力測(cè)算：訓(xùn)練過(guò)程：前向傳播（ForwardPass）和反向傳播（BackwardPass）。1）前向傳播：輸入數(shù)據(jù)（例如圖像、文本等）通過(guò)神經(jīng)網(wǎng)絡(luò)的各層進(jìn)行傳遞，以得到輸出結(jié)果，包含輸入數(shù)據(jù)與權(quán)重矩陣相乘、應(yīng)用激活函數(shù)等操作，目的為將計(jì)算網(wǎng)絡(luò)預(yù)測(cè)輸出，并將其與實(shí)際目標(biāo)值比較，計(jì)算損失函數(shù)（LossFunction）的值。反向傳播（同時(shí)，在計(jì)算出所有權(quán)重的梯度后，使用優(yōu)化算法更新權(quán)重，達(dá)到減小損失函數(shù)計(jì)算次數(shù)（計(jì)算梯度+權(quán)重更新3（2）Token、每個(gè)模型參數(shù)，需要2×3Flops6訓(xùn)練算力計(jì)算假設(shè)及結(jié)果：模型參數(shù)量1750kimi2000訓(xùn)練數(shù)據(jù)量GPT-3即175045TB），但考慮到公司對(duì)海外數(shù)據(jù)的可獲30TB30TBToken4.9Tokens訓(xùn)練算力需求AI6*Kimi*=6*(200*(4.9萬(wàn)億)=5.94Flos=5.9萬(wàn)億TFlops。所需訓(xùn)練卡數(shù)及時(shí)間：考慮到國(guó)內(nèi)英偉達(dá)H100/H800算力卡相對(duì)緊缺，我們假設(shè)KimiA100/A800A100/A800TF32156假設(shè)芯片利用率為30.2則5.9萬(wàn)億TFLOPs/(156TFLOPs×30.2×3600s×24h/天×90天)=1.38萬(wàn)張A100/三個(gè)月，即使用A100/A80031.38表4：芯片利用率情況Model#ofParameters(inbillions)AcceleratorChipsModelFLOPSUtilizationGPT-3175BV10021.3Gopher280B4096TPUv332.5Megatron-TuringNLG530B2240A10030.2PaLM540B6144TPUv446.2資料來(lái)源:AakankshaChowdhery等著-《PaLM:ScalingLanguageModelingwithPathways》-arXiv(2022)-P9，和預(yù)測(cè)表5：Kimi訓(xùn)練算力測(cè)算Kimi模型參數(shù)量（億）2000Kimi訓(xùn)練數(shù)據(jù)量（TB）Kimi訓(xùn)練數(shù)據(jù)量（kb）英文字母/字節(jié)（Unicode規(guī)則）英文字母數(shù)量（個(gè)）平均word長(zhǎng)度 30 375809638402 1.88E+135.1對(duì)應(yīng)word數(shù)量（個(gè)）word/tokens比例對(duì)應(yīng)Tokens數(shù)量（個(gè)）36844082196080.75 4912544292810 對(duì)應(yīng)訓(xùn)練需求測(cè)算（Flops）訓(xùn)練算力需求（TFlops）5.90E+245895053151373訓(xùn)練算力卡需求 A100TF32精度下算力（TFlops） 芯片利用率（假設(shè)采用英偉達(dá)A100芯片） 156 30.23個(gè)月內(nèi)完成一輪訓(xùn)練所需卡數(shù)（張） 13793 資料來(lái)源：英偉達(dá)，測(cè)算Kimi大模型推理算力測(cè)算：推理過(guò)程（PositionalEncoding）TransformerSoftmaxTransfomertoken21Flops2（TokensTokens）2。推理算力計(jì)算假設(shè)及結(jié)果：模型參數(shù)量kimi2000推理單次Token1000TokenToken1000。推理算力需求AIKimi2*Kimi*（TokensTokens）2*(2000*(100)=8.04Flos=800TFop。假設(shè)Kimi日活為10Kimi30Kimi3002.49TFlp。所需推理卡數(shù)及時(shí)間：考慮英偉達(dá)A10卡目前國(guó)內(nèi)儲(chǔ)備量較大、成本較低，假設(shè)A10KimiA10FP16125TFlops，假設(shè)芯片利用率為30，同時(shí)考慮白天高并發(fā)因素（即夜間用戶并不會(huì)使用Kimi），所以假設(shè)Kimi推理算力需求會(huì)集中在一天12個(gè)小時(shí)內(nèi)，則2.49TFlops/(125TFLOPs×30×3600s×12h/天)=1481張A10，即滿足10萬(wàn)1481A10Kimi模型參數(shù)量（億）單日推理算力需求（TFlops）30030Kimi模型參數(shù)量（億）單日推理算力需求（TFlops）3003010單日活用戶每天調(diào)用Kimi頻率（次）Kimi單日推理調(diào)用總次數(shù)（萬(wàn)次）Kimi（萬(wàn)）1000推理單次調(diào)用Token量推理單次調(diào)用Token量2000240000000024000000003030125芯片利用率A10FP16（TFlops）推理算力卡需求（假設(shè)采用英偉達(dá)A10芯片）資料來(lái)源：英偉達(dá)，測(cè)算

（假設(shè)Kimi用戶使用集中在一天12小時(shí)以內(nèi)）階躍星辰發(fā)布大模型，多模態(tài)能力領(lǐng)先階躍星辰多款大模型問(wèn)世，參戰(zhàn)國(guó)內(nèi)大模型市場(chǎng)階躍星辰是通用大模型新勢(shì)力，當(dāng)前密集發(fā)布各類模型和產(chǎn)品。階躍星辰自20234人的可能”為宗旨，自主研發(fā)人工智能通用（AGI）大模型。202433StepStep-1Step-1VStep-2MoEStep-1、Step-1VC表7：階躍星辰大模型及產(chǎn)品介紹名字 類別 圖例 定位Step-1Step-1大模型Step-1V大模型千億參數(shù)語(yǔ)言大模型文本的多模態(tài)任務(wù)。Step-2（預(yù)覽版大模型MoE擴(kuò)大，進(jìn)一步提升語(yǔ)言理解和生成能力。躍問(wèn)ToCStep旨在提高用戶專業(yè)領(lǐng)域的工作和學(xué)習(xí)效率。冒泡鴨ToCStepAI臺(tái)，AI驗(yàn)。資料來(lái)源：公司官網(wǎng)，CEONLP2024年3月27日，公司創(chuàng)始人兼實(shí)際控制人姜大昕直接持有99的股份，股權(quán)高度集中。此外，公司系統(tǒng)負(fù)責(zé)人朱亦博作為公司聯(lián)合創(chuàng)始人持有1的股份。B（參股財(cái)躍星辰）、算力等方面已經(jīng)開始積極布局。圖14：階躍星辰股權(quán)穿透圖（截至2024年3月27日）資料來(lái)源：企查查，AGIAGISystem2（復(fù)雜任務(wù)的規(guī)劃能力和抽象概念A(yù)GI圖15：階躍星辰AGI發(fā)展路徑資料來(lái)源：階躍星辰，應(yīng)用和算力積極布局，AI生態(tài)逐步構(gòu)建應(yīng)用、算力等多維度持續(xù)布局。公司在算力、系統(tǒng)、數(shù)據(jù)和算法四項(xiàng)工程上持續(xù)MFU（有效算力輸出）達(dá)57；數(shù)據(jù)方面，公司對(duì)全球互聯(lián)網(wǎng)高質(zhì)量語(yǔ)料的分布有深入了解，并建立強(qiáng)大的數(shù)據(jù)處理和知識(shí)圖譜流MoE其中階躍星辰云賽智聯(lián)持股分別持股1011擁有豐富的算力建設(shè)經(jīng)驗(yàn)背書，該平臺(tái)或?qū)⒊蔀樯虾Ｋ懔┙o重要輸出來(lái)源。圖16：上海智能算力科技有限公司股權(quán)結(jié)構(gòu)（截至2024年3月27日）資料來(lái)源：企查查，B數(shù)據(jù)是大模型訓(xùn)練的關(guān)鍵要素，其質(zhì)量和規(guī)模直接影響大模型的語(yǔ)義理解與泛化能力，多樣化的數(shù)據(jù)集則是對(duì)各種輸入有出色魯棒性和適應(yīng)性的保障。公司創(chuàng)始人及骨干團(tuán)隊(duì)曾就職于必應(yīng)搜索引擎，有多年的互聯(lián)網(wǎng)語(yǔ)料分析經(jīng)驗(yàn)，深諳如何利用全球互聯(lián)網(wǎng)上高質(zhì)量的語(yǔ)料來(lái)彌補(bǔ)中文語(yǔ)B表8：階躍星辰合作項(xiàng)目領(lǐng)域 合作對(duì)象 內(nèi)容聯(lián)合創(chuàng)辦財(cái)躍星辰，圍繞財(cái)經(jīng)資訊、智能投研、智能投顧等領(lǐng)域金融 界面財(cái)聯(lián)

推進(jìn)大模型的應(yīng)用落地，發(fā)布國(guó)內(nèi)首個(gè)千億參數(shù)多模態(tài)金融大模型——“財(cái)躍F1金融大模型”。網(wǎng)絡(luò)文學(xué) 中文在線 探索大模型在靈感激發(fā)、內(nèi)容創(chuàng)作等網(wǎng)絡(luò)文學(xué)創(chuàng)作領(lǐng)域的應(yīng)用。知識(shí)服務(wù) 中國(guó)知網(wǎng)、中文在線 圍繞大眾知識(shí)服務(wù)等場(chǎng)景研究和推進(jìn)大模型的應(yīng)用。資料來(lái)源：財(cái)聯(lián)社，公司多模態(tài)大模型領(lǐng)先。OpenCompassStep-1VChatGPT-4Qwen-VL200KB圖多個(gè)測(cè)試集表現(xiàn)領(lǐng)先 圖大模型具備數(shù)學(xué)和推理能力資料來(lái)源：OpenCompass， 資料來(lái)源：公司官網(wǎng)，C。在此基礎(chǔ)上，CAIAIAI表9：躍問(wèn)、冒泡鴨差異化產(chǎn)品定位產(chǎn)品 界面 產(chǎn)品定位 目標(biāo)用戶群體 主要功能提供豐富的AI角色和場(chǎng)提供豐富的AI角色和場(chǎng)AIAI冒泡鴨為用戶提供沉浸式AI的AI交互體驗(yàn) 豐富自己娛樂(lè)體驗(yàn)的游界等互動(dòng)支持用戶自定義戲玩家和內(nèi)容創(chuàng)作者 角色和場(chǎng)景滿足個(gè)性化的創(chuàng)造需求提供強(qiáng)大的信息檢索和知基于大模型的效率躍問(wèn)工作和學(xué)習(xí)效率 高效學(xué)習(xí)的學(xué)生群體 持任務(wù)管理日程安排等功管