字節(jié)ai戰(zhàn)略全面復盤-華泰證券-202412

2024年12o宏觀經(jīng)濟波動。若宏觀經(jīng)濟波動，產(chǎn)業(yè)變革及新技術的落地節(jié)奏或將受到影響，宏觀經(jīng)濟波動還可能對AI投入產(chǎn)生負面影響，從而導致整體行業(yè)增長不及預1#概é?從AI戰(zhàn)略到AIà}#的“困境”?1)字節(jié)的“圍剿”。據(jù)數(shù)據(jù)分析機構QuestMobile，字節(jié)豆包App今年9月的日活已達760萬，成為中國日活最大的AI產(chǎn)品;同為生產(chǎn)力場景的?智譜AI高峰期有1000多人，今年一度縮減上百人，不少交付、銷售人員離開;?零一萬物調整了數(shù)十人的團隊，集中在產(chǎn)品和運營部門;?MiniMax的商業(yè)化和部分產(chǎn)品運營團隊總計減?4)月之“暗”面:?以前是好評如潮，但不知何時開始，月之暗面被冠以“大模型營銷咖?今年年初，月之暗面在海外推出情感陪伴類AI對話產(chǎn)品Ohai和AI生成視頻工具Noisee。據(jù)創(chuàng)投日報援引知情人士消息，其出海項目在今年6月就已撤掉。前Noisee產(chǎn)品負責人明超平、前Ohai產(chǎn)品負責人已于近期離職3的<困境=?據(jù)廣告營銷數(shù)據(jù)平āDataEye，Kimi智能?手10o的÷放素材超18萬條，是豆包的4倍多2但t前，豆包的日活和o活都更勝N籌，據(jù)QuestMobile，豆包App9oo活~4200多萬，Kimi智能?手~1000萬出頭24大模型和產(chǎn)品進展?1)截至11月初，百度文心大模型的日均調用量超15億次，相較5月披露的2億增長7.5倍，相較一年前首次披露的5000萬次，更是增長約30倍。24年6月底，文心一言日調用token5億次;24年8月Q2電話會上，文心大模型日調用量超過6億次，日均處理Tokens文本超1萬億。與23年Q4公布的5000萬?2)24年5月，豆包每日調用token量達千億;7月25日，豆包大模型日均tokens使用量超5,000億;截至24年9月，豆包大模型日均tokens調用量已超1.3萬億。?3)24年9月，MiniMax大模型已有?4)24年7月，騰訊混元單日調用tokens達千億>>>>>>…?據(jù)AI產(chǎn)品榜顯示，截止到今年9月，中國AI原生應用月活用戶規(guī)模已經(jīng)突破了1.2億。其中，豆包、文小言、Kimi智能助手、天工AI、訊飛星火分別占據(jù)了前五位，MAU分別為4700萬、1234萬、738萬、571萬以及551萬。豆包以一騎絕塵的姿態(tài)，把后幾位選手遠遠甩在了身后。?MiniMax，旗下的Chatbot產(chǎn)品海螺AI也在近幾個月數(shù)據(jù)表現(xiàn)亮眼，其中，9月海螺AI的MAU同比增長了超800%，已接近500萬。5的AI之路?2023年字節(jié)正式進軍大模型之前，于2016年模型+應用?字節(jié)通過調動部分技術和管理高管為這項業(yè)務加碼，加速構建成熟的大模型體系，以期能夠在“百模大戰(zhàn)”競爭中更快掌握主動權。部分業(yè)務線的負責人相繼轉崗至大模型團隊，其中包括抖音社交負責人陸游。?字節(jié)成立新部門Flow，主攻AI應用。字節(jié)抽調了大量高管人才掌舵，大模型團隊的負責人朱文佳同時負責Flow的業(yè)務線，字節(jié)技術副總裁洪定坤負責Flow的技術線，字節(jié)產(chǎn)品與戰(zhàn)略副總裁朱駿負責該部門的產(chǎn)品線，同時還有飛書的產(chǎn)品副總裁齊元俊加盟。?原抖音集團CEO張楠辭任CEO一職，稱未來將把精力聚焦在剪映的發(fā)展上。截止目前，剪映已經(jīng)上線了AI克隆音色、AI作圖、AI繪畫、AI生成口播等功能。同年2月1日，Coze(國內(nèi)2023.1?字節(jié)組建了首個大模型團隊Seed，包括語言大模型團隊和圖片大模型團隊。?其中，語言大模型團隊由字節(jié)搜索部門牽頭，圖片大模型團隊由產(chǎn)品研發(fā)與工程架構部下屬的智能創(chuàng)作團隊牽頭。同時，還從搜索業(yè)務部門、AILab和應用機器學習團隊抽調一部分人支援語言大模型，而且還將遠在新加坡負責TikTok技術負責人朱文佳調回國內(nèi)，擔任團隊的業(yè)務負責人。2023.62023.8?云雀大模型正式發(fā)布，同時宣布開始對外測試AI對話產(chǎn)品“豆包”。2023.92023.12?字節(jié)低調推出Coze(海外版)，支持通過GPT-3.5(16K)和GPT-4(8K)來創(chuàng)建聊天機器人，以及可以使用DALLE3、GPT4V插件。2024.2模型注:Seed團隊由原來的搜索團隊、AILab團隊、AML團隊聯(lián)合而成，但實際上，這幾個團隊都在暗自較勁。6?研發(fā):Seed團隊。應用:Flow團隊。路線:1)打磨階段，無流量?縱向:從23年8月推出豆包大模型(原云雀)以來，截至24年6月，字節(jié)跳動已經(jīng)推出了11款AI產(chǎn)品。橫向:國內(nèi)國外雙輪驅動的產(chǎn)品發(fā)展戰(zhàn)略，即通過在海外市場先行測試產(chǎn)品，驗證PMF和提升產(chǎn)品與技術的匹配度，以利于在國內(nèi)推出更成熟的AI?賽馬:幾乎所有的產(chǎn)品范式，都有字節(jié)參與的身影，幾乎是采用了「人盯人防守」的打法。?豆包，對標ChatGPT、百度文心一言;?貓箱，對標MiniMax旗下社交AI星野;?除了Flow和Seed團隊外，字節(jié)跳動還有兩個AI團隊:李航領導的AILab更側重于學術理論的探索，而項亮的團隊則專注于Data-AML。?從內(nèi)部結構來看，模型和算法歸屬于模型算法團隊Seed，由朱文佳(曾任TikTok產(chǎn)品技術負責人)負責;2023年11月成立的Flow團隊主要負責打造C端產(chǎn)品，在最新的人事調動中顯示，朱文佳為整體業(yè)務負責人、朱駿(原Music.ly創(chuàng)始人、原TikTok負責人)為產(chǎn)品負責人、洪定坤為技術負責人，向下包括豆包、AI教育、社區(qū)、國際化四個部門，同時PC端和移動端也分為兩條業(yè)務線;而豆包大模型toB的商業(yè)化業(yè)務主要由火山引擎對外提供，并通過API的方式接入飛書。78(7日留存率)((7日留存率)豆包文小言(原文心一言)智譜清言訊飛星火騰訊元寶Kimi智能助手通義海螺AI秘塔AI搜索豆包文小言(原文心一言)智譜清言訊飛星火騰訊元寶Kimi智能助手通義海螺AI秘塔AI搜索6,0005,0004,0003,0002,0001,000060%50%60%50%智譜清言通義秘塔AI搜索騰訊元寶訊飛星火海螺AI40%30%20%40%30%20%數(shù)據(jù)來源:QuestMobile9主要AI?品的}戶情況(7日留`率)((7日留`率)星?貓箱70%星?貓箱70%星?貓箱60%50050%40040%30030%20020%00數(shù)據(jù)來源?QuestMobile(萬)文心一言通義千問騰訊元寶百度搜索AI助手智譜清言秘塔AI搜索海螺AIKimi天工AI3,500字節(jié)豆包訊飛星火智譜清言秘塔AI搜索海螺AIKimi天工AI3,500Kimi3,000Kimi2,0001,5001,000---""---""500011月12月1月2月3月4月5月6月7月8月9月10月11月數(shù)據(jù)來源:Similarweb?1)聯(lián)網(wǎng)插件:提供頭條抖音同款搜索能力，實時連接海量優(yōu)質數(shù)據(jù)，同時使用文本、圖像、語音等多模態(tài)交互方式，并通過業(yè)內(nèi)領先的意圖識別能力，大幅提升模型的信息獲取能力;2)內(nèi)容插件:提供頭條抖音同源海量內(nèi)容，支持多模態(tài)交互，提供基于意圖的垂類內(nèi)容信息檢索，內(nèi)容時效檢索更強，幫助大模型深入理解、檢索和生成內(nèi)容;3)知識庫插件，提供毫秒級百億規(guī)模的高性能檢索，秒級流式知識庫索引更新，內(nèi)嵌豆包向量化模?智能體平臺、AI應用開發(fā)平臺Coze(扣子)，集合海量AI資源、豐富的發(fā)布渠道、一鍵自定義API服務，填補大模型到用戶場景的最后一公里?；鹕降膬?yōu)勢#2:擁有重要的投流渠道?字節(jié)旗下的巨量廣告，在工具應用、其他應用流量上占據(jù)優(yōu)勢。騰訊廣告騰訊百度營銷磁力引擎四大流量平臺在投APP分布2024H1四大流量平臺行業(yè)投放分布2024H1數(shù)據(jù)來源:AppGrowing的`勢#3?擁p偏研究的á層技術智囊團?豆包大模型團隊?團隊p立?2023年，?力?開發(fā)業(yè)界最Y?的AI大模型技術2à該就是Seed2?à期T要的技術?SeedEdit，2024.11.11，從ā像T生p到ā像編輯2?豆包視頻生p模型，2024.9.24，高效的DiT融合?算W元，?更充V地壓縮編碼視頻P文本，à之全新??的擴散模型ˉ?方法，帶來了多鏡頭W換保持N?能力2?Seed-Music，2024.9.18，統(tǒng)N框架能夠生pxp多種語言富p表ā力的人聲音P，允許ü模型輸出?ì精確的音符?別調整，并e供將}戶自y的聲音?p到音P]作中的能力等2?很多研究p果都在__節(jié)的AI?品中à}，比如視頻生p模型和語音模型2##大模型家族大模型家族?火山引???調}豆包全家桶模型2按模型類別和token收費2模型è理模型è理模型微調?LoRAā模型W元?包小時或oāDoubao-lite-4kDoubao-lite-128kDoubao-pro-32kDoubao-pro-128kDoubao-pro-256k大模型家族?豆包模型24年5月正式發(fā)布時即定了很低的價格，參與了Deepseek引發(fā)的國產(chǎn)大模型“價格戰(zhàn)”。大模型家族?豆包模型24年5月正式發(fā)布時即定了很低的價格，參與了Deepseek引發(fā)的國產(chǎn)大模型“價格戰(zhàn)”。大模型關鍵時間線23.8?字節(jié)的云雀大模型正式發(fā)布，并同時上線AI對話產(chǎn)品“豆包”，云雀大模型成為豆包等后續(xù)一系列AI產(chǎn)品背后的“底座”24.8.17?字節(jié)跳動類ChatGPT產(chǎn)23.12?字節(jié)在海外上線全新AI聊天機器人開發(fā)平臺Coze，支持無代碼生成AIBot、且直接整合了GPT4的強大會話能力。24.2?Coze的國內(nèi)版本命名為"扣子"于2024年2月初上線、底層基于云雀大模型。Coze平臺集成了多種插件，覆蓋了搜索、新聞閱讀、資料查找、旅行規(guī)劃、生產(chǎn)力工具等多個領域，支持一鍵發(fā)布聊天機器人到各種社交/社區(qū)平臺，讓非技24.5.16?豆包大模型正式發(fā)布。共包含9大模型，覆蓋用戶不同使用場景，包括:通用模型Pro、通用模型Lite、語音識別模型、語音合成模型、聲音復刻模型、角色扮演模型、Functioncall模型、文生圖模型、向量化模型。術人員可以快速創(chuàng)建、調試和優(yōu)化AI聊天機器人。24.5.18?豆包的桌面端發(fā)布，用戶不僅可以通過傳統(tǒng)的Web端訪問，還能以桌面客戶端和瀏覽器插件的方式使用豆包。24.8.17?字節(jié)跳動類ChatGPT產(chǎn)24.7.4?“豆包大模型萬億Tokens免24.824.8.8?豆包發(fā)布音樂生成功能。24.9.24?字節(jié)發(fā)布中國版Sora，豆包AI視頻模型(豆包PixelDance模型與Seaweed模型)。?豆包同聲傳譯模型發(fā)布?主力模型“豆包通用模型pro”完成升級24.11.11?豆包AIP圖功能發(fā)布24.12.5?豆包支持一鍵生成帶有指定文字的圖片24.12.10?豆包電腦版視頻生成功能開啟20?對于Γ豆包」基本問答、常識問答、寫作能力和數(shù)學能力四個方面進行了簡單測試，發(fā)現(xiàn)主要具備自然語言處理、知識回答、語言翻譯、文本摘要、常識問答能力寫作能力數(shù)學能力基本問答能力常識問答能力寫作能力數(shù)學能力基本問答能力摘要、情感分析幾大能力21?豆包模型l式發(fā)a，?格P?平均95%?5o15日，__節(jié)在24春季火山引?Force原ú力大bP，l式發(fā)a了豆包大模型?原]?雀ā,共9種2豆包大模型從1.0?W到3.02?通}ā礎模型?ProPQ文128K，全系列?微調āLitep較快的響à速t2x體參數(shù)未知，無評測V數(shù)2??格T]新P?PQ文ā32K窗口尺?,Pro?格0.0008元/千tokens，比ì業(yè)?格P99.3%ā128K窗口尺?,Pro?格0.005元/千tokens，比ì業(yè)?格P95.8%2?注?PGPT-4相üà的PQ文窗口?格API?格相比ā降?的背^主要原因是技術P??áā,?p很多手段繼續(xù)降p本，O?損2?截ó24年5o，豆包大模型日均處理1,200?tokens文本1生p3,000萬張āw2豆包o活}戶達到2,600萬，tp超過800萬個智能體被]建2豆包通}模型pro?__節(jié)跳ú自研LLM模型__業(yè)x，支持128k長文本，全系列?精調，x備更強的理解1生p1邏輯等綜合能力，適配t答1總?1]作1V類等豐富場oā豆包通}模型lite?__節(jié)跳ú自研LLM模型輕àx，ü比__業(yè)xe供更Ptokenp本1更P延?,~企業(yè)e供靈活āo豆包.角色扮演模型?個性W的角色]作能力，更強的PQ文感知和劇情èú能力，滿足靈活的角色扮演需求ā豆包.語音合p模型?e供自然生ú的語音合p能力，善?表達多種情ā,演ā多種場oā豆包.聲音復刻模型?5ú即?áā聲音1:1克隆，ü音色相似t和自然t?ì高t?原，支持聲音的跨語種遷移ā豆包.語音識別模型?更高的準確率?靈敏t,更P的語音識別延?,支持多語種的l確識別ā豆包.文生ā模型?更精準的文__理解能力，ā文{配更準確，畫面效果更`美，擅長ü中?文W元素的]作ā豆包.Functioncall模型?e供更à準確的?能識別和參數(shù)抽×能力，適合復gyx調}的場oā豆包.UàW模型?聚焦Uà檢索的使}場o，~LLM知識?e供核心理解能力，支持多語言222?2024年5月16日，豆包大模型正式發(fā)布。共包含9大模型，覆蓋用戶不同使用場景，包括:通用模型Pro、通用模型Lite、語音識別模型、語音合成模23豆包通用模型pro:解、生成、邏輯等綜合能力，適配問答、總結、創(chuàng)作、分類等豐富場景;字節(jié)跳動自研LLM模型輕量版，對比專業(yè)版提供更低token成本、更低延遲，為企豆包.角色扮演模型:個性化的角色創(chuàng)作能力，更強的上下文感知和劇情推動能力，滿足靈活的角色扮演需求;豆包.語音合成模型:提供自然生動的語音合成能力，善于表達多種情緒，演繹多種場景;豆包.聲音復刻模型:5秒即可實現(xiàn)聲音1:1克隆，對音色相似度和自然度進行高度還原，支持聲音的跨語種遷移;豆包.語音識別模型:更高的準確率及靈敏度，更低的語音識別延遲，支持多語種的正確識別;豆包.文生圖模型:更精準的文字理解能力，圖文匹配更準確，畫面效果更優(yōu)美，擅長對中國文化元素豆包.Functioncall模型:提供更加準確的功能識別和參數(shù)抽取能力，適合復雜工具調用的場景;豆包.向量化模型:聚焦向量檢索的使用場景，為LLM知識庫提供核心理解能力，支持多語言。24字節(jié)跳動產(chǎn)品與戰(zhàn)略副總裁朱駿:“大模型的能力目前很多維度上讓人驚嘆，但也在很多維度上有缺陷，同時又在快速演進，每隔三個月、半年都會發(fā)生很大的變化。而且它的能力改進往往不是線性的，隔一段時間可能就會出現(xiàn)一個躍遷。所以做大模型應用一個很大的挑戰(zhàn)是，在這個動態(tài)發(fā)展的過程中，不僅要判斷大模型現(xiàn)在能解決好什么任務，同時可能更重要的是要嘗試預測豆豆包產(chǎn)品設計三大原則擬人化擬人化“擬人化”是大模型產(chǎn)品的新特性。“擬人化”是大模型產(chǎn)品的新特性。AI除了帶來了新的能力，也帶來了新的嵌入用戶使用環(huán)境嵌入用戶使用環(huán)境需要離用戶很近，隨時伴隨用戶，嵌入用戶的不同使用環(huán)境需要離用戶很近，隨時伴隨用戶，嵌入用戶的不同使用環(huán)境用戶身邊，而不是用戶到豆包身邊。例如:為了讓豆包在這種移動場景里交互更方便，像一個隨身攜帶的百事通，我們很早投入了很大力度優(yōu)化語音交互體驗，包括基于大模型的ASR和超自然的TTS音色，盡量做到個性化個性化性化的需求，在智能體世界里，我們覺得未來用能體(比如豆包)做最高頻的互動，解決很多任務;但是也會因為個性化、多樣化的需要，和很多其他的智能體互動。25大模型能力測評?在多個|開評測???__業(yè)的第O方評測中，豆包通}模型pro均表ā出__，是得V最高的??大模型226?2024年5月18日，字節(jié)跳動旗下的大語言模型“豆包”迎來了一次全面升級，力求做到一個應用涵蓋所有功能，從文本閱讀理解與總結、寫作輔助，到?用戶不僅可以通過傳統(tǒng)的Web端訪問，還能以桌通過桌面端和Chrome插件，可以體驗到AI劃詞功能可以通過劃詞功能，逐行解釋代碼，還可以進一步對劃詞部分的代碼進行提問27?主要功能包括:AI寫作、圖像生成、AI搜索、PDF問答、AI翻譯與網(wǎng)頁摘要。4.PDF問答功能，支持上傳文件和添加PDF兩種方式，目前只支持上傳一個不超過28?可以在看視頻時打開AI看視頻功能，可以幫助總結視頻重點，也可以邊看邊提問;可以使用快捷鍵將電腦自帶搜索功能變成AI搜索;2.將電腦自帶搜索功能變成AI搜索4.可以對任何內(nèi)容進行“劃詞AI搜索”6.將鼠標懸停在某個段落上，豆包會自動選中內(nèi)2.將電腦自帶搜索功能變成AI搜索4.可以對任何內(nèi)容進行“劃詞AI搜索”29?2024年7月4日，“豆包大模型萬億Tokens免費用”活動發(fā)布，該活動由火山引擎提供資源支持，助力高校及科研機構師生參與Al大模型創(chuàng)新應用和學術30模型等新?能發(fā)a?2024年8o，2024火山引?AI]新巡展?p都站P__節(jié)ya豆包日均tokens使}à突破5000?,\時發(fā)a豆包?ā生ā模型1升?x豆包?文生ā模型1升?x豆包?語音合p模型1升?x豆包?聲音復刻模型2?主要升???在數(shù)據(jù)P，團隊持續(xù)à強數(shù)據(jù)Re-caption能力，ü數(shù)據(jù)?ì精確打o?áāü數(shù)據(jù)°à更高把?2面U大批à數(shù)據(jù)?ì管理和處理，團隊?üˉ??群穩(wěn)定性__?ì了`W2?文本理解模塊，團隊采}原生Y語大語言模型作~文本編碼器，顯著e升ü中文的理解能力2它能擁p更廣泛的世界知識并üO\語言tā形pā礎認知，換而言之，無論面ü中文特色}語，?是英語俚語，語言模型都能e供更準確的TextEmbedding，讓模型能夠精準的學`原始的文W元素2?部署è理方面，團隊使}蒸餾方式，解?模型è理耗時t題，?áā在更P部署?境Q，完p高°à的āw生p2從數(shù)據(jù)P看，他們將原p模型生pā像n數(shù)簡W，消耗時長壓縮到原p40%2新N?模型能夠深t理解復gprompt，包括多主體1Tāá1主ü體s系等內(nèi)容，ā文{配更精準2新N?模型__更善?從Z影明暗1氛圍色彩和人物美感O個方Ue升畫面°感2模型的á層技術，都s聯(lián)Seed-TTS1Seed-ASRn個模型2TTS模型是機器的<嘴巴=，那ASR模型[üà<耳朵=本身大模型就擁p建模并e×大數(shù)據(jù)特à的能力，使得語音特à得?保留，TàPRL1數(shù)據(jù)增強1更好的文本o注1文本表à,強W了特定層面的表ā2語言模型穩(wěn)定性方面，團隊在token，模型??,解碼策略，數(shù)據(jù)準備P?ì了多方面的探索，真l做到了y業(yè)?à}的要求231?2024年8月8日，豆包發(fā)布音樂生成功能。32?2024年9月24日，字節(jié)發(fā)布中國版Sora，豆包AI視頻模型(豆包PixelDance模型與Seaweed模型)。高效的DiT融合計碼視頻與文本，加之全新設計的擴散模型訓練方法，帶來了多鏡頭切換保持一致能力。在此基礎上，團隊還優(yōu)化了擴散模型訓練框架和Tra構，大幅提升視頻生成的泛化性。?精準語義理解，多主體、動作交互:豆包視頻生成模型可以遵從復雜的用戶提示詞，精確理解語義關系，解鎖時序性多拍動作指令與多個主體間的交?強大動態(tài)與酷炫運鏡:運鏡是視頻語言的關鍵之一。豆包視頻生成模型可以讓視頻在主體的大動態(tài)與鏡頭中炫酷切換，擁有變焦、環(huán)繞、平搖、縮放、目標跟隨等多鏡頭話語言能力，靈活控制視角，帶來真實世界的體?一致性多鏡頭生成，10秒講述完整故事:一致性多鏡頭生成是豆包視頻生成模型的一項特色能力。在一句提示詞內(nèi)，實現(xiàn)多個鏡頭切換，同時保持主33?豆包同聲傳譯模型發(fā)布:2024年9月24日，豆包同聲傳譯模型發(fā)布。豆包同聲傳譯模型采用端到端的模型架構，讓翻譯高精準、高質量，時延更低，還豆包同聲傳譯模型豆包通用模型pro能力升級343536?2024年12月10日，豆包電腦版視頻生成功能開啟內(nèi)測。內(nèi)測申請通過后，打開選擇37##Coze:字節(jié)的智能體開發(fā)平臺扣子Coze的部分集成插件扣子Coze的全球總訪問量39愛學:字節(jié)AI+教育?豆包愛學是AI教育應用，利用人工智能技術提供拍照搜題、AI講題、作業(yè)批改、作文指導等功能，幫助學生個性化地解決學習難題，提升寫作能力，豆包愛學功能介紹40貓箱網(wǎng)頁端界面貓箱部分使用功能41即夢AI網(wǎng)頁端界面42規(guī)劃:對話類應用只是中間態(tài)，提升即夢優(yōu)先級?字節(jié)跳動對AI對話類產(chǎn)品(如豆包)的市場表現(xiàn)持謹慎態(tài)度，認為其使用時長、打開頻次和商業(yè)化潛力未達預期，因此判斷這類產(chǎn)品可能只是AI發(fā)展?字節(jié)跳動內(nèi)部數(shù)據(jù)顯示，豆包等AI對話產(chǎn)品用戶活躍度不高，且增長幅度有限。管理層認為，基于文本的對話類產(chǎn)品可能不是最理想的產(chǎn)品形態(tài)，因?即夢作為AI創(chuàng)作工具和社區(qū)，具備AI工具和內(nèi)容社區(qū)屬性，已吸引了大量AI創(chuàng)作者。字節(jié)跳動計劃將更多資源轉移到這種多模態(tài)產(chǎn)品形態(tài)上，預計即夢將承擔更大的期望，特別是在視覺生成和AI功能方面。同時，字節(jié)跳動也在探索其他低交互門檻的多模態(tài)嘗試，如貓箱，其用戶對話輪數(shù)遠超豆即夢AI網(wǎng)頁端界面43#內(nèi)外發(fā)力探索大模型e硬t?合路?#?字節(jié)內(nèi)外雙路徑探索AI與硬件結合:通過AI硬件團隊自研、投資或與外部公司合作進行AI硬件產(chǎn)品的開發(fā)。?1)24年10月，智能耳機OlaFriend上市，產(chǎn)品由開放式耳機品牌Oladance研發(fā)，且該公司于24年8月由字節(jié)100%控股。?3)24年4月，李未可MetaLensChatAI眼鏡發(fā)布，同年7月，該產(chǎn)品在全國50家博士眼鏡門店首發(fā)。21年年底，字節(jié)投資AI技術及智能眼鏡研發(fā)商“李?4)21年9月，字節(jié)收購VR頭銜團隊PICO，該團隊稱于23年底開始研發(fā)多款新的搭載豆包大模型的穿戴設備。24年5月，火山引擎FORCE原動力大會，字節(jié)對外展示3款外部合作方開展的AI硬件產(chǎn)品，包括機器狗、學習機，以及學習機器人。2019年?字節(jié)開始嘗試硬件，收購錘子科技?原錘子科技團隊組建新石實驗室，推出大力智能燈和寫字板等教育硬件2021年?字節(jié)收購PICO，投資智能眼鏡研發(fā)商“李未可”等公司?原錘子科技團隊組建新石實驗室，推出大力智能燈和寫字板等2022年?字節(jié)收購Kayden的硬件公司部分團隊和專利，并入AI硬件團隊2023年?8月字節(jié)上線AI應用豆包APP，歸屬于Flow產(chǎn)品矩陣，其中包括豆包、Coze(海外版)、圖片生成產(chǎn)品星繪等2024年?字節(jié)100%股權收購大十科技，該公司2022年推出第一代Oladance耳機?4月，李未可MetaLensChatAI眼鏡發(fā)布?9月，字節(jié)推出“顯眼包”AI陪伴玩具?10月，智能耳機OlaFriend上市45riend:讓豆包，成為隨時陪伴耳邊的朋友?10月17日，OlaFriend正式開售。截至24年12月11日，產(chǎn)品抖音旗艦店累計銷售3400件，京東旗艦店累計銷售超5000件，淘寶旗艦店累計銷售超旅行導游:即時講解旅途中遇到的植物、名勝、建筑、美食46包”AI陪伴玩具:激發(fā)教育和陪伴新功能?24年9月字節(jié)中秋禮品包含顯眼包AI毛絨玩具，該產(chǎn)品并未對外發(fā)售。使用說明書中提及:“顯眼包是一款基于大模型開發(fā)的情感陪伴玩偶，集合多項人工智能技術，入豆包大模型、扣子專業(yè)版、語音識別、語音合成等。”?玩偶內(nèi)嵌FoloToy的大模型AI機芯Magicbox，該機芯可以搭載并呈現(xiàn)豆包大模型和扣子專業(yè)版的能力。Magicbox通過內(nèi)置AI對話芯片可以實現(xiàn)智能對話，回答問題、講故事、播放?FoloToy旗下還有多款旗艦AI智能對話機器人，如Fofo火火兔搭載一款經(jīng)過改造的AI芯片能夠實現(xiàn)記住對話上下文并實現(xiàn)智能對話。FoloToy由王樂和郭興華于2023年7月成立，暫無字節(jié)跳動等外部股東入股。兩人均為科技領域連續(xù)創(chuàng)業(yè)者，王樂兼任幣探索FoloToy八爪魚套件Octopus芯片能夠放入任何類型玩具，使玩具具有智能對話功能，具有極強的兼容性、交互性FoloToyToB業(yè)務為企業(yè)提供定制玩具，ToC業(yè)務為消費者提供IP合作玩具，截至2447?李未可自研WAKE-AI大模型平臺,實現(xiàn)“真人助理”體驗?1)分發(fā)大模型+Agent:分發(fā)大模型通過語音輸入來快速分發(fā)用戶意圖，降低AI眼鏡調用大模型時延至1.8秒左右(豆包等語音對話在2秒)，復雜交互縮短至3-5秒。大模型支持的AIAgent功能能夠快速執(zhí)行可能存在的剛需意圖，如導航、買票、備忘錄等。?2)情感大模型和擬人化:根據(jù)核心記憶和長期記憶更新用戶畫像，并且打造擬人化語氣，使得模型對客戶更加?3)多模態(tài)和LBS能力:模型能夠實現(xiàn)室外項目的智能導覽，理解和?李未可AI智能體融合各種Gen-Z聊天對話類型，同時包括字節(jié)扣子AI智能體開發(fā)平臺。48或將親自Q場做AI智能眼鏡?MetaRay-Ban智能眼鏡獲得?段性p?,海外大廠Google1Apple均?劃入局2?__節(jié)或__p類似?劃249#w他?品?研究論文#?24年6月，字節(jié)于北京召開豆包MarsCode發(fā)布大會，豆包MarsCode針對具有超強的原生AI能力和安全可靠的云開發(fā)環(huán)境，支持豐富的編輯語言和主?豆包MarsCode具有超強的原生AI能力。1)代碼補全功能:豆包MarsCode可在編碼過程中提供當行或多行代碼推薦，并支持通過注釋生成代碼片段，由此提升代碼編寫速度。2)代碼解釋功能:豆包MarsCode可幫助開發(fā)者理解項目倉庫既有內(nèi)容，從而降低上手難度。3)AI問答功能:豆包MarsCode對代碼編譯領域內(nèi)容進行針對性優(yōu)化研發(fā)，能夠提供更為準確的問答結果。4)代碼生成功能:豆包MarsCode可智能理解自然語言并快速生成代碼，提供“在編輯器中寫入”的原生交互體驗。5)錯誤修復功能:豆包MarsCode可以快速發(fā)現(xiàn)代碼中的問題并給出智能優(yōu)化建議，從而提升超強原生AI能力超強原生AI能力AI問答豆包MarsCodeAI問答豆包MarsCode錯誤修復錯誤修復提供學習資源和資料提供學習資源和資料51?豆包MarsCode支持支持多編輯語言及IDLE。豆包MarsCode支持超過100種編程語言，兼容VSCode和JetBrains代碼編輯器。開發(fā)者無需配置開發(fā)超強原生AI能力豆包MarsCode從模板創(chuàng)建從Git導入提供學習資源和資料52?2024年8月8日，字節(jié)豆包旗下的AI音樂生成工具海綿音樂開啟內(nèi)測，海綿音樂是一款面向普通消費者的免費AI音樂創(chuàng)作和分享平臺，主打利用人工AI音樂創(chuàng)作工具——RippleAI音樂生成工具——海綿音樂53生p和識別模型Seed-TTS/Seed-ASR?6o24日，豆包大模型團隊發(fā)a語音生pā?模型Seed-TTS，包含N系列大規(guī)模自回__文本到語音(Text-to-Speech,TTS)模型，按文本生p和人類語音幾N無法|V的語音，在虛擬?手1p聲書1視頻配音等à}領域xpT要潛力，t前tà}到豆包?品線2?7o10日，豆包大模型團隊發(fā)a語音識別模型Seed-ASR，?將各種語音轉W~文本信息，例如__業(yè)領域1語言1口音等āSeed-ASRt在豆包APP中à}?英語b話1虛擬聊y伴侶1復刻親ü聲音等場oāü?企業(yè)ü戶，在語音交à1內(nèi)容?核1b°à談轉寫1音視頻__幕等場o__p落地2?高°à文本到語音ā?模型?Seed-TTS生p的語音和真人語音幾NN?,??ā?簡W的樣本，模仿聲音特°1發(fā)音瑕疵，生p??的高保真合p語音2Seed-TTS面U多元任á,相比?WN任á的傳統(tǒng)TTS模型，它xp高自然t和高穩(wěn)定性，e供廣泛的語音屬性定制能力，例如語言1情感1音色??所處情o，數(shù)據(jù)覆蓋à?巨大2?出色的PQ文理解能力和泛W能力?大模型的ScalingLaws~Seed-ASR引入了了PQ文理解能力，并e供了更好的模型泛W性和能力涌ā2Seed-TTS系統(tǒng)框架Seed-TTS包含四部V??語音o2器?從參考語音中學`語音o2?tokensā2?自回__語言模型?根據(jù)條t文本和語音生p語音o22Seed-TTS，Seed-ASR技術?告?擴散ù換器模型?Seed-TTS，Seed-ASR技術?告?聲學聲碼器?將擴散模型的輸出轉換~高°à的語音254生p大模型Seed-Music，探索音P]作新?能?9o18日，豆包大模型團隊l式發(fā)a自研音P大模型，e供四項核心?能???音P生p1譜轉曲1詞曲編輯1零樣本人聲克隆，x體涵蓋十種]作任á,滿足音P小白1__業(yè)音P人的O\場o需求2?多模態(tài)輸入生p??音P?Seed-Music支持多模態(tài)輸入áā??音P生p，?輸入信息包括歌詞1風格?述1音頻參考1P譜和語音e示，通過?制音P風格1歌詞1情ā1節(jié)奏等，生p3V鐘全曲1純器P和仿寫歌曲ā?交à式P曲編輯?Seed-Musicā?擴散模型能夠精確ü歌詞或旋律?ì局部改編，并確保編輯|域的平滑過oā?音P]作輔??Seed-Music通過定制W的技術解?方案，~音P小白和__業(yè)音P人士e供\樣精準1高效的支持，降Pn通人音P]作門檻，并輔?__業(yè)音P]作者áāü詞1旋律1編曲的完全?制，節(jié)省]作中的時間和p本2?表à模型?將原始音頻波形壓縮~p意O`緊湊的音P音頻表àā該表à作~ˉ?^續(xù)āt的ā礎2?生p器?處理各種}戶?制輸入，并生p相à的中間表?渲染器?ā?生p器e供的中間表示合p高°à的音頻55?9月4日，豆包大模型團隊發(fā)布AI智能體豆包MarsCodeAgent，AI智能體能夠感知外部環(huán)境、操作工具并具有一定自主決策能力，豆包MarsCodeAgent開發(fā)了多智能體協(xié)作框架，利用基于大語言模型的智能體自動識別并修復軟豆包MarsCodeAgent在SWE-benchLite排行榜上位列第一?Searcher:利用CKG、LSP等代碼檢索工段;?Manager:根據(jù)收集到的相關代碼片段對問?Reproducer:在動態(tài)調試修復場景下，根據(jù)箱中對腳本進行動態(tài)調試以確認復現(xiàn)成功;?Programmer:根據(jù)問題描述和相關代碼進行多輪迭代修改;?Tester:根據(jù)問題復現(xiàn)腳本，對當前代碼版?Planner:在靜態(tài)修復場景下，根據(jù)問題和些代碼片段及其修改方式;?SymbolEditor:根據(jù)修改計劃，對所負責的56?HybridFlow發(fā)a，最高e升20倍吞Tà?__節(jié)RLHF框架HybridFlow，解耦?制流和?算流，|顧靈活高效2采}混合編程模型，HybridFlow框架Q，?制流vW?制器管理，xp全局視āā?算流v多?制器負°,保證?算執(zhí)ì高效2相較?純粹的多?制器架構，HybridFlow通過`W數(shù)據(jù)傳輸，降P了?制流P?算流之間的傳輸à,|顧了靈活性和高效性2?系統(tǒng)??之N?HybridProgrammingModel(編程模型]新)2首Y，HybridFlow采}封裝W模型Va式?算，e高了?碼的復}性，便?模型的t?和擴展2w次，HybridFlowxp較~靈活的模型部署2通過資金池，HybridFlow將GPU資源虛擬W，并~每個模型V配?算資源，滿足了O\算法1模型和硬t?境Q的資源和性能需求2第O，HybridFlow采}N套通}數(shù)據(jù)傳輸`°?TransferProtocolā來解?O\模型間數(shù)據(jù)傳輸面臨的多ü多廣播和數(shù)據(jù)TVwt題2最^，HybridFlow支持支持異nRL?制流，僅需少à?碼便?靈活áā各種RL?制流算法2?系統(tǒng)??之N?3D-HybridEngine?ˉ?è理混合技術ā降P通信內(nèi)`開銷23D-HybridEngine通過定OO\的并ìā1Tā模型參數(shù)過程??減少通信開銷的方式，áā了零冗余的模型參數(shù)Tā,壓縮了因模型參數(shù)在ˉ?和生pn個?段之間T新Vw和V配而增à的過o時間2?á驗?果顯示，HybridFlow在e供靈活性的\時à速ˉ?2團隊在16āA100GPU?群P，üHybridFlow和主流RLHF框架?ìü比試驗，?果，都顯著`?w他框架，吞Tàe升幅t在1.5倍ó20倍之間，能夠p效減少開銷23D-HybridEngineN次迭?的流程吞Tàá驗?果側視ā57?為了更真實地評估AI編程水平，字節(jié)豆包大模型團隊聯(lián)合M-A-P社區(qū)，開源了全新代碼大模型評估基準FullStackBench。此外，研發(fā)團隊推出?SandboxFusion為高效的代碼沙盒執(zhí)行工具。SandboxFusion包含數(shù)據(jù)集和沙箱執(zhí)行兩大模塊，支持23種編程語言，兼容超過10種代碼評估數(shù)據(jù)?測試結果表明閉源模型在解決難題方面優(yōu)于開源模型，SandboxFusion的FullStackBench的數(shù)據(jù)收集過程58免責聲明分析師，茲證明本資料所表達的觀點準確地反映了分析師對標的證券或發(fā)行人的個人意見;彼以往、現(xiàn)在或未來并無就其資料所提供的具體建議或所表述的意見直接或間接收取任何報酬。本資料由華泰證券股份有限公司(已具備中國證監(jiān)會批準的證券投資咨詢業(yè)務資格，以下簡稱“本公司”)制作。本資料所載資料是僅供接收人的嚴格保密資料。本資料僅供本公司及其客戶和其關聯(lián)機構使用。本公司不因接收人收到本資料而視其為客本資料基于本公司認為可靠的、已公開的信息編制，但本公司及其關聯(lián)機構(以下統(tǒng)稱為“華泰”)對該等信息的準確性及完整性不作本資料所載的意見、評估及預測僅反映資料發(fā)布當日的觀點和判斷。在不同時期，華泰可能會發(fā)出與本資料所載意見、評估及預測不一致的研究資料。同時，本資料所指的證券或投資標的的價格、價值及投資收入可能會波動。以往表現(xiàn)并不能指引未來，未來回報并不能得到保證，并存在損失本金的可能。華泰不保證本資料所含信息保持在最新狀態(tài)。華泰對本資料所含信息可在不發(fā)出通知的情形下做出修改，投資者應當自行關注相應的更新或修改。華泰力求資料內(nèi)容客觀、公正，但本資料所載的觀點、結論和建議僅供參考，不構成購買或出售所述證券的要約或招攬。該等觀點、建議并未考慮到個別投資者的具體投資目的、財務狀況以及特定需求，在任何時候均不構成對客戶私人投資建議。投資者應當充分考慮自身特定狀況，并完整理解和使用本資料內(nèi)容，不應視本資料為做出投資決策的唯一因素。對依據(jù)或者使用本資料所造成的一切后果，華泰及作者均不承擔任何法律責任。任何形式的分享證券投資收益或者分擔證券投資損失的書面或口除非另行說明，本資料中所引用的關于業(yè)績的數(shù)據(jù)代表過往表現(xiàn)，過往的業(yè)績表現(xiàn)不應作為日后回報的預示。華泰不承諾也不保證任何預示的回報會得以實現(xiàn)，分析中所做的預測可能是基于相應的假設，任何假設的變化可能會顯著影響所預測的回報。華泰及作者在自身所知情的范圍內(nèi)，與本資料所指的證券或投資標的不存在法律禁止的利害關系。在法律許可的情況下，華泰可能會持有資料中提到的公司所發(fā)行的證券頭寸并進行交易，為該公司提供投資銀行、財務顧問或者金融產(chǎn)品等相關服務或向該公司招攬業(yè)務。華泰的銷售人員、交易人員或其他專業(yè)人士可能會依據(jù)不同假設和標準、采用不同的分析方法而口頭或書面發(fā)表與本報告意見及建議不一致的市場評論和/或交易觀點。華泰沒有將此意見及建議向資料所有接收者進行更新的義務。華泰的資產(chǎn)管理部門、自營部門以及其他投資業(yè)務部門可能獨立做出與本資料中的意見或建議不一致的投資決策。投資者應當考慮到華泰及/或其相關人員可能存在影響本資料觀點客觀性的潛在利益沖突。投資者請勿將本資料視為投資或其他決定的唯一信賴依據(jù)。有關該方面本資料并非意圖發(fā)送、發(fā)布給在當?shù)胤苫虮O(jiān)管規(guī)則下不允許向其發(fā)送、發(fā)布的機構或人員，也并非意圖發(fā)送、發(fā)布給因可得到、使用本資料的行為而使華泰違反或受制于當?shù)胤苫虮O(jiān)管規(guī)則的機構或人員。本資料版權僅為本公司所有。未經(jīng)本公司書面許可，任何機構或個人不得以翻版、復制、發(fā)表、引用或再次分發(fā)他人(無論整份或部分)等任何形式侵犯本公司版權。如征得本公司同意進行引用、刊發(fā)的，需在允許的范圍內(nèi)使用，并需在使用前獲取獨立的法律意見，以確定該引用、刊發(fā)符合當?shù)剡m用法規(guī)的要求，同時注明出處為“華泰證券研究所”，且不得對本資料進行任何有悖原意的引用、刪節(jié)和修改。本公司保留追究相關責任的權利。所有本資料中使用的商標、服務標記及標記均為本公司的商59本資料由華泰證券股份有限公司制作,在香港由華泰金融控股(香港)有限公司向符合《證券及期貨條例》及其附屬法律規(guī)定的機構投資者和專業(yè)投資者的客戶進行分發(fā)。華泰金融控股(香港)有限公司受香港證券及期貨事務監(jiān)察委員會監(jiān)管，是華泰國際金融控股有限公司的全