2024年中國端側(cè)大模型行業(yè)研究:算力優(yōu)化與效率革命+如何重塑行業(yè)生態(tài)-22正式版_第1頁
2024年中國端側(cè)大模型行業(yè)研究:算力優(yōu)化與效率革命+如何重塑行業(yè)生態(tài)-22正式版_第2頁
2024年中國端側(cè)大模型行業(yè)研究:算力優(yōu)化與效率革命+如何重塑行業(yè)生態(tài)-22正式版_第3頁
2024年中國端側(cè)大模型行業(yè)研究:算力優(yōu)化與效率革命+如何重塑行業(yè)生態(tài)-22正式版_第4頁
2024年中國端側(cè)大模型行業(yè)研究:算力優(yōu)化與效率革命+如何重塑行業(yè)生態(tài)-22正式版_第5頁
已閱讀5頁,還剩17頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

2024年中國端側(cè)大模型行業(yè)研究算力優(yōu)化與效率革命如何重塑行業(yè)生態(tài)企業(yè)標簽:阿里云、商湯科技、面壁智能AI變革行業(yè)創(chuàng)新發(fā)展ChinaEndToSideLargeModelIndustry中國エンド側(cè)大型モデル産業(yè)撰寫人:王利華報告提供的任何內(nèi)容(包括但不限于數(shù)據(jù)、文字、圖表、圖像等)均系頭豹研究院獨有的高度機密性文件(在報告中另行標明出處者除外)。未經(jīng)頭豹研究院事先書面許可,任何人不得以任何方式擅自復制、再造、傳播、出版、引用、改編、匯編本報告內(nèi)容,若有違反上述約定的行為發(fā)生,頭豹研究院保留采取法律措施、追究相關(guān)人員責任的權(quán)利。頭豹研究院開展的所有商業(yè)活動均使用“頭豹研究院”或“頭豹”的商號、商標,頭豹研究院無任何前述名稱之外的其他分支機構(gòu),也未授權(quán)或聘用其他任何第三方代表頭豹研究院開展商業(yè)活動。頭豹研究院團隊介紹頭豹是國內(nèi)領(lǐng)先的行企研究原創(chuàng)內(nèi)容平臺和創(chuàng)新的數(shù)字化研究服務(wù)提供商。頭豹在中國已布局3大研究院,擁有近百名資深分析師,頭豹科創(chuàng)網(wǎng)()擁有20萬+注冊用戶,6,000+行業(yè)賽道覆蓋及相關(guān)研究報告產(chǎn)出。頭豹打造了一系列產(chǎn)品及解決方案,包括數(shù)據(jù)庫服務(wù)、行企研報服務(wù)、微估值及微盡調(diào)自動化產(chǎn)品、財務(wù)顧問服務(wù)、PR及IR服務(wù),研究課程,以及分析師培訓等。誠摯歡迎各界精英與頭豹交流合作,請即通過郵件或來電咨詢。報告作者袁栩聰首席分析師oliver.yuan@L王利華行業(yè)分析師lihua.wang@頭豹研究院咨詢/合作網(wǎng)址:電話袁先生)電話李先生)深圳市華潤置地大廈E座4105室行業(yè)研讀

|2024/5中國:人工智能系列摘要?2023年中國端側(cè)大模型市場規(guī)模達8億元,持樂觀態(tài)度估計,預計2024年中國端側(cè)大模型市場將達到21億元端側(cè)大模型定義為運行在設(shè)備端的大規(guī)模人工智能模型,這些模型通常部署在本地設(shè)備上,如智能手機、IoT、PC、機器人等設(shè)備。與傳統(tǒng)的云端大模型相比,端側(cè)大模型的參數(shù)量更小,因此可以在設(shè)備端直接使用算力進行運行,無需依賴云端算力。生成式AI市場的蓬勃興起,正驅(qū)使大模型廠商積極探索端側(cè)應(yīng)用新藍海,以此作為增長的新引擎。端側(cè)大模型通過在設(shè)備本地運行,有效降低了數(shù)據(jù)傳輸延遲,增強了隱私保護,拓寬了AI應(yīng)用場景的廣度與深度。端側(cè)大模型在成本、能耗、可靠性、隱私和個性化方面相比云端推理具有顯著優(yōu)勢,并能夠以低能耗提供高效且安全的AI處理,減少延遲與此同時,下游市場需求的強勁增長,特別是手機與自動駕駛行業(yè)的蓬勃發(fā)展,正強力拉動端側(cè)大模型市場的擴張,2023年中國端側(cè)大模型市場規(guī)模達8億元,預計2024年中國端側(cè)大模型市場將達到21億元。并保護用戶隱私,適合個性化的AI應(yīng)用。取決于行業(yè)對數(shù)據(jù)安全、隱私保護的需求、行業(yè)本身智能設(shè)備的普及程度以及AI大模型技術(shù)的成熟度,這些因素的相互作用和共同推動,端側(cè)大模型將推動各行業(yè)智能化發(fā)展的步伐。依托技術(shù)實力和生態(tài)建設(shè),頭部大模型廠商紛紛投入端側(cè)大模型市場,利用在云端大模型領(lǐng)域的技術(shù)優(yōu)勢,商湯商量、阿里通義以及面壁智能率先在端側(cè)大模型領(lǐng)域取得領(lǐng)先突破。端側(cè)大模型面臨的行業(yè)壁壘包括技術(shù)、硬件、數(shù)據(jù)、成本以及市場等方面,要求產(chǎn)業(yè)界在技術(shù)創(chuàng)新、標準制定、生態(tài)建設(shè)和市場推廣等方面進行深入合作,以克服挑戰(zhàn),實現(xiàn)端側(cè)大模型的廣泛應(yīng)用和落地。400-072-55883研究框架◆

中國端側(cè)大模型行業(yè)概述--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------6????定義與分類發(fā)展歷程驅(qū)動力789市場規(guī)模10111213141516171920212223242526272829◆

中國端側(cè)大模型行業(yè)產(chǎn)業(yè)鏈分析??????產(chǎn)業(yè)鏈模型壓縮技術(shù)成本構(gòu)成廠商類型行業(yè)場景業(yè)務(wù)場景◆

中國端側(cè)大模型行業(yè)分析????政策分析行業(yè)壁壘競爭格局發(fā)展趨勢◆

中國端側(cè)大模型行業(yè)典型廠商分析???阿里云商湯科技面壁智能◆

方法論及法律聲明◆

業(yè)務(wù)合作400-072-55884名詞解釋◆◆◆◆AI大模型:指的是大型人工智能模型,通常由數(shù)十億至數(shù)百億個參數(shù)組成,用于各種自然語言處理、計算機視覺等任務(wù)。模型壓縮技術(shù):是一系列用于減少大型神經(jīng)網(wǎng)絡(luò)模型尺寸和計算復雜度的技術(shù),包括剪枝、量化、蒸餾等方法,旨在減少模型大小的同時保持其性能。IoT設(shè)備:指的是物聯(lián)網(wǎng)設(shè)備,通常具有較小的計算能力和存儲空間,但能夠通過互聯(lián)網(wǎng)進行通信和數(shù)據(jù)交換。PC設(shè)備:個人計算機,如臺式機、筆記本電腦等,通常具有較高的計算和存儲能力,適合運行復雜的應(yīng)用程序和任務(wù)?!簟簟魯?shù)據(jù)中心:指的是大規(guī)模的服務(wù)器集群,用于存儲和處理大量數(shù)據(jù),支持云計算服務(wù)和網(wǎng)絡(luò)應(yīng)用。服務(wù)器:通常指的是提供網(wǎng)絡(luò)服務(wù)、存儲和計算資源的計算機系統(tǒng),可用于托管網(wǎng)站、應(yīng)用程序等。BERT:是一種預訓練的自然語言處理模型,采用Transformer架構(gòu),能夠理解文本語境并在各種NLP任務(wù)中取得良好性能?!簟鬌istilBERT:是對BERT模型進行了蒸餾(Distillation)的輕量化版本,通過減少參數(shù)和計算復雜度來提高模型的運行效率。TinyBERT:是進一步輕量化的BERT模型,通過更深入的模型壓縮和優(yōu)化來適應(yīng)資源受限的環(huán)境,如移動設(shè)備或物聯(lián)網(wǎng)設(shè)備。◆◆◆◆◆JetsonAGXXavier:高性能嵌入式系統(tǒng),具有GPU和AI計算能力,適用于邊緣計算和深度學習應(yīng)用。TPU:谷歌推出的張量處理單元,是一種專門用于加速人工智能工作負載的定制硬件加速器。PyTorchMobile:是PyTorch框架的移動端部署版本,支持在移動設(shè)備上運行訓練好的深度學習模型。TensorFlowLite:是谷歌推出的用于在移動設(shè)備和嵌入式系統(tǒng)上部署深度學習模型的輕量級框架。ONNX:開放神經(jīng)網(wǎng)絡(luò)交換,是一種開放的跨平臺深度學習模型表示格式,支持模型在不同框架之間的轉(zhuǎn)換和部署?!纛A訓練模型:指的是在大規(guī)模文本數(shù)據(jù)上進行預訓練的神經(jīng)網(wǎng)絡(luò)模型,通常包含通用的語言或視覺理解能力,并可通過微調(diào)適應(yīng)特定任務(wù)。◆◆中心云:指的是傳統(tǒng)的云計算架構(gòu),數(shù)據(jù)和計算資源集中在大型數(shù)據(jù)中心進行管理和運行。邊緣云:是一種分布式的云計算架構(gòu),將計算和存儲資源放置在接近終端用戶的邊緣節(jié)點上,以提高服務(wù)響應(yīng)速度和降低網(wǎng)絡(luò)延遲?!簟鬉I芯片:專門用于加速人工智能計算任務(wù)的硬件芯片,能夠在高效率和低能耗的條件下進行大規(guī)模并行計算。知識蒸餾:是一種通過讓一個較大且性能較好的模型(教師模型)指導一個小型模型(學生模型)來提高學生模型性能的技術(shù),通常用于模型壓縮和輕量化。400-072-55885行業(yè)研讀

|2024/5Chapter1行業(yè)概述?

定義與分類?

發(fā)展歷程?

驅(qū)動力?

市場規(guī)模400-072-5588行業(yè)研讀

|2024/5中國:人工智能系列中國端側(cè)大模型市場探析——定義與分類?端側(cè)大模型定義為運行在設(shè)備端的大規(guī)模人工智能模型,與傳統(tǒng)的云端大模型相比,端側(cè)大模型的參數(shù)量更小,因此可以在設(shè)備端直接使用算力進行運行,無需依賴云端算力端側(cè)大模型的定義網(wǎng)絡(luò)安全計算

存儲AI大模型模型壓縮技術(shù)端側(cè)大模型用戶移動設(shè)備IoT設(shè)備PC設(shè)備機器人?端側(cè)大模型定義為運行在設(shè)備端的大規(guī)模人工智能模型,這些模型通常部署在本地設(shè)備上,如智能手機、IoT、PC、機器人等設(shè)備。與傳統(tǒng)的云端大模型相比,端側(cè)大模型的參數(shù)量更小,因此可以在設(shè)備端直接使用算力進行運行,無需依賴云端算力。AI大模型端側(cè)大模型模型訓練方式:數(shù)據(jù)中心或云端模型推理方式:服務(wù)器或云端參數(shù)量:多為百億級別模型訓練方式:云端模型推理方式:端側(cè)VS參數(shù)量:多為十億級別?AI大模型通常在數(shù)據(jù)中心或云端進行訓練,使用大規(guī)模的計算資源和海量數(shù)據(jù)。相比之下,端側(cè)大模型由于資源限制,往往需要在設(shè)計和訓練階段進行模型壓縮和優(yōu)化。在推理方式上,AI大模型通常運行在服務(wù)器或云端,通過強大的計算能力處理復雜的任務(wù)。然而,這種云端推理方式依賴于網(wǎng)絡(luò)連接,會帶來延遲和隱私問題。端側(cè)大模型則是在本地設(shè)備上進行推理。?參數(shù)量是AI大模型和端側(cè)大模型的一個顯著區(qū)別。AI大模型通常具有數(shù)十億甚至上百億的參數(shù),如GPT-3的1,750億參數(shù)。這種巨大的參數(shù)量使得大模型能夠捕捉復雜的數(shù)據(jù)模式并在多種任務(wù)中表現(xiàn)出色。然而,端側(cè)設(shè)備的計算能力和存儲資源有限,因此端側(cè)大模型的參數(shù)量通常較小。通過模型壓縮技術(shù),如知識蒸餾、剪枝和量化,端側(cè)大模型的參數(shù)量可以減少到幾百萬或更少。例如,MobileBERT的參數(shù)量僅為BERT的1/4左右,但依然能夠在移動設(shè)備上高效運行。來源:企業(yè)官網(wǎng),頭豹研究院400-072-55887行業(yè)研讀

|2024/5中國:人工智能系列中國端側(cè)大模型市場探析——驅(qū)動力?端側(cè)大模型在成本、能耗、可靠性、隱私和個性化方面相比云端推理具有顯著優(yōu)勢,并能夠以低能耗提供高效且安全的AI處理,減少延遲并保護用戶隱私,適合個性化的AI應(yīng)用端側(cè)大模型市場驅(qū)動力分析5G中心云邊緣云端側(cè)為實現(xiàn)規(guī)?;瘮U展,AI處理的重心,正在向邊緣轉(zhuǎn)移可靠性、性能和時延03能耗隱私和安全0204端側(cè)大模型成本優(yōu)勢個性化0105?從成本優(yōu)勢來看,AI推理的規(guī)模遠高于AI訓練。盡管訓練單個模型會消耗大量資源,但大型生成式AI模型預計每年僅需訓練幾次。然而,這些模型的推理成本將隨著日活用戶數(shù)量及其使用頻率的增加而增加。在云端進行推理的成本極高,這將導致規(guī)?;瘮U展難以持續(xù)。??從能耗來看,支持高效AI處理的邊緣終端能夠提供領(lǐng)先的能效,尤其是與云端相比。邊緣終端能夠以很低的能耗運行生成式AI模型,尤其是將處理和數(shù)據(jù)傳輸相結(jié)合時。這一能耗成本差異非常明顯。從可靠性、性能和時延來看,終端側(cè)AI處理能夠在云服務(wù)器和網(wǎng)絡(luò)連接擁堵時,提供媲美云端甚至更佳的性能

。當生成式AI查詢對于云的需求達到高峰期時,會產(chǎn)生大量排隊等待和高時延,甚至出現(xiàn)拒絕服務(wù)的情況。向邊緣終端轉(zhuǎn)移計算負載可防止這一現(xiàn)象發(fā)生。??從隱私和安全來看,端側(cè)大模型從本質(zhì)上有助于保護用戶隱私,因為查詢和個人信息完全保留在終端上。對于企業(yè)和工作場所等場景中使用的生成式AI,這有助于解決保護公司保密信息的難題。從個性化來看,數(shù)字助手將能夠在不犧牲隱私的情況下,根據(jù)用戶的表情、喜好和個性進行定制。所形成的用戶畫像能夠從實際行為、價值觀、痛點、需求、顧慮和問題等方面來體現(xiàn)一個用戶,并且可以隨著時間推移進行學習和演進。來源:中國統(tǒng)計局,CNNIC,頭豹研究院400-072-55888行業(yè)研讀

|2024/5中國:人工智能系列中國端側(cè)大模型市場探析——市場規(guī)模?下游市場需求的強勁增長,特別是手機與自動駕駛行業(yè)的蓬勃發(fā)展,正強力拉動端側(cè)大模型市場的擴張,2023年中國端側(cè)大模型市場規(guī)模達8億元,預計2024年中國端側(cè)大模型市場將達到21億元中國端側(cè)大模型行業(yè)——市場規(guī)模中國端側(cè)大模型市場規(guī)模單位:億元CAGR:58%7961473121820232024E2025E2026E2027E2028E?受實際落地情況的影響,2023年中國端側(cè)大模型市場規(guī)模達8億元,持樂觀態(tài)度估計,預計2024年中國端側(cè)大模型市場將達到21億元生成式AI市場的蓬勃興起,正驅(qū)使大模型廠商積極探索端側(cè)應(yīng)用新藍海,以此作為增長的新引擎。端側(cè)大模型通過在設(shè)備本地運行,有效降低了數(shù)據(jù)傳輸延遲,增強了隱私保護,拓寬了AI應(yīng)用場景的廣度與深度。例如,智能手機集成的AI攝影功能,能實時識別場景并優(yōu)化圖像質(zhì)量;可穿戴設(shè)備利用端側(cè)模型監(jiān)測健康指標,提供即時反饋。與此同時,隨著AI芯片等算力市場帶動,為端側(cè)大模型打開新的市場空間。高性能、低功耗的AI芯片設(shè)計使得復雜模型能夠在手機、物聯(lián)網(wǎng)設(shè)備等終端高效運行,無需依賴云服務(wù),顯著提升響應(yīng)速度與用戶體驗。2021年全球AI芯片市場規(guī)模達到200億美元,預計到2025年將超過700億美元,其中端側(cè)AI芯片占比快速提升,成為增長的重要動力。?下游市場需求的強勁增長,特別是手機與自動駕駛行業(yè)的蓬勃發(fā)展,正強力拉動端側(cè)大模型市場的擴張手機作為個人智能終端的核心,正集成更先進的AI功能以提供個性化服務(wù)與優(yōu)化用戶體驗,如榮耀Magic系列利用端側(cè)AI大模型實現(xiàn)偏好理解與多模態(tài)交互。同時,自動駕駛領(lǐng)域?qū)崟r性與安全性要求極高,推動了BEV+Transformer等技術(shù)與端側(cè)大模型的融合,百度ApolloADFM等L4級自動駕駛大模型的推出,標志著該領(lǐng)域邁向商用新階段。來源:專家訪談,企業(yè)公告,頭豹研究院400-072-55889行業(yè)研讀

|2024/5Chapter2產(chǎn)業(yè)鏈分析?

產(chǎn)業(yè)鏈圖譜?

模型壓縮技術(shù)?

成本構(gòu)成?

廠商類型?

行業(yè)場景?

業(yè)務(wù)場景400-072-5588行業(yè)研讀

|2024/5中國:人工智能系列中國端側(cè)大模型市場探析——產(chǎn)業(yè)鏈?中國端側(cè)大模型上游主要包括AI芯片供應(yīng)商、云計算服務(wù)商以及數(shù)據(jù)服務(wù)商,中游為端側(cè)大模型科技廠商和端側(cè)科技企業(yè),主要通過設(shè)備企業(yè)最終應(yīng)用到汽車、教育等各行各業(yè)中國端側(cè)大模型行業(yè)——產(chǎn)業(yè)鏈分析AI芯片供應(yīng)商云計算服務(wù)提供商上游數(shù)據(jù)服務(wù)商端側(cè)大模型科技廠商中游應(yīng)用場景文本場景圖像場景視頻場景音頻場景多模態(tài)場景游汽車金融教育醫(yī)療泛娛樂其他來源:專家訪談,頭豹研究院400-072-558811行業(yè)研讀

|2024/5中國:人工智能系列中國端側(cè)大模型市場探析——模型壓縮技術(shù)?通過知識蒸餾,端側(cè)大模型能夠在保持較高性能的同時,大幅減少模型參數(shù)量和計算復雜度。這種技術(shù)使得復雜的AI模型可在資源受限的端側(cè)設(shè)備上高效運行,實現(xiàn)低能耗、高響應(yīng)速度和高準確度的AI推理端側(cè)大模型壓縮技術(shù)——知識蒸餾TeachermodelLayer1Layer2Layerm…SoftlabelsSoftmax(T=t)distillationlossLossFninputXSoftpredictionsStudent(distilled)

modelSoftmax(T=t)Softmax(T=1)Layer1Layer2Layern…h(huán)ardpredictionstudentlossLossFnhardlabely(groundtruth)?知識蒸餾的基本原理首先,在強大的計算資源和海量數(shù)據(jù)集上訓練一個高性能的大模型,稱為教師模型。教師模型在輸入訓練數(shù)據(jù)時,不僅輸出最終的分類結(jié)果(硬標簽),還輸出每個類別的概率分布(軟標簽),這些軟標簽包含了更多關(guān)于輸入數(shù)據(jù)的細微信息和模式。在訓練較小的學生模型時,不僅使用原始數(shù)據(jù)的硬標簽,還使用教師模型生成的軟標簽。學生模型通過學習這些軟標簽,能夠捕捉到教師模型中包含的豐富知識。?知識蒸餾在端側(cè)大模型中的應(yīng)用知識蒸餾使得學生模型能夠在保持較高準確度的同時,顯著減少參數(shù)量。例如,TinyBERT通過知識蒸餾技術(shù)將BERT的參數(shù)量減少到原來的1/7左右,但在許多自然語言處理任務(wù)中仍能保持較好的性能。這使得學生模型能夠適應(yīng)端側(cè)設(shè)備的計算和存儲限制。較小的學生模型在推理階段需要的計算資源更少,推理速度更快。這對于資源受限的端側(cè)設(shè)備尤為重要。端側(cè)設(shè)備通常對能耗有嚴格限制。知識蒸餾生成的學生模型由于計算復雜度低,能夠以較低的能耗完成推理任務(wù)。例如,在物聯(lián)網(wǎng)設(shè)備和移動設(shè)備中,學生模型的低能耗運行方式使其能夠長時間持續(xù)工作,而不會顯著消耗電池電量。知識蒸餾生成的學生模型可以針對不同的端側(cè)設(shè)備進行優(yōu)化。例如,針對特定硬件架構(gòu)進行剪枝和量化,使模型在特定設(shè)備上達到最佳性能。此外,學生模型還可以通過在線學習機制,在端側(cè)設(shè)備上不斷適應(yīng)和優(yōu)化,以滿足動態(tài)變化的應(yīng)用需求。來源:專家訪談,智慧文旅,頭豹研究院400-072-558812行業(yè)研讀

|2024/5中國:人工智能系列中國端側(cè)大模型市場探析——成本構(gòu)成?AI芯片作為加速端側(cè)大模型的關(guān)鍵技術(shù),提供高效計算和能耗比,使得大規(guī)模模型在端側(cè)設(shè)備上高效運行,研發(fā)人員及顯卡成本需兼顧,確保研發(fā)經(jīng)濟可持續(xù)端側(cè)大模型成本構(gòu)成分析硬件成本包括端側(cè)大模型部署所必需的硬件設(shè)備,如AI芯片。AI芯片專門設(shè)計用于加速深度學習任務(wù),相比通用處理器,AI芯片可提供更高的計算效率,降低模型執(zhí)行的能耗和延遲。硬件成本研發(fā)成本其他成本研發(fā)成本是開發(fā)和優(yōu)化端側(cè)大模型所需的成本,主要為研發(fā)人員的人力成本以及設(shè)備成本。人力成本涉及到研究人員、工程師和數(shù)據(jù)科學家等的工資、培訓和福利待遇。設(shè)備成本包括用于開發(fā)和測試的顯卡、服務(wù)器和云服務(wù)等。10%30%60%其他成本包括除了硬件和研發(fā)成本之外,還包括各種間接成本,例如管理成本、運營成本和市場推廣成本等。?AI芯片成為加速端側(cè)大模型應(yīng)用的關(guān)鍵技術(shù)成本AI芯片作為專門設(shè)計用于加速深度學習任務(wù)的硬件,具有較高的能效比和計算性能,成為了實現(xiàn)端側(cè)大模型高效部署的關(guān)鍵。一方面,AI芯片能夠提供更高的計算性能和能效比,從而加速端側(cè)大模型的推理和執(zhí)行速度。例如,Google的TPU能夠在相同的功耗下實現(xiàn)比傳統(tǒng)GPU更高的性能,這使得在端側(cè)設(shè)備上運行大規(guī)模的神經(jīng)網(wǎng)絡(luò)模型成為可能。另一方面,AI芯片也能夠提供更低的功耗和更小的尺寸,適合嵌入到各種端側(cè)設(shè)備中,為端側(cè)大模型的應(yīng)用提供了更廣泛的可能性和更好的用戶體驗。?在端側(cè)大模型的開發(fā)過程中,需要綜合考慮研發(fā)人員的成本和顯卡的成本,以確保項目的順利進行和成功實施深度學習模型的研發(fā)需要具有深度學習和機器學習背景的專業(yè)人員,他們負責模型的設(shè)計、算法優(yōu)化、超參數(shù)調(diào)整等工作。美國的機器學習工程師的平均年薪約為12萬美元,而深度學習工程師的平均年薪則更高,約為14萬美元。因此,合理控制研發(fā)人員的成本,并保證其具備高水平的技能和專業(yè)知識,對于端側(cè)大模型的研發(fā)和應(yīng)用至關(guān)重要。其次,顯卡的性能和規(guī)模直接影響著模型訓練的速度和效率。一臺高端顯卡如NVIDIAGeForceRTX3,090的價格約為1,500美元。此外,顯卡可以通過云服務(wù)提供商租用,這也是許多企業(yè)在進行端側(cè)大模型的研發(fā)和優(yōu)化時采取的一種常見方式。但在長期使用過程中,租用成本也會成為企業(yè)的一項不小的支出。因此,企業(yè)需要綜合考慮研發(fā)人員的成本、顯卡租用成本以及其他相關(guān)成本,以確保研發(fā)過程的經(jīng)濟性和可持續(xù)性。來源:專家訪談,智慧文旅,頭豹研究院400-072-558813行業(yè)研讀

|2024/5中國:人工智能系列中國端側(cè)大模型市場探析——行業(yè)場景?取決于行業(yè)對數(shù)據(jù)安全、隱私保護的需求、行業(yè)本身智能設(shè)備的普及程度以及AI大模型技術(shù)的成熟度,這些因素的相互作用和共同推動,端側(cè)大模型將推動各行業(yè)智能化發(fā)展的步伐中國端側(cè)大模型行業(yè)——行業(yè)場景分析高政務(wù)金融法律汽車互聯(lián)網(wǎng)科技技術(shù)成熟度工業(yè)教育醫(yī)療電商泛娛樂其他傳統(tǒng)產(chǎn)業(yè)低高市場發(fā)展?jié)摿π袠I(yè)對數(shù)據(jù)安全和隱私保護的需求將直接影響端側(cè)大模型的應(yīng)用?隨著數(shù)據(jù)泄露和隱私問題的日益突出,各行業(yè)對于數(shù)據(jù)的保護需求愈發(fā)迫切。因此,在端側(cè)大模型的應(yīng)用中,需要采取一系列的技術(shù)手段來確保數(shù)據(jù)的安全性和隱私性,如聯(lián)合學習、加密計算等。這將促使行業(yè)在應(yīng)用端側(cè)大模型時更加謹慎和審慎,但也為解決數(shù)據(jù)安全隱患提供了新的解決方案。因此,端側(cè)大模型在金融、醫(yī)療、政務(wù)等對數(shù)據(jù)安全要求較高的行業(yè)具有較大發(fā)展?jié)摿Α?行業(yè)本身智能設(shè)備的普及程度也將影響端側(cè)大模型的發(fā)展前景隨著智能設(shè)備的普及程度提高,對于端側(cè)AI應(yīng)用的需求也將相應(yīng)增加。這些智能設(shè)備不僅提供了豐富的數(shù)據(jù)來源,也為端側(cè)大模型的運行提供了更多的計算資源和場景。例如,隨著智慧教堂的普及率加深,教育成為端側(cè)大模型未來發(fā)展的潛力場景之一。此外,在醫(yī)療領(lǐng)域,家用健康監(jiān)測設(shè)備能夠使數(shù)據(jù)存儲在設(shè)備端,更能滿足客戶的隱私性。?AI大模型技術(shù)的成熟度是端側(cè)大模型發(fā)展的重要因素之一端側(cè)大模型應(yīng)用依賴于AI大模型的技術(shù)基礎(chǔ),隨著AI大模型在自然語言處理、計算機視覺、語音識別等領(lǐng)域的發(fā)展和成熟,端側(cè)大模型應(yīng)用也得到推動;各行業(yè)對端側(cè)設(shè)備上運行的大型AI模型的需求不斷增加,促使端側(cè)大模型應(yīng)用成熟度與AI大模型保持一致;同時,技術(shù)轉(zhuǎn)移和跨界應(yīng)用使得一些在特定行業(yè)中成熟的AI大模型技術(shù)可以被應(yīng)用到其他行業(yè)的端側(cè)設(shè)備中,推動兩者的同步發(fā)展。來源:專家訪談,頭豹研究院400-072-558814行業(yè)研讀

|2024/5中國:人工智能系列中國端側(cè)大模型市場探析——業(yè)務(wù)場景?端側(cè)大模型能在保障數(shù)據(jù)隱私的同時,實現(xiàn)低延遲的實時計算,并提供高度個性化的服務(wù),因此基于對數(shù)據(jù)隱私、計算實時以及個性化等強需求,AI手機、自動駕駛和機器人成為端側(cè)大模型核心應(yīng)用場景端側(cè)大模型業(yè)務(wù)場景分析——按不同的設(shè)備類型分類AI手機自動駕駛機器人其他場景?基于對數(shù)據(jù)隱私性、計算實時性以及市場個性化需求等因素,AI手機、自動駕駛以及機器人成為推動端側(cè)大模型的三大核心應(yīng)用場景。強需求場景?AI手機:數(shù)據(jù)隱私性和計算實時性現(xiàn)代智能手機在語音助手、圖像識別、自然語言處理等方面廣泛應(yīng)用AI技術(shù),這些功能需要處理大量的用戶數(shù)據(jù)。如果將這些數(shù)據(jù)傳輸?shù)皆贫诉M行處理,不僅增加了隱私泄露的風險,還會由于網(wǎng)絡(luò)延遲導致用戶體驗下降。端側(cè)大模型可以在本地設(shè)備上進行數(shù)據(jù)處理,確保用戶的敏感信息不被泄露,同時大幅提升計算的實時性。?自動駕駛:實時決策和安全性自動駕駛車輛需要在復雜的道路環(huán)境中實時做出決策,如避讓行人、識別交通信號和處理突發(fā)情況。這些決策需要極低的延遲,因為任何延誤都可能帶來安全隱患。端側(cè)大模型能夠在車輛本地進行高效計算,確保實時響應(yīng)和高精度決策,從而提升自動駕駛系統(tǒng)的安全性和可靠性。此外,端側(cè)計算減少了對網(wǎng)絡(luò)連接的依賴,在網(wǎng)絡(luò)條件不佳的情況下仍能保持車輛的正常運行。?機器人:個性化服務(wù)和效率提升在機器人應(yīng)用中,特別是家庭服務(wù)機器人和醫(yī)療機器人,端側(cè)大模型的優(yōu)勢在于能夠提供個性化服務(wù)和提高效率。機器人需要根據(jù)用戶的具體需求和偏好調(diào)整其行為和功能,例如在家庭中提供特定的照護服務(wù)或在醫(yī)院中執(zhí)行特定的醫(yī)療任務(wù)。通過在本地處理數(shù)據(jù),機器人可以更好地理解用戶的行為和習慣,從而提供更加個性化的服務(wù)。此外,端側(cè)計算能夠提升機器人的響應(yīng)速度和任務(wù)執(zhí)行效率,在面對復雜環(huán)境和任務(wù)時,機器人可以迅速做出決策和調(diào)整,確保任務(wù)的準確性和高效性。這種能力不僅提高了用戶體驗,還拓展了機器人的應(yīng)用范圍和市場潛力。來源:專家訪談,頭豹研究院400-072-558815行業(yè)研讀

|2024/5中國:人工智能系列業(yè)務(wù)場景(接上頁)?隨著技術(shù)的不斷進步和應(yīng)用場景的拓展,端側(cè)大模型各業(yè)務(wù)場景中存在差異,文本生成和圖片生成場景相對較成熟,音頻生成場景逐步發(fā)展,視頻生成和多模態(tài)生成場景尚處于起步階段端側(cè)大模型業(yè)務(wù)場景分析——按不同的技術(shù)場景分類云端端側(cè)文本生成圖片生成音頻生成視頻生成多模態(tài)生成0.11101001000模型規(guī)模(十億參數(shù))?文本生成與圖片生成的業(yè)務(wù)場景文本生成模型如GPT系列在端側(cè)的應(yīng)用逐漸成熟,尤其是在智能手機等移動設(shè)備上的應(yīng)用。通過模型壓縮和優(yōu)化,現(xiàn)有的文本生成模型已經(jīng)可以在資源受限的環(huán)境下高效運行。圖片生成模型的端側(cè)應(yīng)用也在逐步發(fā)展,尤其是一些輕量級的圖像生成模型。這些模型可以用于圖像風格轉(zhuǎn)換、圖像修復、圖像增強等應(yīng)用,為用戶提供更豐富的圖像處理功能。隨著硬件技術(shù)的進步和模型算法的改進,圖片生成模型在端側(cè)的應(yīng)用將進一步成熟。?音頻生成的業(yè)務(wù)場景音頻生成模型在端側(cè)的應(yīng)用相對較新,但也在不斷發(fā)展。目前一些語音合成模型已經(jīng)可以在端側(cè)設(shè)備上實現(xiàn)實時的語音合成功能,如智能語音助手、語音提示等。?視頻生成和多模態(tài)生成的業(yè)務(wù)場景相比于文本和圖片生成模型,視頻生成模型的端側(cè)應(yīng)用相對較少,主要原因是視頻數(shù)據(jù)的復雜性和處理量較大。而一些視頻壓縮和編解碼技術(shù)的進步以及硬件加速器的應(yīng)用,為視頻生成模型在端側(cè)的應(yīng)用提供一定的可能性。多模態(tài)生成模型是指同時處理多種類型數(shù)據(jù)的生成模型,其在端側(cè)的應(yīng)用也在逐步探索和發(fā)展,如智能多模態(tài)搜索、多模態(tài)推薦系統(tǒng)等,但其成熟度相對較低,需要更多的研究和技術(shù)突破。來源:專家訪談,頭豹研究院400-072-558816行業(yè)研讀

|2024/5Chapter3行業(yè)分析?

政策分析?

行業(yè)壁壘?

競爭格局?

發(fā)展趨勢400-072-5588行業(yè)研讀

|2024/5中國:人工智能系列中國端側(cè)大模型市場探析——政策分析?中國政府將人工智能產(chǎn)業(yè)視為中國國家戰(zhàn)略核心,在端側(cè)大模型方面展現(xiàn)出積極的支持立場。在AI基礎(chǔ)設(shè)施以及生成式AI方面設(shè)立規(guī)范,整體政策環(huán)境對AI產(chǎn)業(yè)及端側(cè)大模型的健康發(fā)展表現(xiàn)有利中國端側(cè)大模型相關(guān)政策,2020-2024年政策名稱頒布日期

頒布主體主要內(nèi)容及影響一方面,該辦法支持人工智能算法、框架等基礎(chǔ)技術(shù)的自主創(chuàng)新、推廣應(yīng)用、國際合作,為端側(cè)大模型發(fā)展提供了政策支持和技術(shù)保障;另一方面,該辦法要求端側(cè)大模型在數(shù)據(jù)來源、算法設(shè)計、內(nèi)容標識等方面遵守法律法規(guī)的要求,尊重社會公德、公序良俗,防止生成虛假信息、侵犯他人權(quán)益、造成社會不良影響等問題,為端側(cè)大模型發(fā)展提供了規(guī)范引導和監(jiān)督約束《針對生成式人工智能服務(wù)出臺管理辦法》2023-04網(wǎng)信部不僅在技術(shù)基礎(chǔ)、數(shù)據(jù)資源、應(yīng)用場景、技術(shù)創(chuàng)新和政策環(huán)境等多個層面提供了支持和指導,還明確了發(fā)展方向和合規(guī)要求,為端側(cè)大模型的健康、快速發(fā)展鋪平了道路。這促使相關(guān)企業(yè)需不斷提升技術(shù)創(chuàng)新能力,加強數(shù)據(jù)安全與隱私保護,深化與實體經(jīng)濟的融合,以適應(yīng)并推動數(shù)字中國建設(shè)的總體布局《數(shù)字中國建設(shè)整體布局規(guī)劃》

2023-02國務(wù)院科技部一方面,該指導意見鼓勵在各行業(yè)領(lǐng)域深入挖掘人工智能技術(shù)應(yīng)用場景,為端側(cè)大模型提供了豐富多樣的應(yīng)用場景,如聊天和文本生成、機器翻譯、語音識別與合成、自然語言理解與推理等;另一方面,該指導意見強調(diào)以需求為牽引謀劃人工智能技術(shù)應(yīng)用場景,為端側(cè)大模型提供了需求驅(qū)動的動力,促進端側(cè)大模型在解決實際問題中優(yōu)化升級《關(guān)于加快場景創(chuàng)新以人工智能高水平應(yīng)用促進經(jīng)濟高質(zhì)量發(fā)展

2022-07的指導意見》發(fā)揮科技支撐和引領(lǐng)作用,支持有條件的地區(qū)和高校、科研機構(gòu)、企業(yè)開展語言智能技術(shù)研究,著力在自然語言處理、機器寫作、機器翻譯、機器評測等領(lǐng)域取得實質(zhì)成果,為端側(cè)大模型奠定技術(shù)實力《關(guān)于促進新一代人工智能產(chǎn)業(yè)2022-012021-11教育部工信部高質(zhì)量發(fā)展的若干措施》從事互聯(lián)網(wǎng)信息服務(wù)的企業(yè)應(yīng)建立客服熱線電話,并在網(wǎng)站、APP等顯著位置公示客服熱線電話號碼。鼓勵具備條件的企業(yè)提供充足的人工客服坐席《工業(yè)和信息化部關(guān)于開展信息通信服務(wù)感知提升行動的通知》指南規(guī)劃了新一代人工智能標準體系的總體框架和具體內(nèi)容,包括標準目錄、標準體系結(jié)構(gòu)、標準分類和標準制定程序等。通過建設(shè)完備、系統(tǒng)、規(guī)范的人工智能標準體系,促進人工智能技術(shù)的創(chuàng)新和應(yīng)用,保障人工智能的安全和可持續(xù)發(fā)展《國家新一代人工智能標準體系建設(shè)指南》2020-07網(wǎng)信辦來源:政府各部門,頭豹研究院400-072-558818行業(yè)研讀

|2024/5中國:人工智能系列中國端側(cè)大模型市場探析——競爭格局?依托技術(shù)實力和生態(tài)建設(shè),頭部大模型廠商紛紛投入端側(cè)大模型市場,利用在云端大模型領(lǐng)域的技術(shù)優(yōu)勢,商湯商量、阿里通義以及面壁智能率先在端側(cè)大模型領(lǐng)域取得領(lǐng)先突破中國端側(cè)大模型行業(yè)——競爭格局強領(lǐng)導者商湯阿里云面壁智能技術(shù)力百度智能云騰訊云華為云科大訊飛強市場力依托技術(shù)實力和生態(tài)建設(shè),頭部大模型廠商紛紛投入端側(cè)大模型市場弱?頭部大模型廠商依托其深厚的技術(shù)積累和成熟的生態(tài)系統(tǒng),正加速布局端側(cè)大模型市場。一方面,這些廠商利用在云端大模型領(lǐng)域的技術(shù)優(yōu)勢,通過算法優(yōu)化、模型壓縮等先進技術(shù),有效解決了端側(cè)算力限制問題,使得復雜的AI功能能夠在移動設(shè)備、物聯(lián)網(wǎng)終端等平臺上高效運行,滿足用戶對即時性、隱私保護及離線使用的需求,如商湯發(fā)布1.8B端側(cè)大模型,阿里也發(fā)布18億參數(shù)的通義端側(cè)大模型。另一方面,通過構(gòu)建開放的生態(tài)平臺,整合上下游資源,賦能開發(fā)者與行業(yè)伙伴,共同探索端側(cè)AI的多元化應(yīng)用場景。?技術(shù)融合與創(chuàng)新驅(qū)動將加劇端側(cè)大模型市場競爭隨著端側(cè)大模型技術(shù)的日益成熟,未來中國端側(cè)大模型行業(yè)的競爭格局將呈現(xiàn)出技術(shù)深度融合與創(chuàng)新驅(qū)動的新態(tài)勢。一方面,技術(shù)融合將成為競爭的核心要素。廠商不再局限于單一技術(shù)的優(yōu)化,而是趨向于跨領(lǐng)域技術(shù)的集成,如將自然語言處理、計算機視覺、邊緣計算等技術(shù)與大模型結(jié)合,打造綜合型AI解決方案。?生態(tài)系統(tǒng)構(gòu)建與合作模式的創(chuàng)新將成為塑造競爭格局的關(guān)鍵在端側(cè)大模型的部署與應(yīng)用中,單一企業(yè)的力量難以覆蓋全部產(chǎn)業(yè)鏈環(huán)節(jié),因此構(gòu)建開放合作的生態(tài)系統(tǒng),促進技術(shù)、數(shù)據(jù)、應(yīng)用和服務(wù)的共享,將成為提升競爭力的重要途徑。這包括與芯片制造商、硬件供應(yīng)商、軟件開發(fā)商、行業(yè)應(yīng)用提供商等多方面的深度合作,形成共生共贏的生態(tài)體系。例如端側(cè)大模型推動AI芯片市場發(fā)展,2023年全球邊緣AI芯片出貨預計達22.86億顆。此外,創(chuàng)新的合作模式,如聯(lián)合研發(fā)、數(shù)據(jù)共享協(xié)議、靈活的IP授權(quán)方式等,將促進資源優(yōu)化配置,加速技術(shù)產(chǎn)品的迭代與市場拓展。來源:企業(yè)官網(wǎng),頭豹研究院400-072-558819行業(yè)研讀

|2024/5

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論