英特爾+電信運(yùn)營(yíng)商AI實(shí)踐手冊(cè)

AIAI實(shí)踐手冊(cè)#云同行AI加速112205CONTENTS54人工智能市場(chǎng)支出指南05CONTENTS54人工智能市場(chǎng)支出指南.Gaudi2在中國(guó)市場(chǎng)隆重推出.經(jīng)英特爾優(yōu)化的開源AI框架和工具.基于第四代英特爾?至強(qiáng)?可擴(kuò)展處理器的AI調(diào)優(yōu)指南.廣泛的英特爾AI產(chǎn)品組合和合作伙伴擴(kuò)展AI產(chǎn)品陣容以滿足中國(guó)市場(chǎng)的需求33AI的爆炸式增長(zhǎng)(PFLOPs)1e+081e+071e+051e+041e+0320122013201420152016201720182019202020212022資料來(lái)源：Moore,S.(2022)，IEEESpectrum。44單位：百萬(wàn)美元在2026年預(yù)計(jì)將超過(guò)3,000億美元27.0%*2022-2026年的復(fù)合增長(zhǎng)率（CAGR）單位：百萬(wàn)美元在2026年預(yù)計(jì)將超過(guò)3,000億美元27.0%*2022-2026年的復(fù)合增長(zhǎng)率（CAGR）1,540億美元26.9%*相比2022年增長(zhǎng)=DC30.0%25,00020,00015,00010,0005,000020.0%10.0%0.0%264.4億美元2021-2026五年復(fù)合增長(zhǎng)率（CAGR）將超過(guò)20%30,000202120222023202420252026如欲了解更多詳情請(qǐng)?jiān)L問(wèn)：/getdoc.jsp?containerId=prUS50454123/getdoc.jsp?containerId=prCHC505398235人工智能市場(chǎng)=DCProfessionalServicesOthersDiscreteManufacturing全球項(xiàng)目顧問(wèn)和推薦系統(tǒng)TopIndustryBasedon2023=DCProfessionalServicesOthersDiscreteManufacturing全球項(xiàng)目顧問(wèn)和推薦系統(tǒng)TopIndustryBasedon2023MarketShare(Value(Constant))46.7%9.5%BankingRetailProcessManufacturingSource:IDCWorldwideArti?ciallntelligenceSpendingGuide-Forecast2023|Feb(V12023)增強(qiáng)的智能客服銷售流程推薦和增強(qiáng)Top3行業(yè)AI應(yīng)用場(chǎng)景人工智能主要應(yīng)用行業(yè)及場(chǎng)景=DC中國(guó)人工智能市場(chǎng)支出預(yù)測(cè)（行業(yè)），2026=DC29.3%47.0%8.9%7.8%7.0%搜索搜索公共公共安全風(fēng)險(xiǎn)風(fēng)險(xiǎn)管理推薦推薦城市城市管理欺詐欺詐檢測(cè)廣告廣告營(yíng)銷社會(huì)社會(huì)服務(wù)投資投資分析6如欲了解更多詳情請(qǐng)?jiān)L問(wèn)：/getdoc.jsp?containerId=prUS504541236/getdoc.jsp?containerId=prCHC50539823AI正在顛覆我們的日常生活77賦能重要的技術(shù)轉(zhuǎn)型88人工智能正在變革電信行業(yè)發(fā)揮資源優(yōu)勢(shì)構(gòu)建智能算網(wǎng).加速云網(wǎng)融合與算力網(wǎng)絡(luò)建設(shè)：簡(jiǎn)化網(wǎng)絡(luò)規(guī)劃和運(yùn)營(yíng)，從云到邊緣加速塑造新型網(wǎng)絡(luò)基礎(chǔ)設(shè)施，.提升運(yùn)營(yíng)效益：在算力網(wǎng)絡(luò)運(yùn)營(yíng)全周期發(fā)揮關(guān)鍵作用，驅(qū)動(dòng)網(wǎng)絡(luò)持續(xù)變革，協(xié)同新技術(shù)提升算力網(wǎng)絡(luò)智能化水平，全面提升安全與服務(wù)質(zhì)量；.推動(dòng)產(chǎn)業(yè)數(shù)智轉(zhuǎn)型：提供AIaaS平臺(tái)，開發(fā)行業(yè)大模型，提供智能化方案，驅(qū)動(dòng)AI產(chǎn)業(yè)發(fā)展和多.釋放綜合優(yōu)勢(shì)，打造智能算力：充分發(fā)揮超大規(guī)模數(shù)據(jù)、算網(wǎng)資源以及大模型等核心算法優(yōu)勢(shì)，加速實(shí)施云改數(shù)轉(zhuǎn)戰(zhàn)略，推動(dòng)網(wǎng)絡(luò)+AI技術(shù)融合創(chuàng)新，以AI為核心打造智能算力網(wǎng)絡(luò)。99.打造智慧運(yùn)營(yíng)大腦，提升服務(wù)水平/xtt/202110/t20211019_150923.shtml“加快建設(shè)信息網(wǎng)絡(luò)基礎(chǔ)設(shè)施。建設(shè)高速泛在、天地一體、云網(wǎng)融合、智能敏捷、綠色低碳、安全可控的智能化綜合性數(shù)字信息1生成式AI(GenerativeAI)生成式AI(GenerativeAI)AI關(guān)鍵用例生成式生成式AI與萬(wàn)物數(shù)字化息息相關(guān)，其描述了用于創(chuàng)建新數(shù)據(jù)的算法，這些數(shù)據(jù)類似于人類生成的內(nèi)容，包括音頻、代碼、圖像、文本、模擬和視頻。這項(xiàng)技術(shù)通過(guò)現(xiàn)有內(nèi)容和數(shù)據(jù)進(jìn)行訓(xùn)練，為自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、元數(shù)據(jù)和語(yǔ)音合成等應(yīng)如今，ChatGPT（一種針對(duì)人類對(duì)話而優(yōu)化的GPT-3/4大型語(yǔ)言模型的變體）讓普通人不僅了解了生成式AI的強(qiáng)大力量，也了解了企業(yè)可以從大型語(yǔ)言模型（LLM）中獲得的潛在投資回報(bào)。生成式AI推動(dòng)著前所未有的計(jì)算需求，企業(yè)現(xiàn)在比以往任何時(shí)候都更需要一個(gè)全面的AI戰(zhàn)略，該戰(zhàn)略必須針對(duì)性能、生產(chǎn)力和能效進(jìn)行獨(dú)特設(shè)計(jì)，以滿足包含生成式AI在內(nèi)的新的計(jì)算需求。英特爾獨(dú)特的生成式AI解決方案（DemocratizedAIandanOpenEcosystem可以滿足當(dāng)今和未來(lái)的計(jì)算需求：.英特爾致力于AI普適化，結(jié)合硬件方面的獨(dú)特優(yōu)勢(shì)，支持開放的生態(tài)系統(tǒng)，面向未來(lái)進(jìn)行正確的投資，以滿足全方位AI的計(jì)算需求，包括生成式AI；.英特爾采用開放、經(jīng)濟(jì)、可擴(kuò)展的方法，可將AI擴(kuò)展到任何地方—從云端到邊緣—使企業(yè)能夠?qū)?shù)據(jù)轉(zhuǎn)化為價(jià)值；.英特爾的領(lǐng)先產(chǎn)品把AI性能提升到新高度。通過(guò)結(jié)合至強(qiáng)?處理器和Gaudi2的互補(bǔ)優(yōu)勢(shì)，英特爾能夠提供一系列豐富且新興的AI和深度學(xué)習(xí)功能，助力客戶把握AI帶來(lái)的新機(jī)遇，進(jìn)而將生產(chǎn)力和效率提升至新高度；.英特爾致力于培育開放的生態(tài)系統(tǒng)，建立信任、提供選擇并確?；ゲ僮餍?，以滿足性能、生產(chǎn)力.英特爾提供多樣的硬件組合，可將各種AI負(fù)載的推理和訓(xùn)練性能提升至新的水平，以滿足對(duì)速度應(yīng)考量的因素按業(yè)務(wù)需求選擇合適的AI方法時(shí)，數(shù)據(jù)特點(diǎn)數(shù)據(jù)特點(diǎn)人工智能類型人工智能類型人工智能算法類別人工智能算法類別發(fā)現(xiàn)變量間的關(guān)系結(jié)構(gòu)化數(shù)據(jù)，批量分析機(jī)器學(xué)習(xí)預(yù)測(cè)分類型分類標(biāo)簽或預(yù)測(cè)分類型分類標(biāo)簽或進(jìn)行數(shù)據(jù)分類結(jié)構(gòu)化數(shù)據(jù)，批量分析結(jié)構(gòu)化數(shù)據(jù)，批量分析機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)揭示變量間具有意義的關(guān)系結(jié)構(gòu)化數(shù)據(jù)，批量分析機(jī)器學(xué)習(xí)進(jìn)行圖像分類，在圖像中進(jìn)行圖像分類，在圖像中找到識(shí)別對(duì)象井進(jìn)行分類MRI掃描片等)，批量或?qū)崟r(shí)分析，小型數(shù)據(jù)集深度學(xué)習(xí)深度學(xué)習(xí):卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)(CNN)從文本中提取內(nèi)容和意義Oice文檔、社交媒體帖文等)，非機(jī)構(gòu)化音頻/視頻內(nèi)容，批量或?qū)崟r(shí)分析深度學(xué)習(xí):語(yǔ)言翻譯，語(yǔ)音識(shí)別長(zhǎng)短時(shí)記憶(LSTM)，遞歸神經(jīng)網(wǎng)絡(luò)(RNN)將文本將文本/文字轉(zhuǎn)為語(yǔ)音非結(jié)構(gòu)化文本，實(shí)時(shí)分析非結(jié)構(gòu)化文本，實(shí)時(shí)分析生成對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)(GAN)推薦廣告、搜索、應(yīng)用等結(jié)構(gòu)化客戶數(shù)據(jù)，非結(jié)構(gòu)化文本，實(shí)時(shí)分析多層感知器(MLP)生成像訓(xùn)練數(shù)據(jù)的圖像生成像訓(xùn)練數(shù)據(jù)的圖像非結(jié)構(gòu)化圖像和視頻，實(shí)時(shí)非結(jié)構(gòu)化圖像和視頻，實(shí)時(shí)GANGAN結(jié)合CNN從對(duì)行為的反饋中學(xué)習(xí)批量或?qū)崟r(shí)分析CNN或CNN+RNN90%(到2025年)的企業(yè)應(yīng)用將使用90%(到2025年)的企業(yè)應(yīng)用將使用嵌入式AI70%的數(shù)據(jù)中心AI推理任務(wù)可擴(kuò)展處理器上運(yùn)行提升洞察質(zhì)量驅(qū)動(dòng)關(guān)鍵業(yè)務(wù)產(chǎn)出?從云端、網(wǎng)絡(luò)、邊緣，到終端設(shè)備，更廣泛的應(yīng)用場(chǎng)景意味著AI的部署環(huán)境正變得?在異構(gòu)平臺(tái)上運(yùn)行全棧軟件，需要用戶基于不同的硬件基礎(chǔ)設(shè)施來(lái)設(shè)計(jì)高效穩(wěn)定的開發(fā)和部署方案，且需要根據(jù)業(yè)務(wù)場(chǎng)景、軟件框架的不同來(lái)實(shí)施復(fù)雜的調(diào)優(yōu)過(guò)程。84%認(rèn)為他們需要借助84%AI來(lái)獲得成功的高管對(duì)于力求在整個(gè)企業(yè)業(yè)務(wù)層面擴(kuò)展AI應(yīng)用的企業(yè)來(lái)說(shuō)，降低復(fù)雜性是關(guān)鍵所在。arti?cial-intelligence/resources/advance-insights-with-ai-brief.html部署AI需要異構(gòu)芯片輸入數(shù)據(jù)AI助力實(shí)現(xiàn)出色的業(yè)務(wù)成果資料來(lái)源：英特爾預(yù)測(cè)結(jié)果基于分析師數(shù)據(jù)通用計(jì)算服務(wù)于端到端AI管線中小型訓(xùn)練和微調(diào)中小型訓(xùn)練和微調(diào)終端側(cè)推理低時(shí)延和稀疏推理邊緣側(cè)AI推理效率可擴(kuò)展性效率可擴(kuò)展性在基于CPU的基礎(chǔ)設(shè)施上運(yùn)行AI工作負(fù)載部署AI時(shí)需要考量的基礎(chǔ)設(shè)施因素靈活性靈活性在漫長(zhǎng)的AI開發(fā)流程中，對(duì)計(jì)算資源的要求各不相同基于英特爾?技術(shù)的現(xiàn)有基礎(chǔ)設(shè)施可以支持多種AI用例和工作負(fù)載推薦引擎推薦引擎應(yīng)用等多層感知器(MLP)訓(xùn)練和推理。將更大的內(nèi)存用于嵌入層經(jīng)典機(jī)器學(xué)習(xí)從數(shù)據(jù)獲取洞察回歸、分類、集群等將速度更快的內(nèi)核用于大型數(shù)據(jù)集和難以并行運(yùn)行的算法使用大數(shù)據(jù)樣本的模型醫(yī)學(xué)影像、地震卷積神經(jīng)網(wǎng)絡(luò)(CNN)訓(xùn)練和推理。需要更大的內(nèi)存其他實(shí)時(shí)推理圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理多種類別將速度更快的內(nèi)核用于難以井行處理的小批數(shù)據(jù)語(yǔ)音識(shí)別循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)實(shí)時(shí)推理。將速度更快的內(nèi)核用于順序、難以并行處理的數(shù)據(jù)CPU的優(yōu)勢(shì)數(shù)據(jù)中心容量空閑時(shí)段訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)任何類別任何用途用途類別行各業(yè)擁有更快和更好的洞察力。然而，不合格的硬件和未經(jīng)優(yōu)化的AI訓(xùn)練和推理解決方案阻礙了它們的進(jìn)一步發(fā)展。內(nèi)置AI加速縱觀市場(chǎng)上所有的CPU，第四代英特爾?至強(qiáng)?可擴(kuò)展處理器內(nèi)置眾多加速器，可為AI工作負(fù)載提供性能和能效優(yōu)勢(shì)，并可憑借全新的英特爾?高級(jí)矩陣擴(kuò)展（英特爾?AMX）提供卓越的AI訓(xùn)練和推理性能。高達(dá)高達(dá)5.7倍至10倍PyTorch實(shí)時(shí)推理性能提升高達(dá)3.5倍至10倍PyTorch訓(xùn)練性能提升啟用內(nèi)置英特爾?AMX(BF16)的第四代英特爾?至強(qiáng)?可擴(kuò)展處理器vs上一代產(chǎn)品（FP32）英特爾攜手生態(tài)系統(tǒng)合作伙伴，共推AI的繁榮演進(jìn)英特爾數(shù)千名軟件工程師正在整個(gè)AI生態(tài)系統(tǒng)中貢獻(xiàn)著自己的一份力量加速AI的發(fā)展。例如，NumPy、TensorFlow、PyTorch、Scikit-learn、XGBoost的主流開源版本均已面向英特爾?架構(gòu)進(jìn)行了優(yōu)化。英特爾提供了許多工具來(lái)加速AI發(fā)展，如用于推理模型優(yōu)化的OpenVINOTM工具套件；用于ApacheSpark上的分布式深度學(xué)習(xí)的BigDL；以及用于在任意基礎(chǔ)設(shè)施上協(xié)調(diào)機(jī)器學(xué)習(xí)管道的cnvrg.ioMLOps平臺(tái)。第四代英特爾?至強(qiáng)?可擴(kuò)展處理器，結(jié)合軟件優(yōu)化和生態(tài)系統(tǒng)合作，正在幫助人工智能開發(fā)者實(shí)現(xiàn)其生產(chǎn)力目標(biāo)，并從人工智能中更快地獲得商業(yè)價(jià)值。如欲了解更多詳情請(qǐng)?jiān)L問(wèn)：/content/www/cn/zh/customer-spotlight/cases/accelerate-ai-workload-with-amx.htmlIntelSolutionsMarketplace解決方案加速AI落地200+IntelSolutionsMarketplace解決方案加速AI落地200+一站式AI方案可選助力應(yīng)用快速落地加速AI應(yīng)用構(gòu)建150+容器鏡像幫助用戶快速構(gòu)建端到端AI數(shù)據(jù)應(yīng)用加速AI性能在20+典型AI負(fù)載下提供卓越性能表現(xiàn)架構(gòu)的AI基石Scikit-LearnPandasNumPy/SciPyXGBoost&More存儲(chǔ)連接CPU存儲(chǔ)連接CPUFPGAASICGPU人工智能基礎(chǔ)設(shè)施媒體與圖像深度學(xué)習(xí)推理深度學(xué)習(xí)訓(xùn)練(Gaudi)面向更廣泛工作負(fù)載AI專用專用專用GPUCPU面向數(shù)據(jù)中心的多樣化英特爾面向數(shù)據(jù)中心的多樣化英特爾AI硬件組合強(qiáng)大硬件組合，全面優(yōu)化AI工作負(fù)載，滿足多樣化算力需求廣泛的英特爾AI產(chǎn)品組合和合作伙伴通過(guò)豐富的軟硬件組合加速AI方案部署時(shí)間可運(yùn)行各種AI代碼，各類工作負(fù)載經(jīng)過(guò)英特爾優(yōu)化的開源AI框架和工具加速開發(fā)者構(gòu)建和部署AI應(yīng)用的旅程DataValidationDataPreparationFeatureCreationModelOptimizationDataLabellingDataTransformationModelSelectionModelEvaluationModelPackagingPerformanceMonitoringDataCleanupModelTrainingModelValidationEndpointConDataValidationDataPreparationFeatureCreationModelOptimizationDataLabellingDataTransformationModelSelectionModelEvaluationModelPackagingPerformanceMonitoringDataCleanupModelTrainingModelValidationEndpointCon?gModelServing端到端人工智能流水線的挑戰(zhàn)DataCollectionDataIngestionDataAnalysis只有53%的AI項(xiàng)目能夠從原型到生產(chǎn)(Gartner)2基于英特爾對(duì)截至2021年12月，運(yùn)行AI推理工作負(fù)載的全球數(shù)據(jù)中心服務(wù)器裝機(jī)量的市場(chǎng)建模數(shù)據(jù)來(lái)源:/article/3639028/why-ai-investments-fail-to-deliver.html2020DataCollectionDataValidationDataPreparationDataIngestionDataLabellingDataTransformation數(shù)據(jù)準(zhǔn)備DataDataAnalysisCleanupDataCollectionDataValidationDataPreparationDataIngestionDataLabellingDataTransformation數(shù)據(jù)準(zhǔn)備DataDataAnalysisCleanup端到端人工智能流水線的挑戰(zhàn)經(jīng)典機(jī)器學(xué)習(xí)經(jīng)典機(jī)器學(xué)習(xí)以幾十年的行業(yè)投資，基于運(yùn)行機(jī)器學(xué)習(xí)代碼深度學(xué)習(xí)內(nèi)置AI加速器的第四代小/中型模型和遷移學(xué)習(xí)/調(diào)優(yōu)的數(shù)據(jù)中心推理運(yùn)行于70%只有53%的AI項(xiàng)目能夠從原型到生產(chǎn)(Gartner)2基于英特爾對(duì)截至2021年12月，運(yùn)行AI推理工作負(fù)載的全球數(shù)據(jù)中心服務(wù)器裝機(jī)量的市場(chǎng)建模數(shù)據(jù)來(lái)源:/article/3639028/why-ai-investments-fail-to-deliver.htmlAI需要一個(gè)均衡的服務(wù)器平臺(tái)2222推薦系統(tǒng)推薦系統(tǒng)SystolicFLOPsMemoryCapacityMemoryBandwidthcoalescedmemoryaccessesscalarmemoryaccessesDensepartSparsepartGNNSystolicFLOPsComputeinNetworkMemoryBandwidthcoalescedmemoryaccessesscalarmemoryaccessesComputeinNetworkNetworkBandwidthNetworkLatency深度學(xué)習(xí)和GNN訓(xùn)練NetworkLatencyNetworkBandwidthCapacityMemoryNLPNLPSystolicFLOPsscalarmemoryaccessescoalescedmemoryaccessesCNNSystolicFLOPsscalarmemoryaccessescoalescedmemoryaccesses深度學(xué)習(xí)推理MemoryBandwidthMemoryBandwidthMemoryCapacityMemoryCapacityt-SNEt-SNESystolicFLOPsscalarmemoryaccesseskmeansSystolicFLOPsscalarmemoryaccessescoalescedmemoryaccesses MemorymemoryBandwidthaccessesMemoryCapacity機(jī)器學(xué)習(xí)coalescedMemoryBandwidthMemoryCapacity3-10x7.7x效率提升性能提升/瓦1采用內(nèi)置AI加速器的3-10x7.7x效率提升性能提升/瓦1采用內(nèi)置AI加速器的INT8/BF16模型內(nèi)置英特爾?AMX的第四代英特爾?至強(qiáng)?可擴(kuò)展處理器vs.第三代英特爾?至強(qiáng)?可擴(kuò)展處理器oneAPIAI生態(tài)系統(tǒng)使用主流的DL、ML和數(shù)據(jù)處理庫(kù)和框架、操作系統(tǒng)和虛擬機(jī)管理器最高512GB/路受保護(hù)的由BigDL和OpenVINOTM工具套件支持的機(jī)密AI計(jì)算300+深度學(xué)習(xí)模型50+經(jīng)過(guò)優(yōu)化的機(jī)器學(xué)習(xí)和圖模型Optimizationsup-streamed英特爾?AI開發(fā)者工具2x2xPCIExpress5.0相較于第三代英特爾?至強(qiáng)?可擴(kuò)展處理器1.51.5xDDR5內(nèi)存帶寬和容量相較于第三代英特爾?至強(qiáng)?可擴(kuò)展處理器23詳情請(qǐng)見(jiàn)以下網(wǎng)址的[A16,A17,A33]at/content/www/us/en/products/performance/benchmarks/4th-generation-intel-xeon-scalable-processors/23(英特爾?IAA)優(yōu)化內(nèi)存占用和查詢吞吐量(英特爾?Security)幫助保護(hù)數(shù)據(jù)機(jī)密性與代碼完整性Max系列集成高內(nèi)存帶寬，為科學(xué)計(jì)算與AI工作負(fù)載(英特爾?IAA)優(yōu)化內(nèi)存占用和查詢吞吐量(英特爾?Security)幫助保護(hù)數(shù)據(jù)機(jī)密性與代碼完整性Max系列集成高內(nèi)存帶寬，為科學(xué)計(jì)算與AI工作負(fù)載大幅提升數(shù)據(jù)吞吐量(英特爾?AMX)加速深度學(xué)習(xí)推理與訓(xùn)練(英特爾?DLB(英特爾?DLB)壓縮加速技術(shù)(英特爾?QAT)加速加密與壓縮操作提升與網(wǎng)絡(luò)處理相關(guān)的性能(英特爾?DSA)優(yōu)化數(shù)據(jù)流的傳輸和轉(zhuǎn)換2424性能更強(qiáng)大的服務(wù)器架構(gòu)英特爾?高級(jí)矩陣擴(kuò)展英特爾?數(shù)據(jù)流加速器英特爾?數(shù)據(jù)保護(hù)(英特爾?AMX)(英特爾?DLB)(英特爾?DSA)(英特爾?IAA)與壓縮加速技術(shù)(英特爾?QAT)高達(dá)高達(dá)高達(dá)高達(dá)高達(dá)8.6倍96%倍84%語(yǔ)音識(shí)別推理性能提升時(shí)延降幅SPDK-NVMeIOPS提升RocksDB性能提升內(nèi)核用量減幅這是啟用內(nèi)置AMX(BF16)這是在相同的吞吐量下，這是啟用內(nèi)置的這是啟用英特爾?IAA時(shí)與上一代產(chǎn)品(FP32)的啟用英特爾?DLB與使用英特爾?DSA與使用Ztsd軟件的比較結(jié)果英特爾?QAT比較結(jié)果軟件處理Istio-Envoy入口與使用ISA-L軟件的比較結(jié)果與使用開箱即用的軟件網(wǎng)關(guān)連接請(qǐng)求的比較結(jié)果在NGINX上實(shí)現(xiàn)相同的每秒連接次數(shù)時(shí)內(nèi)核用加速器帶來(lái)超越基礎(chǔ)架構(gòu)的階梯式性能提升加速器帶來(lái)超越基礎(chǔ)架構(gòu)的階梯式性能提升25詳情請(qǐng)見(jiàn)以下網(wǎng)址的[A26,W6,N18,D1,N15]：/content/www/us/en/products/performance/benchmarks/4th-generation-intel-xeon-scalable-processors/25vpdpbusd8-bitnewinstruction8-bitinput8-bitinput8-bitinput8-bitinput8-bitinput32-bitaccinput32-bitaccinput8-bitinput時(shí)鐘周期1vpmaddubswOutput32-bitaccoutput32-bitaccoutputconstantvpmaddwd32-bitaccoutputvpadddtdpbusd8-bitnewvpdpbusd8-bitnewinstruction8-bitinput8-bitinput8-bitinput8-bitinput8-bitinput32-bitaccinput32-bitaccinput8-bitinput時(shí)鐘周期1vpmaddubswOutput32-bitaccoutput32-bitaccoutputconstantvpmaddwd32-bitaccoutputvpadddtdpbusd8-bitnewinstruction一款處理器同時(shí)適用于標(biāo)量、矢量和矩陣 英特爾?AVX-51285 英特爾?AVX-512(VNNI)256 英特爾?AMX2,048int8ops/cycle/corewithint8ops/cycle/corewith2FMAsint8ops/cycle/coreMulti-foldMACsinoneinstructioncorewith2FMA時(shí)鐘周期時(shí)鐘周期2constant時(shí)鐘周期時(shí)鐘周期332-bitaccoutput2626?提供廣泛的軟硬件優(yōu)化，使AI加速能力獲得提升功能商業(yè)價(jià)值?提供廣泛的軟硬件優(yōu)化，使AI加速能力獲得提升功能商業(yè)價(jià)值?為AI/深度學(xué)習(xí)推理和訓(xùn)練工作負(fù)載帶來(lái)顯著性能提升軟件支持?市場(chǎng)上的主流框架、工具套件和庫(kù)（PyTorch、TensorFlow英特爾?oneAPI深度神經(jīng)網(wǎng)絡(luò)庫(kù)（英特爾?oneDNN）英特爾?高級(jí)矩陣擴(kuò)展（英特爾?AMX）"Tiles"Tiles"2D寄存器文件平鋪矩陣乘法每核可存儲(chǔ)每核可存儲(chǔ)更大的數(shù)據(jù)塊計(jì)算更大矩陣的指令用例用例性能增益（與上一代產(chǎn)品相比）語(yǔ)音識(shí)別推理語(yǔ)音識(shí)別推理高達(dá)8.6倍語(yǔ)音識(shí)別推理性能提升這是啟用內(nèi)置的英特爾?AMX(BF16)時(shí)與上一代產(chǎn)品(FP32)性能增益（與上一代產(chǎn)品相比）PyTorchPyTorch訓(xùn)練和推理高達(dá)PyTorch實(shí)時(shí)推理與訓(xùn)練性能提升這是啟用內(nèi)置的英特爾?AMX(BF16)時(shí)與上一代產(chǎn)品(FP32)27詳情請(qǐng)見(jiàn)以下網(wǎng)址的[A26,A16]：/content/www/us/en/products/performance/benchmarks/4th-generation-intel-xeon-scalable-processors/27腦浮點(diǎn)數(shù)(b?oat16)指數(shù)-表示小數(shù)點(diǎn)在分?jǐn)?shù)腦浮點(diǎn)數(shù)(b?oat16)指數(shù)-表示小數(shù)點(diǎn)在分?jǐn)?shù)/尾數(shù)中的位置符號(hào)-表示正數(shù)或負(fù)數(shù)BF16到FP32的簡(jiǎn)單轉(zhuǎn)換分?jǐn)?shù)/尾數(shù)-用于存儲(chǔ)FP32b?oat16FP16示例：Number:0.56580972671508789062596AsFP32:0.56580972671508789062532BitsB?oat16具有相同數(shù)量的指數(shù)位，因此可以表示和FP32一樣大的數(shù)字，但由于其用于存儲(chǔ)實(shí)際數(shù)字的位數(shù)較少，因此精度略低。FP16可以提供比b?oat16更高的精度，但用于表示指數(shù)位的比特位較少，不能支持相同的數(shù)字FP32可提供更高的精度許多AI功能并不需要FP32提供的精度水平與FP32相比，使用b?oat16可實(shí)現(xiàn)每周期兩倍的吞吐量從FP32轉(zhuǎn)換到b?oat16比轉(zhuǎn)相同范圍的數(shù)字，但精度略低英特爾?AVX-512矢量神經(jīng)網(wǎng)絡(luò)指令(VNNI)擴(kuò)展英特爾?AVX-512以加速CPU平臺(tái)上的AI/深度學(xué)習(xí)推理AVX-512VNNI將三條指令合而為一，可最大將三條指令合而為一，可最大限度地利用計(jì)算資源，提高緩存利用率，避免潛在的帶寬瓶頸2828低時(shí)延和稀疏推理邊緣側(cè)AI推理終端側(cè)推理中小型訓(xùn)練和微調(diào)低時(shí)延和稀疏推理邊緣側(cè)AI推理終端側(cè)推理中小型訓(xùn)練和微調(diào)深度學(xué)習(xí)加速器經(jīng)濟(jì)高效地訓(xùn)練生成式AI和大語(yǔ)言模型專用于深度學(xué)習(xí)訓(xùn)練和推理專用于深度學(xué)習(xí)訓(xùn)練和推理29297納米24個(gè)487納米24個(gè)48MBSRAMGaudi2在中國(guó)市場(chǎng)隆重推出9696GBHBM2e個(gè)專為訓(xùn)練大語(yǔ)言模型而構(gòu)建專為訓(xùn)練大語(yǔ)言模型而構(gòu)建3030加速器數(shù)量95%加速器數(shù)量95%在GPT-3訓(xùn)練基準(zhǔn)測(cè)試中實(shí)現(xiàn)接近線性的擴(kuò)展性45040035030025020015010050311.9min/使用384塊Gaudi2442.6min/使用256塊Gaudi2500400300200性能指標(biāo)基于MLPerfTraining3.0基準(zhǔn)測(cè)試。配置詳情請(qǐng)參見(jiàn)MLPCommons發(fā)布的結(jié)果。TPC編程工具模型庫(kù)編排開發(fā)者工具輕量級(jí)框架TPC編程工具模型庫(kù)編排開發(fā)者工具輕量級(jí)框架Gaudi2深度學(xué)習(xí)軟件和生態(tài)更快速、更輕松地開發(fā)全新模型3232面向數(shù)據(jù)中心的多樣化面向數(shù)據(jù)中心的多樣化英特爾AI硬件組合強(qiáng)大硬件組合，全面優(yōu)化AI工作負(fù)載，滿足多樣化算力需求廣泛的英特爾AI產(chǎn)品組合和合作伙伴通過(guò)豐富的軟硬件組合加速AI方案部署時(shí)間在隨處構(gòu)建和部署AI應(yīng)用經(jīng)過(guò)英特爾優(yōu)化的經(jīng)過(guò)英特爾優(yōu)化的開源AI框架和工具加速開發(fā)者構(gòu)建和部署AI應(yīng)用的旅程3333NEWMetaCloudv2022.3XGBoostIntegrationv2.2v2022.3NEWMetaCloudv2022.3XGBoostIntegrationv2.2v2022.3端到端生產(chǎn)力英特爾工具和套件優(yōu)化的框架英特爾?oneAPI編程模型HypervisorsOS&KernelCnvrg.ioMLOPsIntel?Dev.CloudEarlyaccessIntelAIKitCnvrg.ioMLOPsIntel?Dev.CloudEarlyaccessIntelAIKitPythonBigDLSPARKCatalog55+pre-trainedmodels55+pre-trainedmodelsIntelExt3.2InteloneCCLV2022.7oneCCLV2022.72022.2oneDALV2022.6KVM5.17WinServer22oneDNNv2.7ESXi/vSphere8.0Linux5.16RedHat8.6Ubuntu22.04SLES15SP4*Versionsidenti?edareminimumversionsthatsupportIntel?AMX3434通用AI平臺(tái)：更高的端到端機(jī)器學(xué)習(xí)性能 基因組學(xué)研究和診斷：用Scanpy對(duì)130萬(wàn)小鼠腦細(xì)胞進(jìn)行單細(xì)胞RNA-SEQ分析CellsCellsGenesGeneActivityMatrix DataPre-processingFilterFilterLinearRegressionNormalizeDimensionalityReductionDimensionalityReductionPCAPCAVisualizationVisualizationUMAPUMAPT-SNEClusteringClusteringLouvainLouvainLeidenLeidenK-means2022(代號(hào)Broadwell)2016單細(xì)胞單細(xì)胞RNASEQ端到端運(yùn)行時(shí)間（秒）1xBDX:TestbyIntelasof<11/25/22>.GCPn1-highmem-64instancebasedonIntelXeonprocessor(Broadwell),1socket,32cores,HTOn,64vCPUs,TurboOn,TotalMemory416GB,bios:Google,ucode:0x1,Ubuntu22.04,5.15.0-1022-gcp1xSPR:TestbyIntelasof<11/25/22>.1-node,1xIntelXeonPlatinum8480+,56cores,HTOn,TurboOn,TotalMemory250GB,0x2b000081,RedHatEnterpriseLinuxrelease8.6(Ootpa),Linux4.18.0-372.19.1.el8_6.x86_64BaselineScanpy:version1.8.1/scverse/scanpyOpenOmicsScanpy-basedsinglecellpipeline:/IntelLabs/Trans-Omics-Acceleration-Library/tree/master/applications/single_cell_pipeline,branch:master,commit:#8ae29eb越低越好279sec70xspeedup279sec70xspeedup端到端運(yùn)行時(shí)間（秒）19,470sec3535通用AI平臺(tái)：更高的端到端深度學(xué)習(xí)性能遷移學(xué)習(xí)遷移學(xué)習(xí)推理管線3636DatasetDocumentLevelSentimentAnalysis(DLSA)文檔級(jí)別的情感分析LoaddatasetLoaddatasetLoaddatasetLoaddatasetTokenizationandfeatureextractionTokenizationandfeatureextractionTokenizationandTokenizationandfeatureextractionLoadPRETRAINEDmodelLoadFINE-TUNEDmodelDeeplearningLoadPRETRAINEDmodelLoadFINE-TUNEDmodelDeeplearningFINE-TUNINGmodelDeeplearningDeeplearningINFERENCETransformersCompressor優(yōu)化已提交給上游技術(shù)/工具工具/套件Cnvrg.io否軟件工具套件AI套件是BigDL是OpenVINOTM工具套件是NeuralCompressor是SigOpt否深度學(xué)習(xí)框架TensorFlow是PyTorch是ONNX是PDPD是MXNet是機(jī)器學(xué)習(xí)框架XGBoost是Scikit-learn是CatBoost是LightGBM是數(shù)據(jù)準(zhǔn)備Modin是Spark是3737深度學(xué)習(xí)PyTorch深度學(xué)習(xí)PyTorch（英特爾?LPOT）ModelZooTensorFlow英特爾?oneAPIAIAnalytics工具套件3838加速端到端人工智能和數(shù)據(jù)分析管道?利用面向英特爾?架構(gòu)優(yōu)化的深度學(xué)習(xí)框架和工具提升訓(xùn)練和推理性能?使用計(jì)算密集型Python包為數(shù)據(jù)分析和機(jī)器學(xué)習(xí)工作流提供落地加速性能加速簡(jiǎn)化端到端加快開發(fā)提高生產(chǎn)力了解更多:/one數(shù)據(jù)分析數(shù)據(jù)分析&機(jī)器學(xué)習(xí)加速數(shù)據(jù)庫(kù)面向英特爾?架構(gòu)優(yōu)化的PythonHEAVY.AIBackend(formerlyOmniSci)Scikit-learnDaal-4PyXGBoostNumPyPandasSciPy示例及端到端工作負(fù)載CPUGPU支持的硬件架構(gòu)CPU硬件支持因個(gè)別工具而異。架構(gòu)支持將隨著時(shí)間的推移而擴(kuò)大。點(diǎn)擊點(diǎn)擊或通過(guò)如下鏈接獲取工具包IntelInstallerDockerApt,YumCondaIntel?DevCloud推薦時(shí)間序列計(jì)算機(jī)視覺(jué)AutomaticClusterServingAutoMLDistributedTensorFlow&PyTorchonSparkSparkDataframes&MLPipelinesforDLRayOnSparkInferenceModel推薦時(shí)間序列計(jì)算機(jī)視覺(jué)AutomaticClusterServingAutoMLDistributedTensorFlow&PyTorchonSparkSparkDataframes&MLPipelinesforDLRayOnSparkInferenceModelBigDL*：統(tǒng)一的大數(shù)據(jù)分析和AI平臺(tái)模型和算法(內(nèi)置模型和算法)機(jī)器學(xué)習(xí)工作流(自動(dòng)構(gòu)建端到端管道)端到端流水線(將AI模型無(wú)縫擴(kuò)展到分布式大數(shù)據(jù)平臺(tái))LaptopK8sClusterHadoopClusterCloudDLFrameworks(TF/PyTorch/BigDL/OpenVINOTM/LaptopK8sClusterHadoopClusterCloudDLFrameworks(TF/PyTorch/BigDL/OpenVINOTM/…)DistributedAnalytics(Spark/Flink/Ray/…)PythonLibraries(Numpy/Pandas/sklearn/…)由英特爾?oneAPI工具套件提供支持*指BigDL2.0已包含BigDL和AnalyticsZoo。39了解更多:/intel*指BigDL2.0已包含BigDL和AnalyticsZoo。39(DataProcessing&FeatureEngineering)(Built-inModels)(HyperparameterOptimization)Chronos框架：用于構(gòu)建大規(guī)模時(shí)間序列分析應(yīng)用程序的BigDL組件ChronosPipelineChronosPipeline2.Built-inModelsForecastersDetectorsSimulatorsOrca.automlDistributedTunningonBigDataClusterLaptop/SingleNodeK8sSpark/RayCloud3.(Optional)HPOAutoTSEstimatorAutoModelTspipeline1.DataProcessing&FeatureEngineeringTSDatasetBuilt-inDatasetOrca.learnDistributedtrainingonBigDataOrca.dataDistributeddata-parallelprocessingChronos框架架構(gòu)4040InferenceEngineCommonAPIthatabstractslow-levelprogrammingforeachhardwareDeploymentCPUPluginIntermediateRepresentation(.xml,.bin)ConvertsandoptimizestrainedmodelusingasupportedframeworkGPUPluginGNAPluginPost-TrainingOptimizationToolMyriadPluginForintel?NCS2&NCSHDDLPluginDeepLearningInferenceEngineCommonAPIthatabstractslow-levelprogrammingforeachhardwareDeploymentCPUPluginIntermediateRepresentation(.xml,.bin)ConvertsandoptimizestrainedmodelusingasupportedframeworkGPUPluginGNAPluginPost-TrainingOptimizationToolMyriadPluginForintel?NCS2&NCSHDDLPluginDeepLearningWorkbenchFGPAPluginManagerTrainedModel IRDataDeepLearningStreamerOpenCVOpenCLCodeSamples&Demos(e.g.Benchmarkapp,AccuracyChecker,ModelDownloader)OpenVINO?工具套件-由oneAPI提供支持旨在使用高性能人工智能和計(jì)算機(jī)視覺(jué)推理實(shí)現(xiàn)更加快速和準(zhǔn)確的實(shí)際結(jié)果，部署在從邊緣到云的、基于英特爾?XPU架構(gòu)(CPU、GPU、FPGA、VPU)的生產(chǎn)環(huán)境中1.BUILD2.OPTIMIZE1.BUILD2.OPTIMIZE3.DEPLOYRead,Load,InferModelOptimizerOpenModelZoo100+opensourcedandoptimizedpre-trainedmodels;80+supportedpublicmodels學(xué)習(xí)推理部署易于使用隨處部署了解更多:/openvino基于第四代英特爾基于第四代英特爾?至強(qiáng)?可擴(kuò)展處理器的人工智能調(diào)優(yōu)指南掃碼獲取完整調(diào)優(yōu)指南?全新內(nèi)置AI加速引擎-英特爾?AMX?軟硬件配置?面向Linux操作系統(tǒng)的優(yōu)化?面向AI框架的優(yōu)化-面向英特爾?架構(gòu)優(yōu)化的TensorFlow-英特爾?ExtensionforPyTorch?面向AI神經(jīng)網(wǎng)絡(luò)模型的低精度優(yōu)化?AI模型推理加速–OpenVINO?工具套件?數(shù)據(jù)分析和機(jī)器學(xué)習(xí)加速4242面向數(shù)據(jù)中心的多樣化英特爾面向數(shù)據(jù)中心的多樣化英特爾AI硬件組合強(qiáng)大硬件組合，全面優(yōu)化AI工作負(fù)載，滿足多樣化算力需求廣泛的英特爾AI產(chǎn)品組合和合作伙伴通過(guò)豐富的軟硬件組合加速AI方案部署時(shí)間以多樣化軟硬件組合加速AI部署經(jīng)過(guò)英特爾優(yōu)化的開源AI框架和工具加速開發(fā)者構(gòu)建和部署AI應(yīng)用的旅程4343相較于上一代產(chǎn)品的性能提升高達(dá)4倍高達(dá)4倍（與上一代產(chǎn)品相比）推薦系統(tǒng)訓(xùn)練性能提升（與上一代產(chǎn)品相比）推薦系統(tǒng)批量推理性能提升44詳情請(qǐng)見(jiàn)以下網(wǎng)址的[A21]：/content/www/us/en/products/performance/benchmarks/4th-generation-intel-xeon-scalable-processors/44chronos框架chronos框架AI關(guān)鍵用例.電信的很多業(yè)務(wù)量(如語(yǔ)音通話、數(shù)據(jù)傳輸?shù)?與時(shí)間(隨用戶使用量變化)相關(guān)，呈現(xiàn)波峰波谷特性，是典型的時(shí)間序列數(shù)據(jù)。為提升模型的準(zhǔn)確性和性能，在過(guò)去通常需要耗費(fèi)巨大的人力和時(shí)間資源，對(duì)超參數(shù)進(jìn)行手動(dòng)調(diào)優(yōu)，但結(jié)果往往并不令人滿意。而通過(guò)引入AI/ML方法來(lái)預(yù)測(cè)資源占用率，可在不影響SLA的前提下，實(shí)現(xiàn)按需分配、靈活調(diào)整，降低運(yùn)維復(fù)雜度和成本，形成更高效、更智能的數(shù)據(jù)中基于英特爾基于英特爾Chronos框架的時(shí)間序列預(yù)測(cè).Chronos框架提供了十多種不同種類的ML/DL內(nèi)置模型，為不同應(yīng)用場(chǎng)景提供高精確度的預(yù)測(cè)。通過(guò)使用歷史業(yè)務(wù)數(shù)據(jù)(如話務(wù)量等)與服務(wù)器資源利用率日志(如處理器占用率等)進(jìn)行建模，由Chronos框架提供的TSDatasetAPI接口對(duì)時(shí)間序列數(shù)據(jù)快速執(zhí)行填充、縮放等操作，并開展自動(dòng)特征生成；然后通過(guò)AutoTSEstimator等API，實(shí)現(xiàn)超參數(shù)搜索，并根據(jù)預(yù)測(cè)目標(biāo)檢索出最佳超參數(shù)集，優(yōu)化模型和數(shù)據(jù)處理工序并形成時(shí)間序列預(yù)測(cè)模型；最終，使用這一模型對(duì)實(shí)chronos框架時(shí)間序列預(yù)測(cè)模型基于英特爾Chronos框架的時(shí)間序列預(yù)測(cè)方案基本流程45455G網(wǎng)絡(luò)要借智能化解決方案BigDL5G網(wǎng)絡(luò)要借智能化解決方案BigDLChronos框架助中國(guó)聯(lián)通打造5G網(wǎng)元資源占用率預(yù)測(cè)方案?基于BigDLChronos框架豐富的組件和集成的優(yōu)化策略，方案實(shí)現(xiàn)了更優(yōu)的預(yù)測(cè)效果和更快的預(yù)測(cè)速度。?在BigDL超參數(shù)優(yōu)化組件幫助下，開展從數(shù)據(jù)預(yù)處理、特征工程到模型訓(xùn)練等全棧的自動(dòng)化機(jī)器學(xué)習(xí)過(guò)程。?使用至強(qiáng)?可擴(kuò)展處理器，為5GC網(wǎng)元資源占用率預(yù)測(cè)方案提供通用算力支持。如欲了解更多案例詳情，請(qǐng)?jiān)L問(wèn)：/content/www/cn/zh/customer-spotlight/cases/china-unicom-bigdl-chronos-framework-5gc.html46挑戰(zhàn)中國(guó)聯(lián)通希望在其保障5G等各類通信業(yè)務(wù)高效發(fā)展的同時(shí)，盡可能降低能耗開銷。IT設(shè)備能耗占比巨大，對(duì)其實(shí)施優(yōu)化，具備較大空間在滿足5GC網(wǎng)元核心業(yè)務(wù)SLA的情況下，降低設(shè)備能耗僅為僅為倍處理器占用率預(yù)測(cè)值與實(shí)際值對(duì)比的最終MSE結(jié)果?新方案預(yù)計(jì)可使單臺(tái)服務(wù)器能耗降低超過(guò)?新方案預(yù)計(jì)可使整個(gè)云資源池每年節(jié)電4,600掃碼獲取全文處理器占用率預(yù)測(cè)結(jié)果與實(shí)際值對(duì)比5GRAN基站 5GRAN基站 解決方案BigDLChronos框架助亞信科技打造5G基站智能節(jié)能方案.由Chronos框架提供的TSDataset接口對(duì)加載的5G小基站負(fù)荷數(shù)據(jù)集進(jìn)行.利用預(yù)處理的時(shí)間序列數(shù)據(jù)進(jìn)行建模，并通過(guò)Chronos的AutoTSEstimator接口，實(shí)現(xiàn)自動(dòng)化超參數(shù)搜索、特征選取、模型優(yōu)化，來(lái)對(duì)算法進(jìn)行調(diào)優(yōu)，.借助AI/ML模型獲得良好預(yù)測(cè)結(jié)果后，再引入英特爾P/C-state等技術(shù)，對(duì)47如欲了解更多案例詳情，請(qǐng)?jiān)L問(wèn)：/content/www/cn/zh/communications/asiainfo-create-intelligent-energy-saving-solution.html挑戰(zhàn)亞信科技希望幫助更多用戶通過(guò)降低5G網(wǎng)絡(luò)能耗來(lái)實(shí)施綠色網(wǎng)絡(luò)建設(shè)，而基站的能耗占比巨大。在5G網(wǎng)絡(luò)中，基站的能耗可超過(guò)總能耗的50%(有時(shí)甚至超過(guò)80%)傳統(tǒng)基站節(jié)能方案依靠人工經(jīng)驗(yàn)，節(jié)能水平很難超過(guò)5%15%-30%15%-30%.幫助用戶有效降低運(yùn)營(yíng)成本.為5G云化基站的節(jié)能標(biāo)準(zhǔn)制定提供有效參考掃碼獲取全文基于節(jié)能新方案設(shè)計(jì)的處理器調(diào)整策略.電信運(yùn)營(yíng)商可以實(shí)現(xiàn)自動(dòng)化客.電信運(yùn)營(yíng)商可以實(shí)現(xiàn)自動(dòng)化客服、智能化營(yíng)銷等多方面應(yīng)用，實(shí)現(xiàn)精準(zhǔn)營(yíng)銷，提升客服服務(wù)質(zhì)量和營(yíng)銷效率，以及客戶滿意度。.互聯(lián)網(wǎng)企業(yè)可以更好地驅(qū)動(dòng)客戶的需求并持續(xù)吸引他們的關(guān)注，從而獲得巨大的營(yíng)收潛力。.金融服務(wù)機(jī)構(gòu)可以更好地了解客戶，從而做出更明智的投資和風(fēng)險(xiǎn)管理決策。.醫(yī)療保健服務(wù)企業(yè)和機(jī)構(gòu)可以通過(guò)更高效的計(jì)費(fèi)和預(yù)先審批流程以及更準(zhǔn)確的術(shù)后并發(fā)癥預(yù)測(cè)，來(lái)改進(jìn)患者護(hù)理并降低成本。.零售企業(yè)可以利用更準(zhǔn)確的文本識(shí)別和語(yǔ)義理解來(lái)更好地解讀用戶行為，從而以更具個(gè)性化的客戶體驗(yàn)創(chuàng)造增加營(yíng)收的機(jī)會(huì)。同時(shí)，情感分析還有助于零售企業(yè)收集用戶反饋，并基于此提供更好的產(chǎn)品推薦，從而推動(dòng)未來(lái)購(gòu)買模式的發(fā)展。AI關(guān)鍵用例深度學(xué)習(xí)深度學(xué)習(xí)：推薦系統(tǒng)和自然語(yǔ)言處理（NLP）根據(jù)實(shí)時(shí)行為信號(hào)和上下文隊(duì)列提供個(gè)性化用戶體驗(yàn)，企業(yè)可以部署基于深度學(xué)習(xí)的推薦系統(tǒng)以及使用自然語(yǔ)言處理，同時(shí)平衡總體擁有成本(TCO)。推薦系統(tǒng)可幫助企業(yè)通過(guò)個(gè)性化推薦為每個(gè)客戶提供更好的服務(wù)，而自然語(yǔ)言處理則使設(shè)備能夠更好地理解文本的含義，從而讓企業(yè)能夠更好地了解并滿足客戶的需求。英特爾?AMX強(qiáng)化了第四代英特爾?至強(qiáng)?可擴(kuò)展處理器的AI加速能力，無(wú)需額外硬件即可加速深度學(xué)習(xí)訓(xùn)練和推理。該內(nèi)置加速引擎可為自然語(yǔ)言處理、推薦系統(tǒng)和圖像識(shí)別等AI應(yīng)用提供4848知識(shí)增強(qiáng) 視覺(jué)AI知識(shí)增強(qiáng) 視覺(jué)AI解決方案更加精準(zhǔn)、個(gè)性化的互聯(lián)網(wǎng)服務(wù)視覺(jué)AI推理加速4.13x可擴(kuò)展平臺(tái)上，將模型轉(zhuǎn)化為提升高達(dá)產(chǎn)業(yè)級(jí)行業(yè)大模型多范式統(tǒng)一預(yù)訓(xùn)練框架輕量化版本ERNIE-Tiny2.66x可擴(kuò)展IR-Tiny推薦系統(tǒng)個(gè)性化內(nèi)容與服務(wù)推薦推薦模型量化推升推理效率2.89x4949英特爾?AMX助力提升英特爾?AMX助力提升AI推理性能代理模型吞吐量比較（時(shí)延<=15毫秒，越高越好）解決方案優(yōu)化阿里巴巴推薦模型推理性能?使用第四代英特爾?至強(qiáng)?可擴(kuò)展處理器內(nèi)置的AI加速引擎--英特爾?AMX，顯著提升AI推理性能；?利用英特爾?oneDNN將CPU微調(diào)到峰值效率，使得核心推薦模型推理性能獲得進(jìn)挑戰(zhàn)為了應(yīng)對(duì)現(xiàn)代化推薦系統(tǒng)對(duì)于AI算力的較高要求，實(shí)現(xiàn)性能與成本的平衡，阿里巴巴希望重點(diǎn)化解電子商務(wù)推薦系統(tǒng)面臨的如下挑戰(zhàn):滿足單位時(shí)間內(nèi)的海量處理請(qǐng)求，提升吞吐量確保處理時(shí)間在嚴(yán)格的時(shí)延閾值范圍內(nèi)確保AI推理精確性，保證推薦質(zhì)量提升達(dá)2.89倍基于第四代至強(qiáng)?可擴(kuò)展處理器，采用BF16混合精度，阿里巴巴推薦模型吞吐量?滿足AI推理精度需求，阿里巴巴推薦模型性能大幅提升，且收益遠(yuǎn)高于硬件成本，有助于降低TCO；?基于CPU的推理方案具備媲美高端GPGPU的性能表現(xiàn)，同時(shí)在成本、靈活性等方面具備更強(qiáng)掃碼獲取全文50如欲了解更多案例詳情，請(qǐng)?jiān)L問(wèn)：/content/www/cn/zh/cloud-computing/alibaba-e-comm-recommendation-system-enhancement.html50英特爾?AMX助力百度輕量版ERNIE-Tiny釋放英特爾?AMX助力百度輕量版ERNIE-Tiny釋放AI加速潛能 解決方案其內(nèi)置AI加速器優(yōu)化輕量版ERNIE-Tiny?使用第四代英特爾?至強(qiáng)?可擴(kuò)展處理器作為ERNIE-Tiny推理工作的算力輸出引擎，并利用其內(nèi)置的英特爾?AMX大幅提升AI?利用英特爾?oneDNN實(shí)現(xiàn)對(duì)英特爾?AMX指令的調(diào)用，有效助力用戶提升AI應(yīng)用與框架在英特爾?架構(gòu)平臺(tái)上的性能。如欲