云邊端一體化的異構AI計算

云邊端一體化的異構AI計算目錄背景：邊緣計算面臨的挑戰(zhàn)1云邊端一體化的異構AI計算平臺2未來新技術探索3異構AI硬件平臺異構AI編譯：HALO異構硬件解耦規(guī)范(ODLA)ODLA.CV/Pipeline自動生成背景：邊緣計算經(jīng)歷快速增長中國人工智能市場每年40%以上的增長邊緣計算占比越來越高，邊緣計算需求越來越大Source:

IDC中國人工智能軟件及應用市場半年度研究報告，2019H175的數(shù)據(jù)在邊緣產(chǎn)生50的數(shù)據(jù)在邊緣處理33ZB180

ZB201820255.5X數(shù)據(jù)爆炸邊緣場景挑戰(zhàn)1：設備獨立部署，運維管控難IDC數(shù)據(jù)中心 vs MEC邊緣機房1200mm機柜600mm~800mm機柜25℃環(huán)境溫度35+℃環(huán)境溫度8~16

KN/m2承重2~5

KN/m2承重供電、運維、安全……/街邊柜70℃環(huán)境溫度密閉無風部署分散環(huán)境惡劣設備復雜部署集中環(huán)境標準設備單一邊緣場景挑戰(zhàn)2：芯片多樣，生態(tài)隔離指令集芯片軟件棧邊緣AI芯片發(fā)展繁榮，迭代速度快，但各家芯片廠商開發(fā)生態(tài)隔離，應用遷移難，開發(fā)周期長。CISCInteloneAPIAMDROCmX86ARMMIPS PPC RISC-VRISCNVIDIACUDA-X高通AI

SDKNeuroPilotNXP?eIQ?CoreMLVitisAICANNCambriconNeuWareRKNN-ToolkitHGAI邊緣場景挑戰(zhàn)3：隱私安全難以可靠保障挑戰(zhàn)：邊緣可信硬件算力低下，難以在性能和隱私保護級別上做到很好的平衡，優(yōu)化方案不通用隱私數(shù)據(jù)裸奔：IOT

邊緣應用存在大量人臉、車牌等敏感數(shù)據(jù)場景，無有效保護防護面低：邊緣方案只能靜態(tài)防護，對模型進行靜態(tài)加密，runtime級別的保護能力缺失合規(guī)風險高：存在潛在的敏感數(shù)據(jù)及模型IP泄漏高風險問題，監(jiān)管合規(guī)風險高EdgeCloud邊緣場景挑戰(zhàn)4：應用開發(fā)部署敏捷度不足挑戰(zhàn)：體驗欠佳：云計算可以實現(xiàn)云上開發(fā)云上部署，邊緣計算的硬件環(huán)境體驗不一致生態(tài)匱乏：缺乏云端豐富的服務應用協(xié)同，邊緣容易形成功能孤島，不能借力成熟的云生態(tài)彈性缺失：缺乏云端秒級彈性服務構建能力，難以跟上現(xiàn)代業(yè)務開發(fā)快速迭代步伐云/應用市場?移動終端桌面終端云端DevOps邊緣云端DevOps?背景：邊緣計算面臨的挑戰(zhàn)1云邊端一體化的異構AI計算平臺2未來新技術探索3異構AI硬件平臺異構AI編譯：HALO異構硬件解耦規(guī)范(ODLA)ODLA.CV/Pipeline自動生成阿里云智能邊緣計算產(chǎn)品全家福一體機

N9100應用場景：中心側，輕量化訓練和二次智能應用案例：電力、交通、安防等場景的中心智能適用環(huán)境：普通樓房，非IDC標準機房產(chǎn)品特色：軟硬件一體化小型機柜交付，免工勘部署，即插即用邊緣盒子

N2100應用場景：小型邊緣節(jié)點，8TOPS算力應用案例：安防、零售等適用環(huán)境：室內(nèi)環(huán)境，自然散熱產(chǎn)品特色：極致性價比阿里云智能邊緣計算

- 云邊一體架構云端管控智能邊緣安全接入智能預警算法市場云應用生態(tài)云應用市場智能云運維智能分析智能診斷邊緣彈性云邊資源共享高效AI應用開發(fā)：??開源ODLA接口標準，支持多框架，多樣化AI硬件，算法模型遷移零成本自研HALO編譯平臺優(yōu)化提升性能30%阿里云AI模型可視化編排系統(tǒng)，免編程，提升AI應用開發(fā)效率價值特性：全面擁抱云原生：云上一次開發(fā)，邊緣隨處部署豐富的云應用生態(tài)，完善的邊緣中間件軟件，加速應用創(chuàng)新AI模型防竊應用自愈中間件市場智能邊緣運維：即插即用，免安裝注冊自動升級，免人工干預海量邊緣節(jié)點管理，云端智能預測預警邊緣安全OS加固自配置自管理邊緣自治感知決策一體一鍵應用遷移彈性容器部署云邊一體?多芯片支持AI開放服務多框架兼容多模型支持HALO編譯優(yōu)化可視化編排AI編排執(zhí)行器邊緣AIODLA硬件抽象AI原子能力智能邊緣運維平臺

–

海量設備，輕松管控…邊緣設備中心管控運維平臺邊緣節(jié)點端設備 … 端設備…端設備…

端設備自動納 指標監(jiān) 運維服 日志管 配置管 軟件升 定時巡管 控 務 理 理 級 檢輕量化云原生底座可視化邊緣設備易交付：設備即插即用，免安裝，免注冊易運維：自動升級，免人工干預智能預警：海量邊緣管理，云端智能預警邊緣設備邊緣節(jié)點邊緣設備震旦隱私計算

- 做性能最好的隱私計算震旦隱私計算硬件及芯片業(yè)務可信計算方向Sinian

Trust聯(lián)邦學習方向密碼學及其他方向HALO(異構加速)同態(tài)加密框架SinianSlim(模型優(yōu)化) autosinian(自動調(diào)優(yōu))異構設備接口

ODLA.nn，ODLA.trustARMTrustone

(Link-TEE)安全計算(SGX-Occlum)GPU 其他異構ASIC多方安全計算框架大安全聯(lián)邦學習基于MPC的區(qū)塊鏈可信計算框架模型安全切分異構調(diào)度/卸載隱私脫敏計算框架隱私保護模型訓練數(shù)據(jù)隱私保護推理端側應用

xxx 邊緣應用

xxx 云端應用

xxx高安全：隱私數(shù)據(jù)全流程防護，模型脫敏低開銷：性能相比原始網(wǎng)絡，脫敏算子化加速性能提升20通用化：算子結構通用化，與加速硬件、算法模型解耦，不需加密現(xiàn)有模型算法云邊端一體化的AI計算平臺云邊端、AI全場景：?云邊端統(tǒng)一協(xié)同管控實現(xiàn)了云服務能力下沉，觸達端到端的云服務，邊緣和云會深度融合云邊端一體化、全場景AI基礎設施方案，充分滿足智能時代多變、碎片化、差異化的AI應用場景。普惠、異構算力邊緣AI需求碎片化嚴重，定制、異構ASIC支持性價比高的芯片，降低算力成本開放生態(tài)?支持業(yè)界主流框架和主流硬件，開放統(tǒng)一的標準，平滑遷移共建生態(tài)：靈活的合作方式與業(yè)界廠商共建開放產(chǎn)業(yè)生態(tài)云端現(xiàn)場計算算法開發(fā)平臺 云邊一體管控物聯(lián)網(wǎng)服務算法應用開發(fā)者SDK數(shù)據(jù)管理算法評測算法下發(fā)設備管理安全云邊通道設備連接監(jiān)控平臺應用編排小二后臺開箱激活管控遠程通道云原生管控本地設備連接連接服務網(wǎng)關算法流水線云原生托管底座達摩院算法安全、可信存儲云端設備連接硬件生態(tài)視頻基礎服務云控制臺ODLARuntime震旦Halo

編譯【CV、NN】異構AI編譯：HALO靜態(tài)全編譯：減少計算硬件開銷，降低AI模型代碼到百KB級別可裁剪配置：云-邊-端一體化平臺，可配置自動裁剪高度軟硬協(xié)同：異構感知的計算加速、計算切分和流水并行通用模型壓縮：高效模型壓縮、及快速穩(wěn)定的全模型自動調(diào)優(yōu)9.8633.0356.132.94

7.3813.4118.0121.0339.64120.00100.0080.0060.0040.0020.000.003264ExecutionTime

(ms)Batch

Size

ResNet50-V2InferenceonV100GPU

(32GB) 104.341 8HALO(ODLA+

TensorRT)16TensorFlow

2.1.0C++

API(IR

Builder)ParserModelfilesHALO

IR中間表示TransformationPassesHALO

IR中間表示CodeGenPasses.o.c.bcDriverPassManagerHALO：HeterogeneityAwareLowering&

Optimization異構感知全編譯優(yōu)化異構計算硬件統(tǒng)一接口規(guī)范：ODLA（OpenDeepLearning

API）開放、統(tǒng)一、抽象、解耦API

輕、薄、overhead最小代碼重用，提升效率、縮短開發(fā)周期（數(shù)倍的節(jié)?。┓謱咏怦睿瑥S家和用戶獨立開發(fā)（與廠家耦合度?。┊悩嬘布怦钜?guī)范(ODLA)，屏蔽架構差異，同時充分挖掘異構計算潛力結合

HALO

編譯技術和算力封裝，提供卓越性價比的AI算力服務GitHub開源

- HALO/ODLAODLA

CV/Pipeline自動生成ODLA從AI計算擴展到視頻分析完整pipeline，屏蔽編解碼、圖像處理的硬件細節(jié)：ImageProccustomeddecode:extractmotionvectorVideo

Decoder/EncoderJpegDecoder/EncoderTracking音頻處理、mux/demux視頻pipeline自動生成Halo將pipeline文件(prototxt)自動編譯成c++代碼支持controlflow（if、loop）多線程和異步支持ODLA.CV和ODLA.PL(Pipeline)架構設計靈活定制：ODLA.CV(單獨）ODLA.Pipeline+

ODLA.CV對外接口GUI可視化界面，可拖拽High-level描述語言

（Python／C++）可移植的protobuf核心Module可配置，輕量級，滿足業(yè)務對框架大小的要求算法加速包：無解碼視頻加速喚醒式視頻推理等無縫連接任意異構硬件性能優(yōu)化：內(nèi)存管理，資源管理基于硬件vendor高效庫并選擇最佳ODLA

Pipeline自動生成業(yè)務方視頻框架視頻編解碼Anole

/

DP1000

/

x86

CPU/

GPU

/

寒武紀

/

高通AIC視頻框架硬件ODLA.CV淘寶直播人臉識別客流分析入侵檢測應用云視頻場景邊緣場景 數(shù)據(jù)中心場景MOVIEPythonpipeline

接口Python/C++ODLA

CV接口圖像處理Protobuf接口 IDE接口定制加速Jpeg編解碼Tracking定制解碼喚醒式優(yōu)化音頻處理CV

API(抽象層)VFP其他業(yè)務框架OpenCVDALIFFMpegNVCodecCV

Runtime高通SDKAnole

SDKMemory管理其他

SDK

Task異步管理資源管理優(yōu)化動態(tài)優(yōu)化背景：邊緣計算面臨的挑戰(zhàn)1云邊端一體化的異構AI計算平臺2未來新技術探索3異構AI硬件平臺異構AI編譯：HALO異構硬件解耦規(guī)范(ODLA)ODLA.CV/Pipeline自動生成震旦P幀免解碼視頻AI加速I幀F(xiàn)eature

NetTask

NetP幀Task

NetVideoStream震旦P幀免解碼視頻分析技術:提升

2X

推理性能

（無損精度）detection

+

tracking

協(xié)同優(yōu)化減輕解碼負擔、降低功耗InputFeaturePropag