T-CESA 1228.2-2022 人工智能計(jì)算設(shè)備調(diào)度與協(xié)同 第2部分：分布式計(jì)算技術(shù)要求

CCSL70準(zhǔn)Artificialintelligence—Computationschedulingandcooperation—Part2:Distributedcomputingtechnicalrequire中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)發(fā)布IT/CESA1228.2-2022版權(quán)保護(hù)文件版權(quán)所有歸屬于該標(biāo)準(zhǔn)的發(fā)布機(jī)構(gòu)，除非有其他規(guī)定，否則未經(jīng)許可，此發(fā)行物及其章節(jié)不得以其他形式或任何手段進(jìn)行復(fù)制、再版或使用，包括電子版，影印件，或發(fā)布在互聯(lián)網(wǎng)及內(nèi)部網(wǎng)絡(luò)等。使用許可可于發(fā)布機(jī)構(gòu)獲取。T/CESA1228.2-2022前言 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4縮略語(yǔ) 5概述 6計(jì)算設(shè)備技術(shù)要求 6.1云側(cè)設(shè)備 6.2邊緣設(shè)備 6.3終端設(shè)備 7分布式協(xié)同管理技術(shù)要求 7.1通用技術(shù)要求 7.2關(guān)鍵組件技術(shù)要求 7.3云云協(xié)同 7.4云邊端協(xié)同 7.5多端協(xié)同 參考文獻(xiàn) T/CESA1228.2-2022本文件按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起本文件是T/CESA1228—2022《人工智能計(jì)算設(shè)備調(diào)度與協(xié)同》的第2部分。T/CESA1228—2022已經(jīng)發(fā)布了以下部分：——第1部分：虛擬化與調(diào)度系統(tǒng)技術(shù)規(guī)范；——第2部分：分布式計(jì)算技術(shù)要求。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院提出。本文件由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)歸口。本文件起草單位：中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、華為技術(shù)有限公司、上海依圖網(wǎng)絡(luò)科技有限公司、上海天數(shù)智芯半導(dǎo)體有限公司、北京航空航天大學(xué)、中國(guó)醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)工程研究所、上海商湯阡誓科技有限公司、達(dá)闥機(jī)器人股份有限公司、昆侖芯（北京）科技有限公司、深圳市矽赫科技有限公司、深圳云天勵(lì)飛技術(shù)股份有限公司、上海燧原科技有限公司、南通大學(xué)、上海計(jì)算機(jī)軟件技術(shù)開(kāi)發(fā)中心。本文件主要起草人：董建、鮑薇、舒馳、趙春昊、徐洋、李小娟、馬騁昊、余雪松、欒鐘治、曹曉琦、許源、蒲江波、吳庚、張站朝、李艷華、洪寶璇、程冰、張明潔、曹志超、陳敏剛。T/CESA1228.2-2022引言本文件是T/CESA1228—2022《人工智能計(jì)算設(shè)備調(diào)度與協(xié)同》的第2部分。T/CESA1228—2022已經(jīng)發(fā)布了以下部分：——第1部分：虛擬化與調(diào)度系統(tǒng)技術(shù)規(guī)范。目的在于確立人工智能計(jì)算設(shè)備虛擬化與調(diào)度系統(tǒng)的架構(gòu)，規(guī)定技術(shù)要求，描述了對(duì)應(yīng)的測(cè)試方法?！?部分：分布式計(jì)算技術(shù)要求。目的在于確立人工智能計(jì)算設(shè)備分布式計(jì)算的參考架構(gòu)，規(guī)定軟硬件系統(tǒng)的功能和性能技術(shù)要求。1T/CESA1228.2-2022人工智能計(jì)算設(shè)備調(diào)度與協(xié)同第2部分：分布式計(jì)算技術(shù)要求本文件確立了人工智能計(jì)算設(shè)備分布式計(jì)算的參考架構(gòu)，規(guī)定了軟硬件系統(tǒng)的功能和性能技術(shù)要本文件適用于用于分布式人工智能計(jì)算系統(tǒng)的設(shè)計(jì)、開(kāi)發(fā)和測(cè)試。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適用于本文件。T/CESA1228.1―2022人工智能計(jì)算設(shè)備調(diào)度與協(xié)同第1部分：虛擬化與調(diào)度系統(tǒng)技術(shù)規(guī)范3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1分布式機(jī)器學(xué)習(xí)distributedmachinelearning一種機(jī)器學(xué)習(xí)的方法或過(guò)程，利用互聯(lián)網(wǎng)絡(luò)作為首選通信載體，在不同子系統(tǒng)上完成同一個(gè)機(jī)器學(xué)習(xí)任務(wù)。[來(lái)源：ISO/IEC2382-2015,2178059，有修改]3.2聯(lián)邦機(jī)器學(xué)習(xí)federatedmachinelearning一種機(jī)器學(xué)習(xí)方法或過(guò)程，能讓多個(gè)參加者協(xié)作構(gòu)建及使用機(jī)器學(xué)習(xí)模型而不暴露參加者所擁有的原始數(shù)據(jù)或私有數(shù)據(jù)。[來(lái)源：IEEE3652.1，3.1]3.3增量學(xué)習(xí)incrementallearning一種分為多個(gè)階段的自適應(yīng)學(xué)習(xí)方法，其中在前驅(qū)階段學(xué)得的知識(shí)被轉(zhuǎn)化為適當(dāng)形式，以便為后繼階段的新知識(shí)提供基礎(chǔ)。[來(lái)源：ISO/IEC2382-2015，2123002，有修改]3.42T/CESA1228.2-2022邊緣計(jì)算edgecomputing一種分布式計(jì)算方法或過(guò)程，其中處理及存儲(chǔ)過(guò)程發(fā)生在分布式系統(tǒng)的邊緣。[來(lái)源：ISO/IECTR23188-2020,3.1.3]3.5集合通信collectivecommunication一種通信模式，其所傳遞數(shù)據(jù)在一組處理器單元（稱為節(jié)點(diǎn)）上處理。3.6分布式訓(xùn)練distributedtraining一種人工智能學(xué)習(xí)過(guò)程，其訓(xùn)練任務(wù)的部分或者全部分配在多個(gè)計(jì)算節(jié)點(diǎn)完成。3.7分布式推理distributedinference一種人工智能推理過(guò)程，其中全部或者部分推理任務(wù)分配在多個(gè)計(jì)算節(jié)點(diǎn)完成。4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。AI人工智能（ArtificialIntelligence）CPU中央處理單元（CentralProcessingUnit）FPGA現(xiàn)場(chǎng)可編程邏輯門陣列（FieldProgrammableGateArray）GPU圖形處理單元（GraphicsProcessingUnit）NPU神經(jīng)網(wǎng)絡(luò)處理單元（Neural―networkProcessingUnit）PCIE外設(shè)組件互連（PeripheralComponentInterconnectExpress）RDMA遠(yuǎn)程直接內(nèi)存訪問(wèn)（RemoteDirectMemoryAccess）5概述基于AI計(jì)算設(shè)備構(gòu)建的分布式AI任務(wù)的運(yùn)行環(huán)境，包含云側(cè)、邊側(cè)和終端側(cè)。環(huán)境集成通信、控制、設(shè)備接入、管理控制等多種功能，基于虛擬化技術(shù)手段，提供資源池化和分配調(diào)度能力，降低分布式應(yīng)用的作業(yè)延時(shí)，提升作業(yè)吞吐率。系統(tǒng)實(shí)現(xiàn)提出的主要功能見(jiàn)圖1，包含：分布式訓(xùn)練，云側(cè)設(shè)備承擔(dān)云、邊緣和端側(cè)模型的訓(xùn)練，并在部署或運(yùn)行時(shí)分發(fā)到對(duì)應(yīng)位置；在云側(cè)、邊緣、終端側(cè)設(shè)備上部署模型，并執(zhí)行推理任務(wù)；使能聯(lián)邦學(xué)習(xí)、增量學(xué)習(xí)等方法。3T/CESA1228.2-2022圖1云邊端分布式AI任務(wù)生命周期6計(jì)算設(shè)備技術(shù)要求6.1云側(cè)設(shè)備6.1.1概述云側(cè)AI計(jì)算設(shè)備及其使用，符合以下要求：a)支持以下應(yīng)用類型：1)云側(cè)訓(xùn)練；2)在云側(cè)部署和運(yùn)行AI推理任務(wù)，在推理過(guò)程中應(yīng)用計(jì)算資源彈性伸縮策略；3)增量訓(xùn)練；4)聯(lián)邦學(xué)習(xí)；b)遵循以下使用原則：1)訓(xùn)練過(guò)程與數(shù)據(jù)源分離；2)監(jiān)控AI任務(wù)全生命周期過(guò)程；3)多租戶共享計(jì)算、存儲(chǔ)資源；4)數(shù)據(jù)集中處理和分析；5)使用虛擬化技術(shù)管理計(jì)算資源。6.1.2技術(shù)要求云側(cè)AI計(jì)算設(shè)備，符合以下要求：a)應(yīng)具備用于AI計(jì)算的加速處理器（如CPU、GPU、NPU、FPGA等）；b)應(yīng)支持模型訓(xùn)練所需的軟件和模式，包含：1)機(jī)器學(xué)習(xí)框架（如MindSpore、TensorFlow、PyTorch）；2)云側(cè)分布式集群訓(xùn)練；4T/CESA1228.2-20223)模型可視化，包含訓(xùn)練過(guò)程，數(shù)據(jù)處理過(guò)程等；c)應(yīng)提供與邊緣設(shè)備、終端設(shè)備兼容的互操作協(xié)議及接口；d)應(yīng)支持訓(xùn)練或推理任務(wù)鏡像管理；e)宜實(shí)施針對(duì)異構(gòu)AI加速處理器的虛擬化，形成資源池統(tǒng)一調(diào)度AI計(jì)算。6.2邊緣設(shè)備6.2.1概述邊緣側(cè)AI計(jì)算設(shè)備參與協(xié)同計(jì)算，遵循以下使用原則：a)與數(shù)據(jù)源頭保持系統(tǒng)要求的耦合度；b)考慮將小規(guī)模的計(jì)算與服務(wù)部署在邊緣側(cè)或終端側(cè)；c)考慮存儲(chǔ)、傳輸、計(jì)算和安全任務(wù)；d)在本地執(zhí)行數(shù)據(jù)處理，避免數(shù)據(jù)網(wǎng)絡(luò)傳輸中的風(fēng)險(xiǎn)；e)考慮業(yè)務(wù)場(chǎng)景要求的實(shí)時(shí)性。6.2.2技術(shù)要求邊緣側(cè)AI計(jì)算設(shè)備，符合以下要求：a)AI邊緣計(jì)算設(shè)備包含但不限于AI服務(wù)器、AI加速卡、AI加速模組；b)應(yīng)提供與終端設(shè)備、云側(cè)設(shè)備的協(xié)同接口；c)應(yīng)支持至少1中機(jī)器學(xué)習(xí)框架（如TensorFlow、PyTorch、MindSpore等）；d)應(yīng)支持視頻分析、文字識(shí)別、圖像識(shí)別、聲音處理等應(yīng)用；e)應(yīng)具備數(shù)據(jù)隔離措施，在受攻擊時(shí)，只影響本地設(shè)備，而非其他參與協(xié)同的設(shè)備；f)宜支持流數(shù)據(jù)的實(shí)時(shí)處理；g)宜能在邊緣存儲(chǔ)實(shí)時(shí)信息；h)宜能監(jiān)控邊緣節(jié)點(diǎn)的運(yùn)行狀態(tài)；i)宜支持推理任務(wù)或訓(xùn)練任務(wù)。6.3終端設(shè)備6.3.1概述終端側(cè)AI設(shè)備參與協(xié)同計(jì)算，在數(shù)據(jù)流轉(zhuǎn)邏輯方面，一般部署在隨數(shù)據(jù)發(fā)生（如數(shù)據(jù)源）的位置附近。6.3.2技術(shù)要求終端側(cè)AI計(jì)算設(shè)備，符合以下要求：a)應(yīng)支持基于輕量化機(jī)器學(xué)習(xí)框架的運(yùn)行（訓(xùn)練或推理）；b)應(yīng)支持脫離機(jī)器學(xué)習(xí)框架的模型下沉，在設(shè)備上直接運(yùn)行；c)應(yīng)支持分布式訓(xùn)練，包含：1)能與其他終端設(shè)備、云側(cè)設(shè)備、邊緣設(shè)備協(xié)同，完成訓(xùn)練；2)兼容分布式訓(xùn)練框架，包含但不限于TensorFlow、PyTorch、MindSpore等；3)支持差分隱私機(jī)制；d)宜支持基于全量框架的深度學(xué)習(xí)推理；e)宜支持?jǐn)?shù)據(jù)預(yù)處理（如圖像縮放、圖像填充、圖像旋轉(zhuǎn)、聲音去噪等）；5T/CESA1228.2-2022f)宜使用終端設(shè)備電池電量等指標(biāo)衡量、檢測(cè)能耗水平；g)宜支持與邊緣設(shè)備或云側(cè)設(shè)備的交互，完成推理；h)宜支持多端協(xié)同，包含但不限于：1)管理多個(gè)終端設(shè)備；2)多個(gè)終端設(shè)備之間的數(shù)據(jù)協(xié)同與共享；3)多個(gè)終端設(shè)備之間計(jì)算任務(wù)的調(diào)度與分發(fā)。7分布式協(xié)同管理技術(shù)要求7.1通用技術(shù)要求分布式協(xié)同管理架構(gòu)見(jiàn)圖2，符合以下要求：圖圖2分布式管理架構(gòu)圖a)應(yīng)能管理機(jī)器學(xué)習(xí)算法的運(yùn)行環(huán)境配置，包括支持云側(cè)設(shè)備、邊緣設(shè)備和終端設(shè)備；b)應(yīng)支持以下類型的應(yīng)用在a）包含的計(jì)算設(shè)備上的運(yùn)行：1)云端模型裁剪、壓縮和優(yōu)化；2)聯(lián)邦學(xué)習(xí)；3)協(xié)同推理；4)基于云側(cè)或邊緣側(cè)集群的分布式訓(xùn)練；5)邊―云協(xié)同的增量訓(xùn)練；c)應(yīng)支持以下支撐組件：1)機(jī)器學(xué)習(xí)框架；2)深度學(xué)習(xí)模型編譯器；3)集合通信庫(kù)；4)虛擬化與調(diào)度組件；5)云側(cè)、邊緣側(cè)支持容器化微服務(wù)架構(gòu)；d)分布式計(jì)算框架，應(yīng)符合以下要求：1)具備一致性，在多個(gè)計(jì)算設(shè)備共同訓(xùn)練一個(gè)模型時(shí)，不同計(jì)算設(shè)備上模型參數(shù)、計(jì)算過(guò)程應(yīng)保持一致；2)具備容錯(cuò)性，對(duì)分布式協(xié)同訓(xùn)練的集群，在訓(xùn)練過(guò)程中有節(jié)點(diǎn)或網(wǎng)絡(luò)連接出現(xiàn)故障（如節(jié)點(diǎn)、交換或路由設(shè)備不工作或性能下降）時(shí)，能保證原有任務(wù)持續(xù)進(jìn)行并完成；6T/CESA1228.2-20223)具備統(tǒng)一的編程模型，對(duì)于開(kāi)發(fā)者和用戶屏蔽機(jī)器學(xué)習(xí)框架和不同計(jì)算設(shè)備的差異；4)具備分布式存儲(chǔ)能力，能根據(jù)不同的分布式計(jì)算場(chǎng)景（如分布式集群、端云，邊云等）設(shè)置相應(yīng)的存儲(chǔ)方式；5)支持計(jì)算設(shè)備管理，對(duì)不同的AI加速卡或AI加速處理器，根據(jù)AI任務(wù)實(shí)施虛擬化和分配，增加計(jì)算設(shè)備利用率；注：計(jì)算設(shè)備的管理和調(diào)度，涉及虛擬化和集群調(diào)度的部e)分布式多終端協(xié)同，應(yīng)符合以下要求：1)去中心化，即多個(gè)終端設(shè)備協(xié)同完成AI任務(wù)時(shí)，不存在常設(shè)的中心節(jié)點(diǎn)；2)實(shí)時(shí)維護(hù)與共享集群中節(jié)點(diǎn)狀態(tài)，以實(shí)施調(diào)度決策；3)在調(diào)度時(shí)考慮網(wǎng)絡(luò)傳輸?shù)囊蛩?，具備?shí)時(shí)性保障機(jī)制（如超時(shí)機(jī)制等注：集群組網(wǎng)使用無(wú)線連接（如WIFI或藍(lán)牙）時(shí)，會(huì)出現(xiàn)傳輸速4)在調(diào)度時(shí)考慮設(shè)備實(shí)際能力，并具備適應(yīng)性協(xié)同策略（如按計(jì)算能力調(diào)度注：多終端設(shè)備結(jié)構(gòu)不同，能力不同，優(yōu)勢(shì)的外設(shè)和算力資5)調(diào)度時(shí)考慮設(shè)備使用狀態(tài)因素，計(jì)算調(diào)度過(guò)程不影響其他設(shè)備或應(yīng)用的運(yùn)行。如：正常的視頻播放任務(wù)不應(yīng)被打斷，或?qū)е虏シ趴D等；6)考慮非常插電設(shè)備接受調(diào)度后計(jì)算能耗。7.2關(guān)鍵組件技術(shù)要求7.2.1機(jī)器學(xué)習(xí)框架用于分布式機(jī)器學(xué)習(xí)任務(wù)的機(jī)器學(xué)習(xí)框架，符合以下要求：a)應(yīng)能在云側(cè)、邊緣側(cè)、終端測(cè)等設(shè)備上運(yùn)行；b)提供模型部署功能，符合以下要求，包含但不限于：1)應(yīng)能以云服務(wù)的形式在云側(cè)部署，提供推理任務(wù)執(zhí)行環(huán)境；2)應(yīng)支持能被裁剪的輕量化框架，在云側(cè)訓(xùn)練的模型，能部署在端側(cè)和邊緣側(cè)；3)應(yīng)支持脫離框架或只依賴輕量化框架的模型的運(yùn)行；4)應(yīng)支持在內(nèi)存受限的設(shè)備或環(huán)境中的運(yùn)行；5)宜支持模型量化，并在用戶允許的誤差范圍內(nèi)，使模型能從云側(cè)遷移至端側(cè)或邊緣側(cè)；c)應(yīng)支持云側(cè)、端側(cè)、邊緣側(cè)的計(jì)算協(xié)同模式，包含但不限于：1)云側(cè)訓(xùn)練—端側(cè)推理；2)云側(cè)訓(xùn)練—端側(cè)增量訓(xùn)練—終端側(cè)推理；3)云側(cè)—終端側(cè)的聯(lián)邦學(xué)習(xí)；4)云側(cè)訓(xùn)練—邊緣側(cè)推理；5)云側(cè)訓(xùn)練—邊緣側(cè)增量訓(xùn)練—邊緣側(cè)推理；6)云側(cè)—邊緣側(cè)聯(lián)邦學(xué)習(xí)；7)云側(cè)訓(xùn)練—邊緣側(cè)增量訓(xùn)練—終端側(cè)推理；8)云側(cè)—邊緣側(cè)—終端側(cè)聯(lián)合推理；d)宜支持跨云側(cè)、邊側(cè)、終端側(cè)的，一致的計(jì)算圖中間表示，保證一次訓(xùn)練后的模型在端、邊、云三種設(shè)備上的無(wú)（格式）轉(zhuǎn)換部署。7.2.2虛擬化與調(diào)度異構(gòu)AI加速處理器或帶有異構(gòu)AI加速處理器的加速卡的虛擬化與調(diào)度組件，符合以下技術(shù)要求：a)應(yīng)符合本文件第1部分的要求；7T/CESA1228.2-2022b)資源調(diào)度系統(tǒng)應(yīng)能調(diào)用AI加速卡或AI加速處理器及其虛擬化實(shí)例，包含：1)僅能用于訓(xùn)練任務(wù)的加速卡；2)僅能用于推理任務(wù)的加速卡；3)能用于訓(xùn)練及推理任務(wù)的加速卡；c)分布管理中的異構(gòu)資源調(diào)度系統(tǒng)，應(yīng)支持以下調(diào)度模式：1)云側(cè)的訓(xùn)練卡調(diào)度，實(shí)施云側(cè)分布式訓(xùn)練；2)邊緣側(cè)的訓(xùn)練卡調(diào)度，支持邊緣側(cè)增量訓(xùn)練；3)云側(cè)或邊緣側(cè)的推理加速卡調(diào)度，支持大模型推理，克服單卡運(yùn)行時(shí)內(nèi)存限制；4)云側(cè)和邊緣側(cè)的訓(xùn)練加速卡的調(diào)度，能完成云側(cè)訓(xùn)練—邊緣側(cè)增量訓(xùn)練的任務(wù)；5)云側(cè)和邊緣推理加速卡的調(diào)度，能完成云側(cè)訓(xùn)練—邊緣推理的任務(wù)；6)云側(cè)和終端側(cè)加速卡的調(diào)度，能完成云側(cè)—端側(cè)的聯(lián)邦學(xué)習(xí)任務(wù)；7)云側(cè)訓(xùn)練加速卡和端側(cè)推理加速卡的調(diào)度，能完成云側(cè)訓(xùn)練—端側(cè)推理任務(wù)；8)邊緣側(cè)訓(xùn)練加速卡和端側(cè)推理加速卡的調(diào)度，能完成邊緣側(cè)增量訓(xùn)練—端側(cè)推理的任務(wù)；9)邊緣側(cè)訓(xùn)練加速卡的調(diào)度，能完成邊緣側(cè)的分布式訓(xùn)練任務(wù)；d)宜支持基于以下類型處理器的AI加速卡的調(diào)度，包括：1)CPU（邊緣，終端）；2)GPU；3)FPGA；4)NPU或其他定制化處理器。7.2.3深度學(xué)習(xí)編譯器深度學(xué)習(xí)編譯器應(yīng)具有兼容性，能將不同框架下模型或計(jì)算圖編譯到指定的AI加速卡上運(yùn)行，實(shí)現(xiàn)模型跨平臺(tái)移植。7.2.4安全組件安全原則分布式AI計(jì)算協(xié)同管理框架的使用，應(yīng)按圖1規(guī)定的生命周期和流程，識(shí)別以下風(fēng)險(xiǎn)，包含但不限a)易受竊取等攻擊的資產(chǎn)及相關(guān)攻擊模式，包含：1)訓(xùn)練腳本或代碼文件；2)訓(xùn)練數(shù)據(jù)集文件；3)模型文件（包含預(yù)訓(xùn)練模型文件、訓(xùn)練結(jié)果文件和在計(jì)算節(jié)點(diǎn)中的模型文件）；b)模型的文件，在云、邊、端側(cè)的完整性被破壞（如被修改）；a)模型及相關(guān)文件（含訓(xùn)練腳本、預(yù)訓(xùn)練模型、訓(xùn)練數(shù)據(jù)集、模型的參數(shù)文件）的機(jī)密性被破壞；b)被其他應(yīng)用惡意攻擊，導(dǎo)致輸出結(jié)果錯(cuò)誤，或無(wú)法正常輸出結(jié)果；c)推理輸入數(shù)據(jù)不被截獲或修改；d)云側(cè)、邊緣側(cè)的容器構(gòu)建、部署、運(yùn)行安全威脅；e)邊緣側(cè)接口的非授權(quán)接入和訪問(wèn)；f)在無(wú)中心（或無(wú)云側(cè)）的部署架構(gòu)中忽略使用熱備、冗余機(jī)制，造成數(shù)據(jù)丟失或業(yè)務(wù)中斷。安全要求.1訓(xùn)練階段，應(yīng)實(shí)現(xiàn)以下安全防護(hù)機(jī)制：8T/CESA1228.2-2022a)云側(cè)：1)對(duì)訓(xùn)練文件的簽名，能加密AI模型和訓(xùn)練腳本并上傳至云側(cè)；2)對(duì)上傳數(shù)據(jù)的加密；3)運(yùn)行訓(xùn)練腳本前，對(duì)訓(xùn)練鏡像文件的身份校驗(yàn)；4)對(duì)預(yù)訓(xùn)練模型的解密；5)對(duì)訓(xùn)練數(shù)據(jù)的解密；b)邊緣側(cè)：1)對(duì)云側(cè)下發(fā)鏡像的身份校驗(yàn)和模型的加解密；2)對(duì)聯(lián)邦學(xué)習(xí)梯度信息的加解密；3)對(duì)增量訓(xùn)練數(shù)據(jù)的簽名和加密；4)對(duì)端側(cè)設(shè)備上傳的數(shù)據(jù)的簽名和加密；c)終端側(cè)：1)對(duì)云側(cè)、邊緣側(cè)下發(fā)模型的身份校驗(yàn)和加解密；2)對(duì)端側(cè)聯(lián)邦學(xué)習(xí)梯度數(shù)據(jù)的加密。.2推理階段，應(yīng)實(shí)現(xiàn)以下防護(hù)機(jī)制：a)云側(cè)：1)在云側(cè)環(huán)境中配置含有AI模型的容器運(yùn)行的最小訪問(wèn)權(quán)限；2)對(duì)AI模型身份的合法解密；3)在加載鏡像到云側(cè)運(yùn)行環(huán)境時(shí)，檢查身份合法性；b)邊緣側(cè)：1)秘鑰管理，對(duì)云側(cè)下發(fā)的鏡像或模型實(shí)施身份校驗(yàn)；2)對(duì)推理數(shù)據(jù)的加解密；3)入侵檢測(cè)；4)邊緣用戶身份校驗(yàn)，應(yīng)用授權(quán)訪問(wèn)；c)端側(cè)：1)秘鑰管理，對(duì)云側(cè)下發(fā)到端側(cè)模型實(shí)施身份合法性檢查；2)推理數(shù)據(jù)在本地的加解密；3)在模型上傳至云側(cè)或邊緣側(cè)進(jìn)行推理前，加密模型；4)終端設(shè)備使用虛擬機(jī)或容器時(shí)，在多終端設(shè)備間實(shí)現(xiàn)基于虛擬機(jī)或容器的安全隔離機(jī)制。7.2.5集合通信提供統(tǒng)一的通信協(xié)議、數(shù)據(jù)結(jié)構(gòu)定義和元語(yǔ)，機(jī)器學(xué)習(xí)框架利用集合通信庫(kù)，能操作不同的計(jì)算設(shè)備。實(shí)現(xiàn)AI加速卡間通信，包含云側(cè)內(nèi)部分布式訓(xùn)練和端邊云協(xié)同訓(xùn)練所需通信。能在下列集合通信拓?fù)浣Y(jié)構(gòu)上工作，包含：a)基礎(chǔ)類：1)全網(wǎng)狀結(jié)構(gòu)(FullMesh)；2)星形拓?fù)浣Y(jié)構(gòu)（Star）；3)環(huán)形拓?fù)浣Y(jié)構(gòu)（Ring）；4)樹(shù)拓?fù)浣Y(jié)構(gòu)（Tree）；9T/CESA1228.2-2022b)擴(kuò)展類：1)3DTorus拓?fù)浣Y(jié)構(gòu)；2)Dragonfly拓?fù)浣Y(jié)構(gòu)；3)由以上兩種或以上網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)混合而成的混合拓?fù)浣Y(jié)構(gòu)。支持集合通信步調(diào)，實(shí)現(xiàn)同步功能，滿足協(xié)同節(jié)點(diǎn)異步使用要求，并具備超時(shí)管控機(jī)制，避免通信無(wú)法完成的問(wèn)題。支持通信協(xié)議，包含但不限于：PCIE，RDMA和TCP/IP等。支持集合通信能力表征指標(biāo)，包含：a)集合通信耗時(shí)均值；b)集合通信耗時(shí)方差。支持集合通信能力表征指標(biāo)的測(cè)量方法，包含：a)單AI加速卡或者計(jì)算設(shè)備上集合通信耗時(shí)測(cè)量；b)全部AI加速卡或者計(jì)算設(shè)備上的集合通信耗時(shí)的均值和方差的計(jì)算；c)時(shí)間的統(tǒng)計(jì)，符合以下要求：1)單AI加速卡或計(jì)算設(shè)備的時(shí)間測(cè)量的起始時(shí)刻為：集合通信的使用者啟動(dòng)集合通信的時(shí)2)時(shí)間測(cè)量的結(jié)束時(shí)刻為：集合通信的使用者感知到集合通信完成的時(shí)刻；3)集合通信的啟動(dòng)和結(jié)束如果存在固定開(kāi)銷，應(yīng)被計(jì)入到通信耗時(shí)里。提供面向機(jī)器學(xué)習(xí)框架的統(tǒng)一接口，屏蔽異構(gòu)硬件的差異。7.3云云協(xié)同云云協(xié)同的框架見(jiàn)圖3，協(xié)同過(guò)程符合以下要求：圖3云云協(xié)同框架a)云云協(xié)同框架，應(yīng)完成中心調(diào)度模式或無(wú)中心調(diào)度模式（如基于云聯(lián)邦的調(diào)度）；T/CESA1228.2-2022b)使用中心調(diào)度模式時(shí)，中心調(diào)度器：1)應(yīng)能收集和監(jiān)視全網(wǎng)計(jì)算資源的狀態(tài)；2)應(yīng)能跨云（或計(jì)算中心）調(diào)度作業(yè)，轉(zhuǎn)發(fā)和傳輸作業(yè)運(yùn)行數(shù)據(jù)；3)應(yīng)實(shí)現(xiàn)負(fù)載感知調(diào)度、價(jià)格感知調(diào)度、網(wǎng)絡(luò)感知調(diào)度或數(shù)據(jù)感知調(diào)度等策略；c)使用中心調(diào)度模式時(shí)，調(diào)度適配器符合以下要求：1)應(yīng)適配不同云中，異構(gòu)調(diào)度器的實(shí)現(xiàn)；2)應(yīng)能收集調(diào)度器資源和作業(yè)執(zhí)行狀態(tài)信息，并上報(bào)至中心調(diào)度器；3)宜能向用戶提供統(tǒng)一視圖，使用戶能使用、全網(wǎng)計(jì)算資源執(zhí)行計(jì)算任務(wù)；d)宜實(shí)現(xiàn)基于統(tǒng)一賬戶的認(rèn)證、確權(quán)；e)宜實(shí)現(xiàn)統(tǒng)一計(jì)算消耗計(jì)量和計(jì)費(fèi)。7.4云邊端協(xié)同7.4.1云邊端協(xié)同管理框架云邊端協(xié)同的框架見(jiàn)圖4，包含邊云管理系統(tǒng)，邊云通道和邊端通道。邊緣云邊端協(xié)同的框架見(jiàn)圖4，包含邊云管理系統(tǒng)，邊云通道和邊端通道。邊緣節(jié)點(diǎn)的管理，應(yīng)實(shí)現(xiàn)以下功能：a)應(yīng)用管理，如雙機(jī)備份、容器故障檢測(cè)、模型管理、AI加速卡插件管理；b)邊緣中間件（如消息總線、規(guī)則引擎等）管理；c)端設(shè)備服務(wù)；d)安全可信模塊；e)設(shè)備管理。圖4云邊端協(xié)同框架7.4.2云邊模型部署云邊模型部署流程見(jiàn)圖5，符合以下要求：a)將云側(cè)模型部署到邊緣側(cè)時(shí)，邊云管理系統(tǒng)應(yīng)符合以下要求：1)納管邊緣節(jié)點(diǎn)并關(guān)聯(lián)邊緣節(jié)點(diǎn)的設(shè)備；2)云側(cè)能將AI應(yīng)用或模型以容器鏡像的形式下發(fā)，部署到邊緣節(jié)點(diǎn)；T/CESA1228.2-2022b)邊云管理系統(tǒng)應(yīng)具備以下功能：1)將云側(cè)服務(wù)能力部署到邊緣，可支持視頻識(shí)別、文字識(shí)別、圖像識(shí)別等大數(shù)據(jù)任務(wù)的處理；2)能將模型以容器和函數(shù)兩種方式運(yùn)行，滿足用戶輕量化部署的要求；3)支持邊緣節(jié)點(diǎn)以注冊(cè)的方式，接入云側(cè)；4)支持云側(cè)的業(yè)務(wù)以容器的形式，部署到邊緣側(cè)；5)支持對(duì)邊緣側(cè)AI加速卡利用率的監(jiān)控；6)能管理的邊緣節(jié)點(diǎn)數(shù)量宜不少于128。圖5邊云模型部署流程7.4.3云邊AI任務(wù)協(xié)同云邊協(xié)同框架見(jiàn)圖6，邊云管理系統(tǒng)，符合以下要求：a)應(yīng)支持增量訓(xùn)練；b)應(yīng)實(shí)現(xiàn)并提供以下訓(xùn)練樣本篩選功能：1)根據(jù)推理結(jié)果的置信度篩選增量訓(xùn)練的數(shù)據(jù)；2)數(shù)據(jù)去重；3)數(shù)據(jù)聚合；c)應(yīng)實(shí)現(xiàn)梯度數(shù)據(jù)和增量樣本數(shù)據(jù)的壓縮和傳輸；d)應(yīng)實(shí)現(xiàn)數(shù)據(jù)加密，滿足7.2.4中邊緣側(cè)安全要求；e)應(yīng)提供邊緣存儲(chǔ)功能，能按7.1d）4）的要求存儲(chǔ)終端側(cè)的推理數(shù)據(jù)和云側(cè)的模型；f)宜支持基于邊緣節(jié)點(diǎn)設(shè)備和云側(cè)設(shè)備的聯(lián)邦學(xué)習(xí)，集合通信滿足7.2.5的要求，機(jī)器學(xué)習(xí)框架滿足7.2.1的要求。T/CESA1228.2-20227.4.47.4.4端邊云數(shù)據(jù)協(xié)同邊云數(shù)據(jù)協(xié)同框架見(jiàn)圖7。圖6邊云AI任務(wù)協(xié)同框架圖7邊云數(shù)據(jù)協(xié)同框架終端側(cè)設(shè)備與邊緣側(cè)的協(xié)同（見(jiàn)圖7），符合以下要求：a)應(yīng)支持端側(cè)設(shè)備多協(xié)議接入；b)宜支持下列終端設(shè)備接入，包含：T/CESA1228.2-20221)攝像機(jī)；2)智能機(jī)器人；3)物聯(lián)網(wǎng)傳感器；4)激光雷達(dá)、毫米波雷達(dá)；5)信號(hào)機(jī)；6)氣象感知；7)道路單元。邊緣側(cè)設(shè)備提供面向AI應(yīng)用的多媒體服務(wù)（見(jiàn)圖7），符合以下要求：a)應(yīng)能轉(zhuǎn)發(fā)多媒體數(shù)據(jù)（到云側(cè)、邊緣側(cè)或其它終端）；b)應(yīng)支持多媒體數(shù)據(jù)的回放；c)宜支持多媒體數(shù)據(jù)的轉(zhuǎn)碼、點(diǎn)播、直播、錄像和檢索；d)宜支持地圖數(shù)據(jù)的共享分發(fā)。