《面向異構(gòu)計算的協(xié)同學(xué)習(xí)系統(tǒng)技術(shù)要求》

ICS35.240

CCSL70

團體標(biāo)準(zhǔn)

T/CESAXXXX—202X

面向異構(gòu)計算的協(xié)同學(xué)習(xí)系統(tǒng)

技術(shù)要求

Technicalrequirementsforcollaborativelearningsystemforheterogeneous

computing

征求意見稿

在提交反饋意見時，請將您知道的相關(guān)專利連同支持性文件一并附上。

已授權(quán)的專利證明材料為專利證書復(fù)印件或扉頁，已公開但尚未授權(quán)的專利申請

證明材料為專利公開通知書復(fù)印件或扉頁，未公開的專利申請的證明材料為專利申請

號和申請日期。

202X-XX-XX發(fā)布202X-XX-XX實施

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會發(fā)布

T/CESAXXXX—202X

面向異構(gòu)計算的協(xié)同學(xué)習(xí)系統(tǒng)技術(shù)要求

1范圍

本文件規(guī)定了異構(gòu)智能計算場景下的協(xié)同學(xué)習(xí)系統(tǒng)在開發(fā)和部署所需要的相關(guān)技術(shù)能力要求，包括

功能要求、兼容性要求、可信要求和數(shù)據(jù)隱私保護要求。

本文件適用于異構(gòu)智能計算場景下，協(xié)同學(xué)習(xí)系統(tǒng)的研發(fā)和應(yīng)用。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T41867-2022信息技術(shù)人工智能術(shù)語

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1

異構(gòu)計算heterogeneouscomputing

一種計算方式，它使用可由具有不同類型指令集和體系架構(gòu)的計算單元組成的獨立的或分布式系統(tǒng)

進行計算。

注：常見的計算單元類別包括CPU、GPU、NPU、DSP等處理器以及ASIC、FPGA等芯片。

3.2

深度學(xué)習(xí)deeplearning

通過訓(xùn)練具有許多隱層的神經(jīng)網(wǎng)絡(luò)來創(chuàng)建豐富層次表示的方法。

注：深度學(xué)習(xí)是機器學(xué)習(xí)的一個子集。

[來源：GB/T41867-2022，3.2.27]

3.3

異構(gòu)智能計算heterogeneousintelligentcomputing

一種面向深度學(xué)習(xí)任務(wù)的異構(gòu)計算范式，涉及到在不同類型指令集和體系架構(gòu)的計算單元上進行深

度學(xué)習(xí)相關(guān)的計算任務(wù)。

3.4

協(xié)同學(xué)習(xí)collaborativelearning

由多個計算節(jié)點共同參與，為了完成某個深度學(xué)習(xí)訓(xùn)練任務(wù)進行聯(lián)合訓(xùn)練的范式。

3.5

隱私保護privacypreserving

對原始數(shù)據(jù)的全部或者部分對象進行保護的一類算法，使得算法處理后的結(jié)果無法直接觀測到被保

護的對象信息。

1

T/CESAXXXX—202X

3.6

安全審計secureauditing

對于協(xié)同學(xué)習(xí)系統(tǒng)的正常運行和異常分析需要具有的安全能力。

3.7

數(shù)據(jù)投毒攻擊datapoisoningattack

一種攻擊方式，攻擊者通過對深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)的修改或者引入新數(shù)據(jù)來影響訓(xùn)練過程，從而達到

惡意篡改模型訓(xùn)練結(jié)果的目標(biāo)。

3.8

模型投毒攻擊modelpoisoningattack

一種攻擊方式，攻擊者通過對本地訓(xùn)練模型結(jié)果的參數(shù)修改來操縱全局模型訓(xùn)練過程，從而達到惡

意篡改模型訓(xùn)練結(jié)果的目標(biāo)。

3.9

搭便車攻擊free-ridingattack

一種攻擊方式，攻擊者假裝參與協(xié)同學(xué)習(xí)訓(xùn)練過程，實際上并不消耗或只消耗部分的本地數(shù)據(jù)和計

算資源。通過向服務(wù)器發(fā)送隨機更新或與聚合模型相似的更新，偽裝成參與協(xié)同學(xué)習(xí)訓(xùn)練的正常用戶，

以獲得相應(yīng)利益。

3.10

女巫攻擊sybilattack

一種攻擊方式，單個攻擊者通過多個合謀的身份加入?yún)f(xié)同學(xué)習(xí)系統(tǒng)，從而巧妙地分配攻擊，以增強

隱蔽性和攻擊效果，通常用于數(shù)據(jù)投毒攻擊。

4系統(tǒng)參考架構(gòu)

4.1邏輯角色

協(xié)同學(xué)習(xí)系統(tǒng)主要包括參與節(jié)點和中心節(jié)點兩種邏輯角色。

4.2參與節(jié)點

一組以分布式方式參與協(xié)同學(xué)習(xí)的不必同屬于同一參與者的異構(gòu)設(shè)備，能夠執(zhí)行深度學(xué)習(xí)訓(xùn)練任

務(wù)，擁有各自的訓(xùn)練數(shù)據(jù)且不要求不同參與節(jié)點間的數(shù)據(jù)符合獨立同分布假設(shè)。它們的目標(biāo)是在各自數(shù)

據(jù)不離開本地設(shè)備的前提下，一起協(xié)作完成深度學(xué)習(xí)模型的訓(xùn)練任務(wù)。

4.3中心節(jié)點

一個或多個計算節(jié)點，能夠直接連接每個參與節(jié)點組成星狀分布式網(wǎng)絡(luò)。它的目標(biāo)是不必被參與節(jié)

點完全信任的前提下組織、協(xié)助和保障各個參與節(jié)點完成協(xié)同學(xué)習(xí)任務(wù)，并應(yīng)對可能存在的非正常狀況，

如異常參與節(jié)點或者網(wǎng)絡(luò)連接。

4.4參考架構(gòu)

在面向異構(gòu)計算的協(xié)同學(xué)習(xí)架構(gòu)中，主要包括參與節(jié)點和中心節(jié)點。參與節(jié)點和中心節(jié)點彼此交互，

經(jīng)過多輪訓(xùn)練來完成協(xié)同學(xué)習(xí)的訓(xùn)練任務(wù)。在每一輪訓(xùn)練開始時，中心節(jié)點負(fù)責(zé)從所有參與節(jié)點中選擇

（部分）參與節(jié)點來參與本輪訓(xùn)練，并將當(dāng)前的全局參數(shù)分發(fā)給這些參與節(jié)點。這些參與節(jié)點基于接收

到的全局參數(shù)，分別在本地的數(shù)據(jù)上進行本地訓(xùn)練，得到訓(xùn)練后的本地參數(shù)。隨后，這些參與節(jié)點將本

輪訓(xùn)練得到的本地參數(shù)提供給中心節(jié)點，中心節(jié)點通過同步或者異步的方式來聚合來自不同參與節(jié)點的

2

T/CESAXXXX—202X

本地參數(shù)，得到下一輪的全局參數(shù)并開始下一輪訓(xùn)練。在每一輪訓(xùn)練中，參與節(jié)點的本地訓(xùn)練和中心節(jié)

點的聚合過程都有日志記錄。系統(tǒng)參考架構(gòu)見圖1。

圖1：面向異構(gòu)計算的協(xié)同學(xué)習(xí)系統(tǒng)參考架構(gòu)

5系統(tǒng)技術(shù)要求

5.1概述

異構(gòu)智能計算場景下的協(xié)同學(xué)習(xí)系統(tǒng)的主要能力是協(xié)調(diào)多個可能的異構(gòu)計算設(shè)備完成一個共同的

深度學(xué)習(xí)訓(xùn)練任務(wù)，并保障訓(xùn)練過程中的數(shù)據(jù)隱私和模型安全。本文件主要從功能要求、兼容性要求、

可信要求和數(shù)據(jù)隱私保護要求對相關(guān)系統(tǒng)提出技術(shù)要求，見表1。

表1：面向異構(gòu)計算的協(xié)同學(xué)習(xí)系統(tǒng)技術(shù)要求指標(biāo)

技術(shù)要求具體要求

數(shù)據(jù)處理

參與節(jié)點選擇

容錯機制

功能要求

通信方式

通信壓縮

日志記錄

異構(gòu)數(shù)據(jù)兼容

異構(gòu)模型兼容

兼容性要求

異構(gòu)計算平臺兼容

任務(wù)異構(gòu)調(diào)度兼容

訓(xùn)練可信

可信要求聚合可信

安全審計

通信數(shù)據(jù)保護

數(shù)據(jù)隱私保護要求本地數(shù)據(jù)隱私保護

中心聚合隱私保護

3

T/CESAXXXX—202X

5.2功能要求

5.2.1數(shù)據(jù)處理

系統(tǒng)應(yīng)具備對參與節(jié)點的本地數(shù)據(jù)的深度學(xué)習(xí)訓(xùn)練的數(shù)據(jù)預(yù)處理能力。

5.2.2參與節(jié)點選擇

系統(tǒng)對于參加訓(xùn)練的節(jié)點選擇符合以下要求：

a)應(yīng)具備從眾多參與節(jié)點中隨機選擇部分參與節(jié)點來參與每輪訓(xùn)練的能力；

b)應(yīng)具備基于計算任務(wù)類型、計算數(shù)據(jù)量大小選擇合適的參與節(jié)點參與訓(xùn)練的能力；

c)應(yīng)具備基于計算任務(wù)需求，包括安全性、時延、成本等多個因素選擇合適的參與節(jié)點參與訓(xùn)練

的能力；

d)宜具備根據(jù)各個參與節(jié)點的訓(xùn)練表現(xiàn)來選擇節(jié)點參與訓(xùn)練的能力；

e)宜具備基于各個參與節(jié)點的貢獻來評估節(jié)點數(shù)據(jù)價值的能力。

注：參與節(jié)點的訓(xùn)練表現(xiàn)包括但不限于訓(xùn)練時間、模型精度、網(wǎng)絡(luò)開銷等。參與節(jié)點貢獻評估可以分為：通過數(shù)據(jù)

質(zhì)量評估和通過數(shù)據(jù)數(shù)量評估。

5.2.3容錯機制

系統(tǒng)對于參與節(jié)點的異常情況，容錯機制符合以下要求：

a)應(yīng)具備容忍部分參與節(jié)點出現(xiàn)異常情況的能力，即參與節(jié)點發(fā)生異常時不會造成系統(tǒng)崩潰；

b)宜具備當(dāng)參與節(jié)點協(xié)同訓(xùn)練出現(xiàn)異常時，恢復(fù)至任務(wù)下發(fā)時的初始狀態(tài)能力；

c)宜具備參與節(jié)點備份能力，以解決當(dāng)參與節(jié)點出現(xiàn)異常時快速替代異常參與節(jié)點執(zhí)行計算任務(wù)

的能力。

注：參與節(jié)點異常情況可能包括異常終止計算，因網(wǎng)絡(luò)問題導(dǎo)致的臨時下線，以及因訓(xùn)練緩慢帶來的超時問題等。

5.2.4通信方式

系統(tǒng)支持的中心節(jié)點和參與節(jié)點間進行協(xié)同訓(xùn)練時，通信方式符合以下要求：

a)應(yīng)具備中心節(jié)點和參與節(jié)點間的同步通信方式的能力；

b)應(yīng)具備中心節(jié)點和參與節(jié)點間的異步通信方式的能力。

5.2.5通信壓縮

系統(tǒng)對中心節(jié)點和參與節(jié)點間的網(wǎng)絡(luò)通信壓縮符合以下要求：

a)應(yīng)具備對于中心節(jié)點下發(fā)到參與節(jié)點的模型參數(shù)的壓縮能力，參與節(jié)點通過解壓功能可獲得原

始模型參數(shù)，壓縮不降低精度；

b)應(yīng)具備對于參與節(jié)點上傳到中心節(jié)點的本地參數(shù)的壓縮能力，中心節(jié)點通過解壓功能可獲得原

始模型參數(shù)，壓縮不降低精度；

c)應(yīng)具備控制參與聚合節(jié)點數(shù)量來減少中心節(jié)點接收的數(shù)據(jù)量的能力。

5.2.6日志記錄

系統(tǒng)對整個訓(xùn)練過程的日志記錄符合以下要求：

a)應(yīng)具備對于參與節(jié)點的每一輪訓(xùn)練初始參數(shù)和訓(xùn)練結(jié)果參數(shù)進行日志記錄的能力；

b)應(yīng)具備對于中心節(jié)點的每一輪聚合過程進行日志記錄的能力。

5.3兼容性要求

4

T/CESAXXXX—202X

5.3.1異構(gòu)數(shù)據(jù)兼容

系統(tǒng)對不同參與節(jié)點的異構(gòu)數(shù)據(jù)兼容符合以下要求：

a)應(yīng)具備允許各個參與節(jié)點的非獨立同分布數(shù)據(jù)進行訓(xùn)練的能力；

b)應(yīng)具備處理、緩解、或解決非獨立同分布數(shù)據(jù)導(dǎo)致的模型精度下降問題的能力；

c)應(yīng)具備允許各個參與節(jié)點的不同數(shù)據(jù)量大小進行訓(xùn)練的能力；

d)宜具備允許各個參與節(jié)點的不同模態(tài)數(shù)據(jù)進行訓(xùn)練的能力。

注：異構(gòu)數(shù)據(jù)可能表現(xiàn)在數(shù)據(jù)稀疏性、特征偏度、數(shù)據(jù)分布等方面。

5.3.2異構(gòu)模型兼容

系統(tǒng)對支持的異構(gòu)模型的兼容符合以下要求：

a)應(yīng)具備對于多種不同種類的模型進行訓(xùn)練的能力；

b)應(yīng)具備對于不同模型大小進行訓(xùn)練的能力。

5.3.3異構(gòu)計算平臺兼容

系統(tǒng)對異構(gòu)計算平臺的兼容符合以下要求：

a)應(yīng)具備允許本地訓(xùn)練任務(wù)運行在不同類型指令集和體系架構(gòu)的計算平臺上的能力；

b)應(yīng)具備允許中心聚合任務(wù)運行在不同類型指令集和體系架構(gòu)的計算平臺上的能力；

c)宜具備允許中心聚合任務(wù)在多于一個的計算節(jié)點上以分布式的方式完成的能力。

5.3.4異構(gòu)調(diào)度兼容

系統(tǒng)對異構(gòu)調(diào)度兼容符合以下要求：

a)應(yīng)具備允許計算任務(wù)在一個計算節(jié)點上的不同計算設(shè)備上進行計算的能力；

b)宜具備允許計算任務(wù)根據(jù)硬件資源利用率情況動態(tài)決定在一個計算節(jié)點上哪個計算設(shè)備上進行

計算的能力；

c)宜具備根據(jù)各個計算節(jié)點的硬件資源利用率情況動態(tài)決定哪個計算節(jié)點上進行中心聚合任務(wù)計

算的能力。

5.4可信要求

5.4.1訓(xùn)練可信

系統(tǒng)對于參與節(jié)點的訓(xùn)練過程可信保障符合以下要求：

a)應(yīng)具備自我身份證明的能力；

b)應(yīng)具備對于參與節(jié)點身份的合法性認(rèn)證的能力；

c)應(yīng)僅允許身份合法的參與節(jié)點參與訓(xùn)練過程；

d)應(yīng)具備阻止或檢測參與節(jié)點進行數(shù)據(jù)投毒攻擊的能力；

e)應(yīng)具備阻止或檢測參與節(jié)點進行模型投毒攻擊的能力；

f)應(yīng)具備阻止或檢測參與節(jié)點的搭便車攻擊的能力；

g)應(yīng)具備阻止或檢測參與節(jié)點的女巫攻擊的能力；

h)當(dāng)系統(tǒng)提供檢測上述某一攻擊的能力時，對于訓(xùn)練過程中檢測出存在此攻擊的參與節(jié)點，應(yīng)將

其身份標(biāo)記為不合法節(jié)點，禁止繼續(xù)參與此次訓(xùn)練。

5.4.2聚合可信

系統(tǒng)對于中心節(jié)點的聚合過程可信保障符合以下要求：