2023聯(lián)邦學習應用安全研究報告

聯(lián)邦學習應用安全研究報告(2023年)1前言前言“數(shù)據(jù)孤島”，是數(shù)據(jù)為“王”的時代的一個不可被忽視的現(xiàn)象，各組織機構(gòu)的數(shù)據(jù)如同大洋上的島嶼，隔海相望、孤立無援。這種現(xiàn)象來源于組織機構(gòu)對敏感數(shù)據(jù)域外共享的數(shù)據(jù)安全擔憂，隨著數(shù)據(jù)安全法律法規(guī)日趨嚴格，各組織機構(gòu)難以承擔數(shù)據(jù)泄露所帶來的嚴重后果，使數(shù)據(jù)既出不去，也進不來。在追求數(shù)據(jù)要素高效高質(zhì)流通的當下，“數(shù)據(jù)孤島”現(xiàn)象無疑是數(shù)據(jù)要素市場化建設(shè)進程中的障礙，于是“原始數(shù)據(jù)不出域，數(shù)據(jù)可用不可見”的新范式被提出，聯(lián)邦學習也作為能夠?qū)崿F(xiàn)該范式的代表技術(shù)之一，得到了快速的發(fā)展。聯(lián)邦學習技術(shù)可避免原始數(shù)+聯(lián)邦學習作為能夠打破“數(shù)據(jù)孤島”的有力技術(shù)工具，為實現(xiàn)保障數(shù)據(jù)安全流通的初衷，仍然需要確保其自身的各屬性的安全可靠。本研究報告著眼于聯(lián)邦學習技術(shù)產(chǎn)品、系統(tǒng)、平臺等形式的應用的安全，介紹了聯(lián)邦學習應用的安全現(xiàn)狀，分析了聯(lián)邦學習在應用中面臨的安全問題，并針對以上痛點問題，提出了聯(lián)邦學習應用的未來發(fā)展建議。本報告的編寫得到了不少業(yè)界同仁的大力支持，希望本報告能為社會各界深入了解聯(lián)邦學習應用安全的現(xiàn)狀與發(fā)展提供有價值的參考。目錄目錄一、聯(lián)邦學習概述 1(一)背景 1(二)聯(lián)邦學習技術(shù)體系 2二、聯(lián)邦學習應用概況 4(一)跨機構(gòu)應用是國內(nèi)聯(lián)邦學習應用的主要形態(tài) 4(二)中心化架構(gòu)在聯(lián)邦學習產(chǎn)品中占比最多 5(三)半誠實敵手環(huán)境是當下聯(lián)邦學習主要的應用環(huán)境 7(四)密碼技術(shù)是當下聯(lián)邦學習產(chǎn)品的主要安全保護技術(shù) 9三、聯(lián)邦學習應用安全現(xiàn)狀與問題分析 (一)數(shù)據(jù)泄露類風險是聯(lián)邦學習產(chǎn)品最易出現(xiàn)的安全風險 (二)聯(lián)邦學習應用安全風險的隱蔽性高 14(三)協(xié)調(diào)方的存在為聯(lián)邦學習應用帶來了安全方面的不確定因素 15(四)聯(lián)邦學習應用的安全保護強度與性能要求在一定程度上相互制約 16(五)聯(lián)邦學習應用安全相關(guān)標準尚未健全 18四、聯(lián)邦學習應用安全學界研究現(xiàn)狀 19(一)偏重于惡意安全環(huán)境下的安全研究 19(二)如何優(yōu)化性能是熱門研究方向 20五、聯(lián)邦學習應用安全發(fā)展建議 21(一)加速聯(lián)邦學習應用安全的標準化建設(shè) 21(二)加強聯(lián)邦學習應用安全的研究 22(三)推動聯(lián)邦學習應用安全的基礎(chǔ)設(shè)施建設(shè) 23圖目錄圖目錄圖1 聯(lián)邦學習架構(gòu) 4圖2 聯(lián)邦學習產(chǎn)品架構(gòu)總體分布統(tǒng)計 6圖3 不同場景中的聯(lián)邦學習產(chǎn)品架構(gòu)分布統(tǒng)計 7圖4 聯(lián)邦學習產(chǎn)品安全保護技術(shù)使用占比統(tǒng)計 10圖5 聯(lián)邦學產(chǎn)品安全風險占比統(tǒng)計（半誠實環(huán)境） 圖6 聯(lián)邦學習產(chǎn)品安全風險分布統(tǒng)計（半誠實環(huán)境） 12表目錄表目錄表1 聯(lián)邦學習應用分類 3表2 聯(lián)邦學習應用的安全假設(shè) 8聯(lián)邦學習應用安全研究報告（2023聯(lián)邦學習應用安全研究報告（2023年）11一、聯(lián)邦學習概述（一）背景在數(shù)據(jù)價值被充分重視的大數(shù)據(jù)時代，數(shù)據(jù)流通成為了數(shù)據(jù)價202216聯(lián)邦學習作為數(shù)據(jù)流通領(lǐng)域的重要技術(shù)應用，一旦其出現(xiàn)安全問題，則保護數(shù)據(jù)的初衷將無法實現(xiàn)。因此，聯(lián)邦學習的使用者對其安全性要求普遍較高。目前，聯(lián)邦學習多被用于金融、醫(yī)療、政近年來，聯(lián)邦學習安全已經(jīng)得到了學界的高度重視。從研究熱20162022年的區(qū)間內(nèi)，聯(lián)邦學習安全方面的論文1聯(lián)邦學習應用安全研究報告（2023聯(lián)邦學習應用安全研究報告（2023年）PAGEPAGE10（二）聯(lián)邦學習技術(shù)體系2016聯(lián)邦學習可以從以下三個維度進行分類，如表1所示。一是，根據(jù)參與方的性質(zhì)，聯(lián)邦學習可劃分為跨機構(gòu)（cross-silo）聯(lián)邦學習和跨設(shè)備(cross-device)聯(lián)邦學習?？鐧C構(gòu)聯(lián)邦學習指不同組織、機構(gòu)之間，或者地理分離的數(shù)據(jù)中心之間的聯(lián)邦學習，其特點是參與方數(shù)量少，各方的數(shù)據(jù)規(guī)模、質(zhì)量等方面相對一致，技術(shù)實現(xiàn)相對簡單；跨設(shè)備聯(lián)邦學習指大量移動通信設(shè)備或物聯(lián)網(wǎng)終端、邊緣計算設(shè)備等之間的多方數(shù)據(jù)建模模式，其特點是參與方數(shù)量規(guī)模巨大，且各方的數(shù)據(jù)質(zhì)量以及所處的網(wǎng)絡(luò)、硬件環(huán)境相差較大，因此需考慮數(shù)據(jù)不平衡、設(shè)備性能不平衡、網(wǎng)絡(luò)性能差等問題，實現(xiàn)難度較大。二是，根據(jù)多方訓練數(shù)據(jù)樣本和特征空間的異同，聯(lián)邦學習可劃分為橫向應用與縱向應用。在橫向應用中，各參與方數(shù)據(jù)集的特征相同，而樣本不同，其“橫向”擴展了訓練數(shù)據(jù)的樣本空間?？v向應用則與橫向應用相反，各參與方的數(shù)據(jù)擁有相同的樣本空間，但在特征上各不相同，縱向應用實現(xiàn)了訓練數(shù)據(jù)特征空間的“縱向”擴展。三是，根據(jù)技術(shù)架構(gòu)的不同，聯(lián)邦學習可以劃分成中心化架構(gòu)和去中心化架構(gòu)。中心化架構(gòu)中需要中央服務(wù)器作為協(xié)調(diào)方協(xié)助完成聯(lián)邦學習過程，中央服務(wù)器及協(xié)調(diào)方程序通常部署于誠實的第三方中。去中心化架構(gòu)中則沒有處于中心地位、用以協(xié)調(diào)的第三方，如圖1所示。表1聯(lián)邦學習應用分類維度參與方樣本和特征空間技術(shù)架構(gòu)分類跨機構(gòu)跨設(shè)備橫向縱向中心化去中心化架構(gòu)來源：中國信息通信研究院中心化架構(gòu)舉例客戶端中心化架構(gòu)舉例客戶端3中央服務(wù)器客戶端2客戶端n客戶端1去中心化架構(gòu)舉例客戶端客戶端客戶端客戶端客戶端來源：中國信息通信研究院圖1聯(lián)邦學習架構(gòu)二、聯(lián)邦學習應用概況聯(lián)邦學習應用已在我國多個行業(yè)落地實踐，在此背景下，中國信息通信研究院安全研究所（以下簡稱安全所）20212023（40余20余項聯(lián)邦學習產(chǎn)品或應用進行了安全性調(diào)研（以下簡稱“調(diào)研”）。本報告以本次“活動”與“調(diào)研”中積累的數(shù)據(jù)為基礎(chǔ)，從聯(lián)邦學習的應用情況、存在的安全風險、技術(shù)保障措施等方面分析了當下(一)跨機構(gòu)應用是國內(nèi)聯(lián)邦學習應用的主要形態(tài)3，實現(xiàn)的是跨“孤島”的聯(lián)合建模，即跨機構(gòu)的聯(lián)邦學習?？鐧C構(gòu)聯(lián)邦學習應用的參與方數(shù)量少，相應的計算和通信壓力相對較小，且成功的數(shù)據(jù)共享是各參與方的共同需求，在聯(lián)合建模過程中各參與方為達成共同目標通常不會主動發(fā)起攻擊行為，因而其對性能和安全性方面的技術(shù)要求相對較低，當下的聯(lián)邦學習技術(shù)已可滿足跨機構(gòu)應用的大部分技術(shù)要求，這使得跨機構(gòu)的聯(lián)邦學習應用能夠獲得相對廣泛的落地。相反，在跨設(shè)備的聯(lián)邦學習應用中，參與方數(shù)量巨大，應用對計算效率、通信開銷、安全防御等方面的要求更高。(二)中心化架構(gòu)在聯(lián)邦學習產(chǎn)品中占比最多在技術(shù)架構(gòu)方面，從總體上看中心化架構(gòu)在各類聯(lián)邦學習產(chǎn)品中占比最高，如圖2所示。同時，聯(lián)邦學習產(chǎn)品采用何種技術(shù)架構(gòu)與其內(nèi)置算法有關(guān)，部分聯(lián)邦學習產(chǎn)品內(nèi)置了多種算法以適應不同場景，因此出現(xiàn)了可同時支持中心化架構(gòu)與去中心化架構(gòu)的情況，如圖2。來源：中國信息通信研究院圖2聯(lián)邦學習產(chǎn)品架構(gòu)總體分布統(tǒng)計在橫向與縱向的聯(lián)邦學習中，技術(shù)架構(gòu)的分布有所不同。絕大3算法4。在縱向聯(lián)邦學習方面，中心3（如secureboost算法方的介入。如此導致了兩種架構(gòu)分布的平分秋色。綜合以上數(shù)據(jù)，中心化架構(gòu)在聯(lián)邦學習產(chǎn)品各應用場景中均占比最多。來源：中國信息通信研究院圖3不同場景類別中的聯(lián)邦學習產(chǎn)品架構(gòu)分布統(tǒng)計(三)半誠實敵手環(huán)境是當下聯(lián)邦學習主要的應用環(huán)境從參與方對聯(lián)邦學習協(xié)議的遵守程度看，聯(lián)邦學習的參與方可被劃分為誠實參與方、半誠實敵手、惡意敵手，相應地，根據(jù)參與方的誠實程度，將聯(lián)邦學習的應用環(huán)境劃分為誠實環(huán)境、半誠實敵2所示。其中，誠實環(huán)境中的所有參與方均為誠實的；半誠實敵手環(huán)境中的參與方會誠實地遵守協(xié)議，但也有可能會被動接收或推測其他參與方的隱私信息，即該環(huán)境中現(xiàn)狀的原因，可從以下兩個方面進行分析。表2聯(lián)邦學習應用的安全假設(shè)協(xié)議執(zhí)行行為特征防御難度惡意敵手環(huán)境不遵守協(xié)議主動攻擊高半誠實敵手環(huán)境遵守協(xié)議隱私推理中等誠實環(huán)境遵守協(xié)議誠實無需防御來源：中國信息通信研究院一方面，國內(nèi)聯(lián)邦學習應用的參與方之間多存在一定的信任基礎(chǔ)，基于半誠實敵手假設(shè)的安全設(shè)計可以滿足大部分聯(lián)邦學習應用的安全需求。目前國內(nèi)聯(lián)邦學習應用多為跨機構(gòu)的應用，各參與方之間為合作共贏的關(guān)系，順利且準確地訓練出最終結(jié)果符合聯(lián)邦學習應用各參與方的利益，因此各參與方?jīng)]有必要針對聯(lián)邦學習過程發(fā)起攻擊。然而，不排除各組織或機構(gòu)在不影響聯(lián)合訓練結(jié)果的情況下“窺伺”其他參與方敏感數(shù)據(jù)的情況。多方交互中安全設(shè)計缺陷為這種“窺伺”行為提供了發(fā)生的可能，這使得“好奇”的參與方可直接獲取或間接推理出其他參與方的敏感數(shù)據(jù)。這種“好奇”另一方面，惡意敵手模型下的安全研究成果尚不足以支撐聯(lián)邦學習實際應用。一是學界尚未探明惡意敵手模型中的安全風險。在(四)密碼技術(shù)是當下聯(lián)邦學習產(chǎn)品的主要安全保護技術(shù)當前的聯(lián)邦學習產(chǎn)品采取了多種安全技術(shù)手段來應對安全風4展示了各類安全保護技術(shù)的使用占比情況，其中，絕大多95%以上，在各類安全保護技術(shù)中處于第一梯隊；秘密分享、不經(jīng)意傳輸、安全密鑰70%以上；Hash和60.7%、47.8%、30.4%，其他安全保43.5%。上述技術(shù)除差分隱私與“其他”技術(shù)外同屬密碼技術(shù)，可見密碼技來源：中國信息通信研究院圖4聯(lián)邦學習產(chǎn)品安全保護技術(shù)使用占比統(tǒng)計使用同態(tài)加密保護技術(shù)與使用安全多方計算技術(shù)保護是聯(lián)邦學習安全保護的兩條主要技術(shù)路線。一方面，同態(tài)加密主要應用于聯(lián)邦學習的多方交互算法中，它的作用主要是使各方參數(shù)的運算在密態(tài)空間中進行，避免參數(shù)明文被他方獲知，從而達到保護敏感數(shù)據(jù)的目的。另一方面，安全多方計算技術(shù)亦可實現(xiàn)對聯(lián)邦學習過程的保護。除了負責完成匿蹤查詢、聯(lián)合運算等隱私場景的需求外，安全多方計算技術(shù)也作為底層庫在同一平臺內(nèi)為聯(lián)邦學習的上層應用提供安全支撐。與同態(tài)加密類似，安全多方計算也保護了聯(lián)邦學習過程的參數(shù)交互。不同之處在于，以安全多方計算作為主要安全保護技術(shù)的聯(lián)邦學習產(chǎn)品通常不需要協(xié)調(diào)方的參與，適用于無可信第三方的場景下的多方數(shù)據(jù)安全流通共享。圖4中，秘密分享、不經(jīng)意傳輸、混淆電路同屬安全多方計算技術(shù)，它們常與聯(lián)邦學習集成于同一大平臺。三、聯(lián)邦學習應用安全現(xiàn)狀與問題分析(一)數(shù)據(jù)泄露類風險是聯(lián)邦學習產(chǎn)品最易出現(xiàn)的安全風險“活動”針對半誠實敵手環(huán)境下的安全風險進行了檢測，發(fā)現(xiàn)目前的聯(lián)邦學習產(chǎn)品主要存在未進行數(shù)據(jù)完整性驗證、存儲敏感信息未經(jīng)加密或脫敏、缺乏任務(wù)授權(quán)機制、泄露用戶隱私數(shù)據(jù)、泄露5展示了聯(lián)邦學習產(chǎn)品各類別安48.2%。來源：中國信息通信研究院圖5聯(lián)邦學習產(chǎn)品安全風險占比統(tǒng)計（半誠實環(huán)境）圖6從聯(lián)邦學習流程的維度，統(tǒng)計了全流程中每個環(huán)節(jié)的安全風險分布，數(shù)據(jù)泄露類風險在聯(lián)邦學習流程中的模型訓練環(huán)節(jié)與模型預測環(huán)節(jié)占比最高。來源：中國信息通信研究院圖6聯(lián)邦學習產(chǎn)品安全風險分布統(tǒng)計（半誠實環(huán)境）從聯(lián)邦學習的運算過程看，多方交互協(xié)議的設(shè)計不當是導致數(shù)據(jù)泄漏風險多發(fā)的原因之一。在聯(lián)邦學習的運算過程中，各參與方僅擁有聯(lián)合建模所需的“部分”訓練數(shù)據(jù)，這些原始的訓練數(shù)據(jù)在經(jīng)過本地計算后產(chǎn)生了中間參數(shù)，各參與方以交換中間參數(shù)的方式進行協(xié)作，最終完成整個建模過程。其中，多方交互協(xié)議約定了各方參數(shù)交互的內(nèi)容和時序。在內(nèi)容上，協(xié)議規(guī)定了參數(shù)在各參與方本地的形成過程，形成的參數(shù)可能是密鑰、隨機數(shù)，甚至是經(jīng)過加密的原始數(shù)據(jù)。若這些參數(shù)沒有經(jīng)過一定程度的安全處理，半誠實的參與方往往會借此推導出其他參與方的敏感數(shù)據(jù)，從而造成數(shù)據(jù)泄露。在時序上，協(xié)議規(guī)定了各類參數(shù)在各參與方之間交互的時機和順序。各類參數(shù)之間存在著一定的依賴關(guān)系，前一個參數(shù)往往是后一個參數(shù)形成的計算條件，時序的錯誤一方面可能會造成聯(lián)邦協(xié)作過程無法繼續(xù)，另一方面，混亂的密鑰分配、滯后的安全保護措施等都會帶來安全風險。因此，多方交互過程是出現(xiàn)數(shù)據(jù)泄露安全風險的重災區(qū)，嚴謹?shù)亩喾浇换f(xié)議對確保聯(lián)邦學習安全起著至關(guān)重要的作用。從聯(lián)邦學習的結(jié)果保護方面看，對結(jié)果聚合的疏于防護也是引發(fā)數(shù)據(jù)泄露風險的重要原因。在部分聯(lián)邦學習應用中，需要由協(xié)調(diào)方對各參與方在本地產(chǎn)生的中間結(jié)果進行聚合運算，中間結(jié)果包括每輪迭代的模型參數(shù)、各參與方的本地預測結(jié)果參數(shù)等。這些中間結(jié)果屬于敏感數(shù)據(jù)，倘若沒有一定措施對其進行保護，中間結(jié)果與最終結(jié)果等敏感數(shù)據(jù)會直接暴露給部署了協(xié)調(diào)方程序的第三方，半誠實的第三方可能會利用中間結(jié)果，通過推導的方式獲知用戶的原始數(shù)據(jù)。在模型訓練和模型預測環(huán)節(jié)存在著較多的結(jié)果聚合場景，這使得結(jié)果類數(shù)據(jù)泄露的風險集中出現(xiàn)在這兩個環(huán)節(jié)中。例如，在4的橫向聯(lián)邦學習的訓練環(huán)節(jié)中，各參與方會將每一輪迭代的梯度或模型參數(shù)結(jié)果上傳到第三方進行加和平均；再如，在縱向聯(lián)邦學習的模型預測環(huán)節(jié)中，部分應用將各參與方本地的預測方的問題。因此如何安全地進行結(jié)果聚合應是聯(lián)邦學習應用關(guān)注的重點問題之一。(二)聯(lián)邦學習應用安全風險的隱蔽性高聯(lián)邦學習應用的安全風險不僅類型多、分布廣，而且這些安全風險也具備隱蔽性高的特點，其原因可以從下述兩方面分析。一方面，聯(lián)邦學習應用中多方交互的高復雜性造成了其安全風險不易被發(fā)現(xiàn)。聯(lián)邦學習比集中式機器學習增加了分布式過程，其針對集中式機器學習的各類算法進行了拆分改造，并且將拆分后的計算參數(shù)分布到各參與方進行計算，同時通過多方交互的方式來滿足各拆分后參數(shù)的計算所需條件，從而完成計算。拆分后的計算參數(shù)在各參與方之間進行流轉(zhuǎn)，參與方的當前狀態(tài)亦隨時序的變化而變化，在特定時刻下，不易確定參與方是否可根據(jù)其自身狀態(tài)推導害”的woe/iv另一方面，聯(lián)邦學習應用不易進行安全審計，也是其安全風險隱蔽性高的重要原因。聯(lián)邦學習應用中大量采用了密碼技術(shù)，這些加密措施保護了聯(lián)邦學習應用的多方交互過程的同時，也使流轉(zhuǎn)的參數(shù)經(jīng)歷了復雜的數(shù)學變形，改變了其原有形態(tài)。在這種情況下，使用常規(guī)審計手段難以復原聯(lián)邦學習過程的原貌，從而造成了聯(lián)邦學習應用安全審計的困難。同時，聯(lián)邦學習是跨分布式計算、機器學習、密碼學等多領(lǐng)域的融合應用，對安全審計人員的知識背景要求極高。目前企業(yè)安全部門中，兼具這些知識背景的安全審計人員較少，開展專業(yè)的聯(lián)邦學習審計活動比較困難。因此，聯(lián)邦學習過程是否按照“原始設(shè)計”無誤進行、操作人員是否執(zhí)行了不安全的操作、參與方是否存在惡意攻擊的行為等等安全問題，變得不易發(fā)現(xiàn)和評估。(三)協(xié)調(diào)方的存在為聯(lián)邦學習應用帶來了安全方面的不確定因素中心化架構(gòu)在當下的眾多聯(lián)邦學習產(chǎn)品中占據(jù)較大比例，采用該架構(gòu)的應用使用協(xié)調(diào)方（中央服務(wù)器）協(xié)助完成聯(lián)邦學習的全過程。協(xié)調(diào)方的引入為聯(lián)邦學習應用帶來了安全方面的不確定性，體現(xiàn)在如下三個方面。一是將敏感數(shù)據(jù)暴露給第三方是潛在的安全隱患。聯(lián)邦學習過程中，原則上由第三方擔任協(xié)調(diào)方角色。如此，作為協(xié)調(diào)方的第三方便承擔著密鑰分發(fā)、參數(shù)聚合等任務(wù)，其在服務(wù)的過程中可能會接觸到密鑰、模型參數(shù)等敏感數(shù)據(jù)。一旦多方交互協(xié)議設(shè)計不當或第三方存在不誠實行為，極易出現(xiàn)第三方獲取敏感數(shù)據(jù)的情況。同時，也存在著不誠實第三方與某些參與方利用自身參數(shù)合謀獲取隱私數(shù)據(jù)的情況。因此，讓第三方接觸敏感數(shù)據(jù)是潛在的安全風險。二是目前現(xiàn)實中難以找到誠實可信的第三方擔任協(xié)調(diào)方角色。絕對誠實的第三方，不會竊取隱私數(shù)據(jù)，是理想狀態(tài)下協(xié)調(diào)方角色的擔當。然而，現(xiàn)實中尚無誠實第三方的認定標準，難以對第三方進行有效的可信認定。因此，盲目的引入第三方，一方面可能會出現(xiàn)數(shù)據(jù)泄漏等安全風險，另一方面也可能會帶來安全合規(guī)方面的問題。三是協(xié)調(diào)方程序的部署易受到機構(gòu)間合作關(guān)系的影響而導致潛在安全風險。在機構(gòu)間的聯(lián)邦學習合作中，可能會出現(xiàn)話語權(quán)不對等的問題。譬如，機構(gòu)體量、數(shù)據(jù)量、數(shù)據(jù)價值等方面的差異，導致在聯(lián)邦學習合作中出現(xiàn)優(yōu)勢方。部分優(yōu)勢方為避免引入第三方而產(chǎn)生的安全隱患，而選擇將協(xié)調(diào)方程序部署到自身一側(cè)。如此，優(yōu)勢方同時擁有了參與方程序與協(xié)調(diào)方程序，若優(yōu)勢方是不誠實或半誠實的，則其可能會結(jié)合兩種角色程序所產(chǎn)生的中間參數(shù)，利用數(shù)據(jù)推導等手段，竊取其他方的敏感數(shù)據(jù)。這種部署方式保證了優(yōu)勢方在一定程度上的數(shù)據(jù)安全，卻使其他參與方存在敏感數(shù)據(jù)泄露的安全風險。因此，機構(gòu)間的合作關(guān)系不對等可能會成為聯(lián)邦學習應用安全風險出現(xiàn)的誘因。(四)聯(lián)邦學習應用的安全保護強度與性能要求在一定程度上相互制約聯(lián)邦學習在應用中通常會使用密碼等技術(shù)手段對多方交互的過程進行保護，而這些保護措施的強度往往與實際中的性能要求存在著相互牽制的關(guān)系。一方面，高強度的安全保護往往制約了聯(lián)邦學習應用的性能。在通信開銷上，大部分聯(lián)邦學習應用對多方交互中產(chǎn)生的中間參數(shù)深DNN另一方面，可用性要求迫使聯(lián)邦學習應用在實際應用中降低部分安全配置。某些情況下，高級別的安全配置將使聯(lián)邦學習應用的性能下降，甚至陷入“不可用”的狀態(tài)，設(shè)計者不得不降低安全配置，以獲得安全性與性能的平衡。以縱向聯(lián)邦學習中的聯(lián)邦數(shù)據(jù)對齊環(huán)節(jié)為例，絕大多數(shù)聯(lián)邦學習應用為避免重復運算，在整體設(shè)計上進行了解耦，將數(shù)據(jù)對齊環(huán)節(jié)設(shè)計成獨立的功能模塊，使其能夠進行獨立運算、獨立存儲。而縱向場景下的聯(lián)邦數(shù)據(jù)對齊實質(zhì)上是IDIDID交集及自身的已有數(shù)據(jù)推導出對方的用戶群體數(shù)據(jù)，從而造成用戶群體數(shù)據(jù)的暴露。反之，若將數(shù)據(jù)對齊環(huán)節(jié)與模型訓練環(huán)節(jié)集成起來，樣本交集以密文中間參數(shù)的形式繼續(xù)加入運算，即可避免上述的數(shù)據(jù)泄露風險。然而，此舉一方面使數(shù)據(jù)對齊的結(jié)果難以被重復利用，另一方面對規(guī)模巨大的樣本交集進行密態(tài)計算，將極大增加計算性能開銷，甚至可能使功能陷于癱瘓。因此，在實際應用中，當技術(shù)手段無法解決安全與性能的矛盾時，犧牲部分安全性以換取性能上的“可用”便成了無奈之舉。安全與性能呈現(xiàn)出相互制約的關(guān)系，如何解決二(五)聯(lián)邦學習應用安全相關(guān)標準尚未健全聯(lián)邦學習技術(shù)多應用于數(shù)據(jù)生命周期的共享階段，目前聯(lián)邦學/當下各類聯(lián)邦學習應用對安全尺度的把控不統(tǒng)一。對于聯(lián)邦學全尺度進行規(guī)范指導。同時，當下已發(fā)布的安全標準主要集中于產(chǎn)品的安全要求上，聯(lián)邦學習應用部署、運營階段的安全標準較少。聯(lián)邦學習應用的部署、運營不當，會使數(shù)據(jù)安全風險出現(xiàn)于管理環(huán)節(jié)。例如，在無身份、權(quán)限的管理機制的情況下，操作人員可能會接觸到其不應訪問到的數(shù)據(jù)。因此，健全、加速聯(lián)邦學習應用安全的標準化建設(shè)十分必要。四、聯(lián)邦學習應用安全的學界研究現(xiàn)狀(一)偏重于惡意安全環(huán)境下的安全研究相較于聯(lián)邦學習在工業(yè)界的應用，學界的研究更具有前瞻性。在研究對象上，工業(yè)界的實踐主要以toB的聯(lián)邦學習應用為主，學toCtoC場景安全要求相適配的惡意環(huán)境下的安全攻防。目前，安全研究可大致分為三大類：投投毒攻擊是指聯(lián)邦學習中的惡意的參與方對訓練集進行惡意操縱，例如向訓練集中插入精心制作的惡意樣本，從而改變訓練數(shù)據(jù)的分布，以達到破壞訓練過程或結(jié)果的目的，其種類包括了數(shù)據(jù)投基于攻擊檢測的方法存在一定的誤報或漏報，提高攻擊發(fā)現(xiàn)的準確率是未來研究的重點方向。對抗攻擊是指聯(lián)邦學習中的惡意參與方對輸入樣本添加一些難合謀攻擊指的是多個聯(lián)邦學習的惡意參與方相互掩飾聯(lián)合破壞聯(lián)邦學習的過程與結(jié)果。惡意參與方可利用自身資源為其他惡意參與方提供攻擊便利，從而對聯(lián)邦學習計算、通信等多個層面進行破(二)如何優(yōu)化性能是熱門研究方向聯(lián)邦學習應用的性能與安全存在著相互制約的關(guān)系，性能優(yōu)化技術(shù)的進步可以為更強的安全措施提供計算資源上的冗余，因此如何優(yōu)化聯(lián)邦學習的性能一直是學界的研究熱點。影響聯(lián)邦學習性能的主要因素包括通信性能和運算性能，其中，通信效率低是現(xiàn)階段制約聯(lián)邦學習發(fā)展最嚴重的問題。學界主要以如下幾個思路開展研究，一是通過減少全局模型訓練的迭代輪數(shù)，從而優(yōu)化通信的效率。例如，進行更多的本地模型參數(shù)更新等，這種方式減少了各客戶端節(jié)點向中央服務(wù)器通信的次數(shù)，但未解決單次迭代導致的信道擁堵問題。二是使用參數(shù)的壓縮技術(shù)，例如對梯五、聯(lián)邦學習應用安全發(fā)展建議(一)加速聯(lián)邦學習應用安全的標準化建設(shè)在聯(lián)邦學習應用于各行業(yè)已有初步實踐的背景下，盡快健全聯(lián)邦學習應用安全相關(guān)標準。一是出臺基于行業(yè)細分的聯(lián)邦學習應用安全技術(shù)類標準。當下聯(lián)邦學習技術(shù)已在金融、電信、互聯(lián)網(wǎng)、能源等多個行業(yè)得到了應用，一方面針對聯(lián)邦學習應用相對較成熟的行業(yè)，出臺本行業(yè)的技術(shù)安全應用的要求和規(guī)范類標準，幫助行業(yè)內(nèi)企業(yè)把控聯(lián)邦學習應用的安全尺度；另一方面，針對尚處于聯(lián)邦學習應用探索階段的行業(yè)，出臺本行業(yè)的聯(lián)邦學習安全方面的指南和方法類標準文件，以指導行業(yè)內(nèi)企業(yè)搭建具備該行業(yè)特征的安全聯(lián)邦學習應用