基于人工智能的模型檢測(cè)平臺(tái)建設(shè)項(xiàng)目需求

基于人工智能的模型檢測(cè)平臺(tái)建設(shè)項(xiàng)目需求項(xiàng)目建設(shè)背景隨著人工智能技術(shù)的飛速發(fā)展，其在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域的應(yīng)用取得了顯著成效，為各行各業(yè)的高質(zhì)量發(fā)展提供了新動(dòng)能；然而，人工智能在替代人類進(jìn)行自主決策的過程中，面臨可解釋性差、魯棒性脆弱、數(shù)據(jù)和模型隱私泄露等安全風(fēng)險(xiǎn)，這些問題嚴(yán)重阻礙了人工智能的進(jìn)一步發(fā)展和安全應(yīng)用；為了解決現(xiàn)有平臺(tái)缺少有效測(cè)試樣本，加強(qiáng)國(guó)內(nèi)人工智能系統(tǒng)的可靠性和魯棒性，自動(dòng)確定合適的脆弱性評(píng)估，并實(shí)現(xiàn)魯棒/可解釋等多角度的測(cè)試分析，亟需建設(shè)一個(gè)高度集成的一體化人工智能測(cè)評(píng)系統(tǒng)，以彌補(bǔ)國(guó)內(nèi)外系統(tǒng)集成度的差距，提供底層自研的評(píng)測(cè)工具，確保評(píng)測(cè)產(chǎn)品的完全自主和評(píng)測(cè)過程的完全可控；基于此，建設(shè)基于人工智能的模型檢測(cè)平臺(tái)，為不同行業(yè)提供智能化的決策支持，推動(dòng)產(chǎn)業(yè)的升級(jí)和創(chuàng)新，同時(shí)確保人工智能模型的可靠性、魯棒性和安全性，為實(shí)現(xiàn)跨領(lǐng)域的技術(shù)突破和應(yīng)用落地提供堅(jiān)實(shí)的基礎(chǔ)；項(xiàng)目概述為解決現(xiàn)有平臺(tái)在有效測(cè)試樣本缺少、可靠性不佳及魯棒性不足等方面的問題，需要展開深入研究，生成多樣性的對(duì)抗樣本，建立多樣化的測(cè)試樣本庫，提供豐富多樣的測(cè)試數(shù)據(jù)，確保了測(cè)試的全面性；因此，建設(shè)基于人工智能的模型檢測(cè)平臺(tái)變得尤為迫切；首先該項(xiàng)目旨在構(gòu)建一個(gè)具有高度多樣化的測(cè)試樣本庫，其中包括不同類型、不同場(chǎng)景、不同特點(diǎn)的樣本，這不僅能夠?yàn)槠髽I(yè)提供更為全面的測(cè)試數(shù)據(jù)，還能在實(shí)際應(yīng)用中更有效地對(duì)AI系統(tǒng)進(jìn)行針對(duì)性測(cè)試，確保其在各種條件下的穩(wěn)定性，形成高效、可靠、自適應(yīng)、主動(dòng)的可驗(yàn)證智能系統(tǒng)檢測(cè)體系；建設(shè)平臺(tái)需要能夠?qū)崟r(shí)地響應(yīng)外部環(huán)境的變化，并動(dòng)態(tài)地調(diào)整其策略和方法；除此之外，建設(shè)平臺(tái)還需要專門針對(duì)模型的可靠性和魯棒性進(jìn)行深入檢測(cè)；通過持續(xù)生成大量樣本，確保模型在長(zhǎng)時(shí)間運(yùn)行后仍然可靠；通過加入人工不可察覺的微調(diào)或干擾，檢測(cè)待測(cè)模型的輸出準(zhǔn)確性，并可向模型提供誤導(dǎo)性的數(shù)據(jù)，檢測(cè)其對(duì)這些數(shù)據(jù)的反應(yīng)；當(dāng)待測(cè)模型能夠在這些經(jīng)過特定設(shè)計(jì)的輸入下仍然正常工作，其在實(shí)際應(yīng)用中的可靠性得到了驗(yàn)證；魯棒性檢測(cè)可以確保模型在面對(duì)未知樣本時(shí)仍能正常工作，不影響模型表現(xiàn)的穩(wěn)定性和可靠性，有效支撐完成業(yè)務(wù)任務(wù)；本項(xiàng)目創(chuàng)新性地集成多角度的測(cè)試分析技術(shù)，從邊界可驗(yàn)證、決策可解釋角度實(shí)現(xiàn)人工智能系統(tǒng)的分析測(cè)試，最終構(gòu)建多模態(tài)數(shù)據(jù)類型和全覆蓋模型的測(cè)試一體化平臺(tái)，具備模型離線/在線環(huán)境下的測(cè)試評(píng)估等功能；它將為人工智能開發(fā)企業(yè)和研究機(jī)構(gòu)在相關(guān)測(cè)試方面提供有力的技術(shù)支持，進(jìn)一步促進(jìn)人工智能產(chǎn)業(yè)的發(fā)展；項(xiàng)目建設(shè)內(nèi)容基于人工智能的模型檢測(cè)平臺(tái)是一個(gè)綜合性平臺(tái)，它由七個(gè)核心模塊構(gòu)成，分別為：人工智能數(shù)據(jù)與模型管理模塊、人工智能數(shù)據(jù)與模型增強(qiáng)模塊、樣本智能分析生成模塊、人工智能系統(tǒng)的可靠性和魯棒性檢測(cè)模塊、數(shù)據(jù)與模型分析模塊、高性能人工智能專用服務(wù)器和數(shù)據(jù)庫服務(wù)器，各模塊之間緊密關(guān)聯(lián)，協(xié)同工作以實(shí)現(xiàn)系統(tǒng)的總體目標(biāo)；人工智能數(shù)據(jù)與模型管理模塊負(fù)責(zé)存儲(chǔ)、檢索和預(yù)處理數(shù)據(jù)和模型，為其他模塊提供基礎(chǔ)資源；人工智能數(shù)據(jù)與模型增強(qiáng)模塊利用管理模塊提供的數(shù)據(jù)和模型，通過數(shù)據(jù)增強(qiáng)技術(shù)提升模型的泛化能力和魯棒性；樣本智能分析生成模塊，可整合主流開源數(shù)據(jù)集及定制化數(shù)據(jù)集的自動(dòng)生成，并對(duì)數(shù)據(jù)集的樣本稀疏性和類別不平衡性進(jìn)行智能分析，通過數(shù)據(jù)增強(qiáng)等技術(shù)手段實(shí)現(xiàn)數(shù)據(jù)集的智能擴(kuò)充，生成測(cè)試樣本；生成的測(cè)試樣本被送入人工智能系統(tǒng)的可靠性和魯棒性檢測(cè)模塊，這里對(duì)模型進(jìn)行嚴(yán)格的測(cè)試和評(píng)估，以確保其在各種條件下都能穩(wěn)定運(yùn)行；數(shù)據(jù)與模型分析模塊對(duì)檢測(cè)結(jié)果進(jìn)行深入分析，提供洞察和建議，幫助優(yōu)化模型性能；模型基于高性能人工智能專用服務(wù)器進(jìn)行訓(xùn)練、推理、算法實(shí)現(xiàn)等；數(shù)據(jù)庫服務(wù)器用于對(duì)樣本、模型等數(shù)據(jù)進(jìn)行存儲(chǔ)；這七個(gè)模塊相互依賴，形成一個(gè)閉環(huán)系統(tǒng)，其中每個(gè)模塊的輸出都作為下一個(gè)模塊的輸入，確保了整個(gè)檢測(cè)流程的連貫性和有效性，共同推動(dòng)人工智能模型向更高標(biāo)準(zhǔn)的發(fā)展；采購的基于人工智能的模型檢測(cè)平臺(tái)組成如下表所示：系統(tǒng)名稱模塊名稱指標(biāo)要求基于人工智能的模型檢測(cè)平臺(tái)人工智能數(shù)據(jù)與模型管理模塊詳見四、項(xiàng)目具體功能和技術(shù)要求中的人工智能數(shù)據(jù)與模型管理模塊指標(biāo)要求；人工智能數(shù)據(jù)與模型增強(qiáng)模塊詳見四、項(xiàng)目具體功能和技術(shù)要求中的人工智能數(shù)據(jù)與模型增強(qiáng)模塊指標(biāo)要求；樣本智能分析生成模塊詳見四、項(xiàng)目具體功能和技術(shù)要求中的樣本智能分析生成模塊指標(biāo)要求；人工智能系統(tǒng)的可靠性和魯棒性檢測(cè)模塊詳見四、項(xiàng)目具體功能和技術(shù)要求中的人工智能系統(tǒng)的可靠性和魯棒性檢測(cè)模塊指標(biāo)要求；數(shù)據(jù)與模型分析模塊詳見四、項(xiàng)目具體功能和技術(shù)要求中的數(shù)據(jù)與模型分析模塊指標(biāo)要求；高性能人工智能專用服務(wù)器詳見四、項(xiàng)目具體功能和技術(shù)要求中的高性能人工智能專用服務(wù)器指標(biāo)要求；數(shù)據(jù)庫服務(wù)器詳見四、項(xiàng)目具體功能和技術(shù)要求中的數(shù)據(jù)庫服務(wù)器指標(biāo)要求；項(xiàng)目具體功能和技術(shù)要求針對(duì)現(xiàn)有人工智能模型檢測(cè)系統(tǒng)存在的局限性，研制一套具有人工智能系統(tǒng)測(cè)試過程管理、樣本生成、模型測(cè)評(píng)等功能的系統(tǒng)；人工智能數(shù)據(jù)與模型管理模塊：針對(duì)當(dāng)前主流平臺(tái)僅對(duì)有限類型的任務(wù)或模型進(jìn)行優(yōu)化，無法滿足更廣泛用戶需求的問題，研究人工智能多模態(tài)數(shù)據(jù)處理和多種高級(jí)模型，具體包括：系統(tǒng)支持導(dǎo)入的數(shù)據(jù)類型包括但不限于圖像分類模態(tài)數(shù)據(jù)、語音模態(tài)數(shù)據(jù)、文本模態(tài)數(shù)據(jù)等數(shù)據(jù)，實(shí)現(xiàn)對(duì)圖像、文本、語音進(jìn)行識(shí)別分類等操作；系統(tǒng)檢測(cè)的模型類型包括但不限于圖像分類模態(tài)、語音模態(tài)、文本模態(tài)等模型，實(shí)現(xiàn)對(duì)圖像、文本、語音進(jìn)行識(shí)別分類等操作；系統(tǒng)支持自定義模型、數(shù)據(jù)集導(dǎo)入功能；人工智能數(shù)據(jù)與模型增強(qiáng)模塊：針對(duì)測(cè)試樣本稀缺影響模型性能的問題，研究多種數(shù)據(jù)擴(kuò)樣增強(qiáng)算法技術(shù)；系統(tǒng)支持對(duì)圖像模態(tài)數(shù)據(jù)的光學(xué)變換、壓縮變換等偽場(chǎng)景模擬技術(shù)，可對(duì)圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)樣增強(qiáng)功能，包括在測(cè)試前對(duì)加載數(shù)據(jù)進(jìn)行翻轉(zhuǎn)，旋轉(zhuǎn)，裁剪，縮放，平移等預(yù)處理以及利用梯度、置信度等進(jìn)行擾動(dòng)增強(qiáng)樣本；系統(tǒng)支持對(duì)文本模態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)樣增強(qiáng)功能，包括包括在測(cè)試前對(duì)加載數(shù)據(jù)進(jìn)行替換、增詞，混淆同形等預(yù)處理；系統(tǒng)支持對(duì)語音模態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)樣增強(qiáng)功能，包括在測(cè)試前對(duì)數(shù)據(jù)集進(jìn)行多目標(biāo)擾動(dòng)、普適擾動(dòng)、語音合成擾動(dòng)等處理；樣本智能分析生成：構(gòu)建數(shù)據(jù)集自動(dòng)生成和智能管理工具，支持整合主流開源數(shù)據(jù)集及定制化數(shù)據(jù)集的自動(dòng)生成，并對(duì)數(shù)據(jù)集的樣本稀疏性和類別不平衡性進(jìn)行智能分析，通過數(shù)據(jù)增強(qiáng)等技術(shù)手段實(shí)現(xiàn)數(shù)據(jù)集的智能擴(kuò)充，生成測(cè)試樣本；人工智能系統(tǒng)的可靠性和魯棒性檢測(cè)模塊：針對(duì)現(xiàn)有評(píng)價(jià)平臺(tái)缺乏完整的評(píng)估標(biāo)準(zhǔn)、方法透明度、攻擊脆弱性、隱私保護(hù)等問題，研究人工智能系統(tǒng)的可靠性和魯棒性檢測(cè)技術(shù)，實(shí)現(xiàn)深度學(xué)習(xí)算法的漏洞發(fā)現(xiàn)，以及模型的加固；（1）系統(tǒng)支持模型的可靠性測(cè)試方法，包括偽樣本模擬攻擊、對(duì)抗樣本攻擊、數(shù)據(jù)投毒攻擊以及模型竊取攻擊等；（2）系統(tǒng)支持模型的魯棒性測(cè)試方法；（3）系統(tǒng)支持采用可視化的方式展示測(cè)試結(jié)果；數(shù)據(jù)與模型分析模塊：研究數(shù)據(jù)集管理、模型庫管理、算法實(shí)現(xiàn)與調(diào)用管理（包括脆弱性評(píng)估算法、檢測(cè)與防御加固算法、魯棒性測(cè)試算法）、結(jié)果可視化報(bào)告等技術(shù)，實(shí)現(xiàn)一體化平臺(tái)集成建設(shè)；（1）系統(tǒng)支持?jǐn)?shù)據(jù)集管理、模型庫管理、算法實(shí)現(xiàn)與調(diào)用管理（包括脆弱性評(píng)估算法、檢測(cè)與防御加固算法、魯棒性測(cè)試算法）；（2）系統(tǒng)內(nèi)置特定場(chǎng)景的數(shù)據(jù)集與模型，至少需覆蓋交通、醫(yī)療、金融等場(chǎng)景；（3）系統(tǒng)支持報(bào)告導(dǎo)出；（4）具備從魯棒性、透明性、可解釋等多角度對(duì)系統(tǒng)進(jìn)行分析的能力，以及全面的評(píng)分系統(tǒng)和測(cè)試報(bào)告的功能；對(duì)系統(tǒng)的技術(shù)指標(biāo)要求：提供基于人工智能的模型檢測(cè)平臺(tái)1套；系統(tǒng)支持不少于圖像、文本、語音3種模態(tài)模型數(shù)據(jù)的導(dǎo)入；系統(tǒng)集成不少于10種偽場(chǎng)景模擬技術(shù)，包括光學(xué)變換、壓縮變換等；系統(tǒng)支持對(duì)模型進(jìn)行可靠性檢測(cè)，覆蓋偽樣本模擬攻擊、對(duì)抗樣本攻擊、數(shù)據(jù)投毒攻擊以及模型竊取攻擊，集成不少于5種黑盒方法和15種白盒方法；系統(tǒng)支持集成不少于5種魯棒性評(píng)估技術(shù)，包括基于對(duì)抗擾動(dòng)的邊界測(cè)試、基于自然噪聲的邊界測(cè)試等；系統(tǒng)支持集成不少于5種模型防御算法，包括數(shù)據(jù)投毒樣本檢測(cè)、對(duì)抗攻擊防御算法等；系統(tǒng)提供具有鮮明特點(diǎn)的樣本/模型知識(shí)庫，構(gòu)建5類場(chǎng)景的人工智能模型評(píng)測(cè)樣本/模型庫，覆蓋不少于交通、醫(yī)療、金融等場(chǎng)景；硬件需求要求配置不低于下表參數(shù)要求：序號(hào)名稱數(shù)量基本參數(shù)要求1高性能人工智能專用服務(wù)器11.處理器：支持Intel?3rdGenXeon?ScalableProcessors系列處理器，最大2顆處理器，支持鉑金、金牌、銀牌、銅牌全系列級(jí)別，配置2顆處理器：每顆CPU核心數(shù)≥20核，每顆CPU主頻≥2.30GHz，每顆CPU三級(jí)緩存≥27.5M；2.內(nèi)存：最大支持32個(gè)內(nèi)存插槽；支持高級(jí)內(nèi)存糾錯(cuò)（ECC）、內(nèi)存鏡像（Ememorymirroring）、內(nèi)存熱備（ranksparing）等高級(jí)功能，最大支持4T內(nèi)存容量，支持3200MT/s工作頻率，配置≥64GBDDR4RDIMM/LRDIMM內(nèi)存；3.網(wǎng)絡(luò)：支持OCP3.0網(wǎng)絡(luò)模塊，支持1Gb/10Gb/25Gb/40Gb/100Gb/200Gb速率，支持1/2/4個(gè)以太網(wǎng)或光纖網(wǎng)絡(luò)接口，支持標(biāo)準(zhǔn)1Gb/10Gb/25Gb/40G/100Gb以太網(wǎng)絡(luò),支持1/2/4個(gè)以太網(wǎng)接口，配置≥4個(gè)RJ451G網(wǎng)口；4.PCIe擴(kuò)展：最大支持13個(gè)PCIE插槽（包含1個(gè)OCP3.0和一個(gè)RAIRMezz插槽），支持11個(gè)PCIex8/x16后置插槽，其中10個(gè)插槽支持x8，1個(gè)支持x16；支持1個(gè)OCP擴(kuò)展(不占用PCIe插槽)，支持4個(gè)雙寬GPU或8個(gè)單寬GPU/顯卡，配置≥2塊NVIDIAA100；5.存儲(chǔ)：可支持最大39個(gè)SFF或20個(gè)LFF硬盤槽位，支持SAS/SATA/NVMe接口，支持2個(gè)后置基于SATA總線的M.2SSD硬盤，支持2個(gè)內(nèi)置SD存儲(chǔ)器，支持2個(gè)后置短RSSD存儲(chǔ)模塊，支持SAS/SATA/U.2（NVMe）接口，支持SATA總線的M.2SSD硬盤，支持E1.sSSD，支持硬盤熱拔插，配置≥2塊1T3.5寸機(jī)械硬盤；6.硬盤控制器：板載PCH支持14個(gè)SATA接口，支持12Gb/sSASRAID;支持SAS/SATA/NVME混合模式，配置2GBCacheRAID控制器，支持RAID0/1/5/10/50/60，支持電容掉電保護(hù)，RAID狀態(tài)遷移、RAID配置記憶等功能；7.風(fēng)扇：配置≥4個(gè)熱插拔N+1冗余8056風(fēng)扇，支持8038風(fēng)扇(不支持N+1冗余)；由風(fēng)扇控制器、風(fēng)扇，獨(dú)立風(fēng)扇控制；采用雙轉(zhuǎn)子大尺寸風(fēng)扇，支持免工具熱插拔維護(hù)；風(fēng)扇轉(zhuǎn)速自動(dòng)調(diào)節(jié)，對(duì)節(jié)點(diǎn)透明；風(fēng)流向前進(jìn)后出；具備防回流設(shè)計(jì)；8.電源：兩個(gè)冗余熱插拔550W/800W/1300W/1600W/2000W高效金牌、鉑金或鈦金交流電源;支持-48V/336V直流電源，配置≥2個(gè)1600WCRPS標(biāo)準(zhǔn)電源，支持1+1冗余；9.外形：≥2U雙路機(jī)架式服務(wù)器；2數(shù)據(jù)庫服務(wù)器11.處理器：支持1顆英特爾?Xeon?E-2300系列或奔騰系列CPU，處理器最多可達(dá)8個(gè)核心，最高TDP95W，配置1顆2314CPU；2.內(nèi)存：支持≥4個(gè)內(nèi)存插槽，最大可支持128GB內(nèi)存容量；配置≥16G_DDR4-2933MHz_ECC-UDIMM內(nèi)存3.網(wǎng)絡(luò)：板載四千兆網(wǎng)口，支持網(wǎng)絡(luò)喚醒、網(wǎng)絡(luò)冗余、負(fù)載均衡等網(wǎng)絡(luò)高級(jí)特性，標(biāo)準(zhǔn)PCIe插槽的網(wǎng)絡(luò)適配器；4.PCIe擴(kuò)展：最大支持2個(gè)PCIe4.0標(biāo)準(zhǔn)插