(高清版)GBT 43782-2024 人工智能 機(jī)器學(xué)習(xí)系統(tǒng)技術(shù)要求

人工智能機(jī)器學(xué)習(xí)系統(tǒng)技術(shù)要求2024-03-15發(fā)布2024-03-15實(shí)施GB/T43782—2024 I 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4縮略語(yǔ) 5系統(tǒng)框架 5.1概述 5.2機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件 35.3機(jī)器學(xué)習(xí)框架 5.4機(jī)器學(xué)習(xí)服務(wù)組件 5.5工具 5.6運(yùn)維管理 6功能要求 6.1機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件 6.2機(jī)器學(xué)習(xí)框架 6.3機(jī)器學(xué)習(xí)服務(wù)組件 6.4工具 6.5運(yùn)維管理 7可靠性要求 8維護(hù)性要求 9兼容性要求 9.1軟件兼容性要求 9.2硬件兼容性要求 10安全性要求 11可擴(kuò)展性要求 參考文獻(xiàn) I本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任。本文件由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)(SAC/TC28)提出并歸口。本文件起草單位：中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、華為技術(shù)有限公司、北京百度網(wǎng)訊科技有限公司、上海商湯智能科技有限公司、騰訊云計(jì)算(北京)有限責(zé)任公司、網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司、浪潮電子信息產(chǎn)業(yè)股份有限公司、北京眼神科技有限公司、中國(guó)工程物理研究院計(jì)算機(jī)應(yīng)用研究所、沈陽(yáng)東軟智能醫(yī)療科技研究院有限公司、北京軟件產(chǎn)品質(zhì)量檢測(cè)檢驗(yàn)中心、山東省計(jì)算中心(國(guó)家超級(jí)計(jì)算濟(jì)南中心)、上海燧原科技有限公司、美的集團(tuán)(上海)有限公司、海信集團(tuán)控股股份有限公司、上海計(jì)算機(jī)軟件技術(shù)開(kāi)發(fā)中心、清華大學(xué)、北京航天自動(dòng)控制研究所、中國(guó)科學(xué)院軟件研究所、上海人工智能研究院有限公司、鄭州中業(yè)科技股份有限公司、北京智芯微電子科技有限公司、武漢精測(cè)電子集團(tuán)股份有限公司、長(zhǎng)威信息科技發(fā)展股份有限公司、江漢大學(xué)、飛騰信息技術(shù)(北京)有限公司、中國(guó)醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)工程研究所、北京林業(yè)大學(xué)、中國(guó)電子科技集團(tuán)公司第二十八研究所、常州微億智造科技有限公司、興容(上海)信息技術(shù)股份有限公司。袁福生、張勝森、戴文艷、谷瀟聰、蒲江波、吳鈺祥、趙雅倩、李仁剛、朱寶峰、馬澤宇、張單、李亞坤、1人工智能機(jī)器學(xué)習(xí)系統(tǒng)技術(shù)要求1范圍本文件提出了機(jī)器學(xué)習(xí)系統(tǒng)框架，規(guī)定了功能、可靠性、維護(hù)性、兼容性、安全性和可擴(kuò)展性要本文件適用于各領(lǐng)域機(jī)器學(xué)習(xí)支持服務(wù)的系統(tǒng)及相關(guān)解決方案的規(guī)劃、研發(fā)、評(píng)估、選型及驗(yàn)收的依據(jù)。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T17235.1信息技術(shù)連續(xù)色調(diào)靜態(tài)圖像的數(shù)字壓縮及編碼第1部分：要求和指南GB/T33475.2信息技術(shù)高效多媒體編碼第2部分：視頻GB/T33475.3信息技術(shù)高效多媒體編碼第3部分：音頻GB/T41867—2022信息技術(shù)人工智能術(shù)語(yǔ)GB/T42018—2022信息技術(shù)人工智能平臺(tái)計(jì)算資源規(guī)范ISO/IEC14496-10信息技術(shù)視聽(tīng)對(duì)象編碼第10部分：先進(jìn)視頻編碼(Informationtechnolo-gy—Codingofaudio-visualobjects—Part10:Advancedvideocoding)ISO/IEC15948信息技術(shù)計(jì)算機(jī)圖形和圖像處理便攜式網(wǎng)絡(luò)圖形：功能規(guī)范[Informationtechnology—Computergraphicsandimageprocessing—PortableNetworkGraphics(PNG):Functionalspecification]ISO/IEC23008-2信息技術(shù)異構(gòu)環(huán)境中的高效編碼和媒體傳輸?shù)?部分：高效視頻編碼(Informationtechnology—Highefficiencycodingandmediadeliveryinheterogeneousenvironments—Part2:Highefficiencyvideocoding)ISO/IEC23008-3信息技術(shù)異構(gòu)環(huán)境中的高效編碼和媒體傳輸?shù)?部分：3D音頻(Informa-tiontechnology—Highefficiencycodingandmediadeliveryinheterogeneousenvironments—Part3:3術(shù)語(yǔ)和定義GB/T41867—2022、GB/T42018-2022界定的以及下列術(shù)語(yǔ)和定義適用于本文件。機(jī)器學(xué)習(xí)系統(tǒng)machinelearningsystem能運(yùn)行或用于開(kāi)發(fā)機(jī)器學(xué)習(xí)模型、算法和相關(guān)應(yīng)用的軟件系統(tǒng)。利用預(yù)先構(gòu)建和優(yōu)化好的組件集合定義模型，實(shí)現(xiàn)對(duì)機(jī)器學(xué)習(xí)算法封裝、數(shù)據(jù)調(diào)用處理和計(jì)算資源使用的軟件庫(kù)。2機(jī)器學(xué)習(xí)服務(wù)machinelearningservice利用機(jī)器學(xué)習(xí)模型算法及其系統(tǒng)作為工具為組織或個(gè)人提供一種其期望的便利的方式的價(jià)值的注：機(jī)器學(xué)習(xí)算法服務(wù)是機(jī)器學(xué)習(xí)服務(wù)的一種，用于接受用戶(hù)的應(yīng)用請(qǐng)求，對(duì)輸入數(shù)據(jù)進(jìn)行處理，返回處理結(jié)果。模型編譯器modelcompiler將機(jī)器學(xué)習(xí)模型定義的計(jì)算過(guò)程轉(zhuǎn)換為能在特定人工智能計(jì)算資源上執(zhí)行的代碼序列的計(jì)算機(jī)注：本文件中定義的模型編譯器僅用于機(jī)器學(xué)習(xí)領(lǐng)域。資源池resourcepool各類(lèi)系統(tǒng)資源的集合體。作業(yè)job機(jī)器學(xué)習(xí)訓(xùn)練或推理任務(wù)的邏輯組合。注：一個(gè)作業(yè)屬于且僅屬于某一個(gè)資源池，一個(gè)作業(yè)包括一個(gè)或多個(gè)任務(wù)。實(shí)現(xiàn)特定目標(biāo)所需要的活動(dòng)。注：任務(wù)用于完成一個(gè)相對(duì)獨(dú)立的業(yè)務(wù)功能，一個(gè)任務(wù)屬于且僅屬于一個(gè)作業(yè)。4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。ASIC:專(zhuān)用集成電路(Application-SpecificIntegratedCircuit)CPU:中央處理器(CentralProcessingUnit)DAG:有向無(wú)環(huán)圖(DirectedAcyclicGraph)FPGA:現(xiàn)場(chǎng)可編程邏輯門(mén)陣列(FieldProgrammableGateArray)GPU:圖形處理器(GraphicProcessingUnit)IDE:集成開(kāi)發(fā)環(huán)境(IntegratedDevelopmentEnvironment)JSON:JavaScript對(duì)象注記法(JavaScriptObjectNotation)REST:表現(xiàn)層狀態(tài)轉(zhuǎn)換(RepresentationalStateTransfer)RPC:遠(yuǎn)程過(guò)程調(diào)用(RemoteProcedureCall)SOA:面向服務(wù)的架構(gòu)(Service-OrientedArchitecture)SQL:結(jié)構(gòu)化查詢(xún)語(yǔ)言(StructuredQueryLanguage)XML:可擴(kuò)展置標(biāo)語(yǔ)言(ExtensibleMarkupLanguage)5系統(tǒng)框架機(jī)器學(xué)習(xí)系統(tǒng)包含機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件、機(jī)器學(xué)習(xí)框架、機(jī)器學(xué)習(xí)服務(wù)組件、工具和運(yùn)維管理。提3供機(jī)器學(xué)習(xí)應(yīng)用的開(kāi)發(fā)、訓(xùn)練、部署、運(yùn)行和管理能力，機(jī)器學(xué)習(xí)系統(tǒng)框架見(jiàn)圖1。行業(yè)應(yīng)用行業(yè)應(yīng)用機(jī)器學(xué)習(xí)服務(wù)組件數(shù)據(jù)管理工具模型模型管理工具機(jī)器學(xué)習(xí)框架開(kāi)發(fā)環(huán)境模型訓(xùn)練模型推理模型編譯器機(jī)器學(xué)習(xí)運(yùn)行時(shí)縱件設(shè)備驅(qū)動(dòng)軟件計(jì)算調(diào)度邊緣設(shè)備終端設(shè)備計(jì)算中心運(yùn)維管理算子庫(kù)算法庫(kù)注：圖中實(shí)線(xiàn)部分對(duì)應(yīng)本文件相關(guān)規(guī)定，虛線(xiàn)部分僅為表明人工智能平臺(tái)的系統(tǒng)組成，不屬于本文件規(guī)定。圖1機(jī)器學(xué)習(xí)系統(tǒng)框架5.2機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件是為保障機(jī)器學(xué)習(xí)應(yīng)用按照預(yù)期在特定機(jī)器學(xué)習(xí)系統(tǒng)上運(yùn)行所必需的軟件環(huán)境，包括設(shè)備驅(qū)動(dòng)軟件和算子庫(kù)。設(shè)備驅(qū)動(dòng)軟件負(fù)責(zé)機(jī)器學(xué)習(xí)各種類(lèi)型任務(wù)的調(diào)度與執(zhí)行，包括為機(jī)器學(xué)習(xí)任務(wù)分配提供資源管理通道，為應(yīng)用提供存儲(chǔ)管理、設(shè)備管理、執(zhí)行流管理、事件管理和核函數(shù)執(zhí)行功能。算子庫(kù)提供機(jī)器學(xué)習(xí)算法在設(shè)備執(zhí)行調(diào)度的最小計(jì)算單元，包括面向機(jī)器學(xué)習(xí)計(jì)算任務(wù)的通用算子和面向特定設(shè)備計(jì)算加速任務(wù)的優(yōu)化算子。5.3機(jī)器學(xué)習(xí)框架機(jī)器學(xué)習(xí)框架包含模型訓(xùn)練、模型推理及算法庫(kù)三個(gè)模塊，為機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)、優(yōu)化、驗(yàn)證和部署過(guò)程提供工具支撐。模型訓(xùn)練用于機(jī)器學(xué)習(xí)應(yīng)用設(shè)計(jì)開(kāi)發(fā)階段，該模塊提供自動(dòng)微分、損失函數(shù)和優(yōu)化器等調(diào)用接口，提供模型定義、自動(dòng)分布式并行訓(xùn)練和多硬件后端適配等能力。模型推理用于機(jī)器學(xué)習(xí)應(yīng)用的驗(yàn)證部署階段，該模塊提供模型加載、微調(diào)、性能評(píng)估和轉(zhuǎn)換等接口，提供模型部署及推理加速等能力。算法庫(kù)面向機(jī)器學(xué)習(xí)訓(xùn)練、推理和模型性能優(yōu)化任務(wù)，提供預(yù)先優(yōu)化好的算法，以封裝函數(shù)庫(kù)的方式供用戶(hù)調(diào)用，提升機(jī)器學(xué)習(xí)模型開(kāi)發(fā)、優(yōu)化、驗(yàn)證和部署的效率。5.4機(jī)器學(xué)習(xí)服務(wù)組件機(jī)器學(xué)習(xí)服務(wù)是人工智能行業(yè)應(yīng)用訪(fǎng)問(wèn)、利用機(jī)器學(xué)習(xí)能力和資源的主要方式，機(jī)器學(xué)習(xí)服務(wù)組件支持工作流管理、通用算法模板和應(yīng)用部署。機(jī)器學(xué)習(xí)系統(tǒng)通過(guò)服務(wù)組件，進(jìn)行服務(wù)部署、運(yùn)行環(huán)境準(zhǔn)備、運(yùn)行狀態(tài)匯報(bào)和服務(wù)容錯(cuò)等，并提供服務(wù)調(diào)用接口，供各領(lǐng)域上層應(yīng)用調(diào)用。為滿(mǎn)足應(yīng)用場(chǎng)景的需求，機(jī)器學(xué)習(xí)系統(tǒng)可提供文本、圖像、音頻和視頻及其他類(lèi)型智能化操作的算法服務(wù)。45.5工具5.5.1數(shù)據(jù)管理工具護(hù)、數(shù)據(jù)退出和系統(tǒng)退出的管理能力。提供各類(lèi)數(shù)據(jù)源，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的接入、標(biāo)注和質(zhì)量控制，中間數(shù)據(jù)的管理、最終數(shù)據(jù)的管理、元數(shù)據(jù)的管理和數(shù)據(jù)使用溯源等能力，支持對(duì)海量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的預(yù)處理與特征挖掘。模型管理工具提供常用的機(jī)器學(xué)習(xí)模型及其變形，能按照一定的方式，如算法結(jié)構(gòu)、應(yīng)用范圍，提供模型的分類(lèi)檢索；模型管理工具也可擴(kuò)展支持模型導(dǎo)入、導(dǎo)出、更新、發(fā)布、遷移和版本控制等功能。在機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)階段，通過(guò)多模型組合開(kāi)發(fā)、多模型集成、超參數(shù)設(shè)置和模型二次訓(xùn)練等方式支持模型優(yōu)化與應(yīng)用開(kāi)發(fā)。開(kāi)發(fā)環(huán)境是機(jī)器學(xué)習(xí)全流程開(kāi)發(fā)工具鏈，支持模型開(kāi)發(fā)、算子開(kāi)發(fā)和應(yīng)用開(kāi)發(fā)三個(gè)主流程中的開(kāi)發(fā)任務(wù)，提供模型可視化、算力測(cè)試和IDE單機(jī)仿真調(diào)試等功能。模型編譯器將計(jì)算過(guò)程的計(jì)算圖和算子轉(zhuǎn)換為環(huán)境兼容的中間表達(dá)或設(shè)備可執(zhí)行的代碼，支持編譯優(yōu)化、編譯參數(shù)自動(dòng)尋優(yōu)、編譯結(jié)果存儲(chǔ)載入、自定義算子注冊(cè)編譯、模型格式轉(zhuǎn)換等功能。運(yùn)維管理提供系統(tǒng)所需的基本運(yùn)維(例如安裝部署、擴(kuò)展、監(jiān)控、報(bào)警、健康檢查、問(wèn)題及故障定位、升級(jí)和補(bǔ)丁、備份恢復(fù)和操作審計(jì)等)及管理功能(例如計(jì)算資源管理、權(quán)限管理、用戶(hù)管理、日志管理、配置管理和安全管理等)。6功能要求6.1機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件的功能要求包括：a)應(yīng)具備算法程序正常運(yùn)行所需的基礎(chǔ)軟件組件，如設(shè)備驅(qū)動(dòng)、通用算子庫(kù)和操作系統(tǒng)等；b)應(yīng)具備保障機(jī)器學(xué)習(xí)任務(wù)執(zhí)行所需的設(shè)備管理及資源調(diào)度能力，包括設(shè)備管理、內(nèi)存管理、事c)應(yīng)具備基于設(shè)備定制開(kāi)發(fā)的優(yōu)化算子庫(kù)；d)應(yīng)具備算子級(jí)的執(zhí)行控制和調(diào)度優(yōu)化功能；e)應(yīng)具備對(duì)環(huán)境中運(yùn)行程序的訪(fǎng)問(wèn)權(quán)限控制和資源隔離功能；f)應(yīng)具備計(jì)算資源的虛擬化與調(diào)度能力；g)應(yīng)具備面向兩種及以上機(jī)器學(xué)習(xí)框架模型格式的解析能力；h)應(yīng)具備或集成集合通信庫(kù)，以及單機(jī)多卡及多機(jī)多卡的計(jì)算平臺(tái)架構(gòu)。6.2機(jī)器學(xué)習(xí)框架機(jī)器學(xué)習(xí)框架的功能要求包括以下內(nèi)容。5a)模型訓(xùn)練：1)應(yīng)具備對(duì)用戶(hù)自定義數(shù)據(jù)的處理能力，包括圖像的伸縮變換、音頻特征提取和文本分詞；2)應(yīng)具備用戶(hù)自定義開(kāi)發(fā)機(jī)器學(xué)習(xí)模型的能力，包括基本單元(如神經(jīng)網(wǎng)絡(luò)層)的基類(lèi)、損失函數(shù)基類(lèi)、用于參數(shù)更新的優(yōu)化器基類(lèi)；3)應(yīng)具備全連接層的調(diào)用和實(shí)例化功能，具備非線(xiàn)性激活函數(shù)的調(diào)用功能；4)應(yīng)提供接口獲取訓(xùn)練過(guò)程信息，包括神經(jīng)網(wǎng)絡(luò)層的權(quán)重和偏置參數(shù)；5)應(yīng)具備靜態(tài)圖或動(dòng)態(tài)圖的執(zhí)行模式；6)應(yīng)具備面向參數(shù)服務(wù)器和集合通信兩種分布式架構(gòu)的分布式并行能力；7)應(yīng)具備包括自動(dòng)數(shù)據(jù)并行和模型并行結(jié)合的自動(dòng)混合并行能力；8)應(yīng)具備時(shí)期和步驟粒度的數(shù)據(jù)處理回調(diào)功能；注1:時(shí)期(Epoch)指訓(xùn)練時(shí)數(shù)據(jù)集的一次完整遍歷。注2:步驟(Step)指訓(xùn)練時(shí)完成一次前向計(jì)算和反向傳播。9)應(yīng)具備自動(dòng)混合精度(如FP32和FP16)訓(xùn)練功能，面向不同的運(yùn)算自動(dòng)采用不同的數(shù)值精度按預(yù)期實(shí)施運(yùn)算；10)宜具備計(jì)算圖重組等優(yōu)化功能。b)模型推理：1)如同時(shí)具備云側(cè)和端側(cè)推理能力，應(yīng)提供云側(cè)和端側(cè)統(tǒng)一的中間表示，具備保存和加載該中間表示的能力；2)應(yīng)具備包括CPU和GPU的多種后端設(shè)備執(zhí)行推理能力；3)應(yīng)具備至少兩種編程語(yǔ)言接口，如C++、Python和Java等；4)宜具備多個(gè)模型的并發(fā)推理能力；5)宜具備模型推理加速優(yōu)化功能，如模型量化、內(nèi)存復(fù)用和算子重新編排。c)算法庫(kù)：1)應(yīng)具備模型評(píng)價(jià)函數(shù)，如準(zhǔn)確度、精確度和平均絕對(duì)值誤差等；2)應(yīng)具備損失函數(shù)，如回歸損失和分類(lèi)損失等；3)應(yīng)具備優(yōu)化器算法；4)應(yīng)封裝訓(xùn)練過(guò)程中常用的張量操作，包括池化運(yùn)算和卷積操作等；5)應(yīng)提供激活函數(shù)，如線(xiàn)性單元激活函數(shù)、高斯誤差線(xiàn)性單元激活函數(shù)；6)應(yīng)提供數(shù)學(xué)運(yùn)算函數(shù)。6.3機(jī)器學(xué)習(xí)服務(wù)組件機(jī)器學(xué)習(xí)系統(tǒng)提供通用服務(wù)能力，機(jī)器學(xué)習(xí)服務(wù)組件功能要求應(yīng)包括：a)具備一種或多種算法服務(wù)；c)具備一種或多種單機(jī)服務(wù)，如模型自學(xué)習(xí)服務(wù)和批量推理服務(wù)等；d)具備一種或多種遠(yuǎn)程實(shí)時(shí)服務(wù)，如實(shí)時(shí)推理服務(wù)等；e)提供統(tǒng)一服務(wù)框架，如SOA和微服務(wù)等；f)提供統(tǒng)一、易用的算法服務(wù)接口，如g)具備常見(jiàn)的消息報(bào)文體格式，如JSON和XML等；h)具備同一算法服務(wù)的多實(shí)例部署功能；i)具備不同算法服務(wù)并發(fā)調(diào)用能力，各服務(wù)獨(dú)立運(yùn)行；j)具備多用戶(hù)同時(shí)使用算法服務(wù)的功能，具備在多用戶(hù)和高并發(fā)情況下的流量負(fù)載均衡，保證服務(wù)穩(wěn)定運(yùn)行；6k)具備獨(dú)立部署和運(yùn)行能力，并具備服務(wù)動(dòng)態(tài)擴(kuò)容；1)具備服務(wù)容錯(cuò)能力，包括熔斷、隔離、限流和降級(jí)等容錯(cuò)機(jī)制，來(lái)保證服務(wù)持續(xù)可用性；m)具備可擴(kuò)展性，可方便增加新服務(wù)和動(dòng)態(tài)調(diào)整服務(wù)節(jié)點(diǎn)等。6.4工具6.4.1數(shù)據(jù)管理工具數(shù)據(jù)管理工具的功能要求包括：a)應(yīng)具備各類(lèi)數(shù)據(jù)源對(duì)接功能，包括結(jié)構(gòu)化數(shù)據(jù)(例如傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù))、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)(例如文本、圖像、音頻和視頻等);b)應(yīng)具備圖像類(lèi)數(shù)據(jù)格式采集功能，圖像格式應(yīng)符合GB/T17235.1和ISO/IEC15948的要求；c)應(yīng)具備音頻類(lèi)數(shù)據(jù)格式采集功能，音頻格式應(yīng)符合ISO/IEC23008-3和GB/T33475.3的要求；d)應(yīng)具備視頻類(lèi)數(shù)據(jù)格式采集功能，視頻格式應(yīng)符合ISO/IEC14496-10、ISO/IEC23008-2和GB/T33475.2的要求；e)應(yīng)具備對(duì)各類(lèi)數(shù)據(jù)(例如文本、圖像、音頻和視頻等)進(jìn)行標(biāo)注的能力；f)應(yīng)具備引入和解析常見(jiàn)文件和數(shù)據(jù)格式的能力，如parquet和carbondata等；g)應(yīng)具備多形態(tài)數(shù)據(jù)采集功能，包括單表采集、多表采集、增量采集、批數(shù)據(jù)采集和流數(shù)據(jù)采集；h)應(yīng)具備對(duì)訓(xùn)練數(shù)據(jù)集、測(cè)試數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集獨(dú)立提供數(shù)據(jù)生存周期管理的功能；i)應(yīng)具備對(duì)原始數(shù)據(jù)、中間數(shù)據(jù)及產(chǎn)出數(shù)據(jù)進(jìn)行增刪改查及數(shù)據(jù)檢索等操作的功能；j)應(yīng)提供數(shù)據(jù)訪(fǎng)問(wèn)權(quán)限控制和版本控制能力，具備表粒度和字段粒度權(quán)限控制能力；k)應(yīng)提供數(shù)據(jù)IDE工具，具備編寫(xiě)SQL和Python等腳本進(jìn)行數(shù)據(jù)分析和探索的功能；1)應(yīng)具備對(duì)敏感數(shù)據(jù)進(jìn)行溯源管理功能；m)宜具備原始數(shù)據(jù)的診斷功能，如數(shù)據(jù)完整性檢查、空值檢查、規(guī)則校驗(yàn)和統(tǒng)計(jì)指標(biāo)校驗(yàn)等；n)宜具備原始數(shù)據(jù)的相似度檢測(cè)功能，過(guò)濾相似數(shù)據(jù)；o)宜具備多種元數(shù)據(jù)管理方法，如數(shù)據(jù)元信息生成、增刪改查和血緣管理等；p)宜具備多種數(shù)據(jù)預(yù)處理手段，如數(shù)據(jù)的拆分、聚合、過(guò)濾和排序等；q)宜具備多種數(shù)據(jù)組合方法，如異構(gòu)數(shù)據(jù)的組合、對(duì)齊和糾錯(cuò)等；r)宜具備用戶(hù)數(shù)據(jù)集多版本管理功能；s)宜具備多人協(xié)同標(biāo)注功能，并且具備多人協(xié)作任務(wù)的管理；t)宜具備不同數(shù)據(jù)集版本之間的數(shù)據(jù)分析統(tǒng)計(jì)功能，對(duì)比數(shù)據(jù)分布差異；u)宜具備推理結(jié)果數(shù)據(jù)結(jié)果回傳模式。模型管理工具的功能要求包括：a)應(yīng)具備模型的導(dǎo)入導(dǎo)出、更新、版本管理和權(quán)限控制等基礎(chǔ)功能，模型導(dǎo)入導(dǎo)出地址應(yīng)具備本地及遠(yuǎn)程對(duì)象存儲(chǔ)等多種形式；b)應(yīng)集成典型機(jī)器學(xué)習(xí)模型，具備模型的二次訓(xùn)練和保存模型多版本參數(shù)的能力；c)應(yīng)基于多用戶(hù)的權(quán)限控制，具備模型的安全管控能力；d)應(yīng)提供模型封裝和發(fā)布的能力，通過(guò)統(tǒng)一的接口提供模型服務(wù)的調(diào)用；e)應(yīng)具備模型超參數(shù)的設(shè)置和保存功能；f)應(yīng)提供用戶(hù)友好的模型管理界面，展示模型的基本信息；g)應(yīng)具備包括算法、超參數(shù)、參數(shù)、模型輸入規(guī)范和模型輸出規(guī)范五個(gè)要素的模型存儲(chǔ)功能；7h)宜提供多種形式的建模方式，如拖拽式DAG和Notebook等；i)宜具備多人協(xié)同建模能力；j)宜提供完整的模型分析報(bào)告，提高用戶(hù)的模型選擇和決策能力。開(kāi)發(fā)環(huán)境的功能要求包括：a)應(yīng)提供應(yīng)用編程接口方式和圖編排方式的應(yīng)用開(kāi)發(fā)方式，具備系統(tǒng)級(jí)調(diào)優(yōu)、調(diào)試傳輸和異常分析等開(kāi)發(fā)功能；b)應(yīng)具備應(yīng)用開(kāi)發(fā)的單步調(diào)試功能；c)應(yīng)具備自定義算子開(kāi)發(fā)和算子級(jí)別性能分析功能或工具；d)應(yīng)提供模型壓縮、模型轉(zhuǎn)換和模型顯示輸出工具；e)應(yīng)提供模型訓(xùn)練調(diào)優(yōu)工具；f)宜提供從模型訓(xùn)練到應(yīng)用開(kāi)發(fā)、調(diào)試、系統(tǒng)集成、構(gòu)建打包和應(yīng)用部署等的一站式應(yīng)用集成開(kāi)發(fā)環(huán)境；g)宜具備實(shí)時(shí)一站式圖形界面調(diào)試環(huán)境，如當(dāng)文本、圖像、音頻和視頻等作為輸入數(shù)據(jù)，開(kāi)發(fā)環(huán)境可直接查看算法程序輸出結(jié)果；h)宜具備邊云協(xié)同的服務(wù)插件開(kāi)發(fā)功能，如實(shí)現(xiàn)模型的邊云同步和證書(shū)管理等；i)宜具備算子開(kāi)發(fā)的自動(dòng)調(diào)優(yōu)、仿真調(diào)試調(diào)優(yōu)和最優(yōu)算子搜索工具。模型編譯器的功能要求包括：a)應(yīng)提供編譯器，對(duì)機(jī)器學(xué)習(xí)前端框架表達(dá)的計(jì)算過(guò)程進(jìn)行圖級(jí)和算子級(jí)編譯；b)應(yīng)具備多種機(jī)器學(xué)習(xí)算法模型和算子到設(shè)備可執(zhí)行代碼的自動(dòng)映射功能；c)應(yīng)具備機(jī)器學(xué)習(xí)算法程序的編譯優(yōu)化功能，如表達(dá)式化簡(jiǎn)和內(nèi)存復(fù)用等；d)應(yīng)具備自定義算子注冊(cè)和編譯功能；e)應(yīng)具備計(jì)算圖的自動(dòng)切分功能；f)應(yīng)具備編譯結(jié)果的存儲(chǔ)和載入功能；g)宜具備面向特定前端或硬件的定制優(yōu)化規(guī)則接入機(jī)制；h)宜具備面向計(jì)算性能或內(nèi)存空間的編譯參數(shù)自動(dòng)尋優(yōu)功能。運(yùn)維管理的功能要求包括：a)應(yīng)提供多用戶(hù)管理功能，具備多用戶(hù)的權(quán)限管理能力，具備身份鑒別系統(tǒng)(例如Kerberos);b)應(yīng)提供多租戶(hù)管理功能，具備租戶(hù)間的應(yīng)用隔離、數(shù)據(jù)隔離、資源隔離和運(yùn)行隔離等功能；c)應(yīng)提供安裝與升級(jí)功能，具備分發(fā)安裝包、數(shù)據(jù)或模型參數(shù)文件，進(jìn)行安裝、升級(jí)、擴(kuò)展和回滾；d)應(yīng)提供備份與恢復(fù)功能，具備安裝包、數(shù)據(jù)或模型參數(shù)文件的備份能力，以供故障后的系統(tǒng)恢復(fù)；e)應(yīng)具備運(yùn)行環(huán)境的監(jiān)控能力，包括底層資源的統(tǒng)一監(jiān)控，如CPU利用率和系統(tǒng)負(fù)載等；f)應(yīng)提供日志管理功能，可根據(jù)日志進(jìn)行故障定位及排查；g)應(yīng)提供針對(duì)監(jiān)控指標(biāo)及日志的報(bào)警功能；h)宜提供主要監(jiān)控指標(biāo)的可視化展示功能。87可靠性要求可靠性要求包括：a)應(yīng)具備跟蹤任務(wù)的執(zhí)行狀態(tài)，并對(duì)異常任務(wù)進(jìn)行提示的能力；b)應(yīng)具備資源受限或系統(tǒng)失效后持續(xù)提供或恢復(fù)服務(wù)的能力，如具備歷史版本回滾、框架提供參數(shù)的保存能力等；c)應(yīng)具備容錯(cuò)機(jī)制，具備系統(tǒng)在檢測(cè)出異常輸入或危險(xiǎn)操作時(shí)的錯(cuò)誤提示功能；d)應(yīng)具備對(duì)誤操作的抵御能力，確保誤操作后系統(tǒng)的正常運(yùn)行；e)應(yīng)具備不同容量場(chǎng)景過(guò)載控制機(jī)制；f)應(yīng)具備系統(tǒng)故障診斷能力，如機(jī)器學(xué)習(xí)框架可保存關(guān)鍵運(yùn)行數(shù)據(jù)以用于故障定位和恢復(fù)；g)應(yīng)具備系統(tǒng)故障隔離能力，如集群訓(xùn)練中，單一節(jié)點(diǎn)出現(xiàn)故障時(shí)可快速隔離；h)宜具備系統(tǒng)狀態(tài)文件的冗余備份功能和容災(zāi)能力。8維護(hù)性要求維護(hù)性要求包括：a)應(yīng)具備數(shù)據(jù)集規(guī)模、均衡性、標(biāo)注質(zhì)量和污染情況對(duì)算法結(jié)果的影響分析功能；b)應(yīng)具備在設(shè)計(jì)、實(shí)現(xiàn)和運(yùn)行各階段對(duì)應(yīng)的性能度量指標(biāo)和驗(yàn)證方法；c)應(yīng)具備代碼實(shí)現(xiàn)算法功能的正確性分析能力，包括代碼規(guī)范性和代碼漏洞