人工智能 深度學(xué)習(xí)編譯器接口 征求意見稿

3人工智能深度學(xué)習(xí)編譯器接口本文件規(guī)范了深度學(xué)習(xí)編譯器的接口功能與輸入、輸出參數(shù)，并提出了相應(yīng)的測試方法。本文件適用于深度學(xué)習(xí)編譯器的設(shè)計(jì)與實(shí)現(xiàn)，也可為深度學(xué)習(xí)編譯器的集成和應(yīng)用提供參考。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T41867-2022信息技術(shù)人工智能術(shù)語ISO/IEC/IEEE24765:2017系統(tǒng)與軟件工程術(shù)語（Systemsandsoftwareengineering—Vocabulary）ISO/IECTR17903:2024信息技術(shù)人工智能機(jī)器學(xué)習(xí)設(shè)備概覽（Informationtechnology—Artificialintelligence—Overviewofmachinelearningcomputingdevices）3術(shù)語和定義GB/T41867-2022界定的以及下列術(shù)語和定義適用于本文件。3.1深度學(xué)習(xí)deeplearning通過訓(xùn)練具有許多隱藏層的神經(jīng)網(wǎng)絡(luò)來創(chuàng)建豐富層次表示的方法。注：深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集。[來源：GB/T41867-2022,3.2.27]3.2深度學(xué)習(xí)編譯器deeplearningcompiler一種面向深度學(xué)習(xí)模型進(jìn)行計(jì)算圖優(yōu)化和編譯的工具。深度學(xué)習(xí)編譯器可將深度學(xué)習(xí)模型或領(lǐng)域特定語言源代碼轉(zhuǎn)化為人工智能加速芯片的可執(zhí)行代碼，實(shí)現(xiàn)高效地訓(xùn)練和推理。3.3人工智能加速處理器artificialintelligenceacceleratingprocessor人工智能加速芯片artificialintelligenceacceleratingchip具備適配人工智能算法的運(yùn)算微架構(gòu)，能夠完成人工智能應(yīng)用運(yùn)算處理的集成電路元件。[來源：GB/T41867-2022,3.1.5]3.44中間表示intermediaterepresentation深度學(xué)習(xí)編譯器在將源代碼轉(zhuǎn)換為可執(zhí)行代碼的過程中使用的一種中間表示形式。中間表示在這個(gè)過程中用于表示程序的結(jié)構(gòu)和語義信息，以便進(jìn)行進(jìn)一步的優(yōu)化和代碼生成。3.5計(jì)算圖computationalgraph用來表示數(shù)學(xué)函數(shù)，由節(jié)點(diǎn)和連接構(gòu)成的有向圖。[來源：ISO/IEC/IEEE24765:2017，3.1762.1，有修改]3.6子圖sub-computationalgraph計(jì)算圖中的一個(gè)部分圖，它包含一組節(jié)點(diǎn)和邊，形成一個(gè)相對(duì)獨(dú)立的子結(jié)構(gòu)。子圖是從整體計(jì)算圖中劃分出來的，可以代表某個(gè)特定的模塊、層或操作序列。3.7算子operator表示行動(dòng)的數(shù)學(xué)或邏輯符號(hào)，或函數(shù)的名稱。[來源，ISO/IECTR17903:2024，3.15，有修改]3.8領(lǐng)域特定語言domainspecificlanguage專注于某個(gè)應(yīng)用程序領(lǐng)域的計(jì)算機(jī)語言。本文件中的領(lǐng)域特定語言是一種編寫在人工智能加速芯片上運(yùn)行深度神經(jīng)網(wǎng)絡(luò)計(jì)算內(nèi)核的并行編程語言。4縮略語以下縮略語適用于本文件。AI人工智能（ArtificialIntelligence）API應(yīng)用編程接口（ApplicationProgrammingInterface）BF16布瑞恩半精度浮點(diǎn)數(shù)（BrainFloating-point）DSL領(lǐng)域特定語言（DomainSpecificLanguage）FP1616位半精度浮點(diǎn)（16-bithalf-precisionFloatingPoint）FP3232位單精度浮點(diǎn)（32-bitsingle-precisionFloatingPoint）GPU圖形處理單元（GraphicProcessingUnit）ID標(biāo)識(shí)符（Identification）TF32張量單精度浮點(diǎn)數(shù)（TensorFloating-point）5概述55.1技術(shù)架構(gòu)深度學(xué)習(xí)編譯器通對(duì)模型或領(lǐng)域特定語言源代碼進(jìn)行圖生成、圖轉(zhuǎn)換、圖調(diào)度、算子生成等操作，生成AI加速芯片可執(zhí)行代碼。深度學(xué)習(xí)編譯器可接受來自深度學(xué)習(xí)框架API或模型文件的輸入，也可以接受領(lǐng)域特定語言源代碼作為輸入。對(duì)于來自深度學(xué)習(xí)框架API或模型文件的輸入，編譯器通過圖生成、圖轉(zhuǎn)換、圖調(diào)度、算子生成等操作，獲得可在AI加速芯片執(zhí)行的文件；對(duì)于領(lǐng)域特定語言源代碼，編譯器調(diào)用算子生成器獲得可在AI加速芯片執(zhí)行的文件。圖1描述了深度學(xué)習(xí)編譯器的技術(shù)架構(gòu)。注：圖中實(shí)線部分對(duì)應(yīng)本文件規(guī)定的范疇，虛線部分僅表明本文件規(guī)定接口所處的位置及與其它部件或組件的關(guān)圖1深度學(xué)習(xí)編譯器技術(shù)架構(gòu)a)圖生成模塊：對(duì)深度學(xué)習(xí)模型文件進(jìn)行獲取、編輯并生成計(jì)算圖中間表示，包括計(jì)算圖加載和計(jì)算圖編輯兩個(gè)子模塊。圖生成模塊接口定義見第6章；b)圖轉(zhuǎn)換模塊：通過對(duì)輸入的計(jì)算圖進(jìn)行優(yōu)化、拆分、遞降等過程，將其換為多個(gè)子圖，同時(shí)將計(jì)算圖中的算子下降為更細(xì)粒度的算子表達(dá)。圖轉(zhuǎn)換模塊接口定義見第7章；c)圖調(diào)度模塊：根據(jù)計(jì)算任務(wù)的內(nèi)存占用，對(duì)計(jì)算資源進(jìn)行動(dòng)態(tài)管理；同時(shí)根據(jù)計(jì)算任務(wù)間依賴關(guān)系，選擇合適調(diào)度策略將任務(wù)并行執(zhí)行以加速計(jì)算圖執(zhí)行。圖調(diào)度模塊包括資源管理和子圖調(diào)度兩個(gè)子模塊。圖調(diào)度可在深度學(xué)習(xí)編譯器中實(shí)現(xiàn)，也可在深度學(xué)習(xí)框架中實(shí)現(xiàn)。若該模塊在深度學(xué)習(xí)框架中實(shí)現(xiàn)，則由框架觸發(fā)執(zhí)行。圖調(diào)度模塊接口定義見第8章；d)領(lǐng)域特定語言源代碼：使用DSL編寫算子文件可簡化和優(yōu)化深度神經(jīng)網(wǎng)絡(luò)計(jì)算內(nèi)核的定義與編寫過程，提高開發(fā)效率和模型性能。深度學(xué)習(xí)編譯器宜支持DSL相關(guān)接口的解析和處理，DSL基礎(chǔ)操作接口見第9章；e)算子生成器：算子生成器根據(jù)領(lǐng)域特定語言源代碼或圖轉(zhuǎn)換的輸出文件，生成AI加速芯片可以執(zhí)行的算子代碼。算子生成器接口定義見第10章。5.2技術(shù)流程圖2描述了深度學(xué)習(xí)編譯器技術(shù)流程，可分為計(jì)算圖編譯和計(jì)算圖執(zhí)行兩個(gè)過程。6注1：圖中的編譯包含離線編譯和在線編譯兩種形式，離線編譯是一種預(yù)先在開發(fā)環(huán)境中完成的編譯過程；在線編譯是在運(yùn)行時(shí)進(jìn)行編譯的過程。根據(jù)編譯器實(shí)現(xiàn)不同，可選注2：圖中實(shí)線部分對(duì)應(yīng)本文件規(guī)定的范疇，虛線部分僅表明本文件規(guī)定接口所處的位置及與其它部件或組件的關(guān)圖2.深度學(xué)習(xí)編譯器技術(shù)流程圖a)計(jì)算圖編譯過程：根據(jù)不同輸入類型，執(zhí)行不同模塊進(jìn)行編譯。1)若輸入為深度學(xué)習(xí)框架API或模型文件：編譯器通過圖生成將其編譯為計(jì)算圖子圖，再通過圖優(yōu)化、圖拆分模塊將其編譯為優(yōu)化后計(jì)算圖子圖，并通過圖遞降表達(dá)為相關(guān)算子。2)若輸入為領(lǐng)域特定語言源代碼：編譯器將通過算子生成器將其離線編譯為符合AI加速芯片的可執(zhí)行文件。b)計(jì)算圖執(zhí)行過程：圖調(diào)度模塊進(jìn)行算子生成器與可執(zhí)行文件的選擇性加載與調(diào)用。1)算子生成器的調(diào)用：若子圖的前置依賴已完成，則進(jìn)行算子生成器的調(diào)用；否則不進(jìn)行算子生成器的調(diào)用。2)可執(zhí)行文件的加載和調(diào)用：若AI加速芯片算子庫、使能軟件與可執(zhí)行文件可表達(dá)同一種計(jì)算語義，則編譯器進(jìn)行可執(zhí)行文件的加載和調(diào)用。5.3接口效果基于本文件實(shí)現(xiàn)的深度學(xué)習(xí)編譯器統(tǒng)一接口，其效果測試方法見附錄A。6圖生成模塊接口6.1概述圖生成模塊包括計(jì)算圖加載和計(jì)算圖編輯兩個(gè)子模塊。計(jì)算圖加載是深度學(xué)習(xí)編譯器加載深度學(xué)習(xí)模型計(jì)算圖的過程。計(jì)算圖編輯是對(duì)計(jì)算圖進(jìn)行節(jié)點(diǎn)編輯、屬性編輯、模式替換等操作的過程。6.2計(jì)算圖加載6.2.1計(jì)算圖加載計(jì)算圖加載接口的輸入為深度學(xué)習(xí)框架中的模型，包含了需加載的計(jì)算圖信息，輸出為計(jì)算圖，包含節(jié)點(diǎn)和連接信息，接口定義見表1。7表1計(jì)算圖加載接口6.2.2計(jì)算圖節(jié)點(diǎn)計(jì)算圖由相互關(guān)聯(lián)的節(jié)點(diǎn)構(gòu)成，計(jì)算圖節(jié)點(diǎn)表示計(jì)算操作的數(shù)據(jù)結(jié)構(gòu)，例如卷積、池化、全連接等。計(jì)算圖節(jié)點(diǎn)屬性定義見表2，包括操作、名稱、調(diào)用對(duì)象、調(diào)用參數(shù)、關(guān)鍵字參數(shù)5個(gè)屬性。表2計(jì)算圖節(jié)點(diǎn)屬性定義6.2.3操作屬性類型計(jì)算圖節(jié)點(diǎn)中的操作屬性描述了節(jié)點(diǎn)執(zhí)行的具體計(jì)算邏輯或功能。操作屬性類型如表3所示，可分為占位符、獲取參數(shù)、調(diào)用函數(shù)、調(diào)用模塊、調(diào)用方法、輸出、節(jié)點(diǎn)塊、判斷、循環(huán)等。表3計(jì)算圖節(jié)點(diǎn)操作屬性類型代表輸入?yún)?shù)。名稱屬性表示輸入?yún)?shù)的名稱，調(diào)用對(duì)象同樣是參數(shù)的名稱，調(diào)用參數(shù)包含兩種情況：1.空。2.函數(shù)輸入的默認(rèn)值，每個(gè)參從模塊層次結(jié)構(gòu)中檢索參數(shù)。名稱是分配給獲得結(jié)果的名稱，調(diào)用參數(shù)是參數(shù)在模塊層次結(jié)構(gòu)中的完全限定名稱，調(diào)用參數(shù)和關(guān)鍵字參數(shù)忽略不用給定參數(shù)進(jìn)行函數(shù)調(diào)用。名稱是返回結(jié)果的名稱，調(diào)用對(duì)象是要執(zhí)行的表示計(jì)算圖的輸出。名稱和調(diào)用對(duì)象均為輸出，調(diào)用參用給定參數(shù)調(diào)用模塊層次結(jié)構(gòu)中的前向運(yùn)行方法。名稱是返回結(jié)果的名稱，調(diào)用對(duì)象是模塊層次結(jié)構(gòu)中要調(diào)用的模塊的完全限定名稱，調(diào)用參數(shù)8調(diào)用一個(gè)值的方法。名稱是返回結(jié)果的名稱，調(diào)用對(duì)象是應(yīng)用于對(duì)象本身參數(shù)的方法的字符串名稱，調(diào)用參數(shù)和關(guān)鍵字參數(shù)表示調(diào)用方法的參數(shù)，在流程流中表示一系列子節(jié)點(diǎn)的開始，子節(jié)點(diǎn)的結(jié)束為輸出。名稱為該節(jié)在控制流中表示條件判斷，根據(jù)判斷結(jié)果，該節(jié)點(diǎn)后跟隨一個(gè)條件判斷為對(duì)象均為if，調(diào)用參數(shù)[0]為判斷條件，調(diào)用參數(shù)[1]和調(diào)用參數(shù)[2]分別在控制流中表示循環(huán)語句，循環(huán)體為該節(jié)點(diǎn)后跟隨的節(jié)點(diǎn)塊。名稱和調(diào)用對(duì)象均為loop，調(diào)用參數(shù)[0]為最大循環(huán)次數(shù)，調(diào)用參數(shù)[1]為初始循環(huán)條件，在循環(huán)體的返回節(jié)點(diǎn)輸出中調(diào)用參數(shù)[0]為6.3計(jì)算圖編輯作為內(nèi)部功能性調(diào)用接口，深度學(xué)習(xí)編譯器宜提供計(jì)算圖編輯接口，包括節(jié)點(diǎn)編輯接口、屬性編輯接口、遍歷和訪問接口、模式替換接口、圖序列化及反序列化接口、可視化接口。計(jì)算圖編輯接口使得編譯器可對(duì)計(jì)算圖進(jìn)行簡化，其接口定義見附錄B。7圖轉(zhuǎn)換模塊接口7.1概述深度學(xué)習(xí)編譯器的圖轉(zhuǎn)換包括圖優(yōu)化、圖拆分、圖遞降三個(gè)過程：a)圖優(yōu)化指在同一層次的中間表達(dá)中對(duì)圖進(jìn)行特定的優(yōu)化。圖優(yōu)化過程是一種等效的轉(zhuǎn)換，不應(yīng)改變圖的任何語義；b)圖拆分指根據(jù)計(jì)算資源，將計(jì)算圖拆分成多個(gè)子圖，以便在多個(gè)硬件設(shè)備上并行執(zhí)行；c)圖遞降是指將從深度學(xué)習(xí)框架中獲取的計(jì)算圖逐級(jí)轉(zhuǎn)換到芯片編譯器所支持子圖中間表示的過程。圖遞降過程是一種等效的轉(zhuǎn)換，不應(yīng)改變計(jì)算圖的任何語義。經(jīng)過圖遞降之后，計(jì)算圖可在不同的硬件和軟件平臺(tái)上進(jìn)行優(yōu)化和執(zhí)行。圖遞降可以是一種完全的逐級(jí)轉(zhuǎn)換，也可以是一種部分逐級(jí)轉(zhuǎn)換。7.2圖優(yōu)化圖優(yōu)化包括優(yōu)化算法的注冊(cè)和計(jì)算圖優(yōu)化執(zhí)行兩過程。圖優(yōu)化過程通過對(duì)原計(jì)算圖進(jìn)行算子融合、內(nèi)存優(yōu)化等操作，得到優(yōu)化后的計(jì)算圖，從而減少冗余計(jì)算，其接口定義見表4。表4圖優(yōu)化接口列表將圖優(yōu)化算法注冊(cè)到注冊(cè)算法后的優(yōu)化算97.3圖拆分圖拆分是將計(jì)算圖拆分成多個(gè)子圖，以便在多個(gè)硬件設(shè)備上并行執(zhí)行的過程，具體步驟如下：a)節(jié)點(diǎn)依賴分析：對(duì)整個(gè)計(jì)算圖進(jìn)行依賴分析，確定各個(gè)節(jié)點(diǎn)之間的依賴關(guān)系。根據(jù)依賴關(guān)系確定哪些節(jié)點(diǎn)可以并行執(zhí)行，以及如何將計(jì)算圖劃分為多個(gè)子圖。b)圖拆分：根據(jù)硬件設(shè)備的特性和性能需求，選擇合適的拆分策略，對(duì)計(jì)算圖進(jìn)行拆分，并確定每個(gè)子圖的運(yùn)行設(shè)備。圖拆分包括依賴分析、圖拆分2個(gè)接口，見表5定義。表5圖拆分接口列表7.4圖遞降圖遞降是一系列從高層子圖中間表示到低層子圖中間表示的逐級(jí)轉(zhuǎn)換過程。子圖中間表示中包含一個(gè)或多個(gè)有依賴關(guān)系的算子，具體步驟如下：a)定義遞降前的原子圖中間表示；b)定義遞降后的目標(biāo)子圖中間表示；c)注冊(cè)上述遞降的配對(duì)模式；d)重復(fù)a）～c），注冊(cè)所有需要圖遞降的模式；e)遍歷計(jì)算圖，進(jìn)行圖遞降操作。圖遞降接口如表6定義。表6圖遞降接口8圖調(diào)度模塊接口8.1概述圖調(diào)度由資源管理、子圖調(diào)度兩個(gè)操作組成。圖調(diào)度功能也可由深度學(xué)習(xí)框架實(shí)現(xiàn)，編譯器提供互操作能力。8.2資源管理資源管理包括設(shè)備內(nèi)存的分配與釋放，流的創(chuàng)建與銷毀。設(shè)備內(nèi)存用于計(jì)算圖輸入輸出以及中間結(jié)果的儲(chǔ)存。圖調(diào)度前需要準(zhǔn)備好所需存儲(chǔ)空間，任務(wù)執(zhí)行完畢后需釋放所占用的存儲(chǔ)空間。流資源被用于圖調(diào)度過程中，需在整個(gè)調(diào)度過程中進(jìn)行創(chuàng)建與釋放。資源管理接口定義見表7。表7資源管理接口配在AI加速芯片設(shè)備上分小放針配在AI加速芯片設(shè)備上異小流放針流流貝貝流在AI加速芯片設(shè)備上同在AI加速芯片設(shè)備上異8.3子圖調(diào)度子圖調(diào)度包括設(shè)備流管理器、計(jì)算圖隊(duì)列、計(jì)算圖到設(shè)備流的映射數(shù)據(jù)結(jié)構(gòu)。a)設(shè)備流管理器：緩存圖調(diào)度所需流資源，管理流之間的同步和依賴，包含設(shè)備流創(chuàng)建，設(shè)備流銷毀等方法。該成員變量應(yīng)必選支持，英文名稱為devicestreammanager；b)計(jì)算圖隊(duì)列：存儲(chǔ)和管理已經(jīng)調(diào)度計(jì)算圖的數(shù)據(jù)結(jié)構(gòu)，可在隊(duì)列尾部添加新的計(jì)算圖。該成員變量應(yīng)必選支持，英文名稱為graph_list；c)計(jì)算圖到設(shè)備流的映射：映射中鍵為計(jì)算圖對(duì)象，值為該計(jì)算圖調(diào)度執(zhí)行的設(shè)備流。多個(gè)計(jì)算圖可以映射到同一個(gè)設(shè)備流。該成員變量應(yīng)必選支持，英文名稱為graph_stream_mapping。子圖調(diào)度接口定義見表8，參數(shù)包括新的計(jì)算圖、調(diào)度優(yōu)化算法、設(shè)備流到計(jì)算圖隊(duì)列的映射。表8子圖調(diào)度接口定義9領(lǐng)域特定語言接口領(lǐng)域特定語言宜支持對(duì)程序ID、加載張量、存儲(chǔ)張量、構(gòu)建塊指針、指針前移、創(chuàng)建張量、創(chuàng)建全零張量、創(chuàng)建連續(xù)張量、點(diǎn)積、轉(zhuǎn)置、改變形狀等基礎(chǔ)操作接口的解析和處理，接口定義見附錄C。10算子生成器接口算子生成器根據(jù)DSL算子源代碼文件或圖轉(zhuǎn)換模塊的輸出結(jié)果，生成可在硬件執(zhí)行的算子執(zhí)行文件。接口定義見表9。表9算子生成器接口定義（資料性）接口效果測試方法A.1圖生成模塊接口圖生成模塊接口包括計(jì)算圖加載和計(jì)算圖編輯2類，計(jì)算圖加載接口測試方法見表A.1，計(jì)算圖編輯接口測試方法見表A.2。表A.1計(jì)算圖加載接口效果測試表A.2計(jì)算圖編輯接口效果測試3）檢查節(jié)點(diǎn)編輯、屬性編輯、遍歷和訪問、模式替換、圖序列化與反序列化接口參數(shù)實(shí)現(xiàn)4）使用節(jié)點(diǎn)編輯、屬性編輯、遍歷和訪問、模式替換、圖序列化與反序列化對(duì)計(jì)算圖進(jìn)行2）節(jié)點(diǎn)編輯、屬性編輯、模式替換、圖序列化與反序列化操作正確執(zhí)行，輸出結(jié)果與6.33）若支持可視化，則可視化接口可準(zhǔn)確反映計(jì)算圖結(jié)構(gòu)。A.2圖轉(zhuǎn)換模塊接口圖轉(zhuǎn)換模塊接口包括圖優(yōu)化接口、圖拆分接口、圖遞降接口，其功能測試方法分別見表A.3、表A.4與表A.5。表A.3圖優(yōu)化接口效果測試2）準(zhǔn)備待優(yōu)化的計(jì)算圖作為輸入，包括需要2）圖優(yōu)化接口正確實(shí)現(xiàn)了所預(yù)定的優(yōu)化策略；3）優(yōu)化后的計(jì)算圖保持原有邏輯和功能。表A.4圖拆分接口效果測試表A.5圖遞降接口效果測試2）所有遞降配對(duì)模式均注冊(cè)成功，且模式可以被正確匹配；3）可按照注冊(cè)的配對(duì)模式正確執(zhí)行遞降，生成預(yù)期的子圖。A.3圖調(diào)度模塊接口圖轉(zhuǎn)換模塊接口包括資源管理接口、子圖調(diào)度接口，其功能測試方法分別見表A.6與表A.7。在子圖調(diào)度接口功能測試過程中，應(yīng)對(duì)子圖調(diào)度類的實(shí)現(xiàn)進(jìn)行檢測。表A.6資源管理接口效果測試4）進(jìn)行流的創(chuàng)建與銷毀，并使用工具檢查流的3）分配的內(nèi)存在釋放后恢復(fù)到可用狀態(tài)，表A.7子圖調(diào)度接口效果測試2）檢查子圖調(diào)度類的實(shí)現(xiàn)與8.3規(guī)定是否一致，成員變量包括設(shè)備流管理器、計(jì)算圖隊(duì)3）實(shí)現(xiàn)調(diào)度優(yōu)化，將輸入計(jì)算圖綁定到其執(zhí)行所需的設(shè)備流，并正確記錄計(jì)算圖隊(duì)列和計(jì)A.4領(lǐng)域特定語言相關(guān)接口DSL相關(guān)接口測試方法分別見表A.8。表A.8DSL語言應(yīng)支持操作接口的效果測試2）使用DSL語言實(shí)現(xiàn)附錄C規(guī)定的基本操作接口；1）可使用DSL語言實(shí)現(xiàn)附錄C規(guī)定的基本操作接口，且輸入輸出參數(shù)與標(biāo)準(zhǔn)定義一致；2）執(zhí)行每個(gè)基本操作接口可產(chǎn)生預(yù)期的輸出；3）執(zhí)行多個(gè)基本操作接口的組合，可產(chǎn)生預(yù)期的輸出。A.5算子生成器接口算子生成器接口測試方法見表A.9。表A.9算子生成器接口功能測試4）創(chuàng)建執(zhí)行圖轉(zhuǎn)換后的子圖中間表示文件，以及對(duì)應(yīng)的算子生成器輸出預(yù)期結(jié)果，作為測2）算子生成器可正確執(zhí)行DSL算子文件或子A.6接口性能與穩(wěn)定性測試使用本文件規(guī)定的編譯器接口實(shí)現(xiàn)深度框架與AI加速芯片適配后的系統(tǒng)推理性能、壓力與穩(wěn)定性方面應(yīng)達(dá)到下列要求：a)性能測試：提供可供性能分析的數(shù)據(jù)來衡量模型推理性能，例如固定配置下的平均推理延時(shí)；b)穩(wěn)定性測試：保證多次推理精度誤差在一定范