DB23T 3857-2024人工智能數(shù)據(jù)標注總體框架規(guī)范

23本文件由中共黑龍江省委網(wǎng)絡安全和信息化委員會辦公室提人工智能數(shù)據(jù)標注總體框架規(guī)范3.13.2用于標識出數(shù)據(jù)特征并建立標注數(shù)據(jù)與人工智能可用數(shù)據(jù)之間3.3能夠進行數(shù)據(jù)標注及在數(shù)據(jù)標注過程中進行管理、控制等過程中3.43.54基本要求a)根據(jù)標注任務說明,對標注人員進行崗前能力培訓。培訓合格者,參與標注任務；b)建立標注人員能力檔案,記錄標注人員承擔標注任務的相關內(nèi)容,用于進行標注人員能力評估4.2明確職責應規(guī)定參與人工智能數(shù)據(jù)標注的所有角色的職能，并a)設立人工智能數(shù)據(jù)管理崗位。該崗位要求對業(yè)務、法律法規(guī)比較熟悉，能夠根據(jù)業(yè)務實際需b)明確各環(huán)節(jié)角色的職責。應明確數(shù)據(jù)標注人員、數(shù)據(jù)標注培訓人員、數(shù)據(jù)標注質(zhì)量控制人員4.3合法合規(guī)應出臺規(guī)章制度保障人工智能數(shù)據(jù)標注任務的合法合規(guī)性，并a)學習并嚴格執(zhí)行與數(shù)據(jù)保護、數(shù)據(jù)安全相關的法律法規(guī)、制度等；b)正確對個人隱私和敏感數(shù)據(jù)進行處理，確保標注過程合法合規(guī)；4,4保障質(zhì)量a)確保人工智能數(shù)據(jù)標注的準確性、可用性、完整性；b)建立質(zhì)量保障制度，提高數(shù)據(jù)標注合格率；4.5標注范圍最小化4,6數(shù)據(jù)安全a)數(shù)據(jù)分發(fā)，使用必要的安全方式確保人工智能數(shù)據(jù)分發(fā)過程的安全性要求；b)數(shù)據(jù)存儲，建立訪問控制制度和加密機制確保人工智能數(shù)據(jù)存儲保密性要求；c)加密數(shù)據(jù)的標注，使用加密算法對加密人工智能數(shù)據(jù)進行運算標注，如同態(tài)加密算法等；d)數(shù)據(jù)匯總，使用數(shù)據(jù)隔離等方式確保人工智能數(shù)據(jù)匯總時滿足保密性要求；4.7數(shù)據(jù)完整a)接收人工智能數(shù)據(jù)可驗證，保證接收的數(shù)據(jù)已通過認證；b)人工智能數(shù)據(jù)傳輸過程完整性，保證標注活動數(shù)據(jù)完整性；c)數(shù)據(jù)標注可靠性，確保標注過程只執(zhí)行批準的范圍；d)數(shù)據(jù)儲存完整性，確保數(shù)據(jù)標注存儲及備份完整性。4.8數(shù)據(jù)可審計應對數(shù)據(jù)標注各環(huán)節(jié)建立審計機制或制度，確保數(shù)據(jù)標注全過程可審計，并a)對數(shù)據(jù)標注過程信息記錄，并保證記錄過程真實可靠；b)利用合理的技術方案確保數(shù)據(jù)標注的所有過數(shù)據(jù)標注除了考慮以上要求外,還應針對人工智能數(shù)據(jù)的特點從數(shù)據(jù)標注任務的其他方面分析,包括但不限于:a)數(shù)據(jù)標注需不影響社會和公共安全；b)數(shù)據(jù)標注需考慮跨部門、跨組織的數(shù)據(jù)開放共享；任務規(guī)劃任務實施據(jù)標注任務驗收具體過程可根據(jù)數(shù)據(jù)標注任務規(guī)模簡化或裁剪，人工智能數(shù)據(jù)標注總體任務規(guī)劃任務實施據(jù)標注任務驗收任務創(chuàng)建任務執(zhí)行任務創(chuàng)建任務執(zhí)行任務檢驗評審方式任務回退任務歸檔a)數(shù)據(jù)標注完成的時間節(jié)點；b)數(shù)據(jù)標注的內(nèi)容；6.2獲取數(shù)據(jù)a)平臺接口對接的方式；b)存儲介質(zhì)復制的方式。6.3分析數(shù)據(jù)數(shù)據(jù)標注前，應對待標注數(shù)據(jù)進行分析，核對標注任a)數(shù)據(jù)核查。檢查待標注數(shù)據(jù)是否與標注任務說明書中的數(shù)據(jù)定義相符，核查結(jié)果及時同步給c)數(shù)據(jù)處理。根據(jù)標注任務以及標注數(shù)據(jù)的特性，通過數(shù)據(jù)聚類、組合排列、數(shù)據(jù)雜質(zhì)去除等6.4確定規(guī)則a)確定數(shù)據(jù)試標數(shù)量。應遵循數(shù)據(jù)標注內(nèi)容覆蓋全面性及數(shù)據(jù)標注成本最小化要求，抽取數(shù)據(jù)b)數(shù)據(jù)試標。按照標注規(guī)則對抽樣數(shù)據(jù)進行標注，以驗證標注規(guī)則的合理性；c)細化數(shù)據(jù)標注規(guī)則。應遵循易理解、易操作的準則，保持與數(shù)據(jù)標注需求一致的原則，對數(shù)數(shù)據(jù)標注任務負責人應利用標注工具創(chuàng)建數(shù)據(jù)標注項目相關內(nèi)容a)任務包創(chuàng)建。將需要標注的數(shù)據(jù)合理分組,保證數(shù)據(jù)標注質(zhì)量以及后續(xù)的任務分配；b)任務賬戶創(chuàng)建。應以標注人員數(shù)量為依據(jù)，綜合標注數(shù)據(jù)規(guī)模、質(zhì)量分析等需求，根據(jù)標注環(huán)境或標注工具，創(chuàng)建標注過程中所需要使用的賬戶，并分配相應的權(quán)限或賬戶使用規(guī)c)任務創(chuàng)建保障。應制定標注任務創(chuàng)建和數(shù)據(jù)上傳相關制度，明確數(shù)據(jù)上傳分類分級、數(shù)據(jù)安全風險評估和安全監(jiān)控制度，確保上傳數(shù)據(jù)的合7.2任務分發(fā)a)標注任務分發(fā)類型。應根據(jù)標注任務要求，結(jié)合標注質(zhì)量管理及標注時間管理，在保證標注質(zhì)量的前提下，選擇主動領取或系統(tǒng)自動分發(fā)等任務分發(fā)類型，優(yōu)化標注任務分發(fā)策b)標注任務分發(fā)保障。應制定標注任務分發(fā)安全管理制度，明確標注任務分發(fā)日志內(nèi)容，監(jiān)控7.3任務執(zhí)行a)標注任務分配。應安排數(shù)據(jù)標注人員使用分配的標注賬戶，對分配到的任務進行標注；b)標注過程反饋。應建立標注過程反饋機制，將與標注要求不符、標注要求中未涵蓋的數(shù)據(jù)等c)標注任務開展保障。應明確數(shù)據(jù)脫敏和個人信息安全影響評估制度，在標注前對個人信息進行數(shù)據(jù)脫敏處理，保障數(shù)據(jù)標注流程合法合規(guī)，并對數(shù)據(jù)標注結(jié)果進行分級，適當提高數(shù)據(jù)7,4任務檢驗在任務進行過程中按照標注規(guī)則進行質(zhì)量檢驗和質(zhì)量糾在標注任務進行期間應使用統(tǒng)計規(guī)則或模型驗證等方法,得到標注任務一致性水平,一旦發(fā)現(xiàn)明顯a)任務時間風險。包括標注任務可能在預期時間內(nèi)未能完成或者標注任務所需的時間可能被低b)任務進度風險。參與標注任務人員不足風險及標注人員之間溝通、協(xié)調(diào)與管理的風險，導致c)任務質(zhì)量風險。數(shù)據(jù)標注不準確，或者不同標注人員主觀意識和個人偏好出現(xiàn)標注偏差，導d)數(shù)據(jù)隱私風險：在數(shù)據(jù)標注過程中，可能涉及到個人敏感信息的泄露，如姓名、地址等泄密7.6風險提醒7.6.1在預估到標注任務可能存在風險的情況下，應對風險進行及時的暴露和提醒，從而使風險得到a)標注任務的基本概況信息。包含足以識別面臨風險的標注任務的信息,例如任務的名稱、需求b)執(zhí)行任務的標注人員。包含足以識別面臨風險的標注人員或團隊的信息；7.6.2為使消息能夠及時傳遞到相關任務關系人，標注任務可能有風險的消息內(nèi)容應通過各類方式發(fā)a)業(yè)務范圍能夠滿足數(shù)據(jù)標注工作評審需求；b)專家?guī)斓膶＜覕?shù)量具備一定規(guī)模并且專業(yè)結(jié)構(gòu)合理；8.2專家評審評審管理委員會組織專家開展評審，評審專家應具備以下條a)具有良好的科學道德、較強的溝通和協(xié)調(diào)能力，能夠獨立、客觀、公正、實事求是的提出評b)從事所屬領域或行業(yè)專業(yè)技術工作滿5年，并具有副高級及以上專業(yè)技術職稱或者具有同等c)熟悉數(shù)據(jù)標注評審基本業(yè)務流程，掌握數(shù)據(jù)標注的基本原理、方法；8.3評審方式a)網(wǎng)絡評審。組織評審專家通過網(wǎng)絡評審系統(tǒng)，查閱數(shù)據(jù)標注材料并對數(shù)據(jù)標注任務完成情況b)會議評審(含視頻答辯)。組織評審專家采用現(xiàn)場會議(網(wǎng)絡視頻)等形式，通過聽取數(shù)據(jù)標注情況的匯報、質(zhì)詢、討論等程序，對數(shù)據(jù)標注工作8.4任務回退評審不合格的任務，數(shù)據(jù)標注負責人應進行回收，并重新分派，標注修改后重新評應按照安全遞交方式遞交標注結(jié)果，約束的內(nèi)容包括但不a)遞交數(shù)據(jù)的介質(zhì)；b)遞交數(shù)據(jù)的途徑；9.3交付驗收a)應根據(jù)確認的驗收標準,對數(shù)據(jù)標注質(zhì)量進行檢查與評價；b)應及時反饋數(shù)據(jù)標注質(zhì)量的相關結(jié)果,確定是否通9.4任務歸檔數(shù)據(jù)標注結(jié)果驗收通過后，對生產(chǎn)過程文檔進行分類、整理數(shù)據(jù)標注負責人應組織各工作角色參與總結(jié)工作，編制總結(jié)報告，內(nèi)a)數(shù)據(jù)標注任務基本信息