數(shù)據標注工程-概念、方法、工具與案例 課件 第11章 工程化數(shù)據標注的系統(tǒng)平臺

人工智能技術應用核心課程系列教材數(shù)據標注工程——概念、方法、工具與案例第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺人工智能技術應用核心課程系列教材11.1數(shù)據標注系統(tǒng)概述11.3本章小結11.4作業(yè)與練習11.1

數(shù)據標注系統(tǒng)概述

第11章工程化數(shù)據標注的系統(tǒng)平臺數(shù)據標注工具是指數(shù)據標注員完成標注任務產生標注結果時所需的工具和軟件。不同的數(shù)據類型和標注任務需要不同的標注工具，根據標注的數(shù)據類型，數(shù)據標注工具可分為文本數(shù)據標注工具、圖像數(shù)據標注工具、視頻數(shù)據標注工具、語音數(shù)據標注工具、3D點云標注工具。標注工具按照自動化程度可分為手動標注、半自動、自動三種。其中，半自動標注是指人工結合自動化工具進行數(shù)據標注。概述11.1

數(shù)據標注系統(tǒng)概述典型數(shù)據標注平臺包括基礎支撐、標注工具及標注模板、數(shù)據生產流程、數(shù)據產品管理、以及服務平臺等。11.1.1典型數(shù)據標注平臺系統(tǒng)架構

第11章工程化數(shù)據標注的系統(tǒng)平臺11.1

數(shù)據標注系統(tǒng)概述單段落語音數(shù)據標注工具：能夠進行語音內容轉寫，語音屬性標注。語音屬性包括語音數(shù)據是否有效、語音語言情況、噪聲情況、語音能否聽清、說話人性別、說話人口音以及是否包含噪音。11.1.2典型標注工具

第11章工程化數(shù)據標注的系統(tǒng)平臺11.1

數(shù)據標注系統(tǒng)概述圖像目標框標注工具：能夠對圖像中的目標對象進行矩形框標注。11.1.2典型標注工具

第11章工程化數(shù)據標注的系統(tǒng)平臺第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺人工智能技術應用核心課程系列教材11.1數(shù)據標注系統(tǒng)概述11.3本章小結11.4作業(yè)與練習11.2典型數(shù)據標注系統(tǒng)平臺為更好服務企業(yè)數(shù)據加工需求，數(shù)據堂基于多年行業(yè)經驗，研發(fā)并推出了私有化解決?案產品數(shù)加加Pro。數(shù)加加Pro打通企業(yè)數(shù)據平臺、數(shù)據私有化加工、數(shù)據安全交付環(huán)節(jié)，覆蓋數(shù)據標注服務全生命周期，為企業(yè)客戶提供數(shù)據標注服務整體解決方案。11.2.1適用范圍

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺數(shù)加加Pro與數(shù)據堂自用的線上數(shù)據標注平臺工具完全一致，是多年經驗錘煉的結果。數(shù)加加Pro中還集成了數(shù)據處理、自動化標注、機器質檢等外部插件，擁有便利多樣的部署形式和方便的接口，可以快速部署和集成。11.2.2產品特性01部署在客戶服務器，數(shù)據不出門。支持多角色多權限多機構管理，各角色權限分割與不同機構間數(shù)據隔離。數(shù)據安全02具有18種基礎模板和數(shù)百種工具，覆蓋圖片、文本、視頻、語音、點云等多種數(shù)據類型。成熟的模板及工具03自定義標注流程，多人擬合，通過增加、刪除流程接點實現(xiàn)多輪質檢、多輪驗收等8種可視化配置。協(xié)同管理，效率實時掌握

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺數(shù)加加PRO從簡單的手工標注發(fā)展到人與智能共鳴的“人在回路”（humanintheloop），覆蓋了數(shù)據生產、數(shù)據處理、模型訓練、數(shù)據存儲的全生命周期管理。11.2.2產品特性靈活部署：工具高效：通過SaaS、專有部署和私有部署三種模式滿足多樣化客戶部署需求模版經過多年實戰(zhàn)檢驗，高效滿足語音、圖片、文本、視頻、點云的復雜需求方便集成：具有數(shù)據、用戶、任務等多種OpenAPI，便于與客戶本地其他系統(tǒng)集成和二次開發(fā)數(shù)據生產數(shù)據處理模型訓練數(shù)據存儲流程靈活：按包、按條兩種分派數(shù)據方式，標注、質檢和驗收的靈活組合，支持多人擬合、機器質檢功能完善：數(shù)據集管理、任務管理、人員管理、數(shù)據資產管理、流程管理、績效分析等模塊完善

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺私有化數(shù)加加Pro標注平臺的具體標注任務可以是企業(yè)內部人員，也可以由標注基地工程師通過安全的網絡連接方式（白名單）在監(jiān)控的環(huán)境中進行處理11.2.3數(shù)加加Pro標注平臺的產品架構

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺（1）任務標注平臺（前臺）：提供智能化輔助下的標注模板，實現(xiàn)高效地數(shù)據處理工作；（2）系統(tǒng)管理平臺（后臺）：提供標注模板（可配置和定制）、項目管理、任務管理、數(shù)據管理、人員管理、績效管理等，為企業(yè)數(shù)據產品生產、數(shù)據處理、模型訓練、數(shù)據存儲的全生命周期提供服務11.2.3數(shù)加加Pro標注平臺的產品架構

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具單段落語音標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具有縫多段落語音標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具無縫多段落語音標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具圖片矩形框標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具圖片多邊形標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具圖片3D框標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具圖片關鍵點標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具圖片萬能標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具文本實體標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具文本實體關系標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具文本閱讀理解標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具文本交互意圖標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具文檔屬性標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具文本屬性標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（1）豐富的標注工具3D點云標注模板

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（2）靈活的可配置模板屬性配置項配置內容配置項目任務嵌入語音標注圖像標注文本標注…標注新建標注工具配置標簽和屬性，修改顏色，其他的配置項等

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（3）支持智能輔助標注：支持人-機互動的半自動標注。標注效率提升30%以上。106點人臉預識別標注圖像預識別標注1-姓名2-性別3-民族4-出生5-住址6-公民身份證號碼語音預識別標注

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（4）支持多租戶管理誰的數(shù)據誰管理、誰的數(shù)據誰負責、誰的數(shù)據誰授權

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（5）數(shù)據集管理針對原始的非結構化數(shù)據以及標注后的數(shù)據需要進行有效的管理，以保證企業(yè)數(shù)據資產的安全。數(shù)據集支持平臺的數(shù)據管理，包括本地數(shù)據和共享存儲數(shù)據（大數(shù)據/對象存儲等）：支持數(shù)據集來源自本地數(shù)據；支持數(shù)據集來源自共享存儲區(qū)域（大數(shù)據/對象存儲的http鏈接）；支持多種數(shù)據源（圖片、語音、文本、視頻等）；支持多批次（版本）管理；支持預識別文件上傳。

第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺11.2.4數(shù)加加Pro標注平臺的產品優(yōu)勢（6）開放的API接口上傳數(shù)據接口：上傳本地數(shù)據或者對象存儲的地址信息獲取任務狀態(tài)接口：獲取任務狀態(tài)，包括待處理、處理中、已完成等獲取結果數(shù)據接口：獲取任務標注數(shù)據結果集管理模塊生產模塊業(yè)務系統(tǒng)數(shù)加加Pro數(shù)據層語音標注圖像標注文本標注項目管理人員管理數(shù)據統(tǒng)計企業(yè)數(shù)據平臺人員管理系統(tǒng)AI能力平臺OpenAPI（上傳數(shù)據）OpenAPI（查任務狀態(tài)、導出數(shù)據）Hadoop/對象存儲（S3/Cephy/Swift/NFS等）

第11章工程化數(shù)據標注的系統(tǒng)平臺第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺人工智能技術應用核心課程系列教材11.1數(shù)據標注系統(tǒng)概述11.3本章小結11.4作業(yè)與練習11.3本章小結概述了人工智能數(shù)據標注系統(tǒng)；通過典型數(shù)據標注平臺的講述，展示一款了優(yōu)秀的人工智能數(shù)據標注平臺具備的產品特點及產品優(yōu)勢。

第11章工程化數(shù)據標注的系統(tǒng)平臺第11章工程化數(shù)據標注的系統(tǒng)平臺11.2典型數(shù)據標注系統(tǒng)平臺人工智能技術應