數(shù)據(jù)采集職業(yè)技能等級(jí)證書(shū)標(biāo)準(zhǔn)2020版

1、數(shù)據(jù)采集職業(yè)技能等級(jí)標(biāo)準(zhǔn)前言011范圍022規(guī)范性引用文件023術(shù)語(yǔ)和定義024對(duì)應(yīng)院校專(zhuān)業(yè)045面向工作崗位（群）046職業(yè)技能要求04參考文獻(xiàn)11本標(biāo)準(zhǔn)按照GB/T1.1-2009給出的規(guī)則起草。本標(biāo)準(zhǔn)起草單位：浪潮集團(tuán)有限公司、北京百分點(diǎn)信息科技有限公司、北京大唐高鴻數(shù)據(jù)網(wǎng)絡(luò)技術(shù)有限公司、濟(jì)南華信計(jì)算機(jī)技術(shù)有限公司、山東青年政治學(xué)院、山東中醫(yī)藥大學(xué)、哈爾濱職業(yè)技術(shù)學(xué)院、濟(jì)南職業(yè)學(xué)院、萊蕪職業(yè)技術(shù)學(xué)院、山東電子職業(yè)技術(shù)學(xué)院、濟(jì)南信息工程學(xué)校、濟(jì)南電子機(jī)械工程學(xué)校。本標(biāo)準(zhǔn)主要起草人：劉何秀、穆建平、陳騰、陳天真、徐宏偉、姚民偉、單震、商程、崔瑞娟、鄧蘭永、劉洋、高敬萍、寧玉富、李明、徐翠娟、

2、宋磊、許文憲、徐健、劉學(xué)、趙素霞、趙慶華。聲明：本標(biāo)準(zhǔn)的知識(shí)產(chǎn)權(quán)歸屬于浪潮集團(tuán)有限公司，未經(jīng)浪潮集團(tuán)有限公司同意，不得印刷、銷(xiāo)售。1范圍本標(biāo)準(zhǔn)規(guī)定了數(shù)據(jù)采集職業(yè)技能等級(jí)對(duì)應(yīng)的工作領(lǐng)域、工作任務(wù)及職業(yè)技能要求。本標(biāo)準(zhǔn)適用于數(shù)據(jù)采集職業(yè)技能培訓(xùn)、考核與評(píng)價(jià)，相關(guān)用人單位的人員聘用、培訓(xùn)與考核可參照使用。2規(guī)范性引用文件下列文件對(duì)于本標(biāo)準(zhǔn)的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本標(biāo)準(zhǔn)。凡是不注日期的引用文件，其最新版本適用于本標(biāo)準(zhǔn)。GBT5271.1-2000信息技術(shù)詞匯第1部分基本術(shù)語(yǔ)GB/T5271.17-2010信息技術(shù)詞匯第17部分：數(shù)據(jù)庫(kù)GB/T35295-2017信

3、息技術(shù)大數(shù)據(jù)術(shù)語(yǔ)GB/T33847-2017信息技術(shù)中問(wèn)件術(shù)語(yǔ)GB/T17143.6-1997信息技術(shù)開(kāi)放系統(tǒng)互連系統(tǒng)管理第6部分：日志控制功能GB/T34840.3-2017信息與文獻(xiàn)電子辦公環(huán)境中文件管理原則與功能要求第3部分：業(yè)務(wù)系統(tǒng)中文件管理指南與功能要求3術(shù)語(yǔ)和定義GB/T5271.1-2000GB/T35295-2017GB/T5271.17-2010GB/T338472017GB/T17143.6-1997GB/T34840.3-2017界定的以及下列術(shù)語(yǔ)和定義適用于本標(biāo)準(zhǔn)。3.1 日志log以用作日志記錄檔案庫(kù)的資源為模型的管理支持客體類(lèi)。GB-T17143.6-1997,定義

4、3.13.2 關(guān)系數(shù)據(jù)庫(kù)relationaldatabase數(shù)據(jù)按關(guān)系模型來(lái)組織的數(shù)據(jù)庫(kù)。GB/T5271.17-2010,定義3.23.3 非結(jié)構(gòu)化數(shù)據(jù)unstructureddata支持一個(gè)或多個(gè)應(yīng)用領(lǐng)域，按概念結(jié)構(gòu)組織的數(shù)據(jù)集合，具概念結(jié)構(gòu)描述這些數(shù)據(jù)的特征及其對(duì)應(yīng)實(shí)體間的聯(lián)系。GB/T35295-2017,定義3.33.4 中間件middleware位于系統(tǒng)軟件之上，用于支持分布式應(yīng)用軟件，連接不同軟件實(shí)體的支撐軟件。GB/T33847-2017,定義3.43.5 硬件hardware信息處理系統(tǒng)物理組成部分的全部或部分GB/T5271.1-2000,定義3.53.6 操作系統(tǒng)oper

5、atingsystem控制程序*執(zhí)行的軟件，它能提供諸如資源分配、目錄調(diào)度、輸入輸出控制及數(shù)據(jù)管理的服務(wù)。GB/T5271.1-2000,定義3.63.7 業(yè)務(wù)系統(tǒng)businesssystem生成或管理機(jī)構(gòu)活動(dòng)數(shù)據(jù)與證據(jù)的自動(dòng)化系統(tǒng)注：主要包括旨為機(jī)構(gòu)部門(mén)與客戶(hù)之間開(kāi)展事務(wù)處理提供便利的應(yīng)用程序。例如，電子商務(wù)系統(tǒng)、客戶(hù)關(guān)系管理系統(tǒng)、為特定目的而構(gòu)建的或?yàn)榭蛻?hù)定制的數(shù)據(jù)庫(kù)、財(cái)務(wù)或人力資源系統(tǒng)等。GB/T34840.3-2017,定義3.74對(duì)應(yīng)院校專(zhuān)業(yè)中職專(zhuān)業(yè)計(jì)算機(jī)應(yīng)用、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、網(wǎng)站建設(shè)與管理、軟件與信息服務(wù)、網(wǎng)絡(luò)信息安全、移動(dòng)應(yīng)用技術(shù)與服務(wù)、會(huì)計(jì)、統(tǒng)計(jì)事務(wù)、電子商務(wù)等相關(guān)專(zhuān)業(yè)。高職專(zhuān)

6、業(yè)云計(jì)算技術(shù)與應(yīng)用、大數(shù)據(jù)技術(shù)與應(yīng)用、計(jì)算機(jī)應(yīng)用技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、計(jì)算機(jī)信息管理、軟件與信息服務(wù)、軟件技術(shù)、移動(dòng)應(yīng)用開(kāi)發(fā)、電子商務(wù)技術(shù)、信息安全與管理、商務(wù)數(shù)據(jù)分析與應(yīng)用、人工智能技術(shù)服務(wù)、會(huì)計(jì)、會(huì)計(jì)信息管理、信息統(tǒng)計(jì)與分析、統(tǒng)計(jì)與會(huì)計(jì)核算、經(jīng)濟(jì)信息管理、移動(dòng)商務(wù)等相關(guān)專(zhuān)業(yè)。本科專(zhuān)業(yè)計(jì)算機(jī)科學(xué)與技術(shù)、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、網(wǎng)絡(luò)工程、軟件工程、信息安全、信息管理與信息系統(tǒng)、經(jīng)濟(jì)統(tǒng)計(jì)學(xué)、金融工程、統(tǒng)計(jì)學(xué)、應(yīng)用統(tǒng)計(jì)學(xué)、大數(shù)據(jù)管理與應(yīng)用、智能科學(xué)與技術(shù)等相關(guān)專(zhuān)業(yè)。5面向工作崗位（群）主要面向政府信息化監(jiān)管機(jī)構(gòu)相關(guān)技術(shù)崗位，面向企事業(yè)單位的數(shù)據(jù)庫(kù)管理、互聯(lián)網(wǎng)應(yīng)用開(kāi)發(fā)實(shí)施、系統(tǒng)平臺(tái)設(shè)備運(yùn)維管理、系統(tǒng)數(shù)

7、據(jù)分析、互聯(lián)網(wǎng)輿情監(jiān)控等相關(guān)崗位。6職業(yè)技能要求6.1 職業(yè)技能等級(jí)劃分?jǐn)?shù)據(jù)采集職業(yè)技能等級(jí)分為三個(gè)等級(jí)：初級(jí)、中級(jí)、高級(jí)，三個(gè)級(jí)別依次遞進(jìn)，高級(jí)別涵蓋低級(jí)別職業(yè)技能要求。【數(shù)據(jù)采集】（初級(jí)）主要面向各企事業(yè)單位、政府等的信息化數(shù)字化、軟件研發(fā)、軟件測(cè)試、系統(tǒng)運(yùn)維、系統(tǒng)審計(jì)部門(mén)，從事數(shù)據(jù)庫(kù)數(shù)據(jù)、業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)、互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)等的采集、清洗與存儲(chǔ)工作。【數(shù)據(jù)采集】（中級(jí)）：主要面向各企事業(yè)單位、政府等的信息化數(shù)字化、軟件研發(fā)、軟件測(cè)試、系統(tǒng)運(yùn)維、系統(tǒng)審計(jì)部門(mén)，從事數(shù)據(jù)庫(kù)數(shù)據(jù)、業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)、互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)、容器日志數(shù)據(jù)、操作系統(tǒng)日志數(shù)據(jù)等的采集、清洗與存儲(chǔ)工作。并根據(jù)業(yè)務(wù)場(chǎng)景需求編制并實(shí)施解

8、決方案?！緮?shù)據(jù)采集】（高級(jí)）：主要面向各企事業(yè)單位、政府等的信息化數(shù)字化、軟件研發(fā)、軟件測(cè)試、系統(tǒng)運(yùn)維、系統(tǒng)審計(jì)部門(mén)，從事數(shù)據(jù)庫(kù)數(shù)據(jù)、業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)、互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)、容器日志數(shù)據(jù)、操作系統(tǒng)日志數(shù)據(jù)、設(shè)備日志數(shù)據(jù)等的采集、清洗與存儲(chǔ)工作。并根據(jù)業(yè)務(wù)場(chǎng)景需求進(jìn)行采集監(jiān)控系統(tǒng)整體架構(gòu)設(shè)計(jì)，編制并管理實(shí)施解決方案。6.2 職業(yè)技能等級(jí)要求描述表1數(shù)據(jù)采集職業(yè)技能等級(jí)要求（初級(jí)）工作領(lǐng)域工作任務(wù)職業(yè)技能要求1.數(shù)據(jù)庫(kù)數(shù)據(jù)采集1.1熟悉法規(guī)制度規(guī)范1.1.1 熟悉并嚴(yán)格遵守關(guān)于數(shù)據(jù)庫(kù)操作的法律規(guī)范，保證在合法的情況下進(jìn)行數(shù)據(jù)庫(kù)數(shù)據(jù)采集。1.1.2 掌握熟悉并參考關(guān)于數(shù)據(jù)庫(kù)操作的國(guó)家標(biāo)準(zhǔn)，確保數(shù)據(jù)采集過(guò)程

9、合規(guī)。1.1.3 熟悉行業(yè)內(nèi)的技術(shù)標(biāo)準(zhǔn)和規(guī)范，能夠準(zhǔn)確獲取數(shù)據(jù)庫(kù)數(shù)據(jù)信息。1.2數(shù)據(jù)庫(kù)數(shù)據(jù)的收集1.2.1 能夠掌握常規(guī)訪問(wèn)數(shù)據(jù)庫(kù)的方式方法，能夠獲取到目標(biāo)數(shù)據(jù)庫(kù)的相關(guān)信息。1.2.2 掌握常用數(shù)據(jù)庫(kù)客戶(hù)端工具的使用，能夠成功登錄目標(biāo)數(shù)據(jù)庫(kù)并進(jìn)行相關(guān)數(shù)據(jù)表數(shù)據(jù)的查詢(xún)、篩選等數(shù)據(jù)收集操作。1.2.3 查詢(xún)、篩選的準(zhǔn)確率應(yīng)能達(dá)到100%1.2.4 能夠?qū)Σ杉降脑紨?shù)據(jù)進(jìn)行完整文件備份，可以根據(jù)采集要求隨時(shí)對(duì)備份的原始數(shù)據(jù)進(jìn)行重新采集和核對(duì)。1.3數(shù)據(jù)庫(kù)數(shù)據(jù)的清洗1.3.1 能夠利用數(shù)據(jù)清洗工具編寫(xiě)基礎(chǔ)的數(shù)據(jù)驗(yàn)證規(guī)則進(jìn)行數(shù)據(jù)的合法性驗(yàn)證。1.3.2 熟練掌握數(shù)據(jù)拆分規(guī)則，能夠完成數(shù)據(jù)分解。能夠?qū)θ?/p>

10、部的輸入數(shù)據(jù)進(jìn)行成功拆解。對(duì)拆分的字段要有完整的文檔進(jìn)行描述，保證拆分后的數(shù)據(jù)屬性都有明確的意義和目的。1.4數(shù)據(jù)庫(kù)米集數(shù)據(jù)的存儲(chǔ)1.4.1 掌握某種關(guān)系型數(shù)據(jù)庫(kù)，具備數(shù)據(jù)庫(kù)的管理、運(yùn)維能力，可以合理的規(guī)劃、設(shè)計(jì)數(shù)據(jù)庫(kù)。1.4.2 掌握SQL語(yǔ)言，熟悉數(shù)據(jù)庫(kù)結(jié)構(gòu)設(shè)計(jì)及優(yōu)化，具備將清理的中間數(shù)據(jù)存儲(chǔ)到另一目標(biāo)數(shù)據(jù)庫(kù)或數(shù)據(jù)表的能力。能夠?qū)⒉杉降娜繑?shù)據(jù)存儲(chǔ)進(jìn)指定數(shù)據(jù)庫(kù)中。2.業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)采集2.1熟悉法規(guī)制度規(guī)范2.1.1 熟悉并嚴(yán)格遵守關(guān)于業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)采集的法律規(guī)范，保證在合法的情況下進(jìn)行業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)采集。2.1.2 掌握并參考關(guān)于業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)采集的國(guó)家標(biāo)準(zhǔn)，確保數(shù)據(jù)采集過(guò)程合

11、規(guī)。2.1.3 熟悉行業(yè)內(nèi)的技術(shù)標(biāo)準(zhǔn)和規(guī)范，能夠準(zhǔn)確獲取業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)信息。2.2業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)的收集2.2.1 熟悉目前常用的系統(tǒng)日志采集工具，具備可以收集業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)的能力。2.2.2 能夠根據(jù)業(yè)務(wù)系統(tǒng)部署信息找到業(yè)務(wù)系統(tǒng)日志所在的路徑和文件。2.2.3 能夠?qū)Σ杉降脑紨?shù)據(jù)進(jìn)行完整文件備份，可以根據(jù)采集要求隨時(shí)對(duì)備份的原始數(shù)據(jù)進(jìn)行重新采集和核對(duì)。2.3業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)的清理2.3.1 熟悉業(yè)務(wù)系統(tǒng)日志的組成部分，具備快速獲取、分析業(yè)務(wù)系統(tǒng)日志中特定數(shù)據(jù)信息的能力。2.3.2 能夠利用數(shù)據(jù)清洗工具編寫(xiě)基礎(chǔ)的數(shù)據(jù)驗(yàn)證規(guī)則進(jìn)行數(shù)據(jù)的合法性驗(yàn)證。2.3.3 熟練掌握數(shù)據(jù)拆分規(guī)則，能夠完

12、成數(shù)據(jù)分解。能夠?qū)θ康妮斎霐?shù)據(jù)進(jìn)行成功拆解。對(duì)拆分的字段要有完整的文檔進(jìn)行描述，保證拆分后的數(shù)據(jù)屬性都有明確的意義和目的。2.4業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)的存儲(chǔ)2.4.1 掌握各類(lèi)數(shù)據(jù)文件存儲(chǔ)格式，并能使用相關(guān)技術(shù)將數(shù)據(jù)保存成不同類(lèi)型文件。2.4.2 掌握系統(tǒng)日志數(shù)據(jù)之間的關(guān)系及分類(lèi)，能夠按照其數(shù)據(jù)結(jié)構(gòu)及時(shí)保存到數(shù)據(jù)庫(kù)。3.互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)采集3.1熟悉互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)采集法律法規(guī)嚴(yán)格遵守國(guó)家數(shù)據(jù)安全管理辦法及相關(guān)法律法規(guī)。3.2互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的采集3.2.1 熟悉/、同互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)類(lèi)型。3.2.2 能夠了解網(wǎng)絡(luò)協(xié)議，通過(guò)網(wǎng)絡(luò)準(zhǔn)確獲取并解析互聯(lián)網(wǎng)應(yīng)用的數(shù)據(jù)。3.2.3 能夠使用工具或編寫(xiě)程序獲取網(wǎng)站等互

13、聯(lián)網(wǎng)應(yīng)用的靜態(tài)數(shù)據(jù)并進(jìn)行數(shù)據(jù)抽取。3.3互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的清洗3.3.1 能夠根據(jù)網(wǎng)頁(yè)數(shù)據(jù)類(lèi)型，利用數(shù)據(jù)清洗工具編寫(xiě)基礎(chǔ)的數(shù)據(jù)驗(yàn)證規(guī)則進(jìn)行數(shù)據(jù)的合法性驗(yàn)證。3.3.2 熟練掌握數(shù)據(jù)拆分規(guī)則，能夠完成數(shù)據(jù)分解。能夠?qū)W(wǎng)站等互聯(lián)網(wǎng)應(yīng)用的靜態(tài)數(shù)據(jù)進(jìn)行準(zhǔn)確拆解。對(duì)拆分的字段要有完整的文檔進(jìn)行描述，保證拆分后的數(shù)據(jù)屬性都有明確的意義和目的。3.4互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的存儲(chǔ)3.4.1 掌握各類(lèi)數(shù)據(jù)文件存儲(chǔ)格式，并能使用相關(guān)技術(shù)將數(shù)據(jù)保存成不同類(lèi)型文件。3.4.2 掌握數(shù)據(jù)之間的關(guān)系及分類(lèi)，能夠按照其數(shù)據(jù)結(jié)構(gòu)保存到數(shù)據(jù)庫(kù)。表2數(shù)據(jù)采集職業(yè)技能等級(jí)要求（中級(jí)）工作領(lǐng)域工作任務(wù)職業(yè)技能要求1.數(shù)據(jù)庫(kù)數(shù)據(jù)采集1.1熟悉法

14、規(guī)制度規(guī)范1.1.1 熟悉并嚴(yán)格遵守關(guān)于信息數(shù)據(jù)采集的法律法規(guī)，保證在合法的情況卜進(jìn)行數(shù)據(jù)庫(kù)數(shù)據(jù)的采集。1.1.2 掌握關(guān)于信息數(shù)據(jù)采集的國(guó)家標(biāo)準(zhǔn)，確保采集過(guò)程合規(guī)。1.2數(shù)據(jù)庫(kù)數(shù)據(jù)的收集1.2.1 能夠掌握訪問(wèn)分布式數(shù)據(jù)庫(kù)的方式方法，能夠獲取到目標(biāo)數(shù)據(jù)庫(kù)的相關(guān)信息。1.2.2 掌握分布式數(shù)據(jù)庫(kù)客戶(hù)端工具的使用，能夠成功登錄目標(biāo)數(shù)據(jù)庫(kù)并進(jìn)行相關(guān)數(shù)據(jù)的查詢(xún)、篩選等數(shù)據(jù)收集操作。1.2.3 能夠?qū)Σ杉降脑紨?shù)據(jù)進(jìn)行完整文件備份，可以根據(jù)米集要求隨時(shí)對(duì)備份的原始數(shù)據(jù)進(jìn)行重新采集和核對(duì)。1.3數(shù)據(jù)庫(kù)數(shù)據(jù)的清洗處理掌握簡(jiǎn)單批處理程序的編寫(xiě)，可以編寫(xiě)批處理理程序?qū)?shù)據(jù)進(jìn)行批量清洗操作。能夠?qū)θ康妮斎霐?shù)

15、據(jù)進(jìn)行成功拆解。對(duì)拆分的字段要有完整的文檔進(jìn)行描述，保證拆分后的數(shù)據(jù)屬性都有明確的意義和目的。1.4數(shù)據(jù)庫(kù)米集數(shù)據(jù)的存儲(chǔ)1.4.1 掌握某種關(guān)系型數(shù)據(jù)庫(kù)，具備數(shù)據(jù)庫(kù)的管理、運(yùn)維能力，可以合理的規(guī)劃、設(shè)計(jì)數(shù)據(jù)庫(kù)。1.4.2 掌握SQM言，熟悉數(shù)據(jù)庫(kù)結(jié)構(gòu)設(shè)計(jì)及優(yōu)化，具備將清理的中間數(shù)據(jù)存儲(chǔ)到另一目標(biāo)數(shù)據(jù)庫(kù)或數(shù)據(jù)表的能力。2.互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)采集2.1熟悉法規(guī)制度規(guī)范2.1.1 熟悉關(guān)于信息數(shù)據(jù)采集的法律法規(guī)，保證在合法的情況卜進(jìn)行網(wǎng)站等互聯(lián)網(wǎng)應(yīng)用的數(shù)據(jù)采集。2.1.2 掌握關(guān)于信息數(shù)據(jù)采集的國(guó)家標(biāo)準(zhǔn)，確保采集過(guò)程合規(guī)。2.2互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的采集2.2.1 能夠編寫(xiě)采集客戶(hù)端程序來(lái)進(jìn)行互聯(lián)網(wǎng)應(yīng)用行為數(shù)

16、據(jù)的動(dòng)態(tài)采集。2.2.2 采集客戶(hù)端的運(yùn)行對(duì)宿主系統(tǒng)的性能影響占比應(yīng)彳氐于0.1%。2.3互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)清洗能夠按照行業(yè)要求，通過(guò)工具及編寫(xiě)數(shù)據(jù)校驗(yàn)規(guī)則提取肩效數(shù)據(jù)，剔除臟數(shù)據(jù)。能夠?qū)θ康幕ヂ?lián)網(wǎng)應(yīng)用數(shù)據(jù)進(jìn)行成功拆解。對(duì)拆分的字段要有完整的文檔進(jìn)行描述，保證拆分后的數(shù)據(jù)屬性都有明確的意義和目的。2.4互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的存儲(chǔ)2.4.1 掌握數(shù)據(jù)表結(jié)構(gòu)的設(shè)計(jì)能力。2.4.2 掌握關(guān)系型數(shù)據(jù)庫(kù)，將采集到的數(shù)據(jù)合理得存入數(shù)據(jù)庫(kù)。3.中間件數(shù)據(jù)采集3.1熟悉法規(guī)制度規(guī)范3.1.1 熟悉并嚴(yán)格遵守關(guān)于信息數(shù)據(jù)采集的法律法規(guī)，保證在合法的情況卜進(jìn)行中間件容器日志采集。3.1.2 掌握關(guān)于信息數(shù)據(jù)采集的國(guó)家標(biāo)準(zhǔn)

17、，確保采集過(guò)程合規(guī)。3.2中間件數(shù)據(jù)收集3.2.1熟悉HTTPWe服務(wù)容器、FTP服務(wù)容器等常見(jiàn)的容器日志生成方式、內(nèi)容、格式。能夠根據(jù)中間件容器的配置文件準(zhǔn)確找到存放日志數(shù)據(jù)的目錄和文件。3.2.2 能夠運(yùn)用采集工具對(duì)容器日志進(jìn)行采集。采集工具對(duì)中間件容器的性能影響占比應(yīng)低于0.1%。3.2.3 能夠?qū)Σ杉降脑紨?shù)據(jù)進(jìn)行完整文件備份，可以根據(jù)采集要求隨時(shí)對(duì)備份的原始數(shù)據(jù)進(jìn)行重新采集和核對(duì)。3.3中間件數(shù)據(jù)清洗處理3.3.1 能夠利用數(shù)據(jù)清洗工具編寫(xiě)基礎(chǔ)的數(shù)據(jù)驗(yàn)證規(guī)則進(jìn)行數(shù)據(jù)的合法性驗(yàn)證。3.3.2 熟練掌握數(shù)據(jù)拆分規(guī)則，能夠完成數(shù)據(jù)分解。對(duì)中間件的日志數(shù)據(jù)的成功拆解率應(yīng)能達(dá)到99%對(duì)拆分的

18、字段要有完整的文檔進(jìn)行描述，保證拆分后的數(shù)據(jù)屬性都有明確的意義和目的。3.4中間件數(shù)據(jù)的存儲(chǔ)3.4.1 掌握數(shù)據(jù)表結(jié)構(gòu)的設(shè)計(jì)能力。3.4.2 掌握關(guān)系型數(shù)據(jù)庫(kù)，將采集到的數(shù)據(jù)合理得存入數(shù)據(jù)庫(kù)。4.操作系統(tǒng)日志數(shù)據(jù)采集4.1熟悉法規(guī)制度規(guī)范4.1.1 熟悉并嚴(yán)格遵守關(guān)于信息數(shù)據(jù)采集的法律法規(guī)，保證在合法的情況卜進(jìn)行操作系統(tǒng)日志采集。4.1.2 掌握關(guān)于信息數(shù)據(jù)采集的國(guó)家標(biāo)準(zhǔn)，確保采集過(guò)程合規(guī)性。4.2操作系統(tǒng)數(shù)據(jù)收集4.2.1 熟悉WindowsLiunx等常見(jiàn)的操作系統(tǒng)日志生成方式04.2.2 能夠識(shí)別用戶(hù)在操作系統(tǒng)里進(jìn)行的操作（如登陸、系統(tǒng)級(jí)目錄和內(nèi)容修改）。4.2.3 能夠使用采集工具對(duì)操

19、作系統(tǒng)日志進(jìn)行采集。4.2.4 能夠?qū)Σ杉降脑紨?shù)據(jù)進(jìn)行完整文件備份，可以根據(jù)采集要求隨時(shí)對(duì)備份的原始數(shù)據(jù)進(jìn)行重新采集和核對(duì)。4.3操作系統(tǒng)數(shù)據(jù)清洗處理4.3.1 能夠利用工具進(jìn)行數(shù)據(jù)的合法性驗(yàn)證。4.3.2 熟練掌握數(shù)據(jù)拆分規(guī)則，能夠完成數(shù)據(jù)分解。對(duì)常見(jiàn)的操作系統(tǒng)日志數(shù)據(jù)的成功拆解率應(yīng)能達(dá)到90%對(duì)拆分的字段要有完整的文檔進(jìn)行描述，保證拆分后的數(shù)據(jù)屬性都有明確的意義和目的。4.3.3 掌握操作系統(tǒng)的常見(jiàn)操作，能夠?qū)Σ僮飨到y(tǒng)的操作日志數(shù)據(jù)進(jìn)行初步提取。4.4操作系統(tǒng)數(shù)據(jù)的存儲(chǔ)4.4.1 掌握數(shù)據(jù)表結(jié)構(gòu)的設(shè)計(jì)能力。4.4.2 熟練掌握關(guān)系型數(shù)據(jù)庫(kù)，將采集到的數(shù)據(jù)合理得存入數(shù)據(jù)庫(kù)。表3數(shù)據(jù)采集職

20、業(yè)技能等級(jí)要求（高級(jí)）工作領(lǐng)域工作任務(wù)職業(yè)技能要求1.互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)采集1.1熟悉法規(guī)制度規(guī)范熟悉行業(yè)內(nèi)的技術(shù)標(biāo)準(zhǔn)和規(guī)范，能夠準(zhǔn)確得采集信息數(shù)據(jù)。1.2互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的采集1.2.1 能夠在移動(dòng)終端應(yīng)用里編寫(xiě)數(shù)據(jù)采集插件來(lái)搜集應(yīng)用數(shù)據(jù)。1.2.2 數(shù)據(jù)采集插件的運(yùn)行，對(duì)宿主終端應(yīng)用的性能影響比率應(yīng)低于1%1.3互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)清洗處理2.3.1 能夠利用工具和編寫(xiě)數(shù)據(jù)驗(yàn)證規(guī)則進(jìn)行數(shù)據(jù)的合法性驗(yàn)證。2.3.2 熟練掌握數(shù)據(jù)拆分規(guī)則和方法，能夠完成數(shù)據(jù)分解和歸類(lèi)。對(duì)移動(dòng)終端應(yīng)用的交互數(shù)據(jù)的成功拆解率應(yīng)能達(dá)到90%對(duì)拆分的字段要有完整的文檔進(jìn)行描述，保證拆分后的數(shù)據(jù)屬性都有明確的意義和目的。2.3.3

21、 掌握互聯(lián)網(wǎng)應(yīng)用的特征內(nèi)容，能夠?qū)?yīng)用數(shù)據(jù)和交互數(shù)據(jù)進(jìn)行提取。1.4互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的存儲(chǔ)2.4.1 掌握數(shù)據(jù)模型關(guān)系設(shè)計(jì)能力，具備數(shù)據(jù)表結(jié)構(gòu)的規(guī)劃和設(shè)計(jì)能力。2.4.2 具備非關(guān)系型數(shù)據(jù)庫(kù)的使用能力，能夠?qū)⒉杉降暮Ａ繑?shù)據(jù)存入到非關(guān)系型數(shù)據(jù)庫(kù)。2.中間件數(shù)據(jù)米集2.1熟悉法規(guī)制度規(guī)范熟悉行業(yè)內(nèi)的技術(shù)標(biāo)準(zhǔn)和規(guī)范，能夠準(zhǔn)確得采集信息數(shù)據(jù)。2.2中間件數(shù)據(jù)收集2.2.1 熟悉代理服務(wù)容器、負(fù)載均衡服務(wù)容器等容器日志生成方式、內(nèi)容、格式。2.2.2 能夠基于采集框架熟練運(yùn)用編程諦言對(duì)容器日志進(jìn)行采集。2.2.3 能夠?qū)Σ杉降脑紨?shù)據(jù)進(jìn)行完整備份，可以根據(jù)采集要求隨時(shí)對(duì)備份的原始數(shù)據(jù)進(jìn)行重新采集和核對(duì)

22、。2.3中間件數(shù)據(jù)清洗處理2.3.1 能夠利用工具和編寫(xiě)數(shù)據(jù)驗(yàn)證規(guī)則進(jìn)行數(shù)據(jù)的合法性驗(yàn)證。2.3.2 熟練掌握數(shù)據(jù)拆分規(guī)則和方法，能夠完成數(shù)據(jù)分解和歸類(lèi)。對(duì)中間件容器的日志數(shù)據(jù)的成功拆解率應(yīng)能達(dá)到90%對(duì)拆分的字段要有完整的文檔進(jìn)行描述，保證拆分后的數(shù)據(jù)屬性都有明確的意義和目的。2.3.3 掌握網(wǎng)絡(luò)協(xié)議內(nèi)容，能夠?qū)W(wǎng)絡(luò)信息數(shù)據(jù)進(jìn)行提取。2.4中間件數(shù)據(jù)的存儲(chǔ)2.4.1 掌握數(shù)據(jù)模型關(guān)系設(shè)計(jì)能力，具備數(shù)據(jù)表結(jié)構(gòu)的規(guī)劃和設(shè)計(jì)能力。2.4.2 具備非關(guān)系型數(shù)據(jù)庫(kù)的使用能力，能夠?qū)⒉杉降暮Ａ繑?shù)據(jù)存入到非關(guān)系型數(shù)據(jù)庫(kù)。3.操作系統(tǒng)數(shù)據(jù)采集3.1熟悉法規(guī)制度規(guī)范熟悉行業(yè)內(nèi)的技術(shù)標(biāo)準(zhǔn)和規(guī)范，能夠準(zhǔn)確得采集

23、信息數(shù)據(jù)。3.2操作系統(tǒng)數(shù)據(jù)收集3.2.1 熟悉Windows/Linux等常見(jiàn)的操作系統(tǒng)日志生成方式。3.2.2 能夠識(shí)別應(yīng)用程序在操作系統(tǒng)里的操作所產(chǎn)生的日志數(shù)據(jù)種類(lèi)、內(nèi)容、格式。3.2.3 能夠基于采集框架熟練運(yùn)用編程語(yǔ)言對(duì)操作系統(tǒng)日志進(jìn)行采集。3.2.4 能夠?qū)Σ杉降脑紨?shù)據(jù)進(jìn)行完整備份，可以根據(jù)采集要求隨時(shí)對(duì)備份的原始數(shù)據(jù)進(jìn)行重新采集和核對(duì)。3.3操作系統(tǒng)數(shù)據(jù)清洗處理3.3.1 能夠利用工具和編寫(xiě)數(shù)據(jù)驗(yàn)證規(guī)則進(jìn)行數(shù)據(jù)的合法性驗(yàn)證。3.3.2 熟練掌握數(shù)據(jù)拆分規(guī)則和方法，能夠完成數(shù)據(jù)分解和歸類(lèi)。3.3.3 掌握操作系統(tǒng)的基本機(jī)制，能夠?qū)Σ僮飨到y(tǒng)的操作日志數(shù)據(jù)進(jìn)行提取。3.4操作系統(tǒng)數(shù)

24、據(jù)的存儲(chǔ)3.4.1 掌握數(shù)據(jù)模型關(guān)系設(shè)計(jì)能力，具備數(shù)據(jù)表結(jié)構(gòu)的規(guī)劃和設(shè)計(jì)能力。3.4.2 具備非結(jié)構(gòu)化數(shù)據(jù)庫(kù)的使用能力，能夠?qū)⒉杉降暮Ａ繑?shù)據(jù)存入到非結(jié)構(gòu)化數(shù)據(jù)庫(kù)。4.網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集4.1熟悉法規(guī)制度規(guī)范4.1.1 熟悉關(guān)于信息數(shù)據(jù)采集的法律法規(guī)，保證在合法的情況卜進(jìn)行硬件設(shè)備日志采集。4.1.2 掌握關(guān)于信息數(shù)據(jù)采集的國(guó)家標(biāo)準(zhǔn)，確保采集過(guò)程合規(guī)。4.1.3 熟悉行業(yè)內(nèi)的技術(shù)標(biāo)準(zhǔn)和規(guī)范，能夠準(zhǔn)確得采集信息數(shù)據(jù)。4.2網(wǎng)絡(luò)設(shè)備數(shù)據(jù)收集4.2.1 熟悉網(wǎng)絡(luò)分層協(xié)議、TCP/IP規(guī)范等網(wǎng)絡(luò)協(xié)議。4.2.2 熟悉路由器等網(wǎng)絡(luò)設(shè)備的配置和使用，熟悉設(shè)備操作日志的生成方式。4.2.3 能夠識(shí)別路由器等常

25、見(jiàn)網(wǎng)絡(luò)設(shè)備的流量數(shù)據(jù)種類(lèi)、內(nèi)容、格式。4.2.4 能夠使用路由器等主流設(shè)備協(xié)議和數(shù)據(jù)信息協(xié)議基于采集框架熟練運(yùn)用編程諦言對(duì)設(shè)備日志進(jìn)行采集。4.2.5能夠?qū)γ准降脑紨?shù)據(jù)進(jìn)行完整備份，可以根據(jù)采集要求隨時(shí)對(duì)備份的原始數(shù)據(jù)進(jìn)行重新采集和核對(duì)。4.3網(wǎng)絡(luò)設(shè)備數(shù)據(jù)清洗處理4.3.1 能夠利用工具和編寫(xiě)數(shù)據(jù)驗(yàn)證規(guī)則進(jìn)行數(shù)據(jù)的合法性驗(yàn)證。4.3.2 熟練掌握數(shù)據(jù)拆分規(guī)則和方法，能夠完成數(shù)據(jù)分解和歸類(lèi)。對(duì)常見(jiàn)路由器日志數(shù)據(jù)的成功拆解率應(yīng)能達(dá)到90%對(duì)拆分的字段要有完整的文檔進(jìn)行描述，保證拆分后的數(shù)據(jù)屬性都有明確的意義和目的。4.3.3 掌握硬件設(shè)備的使用方式和使用目的，能夠?qū)τ布O(shè)備的操作和流量日志數(shù)據(jù)進(jìn)行合理提取。4.4網(wǎng)