《大數(shù)據(jù)分析與應(yīng)用開發(fā)職業(yè)技能等級(jí)標(biāo)準(zhǔn)》

ICS35.080

CCS6450

CAICI

中國(guó)通信企業(yè)協(xié)會(huì)團(tuán)體標(biāo)準(zhǔn)

T/CAICIXXXX—XXXX

大數(shù)據(jù)分析與應(yīng)用開發(fā)職業(yè)技能等級(jí)標(biāo)準(zhǔn)

Bigdataanalysisandapplicationdevelopmentvocationalskilllevelstandard

（征求意見(jiàn)稿）

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

中國(guó)通信企業(yè)協(xié)會(huì)發(fā)布

T/CAICIXXXX—XXXX

大數(shù)據(jù)分析與應(yīng)用開發(fā)職業(yè)技能等級(jí)標(biāo)準(zhǔn)

1范圍

本標(biāo)準(zhǔn)規(guī)定了大數(shù)據(jù)分析與應(yīng)用開發(fā)職業(yè)技能等級(jí)對(duì)應(yīng)的人才工作領(lǐng)域、工作任務(wù)及職業(yè)技能要求

等。

本標(biāo)準(zhǔn)是衡量從業(yè)人員技能水平和工作能力的尺度，是進(jìn)行技能培訓(xùn)、技能鑒定、企業(yè)用人以及開

展國(guó)際勞務(wù)合作交流的主要依據(jù)。

本標(biāo)準(zhǔn)適用于大數(shù)據(jù)分析人才和大數(shù)據(jù)開發(fā)人才的各種不同崗位的工作職責(zé)和能力要求、職業(yè)技能

培訓(xùn)、考核與評(píng)價(jià)、相關(guān)用人單位的人員聘用、培訓(xùn)與考核可參考使用。

大數(shù)據(jù)分析人才主要指大數(shù)據(jù)分析師。大數(shù)據(jù)分析師通過(guò)充分合理利用大數(shù)據(jù)，在海量數(shù)據(jù)中

進(jìn)行數(shù)據(jù)挖據(jù)與展現(xiàn)后，為企業(yè)決策者提供清晰、準(zhǔn)確且有數(shù)據(jù)支撐的報(bào)告。具體職責(zé)包括數(shù)據(jù)挖掘模

型的構(gòu)建、維護(hù)、部署和評(píng)估；整理編寫商業(yè)數(shù)據(jù)分析報(bào)告，及時(shí)發(fā)現(xiàn)和分析其中隱含的變化和問(wèn)題，

為業(yè)務(wù)發(fā)展提供決策支持等。

大數(shù)據(jù)開發(fā)人才主要指大數(shù)據(jù)開發(fā)工程師。大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、ETL開發(fā)、

大數(shù)據(jù)實(shí)時(shí)計(jì)算平臺(tái)及業(yè)務(wù)開發(fā)、平臺(tái)建設(shè)及維護(hù)、數(shù)據(jù)分析、數(shù)據(jù)指標(biāo)統(tǒng)計(jì)等工作內(nèi)容。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T35295-2017信息技術(shù)大數(shù)據(jù)術(shù)語(yǔ)

GB/T5271.1-2000信息技術(shù)詞匯第1部分：基本術(shù)語(yǔ)

GB/T33745-2017物聯(lián)網(wǎng)術(shù)語(yǔ)

GB/T36326-2018信息技術(shù)云計(jì)算云服務(wù)運(yùn)營(yíng)通用要求

GB/T35589-2017信息技術(shù)大數(shù)據(jù)技術(shù)參考模型

GB/T35274-2017信息安全技術(shù)大數(shù)據(jù)服務(wù)安全能力要求

GB/T38673-2020信息技術(shù)大數(shù)據(jù)大數(shù)據(jù)系統(tǒng)基本要求

GB/T37721-2019信息技術(shù)大數(shù)據(jù)分析系統(tǒng)功能要求

GB/T37722-2019信息技術(shù)大數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)功能要求

GB/T36073-2018數(shù)據(jù)管理能力成熟度評(píng)估模型

3術(shù)語(yǔ)和定義

GB/T35295-2017界定的以及下列術(shù)語(yǔ)適用于本標(biāo)準(zhǔn)。

3.1大數(shù)據(jù)bigdata

具體體量巨大、來(lái)源多樣、生成極快、多變等特征并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)有效處理的包含大

量數(shù)據(jù)集的數(shù)據(jù)。

[GB/T35295-2017，定義2.1.1]

1

T/CAICIXXXX—XXXX

3.2數(shù)據(jù)data

信息的可再解釋的形式化表示，以適用于通信、解釋或處理。

[GB/T5271.17-2000，定義1.1.2]

3.3大數(shù)據(jù)服務(wù)bigdataservice

基于大數(shù)據(jù)參考體系結(jié)構(gòu)提供的數(shù)據(jù)服務(wù)。

[GB/T35295-2017，定義2.1.15]

3.4分析analytics

根據(jù)信息合成知識(shí)的過(guò)程。

[GB/T35295-2017，定義2.1.48]

3.5數(shù)據(jù)處理dataprocessing

數(shù)據(jù)操作的系統(tǒng)執(zhí)行。

[GB/T35295-2017，定義2.2.2]

3.6數(shù)據(jù)管理datamanagement

在數(shù)據(jù)處理系統(tǒng)中，提供對(duì)數(shù)據(jù)的訪問(wèn)，執(zhí)行或監(jiān)視數(shù)據(jù)的存儲(chǔ)，以及控制輸入輸出操作等功能。

[GB/T5271.17-2000，定義1.8.2]

3.7大數(shù)據(jù)系統(tǒng)bigdatasystem

實(shí)現(xiàn)大數(shù)據(jù)參考體系結(jié)構(gòu)的全部或部分功能的系統(tǒng)。

3.8分布式計(jì)算distributedcomputing

一種覆蓋存儲(chǔ)層和處理層的、用于實(shí)現(xiàn)多類型程序設(shè)計(jì)算法模型的計(jì)算模式。

3.9結(jié)構(gòu)化數(shù)據(jù)structureddata

一種數(shù)據(jù)表示形式，按此種形式，由數(shù)據(jù)元素匯集而成的每個(gè)記錄的結(jié)構(gòu)都是一致的并且可以使用

關(guān)系模型予以有效描述。

[GB/T35295-2017，定義2.2.13]

3.10非結(jié)構(gòu)化數(shù)據(jù)unstructureddata

不具有預(yù)定義模型或未以預(yù)訂方式。

[GB/T35295-2017，定義2.1.25]

3.11數(shù)據(jù)倉(cāng)庫(kù)datawarehouse

在數(shù)據(jù)準(zhǔn)備之后用于永久性存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)。

2

T/CAICIXXXX—XXXX

[GB/T35295-2017，定義2.1.35]

3.12數(shù)據(jù)治理datagovernance

對(duì)數(shù)據(jù)進(jìn)行處置、格式化和規(guī)范化過(guò)程。

[GB/T35295-2017，定義2.1.43]

3.13數(shù)據(jù)集dataset

數(shù)據(jù)記錄匯聚的數(shù)據(jù)形式。

3.14元數(shù)據(jù)metadata

關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)（可能包括其數(shù)據(jù)描述），以及關(guān)于數(shù)據(jù)擁有權(quán)、存取路徑，訪問(wèn)權(quán)和

數(shù)據(jù)易變性的數(shù)據(jù)。

[GB/T5271.17-2010，定義17.6.5]

3.15數(shù)據(jù)挖掘datamining

從大量的數(shù)據(jù)中通過(guò)算法搜索隱藏于其中信息的過(guò)程。

3.16查詢語(yǔ)言querylanguage

一種供用戶以對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行檢索并進(jìn)行檢索并可能加以修改的數(shù)據(jù)操縱語(yǔ)言。

例：結(jié)構(gòu)化查詢語(yǔ)言（SQL）

[GB/T5271.17-2010，定義17.7.9]

3.17數(shù)據(jù)字典datadictionary

對(duì)數(shù)據(jù)的數(shù)據(jù)項(xiàng)、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)流、數(shù)據(jù)存儲(chǔ)、處理邏輯等進(jìn)行定義和描述，其目的是對(duì)數(shù)據(jù)流

程圖中的各個(gè)元素做出詳細(xì)的說(shuō)明，使用數(shù)據(jù)字典為簡(jiǎn)單的建模項(xiàng)目。簡(jiǎn)而言之，數(shù)據(jù)字典是描述數(shù)據(jù)

的信息集合，是對(duì)系統(tǒng)中使用的所有數(shù)據(jù)元素的定義的集合。

3.18數(shù)據(jù)流程圖（數(shù)據(jù)流圖）dataflowdiagram;DFD

一種能全面地描述系統(tǒng)數(shù)據(jù)流程的主要工具，它用一組符號(hào)來(lái)描述整個(gè)系統(tǒng)中的信息的全貌，綜合

地反映出信息在系統(tǒng)中的流動(dòng)、處理和存儲(chǔ)情況。

3.19數(shù)據(jù)可視化datavisualization

關(guān)于數(shù)據(jù)視覺(jué)表現(xiàn)形式的科學(xué)技術(shù)研究。其中，這種數(shù)據(jù)的視覺(jué)表現(xiàn)形式被定義為一種以某種概要

形式抽提出來(lái)的信息，包括相應(yīng)信息單位的各種屬性和變量。

3.20商業(yè)智能businessintelligence,BI

又稱商業(yè)智慧或商務(wù)智能，指用現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、線上分析處理技術(shù)、數(shù)據(jù)挖掘和數(shù)據(jù)展現(xiàn)技術(shù)

進(jìn)行數(shù)據(jù)分析以實(shí)現(xiàn)商業(yè)價(jià)值。

3

T/CAICIXXXX—XXXX

4總則

4.1總體目標(biāo)

結(jié)合大數(shù)據(jù)行業(yè)的特點(diǎn)，根據(jù)《國(guó)務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知》、《國(guó)務(wù)院關(guān)于

印發(fā)國(guó)家職業(yè)教育改革實(shí)施方案的通知》、《關(guān)于在院校實(shí)施“學(xué)歷證書+若干職業(yè)技能等級(jí)證書”制

度試點(diǎn)方案》等有關(guān)規(guī)定，對(duì)比國(guó)內(nèi)設(shè)立數(shù)據(jù)科學(xué)專業(yè)的高校培養(yǎng)方案，通過(guò)借鑒國(guó)內(nèi)先進(jìn)標(biāo)準(zhǔn)，對(duì)接

科技發(fā)展趨勢(shì)、市場(chǎng)需求，銜接專業(yè)教學(xué)標(biāo)準(zhǔn)，設(shè)計(jì)大數(shù)據(jù)開發(fā)與分析職業(yè)技能等級(jí)標(biāo)準(zhǔn)，建立職業(yè)技

能等級(jí)標(biāo)準(zhǔn)體系，深化復(fù)合型技術(shù)技能人才培養(yǎng)的培訓(xùn)模式和人才評(píng)定模式，構(gòu)筑技術(shù)技能人才成長(zhǎng)通

道，拓展就業(yè)創(chuàng)業(yè)本領(lǐng)，促進(jìn)學(xué)習(xí)者靈活、高質(zhì)量就業(yè)。

4.2遵循原則

4.2.1科學(xué)性原則

職業(yè)技能等級(jí)標(biāo)準(zhǔn)的開發(fā)設(shè)計(jì)依據(jù)職業(yè)標(biāo)準(zhǔn)并結(jié)合職業(yè)崗位或職業(yè)崗位群工作任務(wù)，客觀、準(zhǔn)確地

確定標(biāo)準(zhǔn)的范圍、等級(jí)及職業(yè)技能要求。

4.2.2規(guī)范性原則

職業(yè)技能等級(jí)標(biāo)準(zhǔn)依據(jù)本指南所規(guī)定的標(biāo)準(zhǔn)框架、程序與方法等開發(fā)設(shè)計(jì)，表述準(zhǔn)確、規(guī)范，層次

清晰，邏輯嚴(yán)謹(jǐn)，專業(yè)術(shù)語(yǔ)和定義符合所屬行業(yè)最新國(guó)家標(biāo)準(zhǔn)和規(guī)范，前后一致，內(nèi)容應(yīng)及時(shí)反映產(chǎn)業(yè)

主流技術(shù)，體現(xiàn)行業(yè)最新要求。

4.2.3廣泛性原則

職業(yè)技能等級(jí)標(biāo)準(zhǔn)的開發(fā)設(shè)計(jì)應(yīng)聯(lián)合行業(yè)、企業(yè)、院校等相關(guān)各方參與，提高標(biāo)準(zhǔn)含金量和權(quán)威性，

贏得行業(yè)企業(yè)廣泛認(rèn)可，保障標(biāo)準(zhǔn)實(shí)施。

4.2.4適應(yīng)性原則

職業(yè)技能等級(jí)標(biāo)準(zhǔn)要反映行業(yè)、企業(yè)最新技術(shù)技能發(fā)展水平，體現(xiàn)產(chǎn)業(yè)發(fā)展新技術(shù)、新工藝、新規(guī)

范、新要求，適應(yīng)不同地域之間可能存在的差異，符合職業(yè)院校教學(xué)規(guī)律，滿足院校教學(xué)實(shí)際需求，內(nèi)

容應(yīng)具體化，可度量、可檢驗(yàn)、可操作。

5職業(yè)概況

5.1職業(yè)名稱

大數(shù)據(jù)分析師、大數(shù)據(jù)開發(fā)工程師

5.2職業(yè)定義

大數(shù)據(jù)分析師：充分合理利用大數(shù)據(jù)，在海量數(shù)據(jù)中進(jìn)行數(shù)據(jù)挖據(jù)與展現(xiàn)，為企業(yè)決策者提供

清晰、準(zhǔn)確且有數(shù)據(jù)支撐的報(bào)告。具體職責(zé)包括大數(shù)據(jù)采集、清洗、分析、治理、挖掘，以及數(shù)據(jù)模型

的構(gòu)建、維護(hù)、部署和評(píng)估；整理編寫商業(yè)數(shù)據(jù)分析報(bào)告，及時(shí)發(fā)現(xiàn)和分析其中隱含的變化和問(wèn)題，為

業(yè)務(wù)發(fā)展提供決策支持、管理支持、技術(shù)維護(hù)和技術(shù)服務(wù)等。

大數(shù)據(jù)開發(fā)工程師：從事數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、ETL開發(fā)、大數(shù)據(jù)實(shí)時(shí)計(jì)算平臺(tái)及業(yè)務(wù)開發(fā)、平臺(tái)建

設(shè)及維護(hù)、數(shù)據(jù)分析、數(shù)據(jù)指標(biāo)統(tǒng)計(jì)等工作內(nèi)容。

5.3專業(yè)技術(shù)等級(jí)

4

T/CAICIXXXX—XXXX

本職業(yè)共設(shè)三個(gè)等級(jí)，分別為初級(jí)、中級(jí)、高級(jí)。

5.4職業(yè)能力特征

具有較強(qiáng)的學(xué)習(xí)能力、計(jì)算能力、表達(dá)能力及分析、推理和判斷能力、規(guī)劃/開發(fā)和架構(gòu)能力。

5.5普通受教育程度

大學(xué)?？茖W(xué)歷（或高等職業(yè)學(xué)校畢業(yè)）及以上。

6基本要求

6.1職業(yè)道德

6.1.1職業(yè)守則

（1）遵紀(jì)守法，愛(ài)崗敬業(yè)。

（2）精益求精，勇于創(chuàng)新。

（3）愛(ài)護(hù)設(shè)備，安全操作。

（4）遵守規(guī)程，執(zhí)行工藝。

（5）認(rèn)真嚴(yán)謹(jǐn)，忠于職守。

6.2基礎(chǔ)知識(shí)

6.2.1基礎(chǔ)理論知識(shí)

（1）操作系統(tǒng)知識(shí)

（2）計(jì)算機(jī)網(wǎng)絡(luò)知識(shí)

（3）編程基礎(chǔ)知識(shí)

（4）數(shù)據(jù)結(jié)構(gòu)與算法知識(shí)

（5）數(shù)據(jù)庫(kù)知識(shí)

（6）軟件工程知識(shí)

（7）云計(jì)算知識(shí)

（8）大數(shù)據(jù)知識(shí)

6.2.2技術(shù)基礎(chǔ)知識(shí)

（1）大數(shù)據(jù)系統(tǒng)環(huán)境安裝、配置和調(diào)試知識(shí)

（2）大數(shù)據(jù)平臺(tái)架構(gòu)知識(shí)

（3）軟件應(yīng)用開發(fā)知識(shí)

（4）接口開發(fā)與功能模塊設(shè)計(jì)知識(shí)

（5）數(shù)據(jù)采集與數(shù)據(jù)預(yù)處理知識(shí)

（6）數(shù)據(jù)計(jì)算與數(shù)據(jù)指標(biāo)知識(shí)

（7）常用數(shù)據(jù)分析與挖掘方法

（8）常用數(shù)據(jù)報(bào)表與可視化技術(shù)方法

（9）數(shù)據(jù)管理知識(shí)

（10）數(shù)據(jù)運(yùn)營(yíng)及技術(shù)指導(dǎo)知識(shí)

6.2.3數(shù)據(jù)安全知識(shí)

5

T/CAICIXXXX—XXXX

（1）大數(shù)據(jù)應(yīng)用、設(shè)備與外部服務(wù)組件安全管理知識(shí)

（2）大數(shù)據(jù)服務(wù)用戶身份鑒別與訪問(wèn)控制管理相關(guān)知識(shí)

（3）大數(shù)據(jù)服務(wù)數(shù)據(jù)活動(dòng)安全管理知識(shí)

（4）大數(shù)據(jù)服務(wù)基礎(chǔ)設(shè)施安全管理知識(shí)

（5）大數(shù)據(jù)系統(tǒng)應(yīng)急響應(yīng)管理知識(shí)

6.2.4相關(guān)法律、法規(guī)知識(shí)

（1）《中華人民共和國(guó)個(gè)人信息保護(hù)法》

（2）《中華人民共和國(guó)數(shù)據(jù)安全法》

（3）《中華人民共和國(guó)消費(fèi)者權(quán)益保護(hù)法》

（4）《中華人民共和國(guó)勞動(dòng)法》相關(guān)知識(shí)

（5）《中華人民共和國(guó)安全生產(chǎn)法》相關(guān)知識(shí)

（6）《中華人民共和國(guó)網(wǎng)絡(luò)安全法》相關(guān)知識(shí)

（7）《關(guān)于加強(qiáng)網(wǎng)絡(luò)信息保護(hù)的決定》相關(guān)知識(shí)

（8）《關(guān)鍵信息基礎(chǔ)設(shè)施安全保護(hù)條例》相關(guān)知識(shí)

（9）《網(wǎng)絡(luò)安全等級(jí)保護(hù)條例》相關(guān)知識(shí)

（10）《電信和互聯(lián)網(wǎng)用戶個(gè)人信息保護(hù)規(guī)定》相關(guān)知識(shí)

（11）《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》

（12）《國(guó)家網(wǎng)絡(luò)空間安全戰(zhàn)略》

（13）《禁止網(wǎng)絡(luò)不正當(dāng)競(jìng)爭(zhēng)行為規(guī)定》

（14）《征信業(yè)務(wù)管理辦法》

6.2.5其他相關(guān)知識(shí)

（1）環(huán)境保護(hù)知識(shí)

（2）文明生產(chǎn)知識(shí)

（3）勞動(dòng)保護(hù)知識(shí)

（4）資料保管保密知識(shí)

7面向職業(yè)崗位

主要面向信息化企事業(yè)及大數(shù)據(jù)產(chǎn)品企業(yè)管理者、產(chǎn)品負(fù)責(zé)人（金融、房地產(chǎn)、電子商務(wù)、物聯(lián)網(wǎng)、

互聯(lián)網(wǎng)、新一代信息技術(shù)，智慧產(chǎn)品、智慧城市軟硬件供應(yīng)商等相關(guān)企業(yè)）、大數(shù)據(jù)規(guī)劃設(shè)計(jì)院相關(guān)人

員；對(duì)大數(shù)據(jù)感興趣的業(yè)內(nèi)人士；大數(shù)據(jù)，云計(jì)算相關(guān)專業(yè)的高校教師、學(xué)生；各級(jí)大數(shù)據(jù)建設(shè)工作領(lǐng)

導(dǎo)小組辦公室負(fù)責(zé)人；從事大數(shù)據(jù)架構(gòu)設(shè)計(jì)、大數(shù)據(jù)開發(fā)、大數(shù)據(jù)分析處理、大數(shù)據(jù)平臺(tái)維護(hù)管理等工

作崗位的相關(guān)人員等。

8職業(yè)技能要求

8.1職業(yè)技能等級(jí)劃分

大數(shù)據(jù)開發(fā)與分析職業(yè)技能等級(jí)都分為三個(gè)等級(jí)：初級(jí)、中級(jí)、高級(jí)，三個(gè)級(jí)別的專業(yè)能力要求和

相關(guān)知識(shí)要求依次遞進(jìn)，高級(jí)別涵蓋低級(jí)別職業(yè)技能要求。

【大數(shù)據(jù)分析師】（初級(jí)）：主要負(fù)責(zé)數(shù)據(jù)咨詢，收集企業(yè)或客戶的數(shù)據(jù)需求，準(zhǔn)備相關(guān)數(shù)據(jù)，并

進(jìn)行數(shù)據(jù)處理工作，能夠勝任相關(guān)業(yè)務(wù)指標(biāo)分析以及基本的統(tǒng)計(jì)描述型數(shù)據(jù)分析、數(shù)據(jù)可視化與報(bào)告撰

寫；掌握分類、聚類等常用的分析算法，以及Excel、SPSS、Python等分析工具。

6

T/CAICIXXXX—XXXX

【大數(shù)據(jù)分析師】（中級(jí)）：主要負(fù)責(zé)將整理好的數(shù)據(jù)進(jìn)行倉(cāng)儲(chǔ)管理，獨(dú)立完成數(shù)據(jù)分析處理、BI

報(bào)表、數(shù)據(jù)可視化、熟練運(yùn)用數(shù)據(jù)建模與分析技術(shù)進(jìn)行數(shù)據(jù)挖掘預(yù)測(cè)等工作；熟練掌握各種常見(jiàn)分析算

法和分析工具，能夠編寫復(fù)雜的大數(shù)據(jù)分析報(bào)告。

【大數(shù)據(jù)分析師】（高級(jí)）：根據(jù)業(yè)務(wù)需求，參與制定數(shù)據(jù)策略與規(guī)劃，完成云上大數(shù)據(jù)系統(tǒng)架構(gòu)

規(guī)劃、設(shè)計(jì)及部署，構(gòu)建完善的數(shù)據(jù)分析及運(yùn)營(yíng)體系等工作，能從大數(shù)據(jù)分析結(jié)果中洞察風(fēng)險(xiǎn)因素，并

提出預(yù)警；帶領(lǐng)團(tuán)隊(duì)開展各領(lǐng)域大數(shù)據(jù)分析，利用大數(shù)據(jù)為企業(yè)創(chuàng)造更多的價(jià)值。

【大數(shù)據(jù)開發(fā)工程師】（初級(jí)）：主要負(fù)責(zé)大數(shù)據(jù)環(huán)境搭建，能夠獨(dú)立對(duì)開發(fā)環(huán)境進(jìn)行安裝，創(chuàng)建

Linux系統(tǒng)環(huán)境，了解Hadoop大數(shù)據(jù)架構(gòu)的部署；熟練掌握Python、Java、Scala等編程語(yǔ)言與數(shù)據(jù)庫(kù)語(yǔ)

言，進(jìn)行大數(shù)據(jù)采集、清洗、存儲(chǔ)與分析、可視化等；能根據(jù)工作安排，完成與客戶溝通、技術(shù)支持與

服務(wù)等工作。

【大數(shù)據(jù)開發(fā)工程師】（中級(jí)）：主要負(fù)責(zé)大數(shù)據(jù)應(yīng)用開發(fā)，部署Hadoop大數(shù)據(jù)架構(gòu)，搭建分布式

開源數(shù)據(jù)庫(kù)HBase、Hive系統(tǒng)架構(gòu)、Spark框架，對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行容量規(guī)劃并可進(jìn)行監(jiān)控、處理故障等；

能進(jìn)行數(shù)據(jù)庫(kù)管理、SQL優(yōu)化等技術(shù)提升應(yīng)用程序性能；負(fù)責(zé)基于大數(shù)據(jù)的數(shù)據(jù)分析算法、挖掘模型研

究與開發(fā)應(yīng)用工作、數(shù)據(jù)可視化產(chǎn)品開發(fā)。

【大數(shù)據(jù)開發(fā)工程師】（高級(jí)）：能獨(dú)立部署應(yīng)用，規(guī)劃系統(tǒng)容量及軟硬件；負(fù)責(zé)大數(shù)據(jù)平臺(tái)搭建、

整體規(guī)劃設(shè)計(jì)及性能優(yōu)化、組件維護(hù)，能應(yīng)用企業(yè)級(jí)框架；能運(yùn)用基本的數(shù)據(jù)結(jié)構(gòu)和算法、多線程并

發(fā)編程；對(duì)機(jī)器學(xué)習(xí)與深度學(xué)習(xí)有全面的了解，運(yùn)用其進(jìn)行算法、模型研究與開發(fā)應(yīng)用工作，能夠帶領(lǐng)

團(tuán)隊(duì)進(jìn)行數(shù)據(jù)可視化報(bào)表開發(fā)、可視化大屏可視化系統(tǒng)開發(fā)和維護(hù)。

8.2職業(yè)技能等級(jí)要求描述

8.2.1大數(shù)據(jù)分析師職業(yè)技能等級(jí)要求描述

表1大數(shù)據(jù)分析師職業(yè)技能等級(jí)要求（初級(jí)）

工作領(lǐng)域工作任務(wù)職業(yè)技能要求

1.1.1能夠了解大數(shù)據(jù)的概念、理清業(yè)務(wù)邏輯。

1.1.2能夠建立大數(shù)據(jù)分析思維。

1.1業(yè)務(wù)理解與需求發(fā)現(xiàn)1.1.3能夠熟練掌握大數(shù)據(jù)分析的流程。

1.需求分析1.1.4能夠發(fā)現(xiàn)工作中運(yùn)用大數(shù)據(jù)分析解決業(yè)務(wù)

與管理問(wèn)題的需求和機(jī)會(huì)。

1.2.1能夠與客戶、產(chǎn)品經(jīng)理或數(shù)據(jù)科學(xué)家對(duì)業(yè)

1.2需求咨詢與分析

務(wù)需求進(jìn)行溝通、分析并細(xì)化需求的要求。

2.1.1能夠在進(jìn)行數(shù)據(jù)分析之前進(jìn)行數(shù)據(jù)清理與

準(zhǔn)備。

2.1.2能夠確保數(shù)據(jù)質(zhì)量，理解數(shù)據(jù)質(zhì)量的重要

性，數(shù)據(jù)的完整性、可靠性、有效性。

2.1針對(duì)業(yè)務(wù)需求進(jìn)行數(shù)

2.數(shù)據(jù)預(yù)處理2.1.3能夠完成核心數(shù)據(jù)描述工作，識(shí)別異常數(shù)

據(jù)準(zhǔn)備、清洗和整理工作

據(jù)，掌握數(shù)據(jù)描述工具的使用。

2.1.4能夠根據(jù)業(yè)務(wù)需求，使用SQL進(jìn)行基本的

數(shù)據(jù)查詢。

2.1.5能夠完成核心數(shù)據(jù)清洗工作，掌握數(shù)據(jù)清

7

T/CAICIXXXX—XXXX

洗工具的使用。

2.1.6能夠與數(shù)據(jù)科學(xué)家溝通特定的數(shù)據(jù)需求。

2.1.7能夠掌握基本數(shù)據(jù)處理方法，對(duì)數(shù)據(jù)進(jìn)行

歸類、重組、合并、再配置,以增強(qiáng)分析價(jià)值。

3.1.1能夠熟悉基礎(chǔ)業(yè)務(wù)數(shù)據(jù)分析體系和各項(xiàng)業(yè)

務(wù)數(shù)據(jù)指標(biāo)。

3.1.2能夠使用常用分析工具Excel、SAS、SPSS、

3.數(shù)據(jù)基本統(tǒng)計(jì)分3.1對(duì)各類數(shù)據(jù)變量

R及其常用組件的基本操作。

析進(jìn)行統(tǒng)計(jì)、分類

3.1.3能夠熟練掌握描述性統(tǒng)計(jì)方法、統(tǒng)計(jì)描述

參數(shù)等。

3.1.4能夠掌握常用的分類、聚類分析等算法。

4.1.1能夠了解傳統(tǒng)可視化及新型可視化技術(shù)的

常見(jiàn)形式，能夠使用數(shù)據(jù)可視化常用工具Excel、

4.數(shù)據(jù)可視化4.1數(shù)據(jù)可視化處理Echarts、PowerBI、Tableau等。

4.1.2能夠根據(jù)業(yè)務(wù)需求，針對(duì)不同的數(shù)據(jù)指標(biāo)、

不同的分析維度選擇不同的圖表展現(xiàn)形式。

5.1.1能夠在業(yè)務(wù)主管的指導(dǎo)下根據(jù)數(shù)據(jù)分析可

視化結(jié)果，形成有條理、有邏輯的日?qǐng)?bào)、周報(bào)、

月報(bào)、專題報(bào)告、行業(yè)分析報(bào)告等數(shù)據(jù)分析報(bào)告。

5.1.2能夠通過(guò)數(shù)據(jù)分析可視化結(jié)果，得出有效

5.報(bào)告撰寫5.1分析報(bào)告撰寫

的分析結(jié)論并體現(xiàn)在數(shù)據(jù)分析報(bào)告中。

5.1.3能夠根據(jù)數(shù)據(jù)分析可視化結(jié)果，發(fā)現(xiàn)業(yè)務(wù)

中存在的問(wèn)題，給出解決建議或提出對(duì)業(yè)務(wù)有促

進(jìn)的建議，并體現(xiàn)在數(shù)據(jù)分析報(bào)告中。

表2大數(shù)據(jù)分析師職業(yè)技能等級(jí)要求（中級(jí)）

工作領(lǐng)域工作任務(wù)職業(yè)技能要求

1.1.1能夠快速理解客戶需求，參與數(shù)據(jù)需求設(shè)

1.1需求咨詢與分析

計(jì)、數(shù)據(jù)模型的需求分析。

1.2.1能夠獨(dú)立解答客戶關(guān)于大數(shù)據(jù)基礎(chǔ)理論相

關(guān)的問(wèn)題。

1.2大數(shù)據(jù)技術(shù)1.2.2能夠獨(dú)立解答客戶關(guān)于大數(shù)據(jù)分析技術(shù)相

咨詢關(guān)的問(wèn)題。

1.大數(shù)據(jù)咨詢

1.2.3能夠根據(jù)實(shí)際業(yè)務(wù)情況，輸出大數(shù)據(jù)技術(shù)

說(shuō)明文檔。

1.3.1能夠根據(jù)業(yè)務(wù)需求，選擇合適的大數(shù)據(jù)平

1.3大數(shù)據(jù)平臺(tái)臺(tái)及方案。

咨詢1.3.2能夠根據(jù)業(yè)務(wù)需求，選擇合適的大數(shù)據(jù)存

儲(chǔ)計(jì)算產(chǎn)品。

8

T/CAICIXXXX—XXXX

1.3.3能夠根據(jù)業(yè)務(wù)需求，選擇合適的大數(shù)據(jù)可

視化產(chǎn)品。

1.3.4能夠解答關(guān)于大數(shù)據(jù)平臺(tái)使用相關(guān)的問(wèn)

題。

1.3.5能夠根據(jù)業(yè)務(wù)需求，輸出大數(shù)據(jù)分析解決

方案架構(gòu)圖及說(shuō)明文檔。

2.1.1能夠熟練使用結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)工具，如關(guān)

系數(shù)據(jù)庫(kù)、結(jié)構(gòu)化查詢語(yǔ)言（SQL）。

2.1.2能夠安裝數(shù)據(jù)庫(kù)以及創(chuàng)建基本對(duì)象，如

MySQL、SQLServer、Oracle等，熟悉常用數(shù)據(jù)

庫(kù)之間數(shù)據(jù)的互相導(dǎo)入。

2.1.3能夠熟練使用非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)工具。

2.數(shù)據(jù)庫(kù)2.1數(shù)據(jù)存儲(chǔ)與查詢

2.1.4能夠熟悉數(shù)據(jù)庫(kù)開發(fā)及原理，熟練編寫簡(jiǎn)

單存儲(chǔ)過(guò)程。

2.1.5能夠根據(jù)業(yè)務(wù)需求，使用SQL進(jìn)行數(shù)據(jù)查

詢、數(shù)據(jù)清洗。

2.1.6能夠獨(dú)立使用大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)庫(kù)與大

數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)遷移。

3.1.1能夠構(gòu)建基礎(chǔ)業(yè)務(wù)數(shù)據(jù)分析體系，幫助確

定各項(xiàng)業(yè)務(wù)數(shù)據(jù)指標(biāo)，統(tǒng)一指標(biāo)口徑。

3.1.2能夠編寫較為復(fù)雜的數(shù)據(jù)提取語(yǔ)句，準(zhǔn)確

地橫跨眾多業(yè)務(wù)線的底層數(shù)據(jù)表提取數(shù)據(jù)。

3.1.3能夠掌握相關(guān)算法如：多元回歸、時(shí)間序

3.1數(shù)據(jù)挖掘列預(yù)測(cè)法、樸素貝葉斯分類算法、支持向量機(jī)分

類算法、決策樹等算法。

3.1.4能夠運(yùn)用數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)工具如

SPSS、Python、SAS、Stata、MATLAB、R等。

3.1.5能夠基于數(shù)據(jù)挖掘分類算法，對(duì)業(yè)務(wù)目標(biāo)

進(jìn)行預(yù)測(cè)分析、監(jiān)控預(yù)警等。

3.數(shù)據(jù)挖掘分析

3.2.1能夠構(gòu)建用戶數(shù)據(jù)模型，挖掘用戶屬性及

用戶喜好等需求，為個(gè)性化產(chǎn)品推薦提供支持。

3.2.2能夠構(gòu)建產(chǎn)品、運(yùn)營(yíng)及活動(dòng)用戶行為評(píng)估

體系，通過(guò)數(shù)據(jù)分析對(duì)產(chǎn)品、運(yùn)營(yíng)、市場(chǎng)提出建

3.2數(shù)據(jù)建模

議并推動(dòng)實(shí)施。

3.2.3能夠使用不同維度和方法，對(duì)模型效果進(jìn)

行準(zhǔn)確性評(píng)估。

3.2.4能夠通過(guò)調(diào)整參數(shù)，使模型效果不斷優(yōu)化。

3.3.1能夠基于機(jī)器學(xué)習(xí)平臺(tái)，運(yùn)用神經(jīng)網(wǎng)絡(luò)、

3.3機(jī)器學(xué)習(xí)XGBoost、隨機(jī)森林等算法搭建基本的機(jī)器學(xué)習(xí)流

程。

9

T/CAICIXXXX—XXXX

3.3.2能夠基于機(jī)器學(xué)習(xí)平臺(tái)，根據(jù)業(yè)務(wù)需求進(jìn)

行分類、聚類分析。

3.3.3能夠基于機(jī)器學(xué)習(xí)平臺(tái)，根據(jù)用戶畫像分

析，構(gòu)建簡(jiǎn)單的推薦系統(tǒng)。

3.3.4能夠基于機(jī)器學(xué)習(xí)平臺(tái)，根據(jù)用戶行為進(jìn)

行用戶流失預(yù)測(cè)。

4.1.1能夠使用數(shù)據(jù)可視化常用工具Excel、

Echarts、PowerBI、Tableau等。

4.1.2能夠根據(jù)業(yè)務(wù)需求，針對(duì)不同的數(shù)據(jù)指標(biāo)、

不同的分析維度選擇不同的圖表展現(xiàn)形式，掌握

商業(yè)智能的場(chǎng)景應(yīng)用實(shí)踐。

4.1數(shù)據(jù)可視化

4.數(shù)據(jù)可視化4.1.3能夠根據(jù)數(shù)據(jù)可視化方案和數(shù)據(jù)分析指

處理

標(biāo)，使用數(shù)據(jù)可視化工具完成數(shù)據(jù)BI報(bào)表的制作

與重要指標(biāo)的監(jiān)控預(yù)警。

4.1.4能夠構(gòu)建數(shù)據(jù)儀表盤及其他形式的分析報(bào)

告以滿足戰(zhàn)略及決策支持需要，完成數(shù)據(jù)展示大

屏的制作。

5.1.1能夠在業(yè)務(wù)主管的指導(dǎo)下根據(jù)數(shù)據(jù)分析可

視化結(jié)果，形成有條理、有邏輯的日?qǐng)?bào)、周報(bào)、

月報(bào)、專題報(bào)告、行業(yè)分析報(bào)告等數(shù)據(jù)分析報(bào)告。

5.1.2能夠通過(guò)數(shù)據(jù)分析可視化結(jié)果，得出有效

5.1分析報(bào)告撰

5.報(bào)告撰寫的分析結(jié)論并體現(xiàn)在數(shù)據(jù)分析報(bào)告中。

寫

5.1.3能夠發(fā)現(xiàn)業(yè)務(wù)中存在的問(wèn)題，給出解決建

議或提出對(duì)業(yè)務(wù)有促進(jìn)的建議，用管理層或業(yè)務(wù)

人員易于理解的方式及語(yǔ)言向其呈現(xiàn)，滿足信息

使用者的特定需求。

表3大數(shù)據(jù)分析師職業(yè)技能等級(jí)要求（高級(jí)）

工作領(lǐng)域工作任務(wù)職業(yè)技能要求

1.1.1能夠快速理解客戶需求，參與數(shù)據(jù)需求設(shè)

1.1需求咨詢計(jì)、數(shù)據(jù)模型的需求分析。

與分析1.1.2能夠根據(jù)業(yè)務(wù)需求構(gòu)建數(shù)據(jù)評(píng)估體系，對(duì)

企業(yè)數(shù)據(jù)進(jìn)行規(guī)范性評(píng)估。

1.2.1能夠獨(dú)立解答客戶關(guān)于大數(shù)據(jù)基礎(chǔ)理論相

1.大數(shù)據(jù)咨詢

關(guān)的問(wèn)題。

與分析

1.2大數(shù)據(jù)技術(shù)1.2.2能夠獨(dú)立解答客戶關(guān)于大數(shù)據(jù)分析技術(shù)相

咨詢與分析關(guān)的問(wèn)題。

1.2.3能夠根據(jù)實(shí)際業(yè)務(wù)情況，輸出大數(shù)據(jù)技術(shù)

說(shuō)明文檔。

1.3大數(shù)據(jù)平臺(tái)1.3.1能夠根據(jù)業(yè)務(wù)需求，選擇合適的大數(shù)據(jù)平

10

T/CAICIXXXX—XXXX

咨詢臺(tái)及方案。

1.3.2能夠根據(jù)業(yè)務(wù)需求，選擇合適的大數(shù)據(jù)存

儲(chǔ)計(jì)算產(chǎn)品。

1.3.3能夠根據(jù)業(yè)務(wù)需求，選擇合適的大數(shù)據(jù)可

視化產(chǎn)品。

1.3.4能夠解答關(guān)于大數(shù)據(jù)平臺(tái)使用相關(guān)的問(wèn)

題。

1.3.5能夠根據(jù)業(yè)務(wù)需求，輸出大數(shù)據(jù)分析解決

方案架構(gòu)圖及說(shuō)明文檔。

1.3.6能夠通過(guò)大數(shù)據(jù)平臺(tái)，獨(dú)立進(jìn)行數(shù)據(jù)同

步、集成、開發(fā)、管理等工作。

2.1.1能夠熟練使用結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)工具，如關(guān)

系數(shù)據(jù)庫(kù)、結(jié)構(gòu)化查詢語(yǔ)言（SQL）。

2.1.2能夠安裝數(shù)據(jù)庫(kù)以及創(chuàng)建基本對(duì)象，如

MySQL、SQLServer、Oracle等，熟悉常用數(shù)據(jù)

庫(kù)之間數(shù)據(jù)的互相導(dǎo)入。

2.1數(shù)據(jù)存儲(chǔ)與查詢2.1.3能夠熟練使用非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)工具。

2.1.4能夠熟悉數(shù)據(jù)庫(kù)開發(fā)及原理，熟練編寫簡(jiǎn)

單存儲(chǔ)過(guò)程。

2.1.5能夠根據(jù)需求，使用SQL進(jìn)行數(shù)據(jù)查詢。

2.數(shù)據(jù)庫(kù)2.1.6能夠獨(dú)立使用大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)庫(kù)與大

數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)遷移。

2.2.1能夠配合大數(shù)據(jù)開發(fā)工程師進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)

方案設(shè)計(jì)，選擇合適的大數(shù)據(jù)產(chǎn)品進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)

搭建。

2.2.2能夠獨(dú)立使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行數(shù)據(jù)的ETL（抽

2.2數(shù)據(jù)倉(cāng)庫(kù)

取、轉(zhuǎn)化、加載）操作。

2.2.3能夠基于大數(shù)據(jù)平臺(tái)完成數(shù)據(jù)倉(cāng)庫(kù)的搭

建，包括數(shù)據(jù)的采集、同步、清洗、計(jì)算、分析、

展現(xiàn)等。

3.1.1能夠構(gòu)建基礎(chǔ)業(yè)務(wù)數(shù)據(jù)分析體系，幫助確

定各項(xiàng)業(yè)務(wù)數(shù)據(jù)指標(biāo)，統(tǒng)一指標(biāo)口徑。

3.1.2能夠編寫較為復(fù)雜的數(shù)據(jù)提取語(yǔ)句，準(zhǔn)確

地橫跨眾多業(yè)務(wù)線的底層數(shù)據(jù)表提取數(shù)據(jù)。

3.1.3能夠掌握相關(guān)算法如：多元回歸、時(shí)間序

3.數(shù)據(jù)挖掘分析3.1數(shù)據(jù)挖掘列預(yù)測(cè)法、樸素貝葉斯分類算法、支持向量機(jī)分

類算法、決策樹等算法。

3.1.4能夠掌握數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)工具如

SPSS、Python、SAS、Stata、MATLAB、R等。

3.1.5能夠基于數(shù)據(jù)挖掘分類算法，對(duì)業(yè)務(wù)目標(biāo)

進(jìn)行預(yù)測(cè)分析、監(jiān)控預(yù)警等。

11

T/CAICIXXXX—XXXX

3.2.1能夠構(gòu)建用戶數(shù)據(jù)模型，挖掘用戶屬性及

用戶喜好等需求，為個(gè)性化產(chǎn)品推薦提供支持。

3.2.2能夠構(gòu)建產(chǎn)品、運(yùn)營(yíng)及活動(dòng)用戶行為評(píng)估

體系，通過(guò)數(shù)據(jù)分析對(duì)產(chǎn)品、運(yùn)營(yíng)、市場(chǎng)提出建

3.2數(shù)據(jù)建模

議并推動(dòng)實(shí)施。

3.2.3能夠使用不同維度和方法，對(duì)模型效果進(jìn)

行準(zhǔn)確性評(píng)估。

3.2.4能夠通過(guò)調(diào)整參數(shù)，使模型效果不斷優(yōu)化。

3.3.1能夠基于機(jī)器學(xué)習(xí)平臺(tái)，運(yùn)用神經(jīng)網(wǎng)絡(luò)、

XGBoost、隨機(jī)森林等算法搭建基本的機(jī)器學(xué)習(xí)流

程。

3.3.2能夠基于機(jī)器學(xué)習(xí)平臺(tái)，根據(jù)業(yè)務(wù)需求進(jìn)

3.3機(jī)器學(xué)習(xí)行分類、聚類分析。

3.3.3能夠基于機(jī)器學(xué)習(xí)平臺(tái)，根據(jù)用戶畫像分

析，構(gòu)建簡(jiǎn)單的推薦系統(tǒng)。

3.3.4能夠基于機(jī)器學(xué)習(xí)平臺(tái)，根據(jù)用戶行為進(jìn)

行用戶流失預(yù)測(cè)。

4.1.1能夠使用數(shù)據(jù)可視化常用工具Excel、

Echarts、PowerBI、Tableau等。

4.1.2能夠根據(jù)業(yè)務(wù)需求，針對(duì)不同的數(shù)據(jù)指標(biāo)、

不同的分析維度選擇不同的圖表展現(xiàn)形式，掌握

商業(yè)智能的場(chǎng)景應(yīng)用實(shí)踐。

4.1數(shù)據(jù)可視化

4.數(shù)據(jù)可視化4.1.3能夠根據(jù)數(shù)據(jù)可視化方案和數(shù)據(jù)分析指

處理

標(biāo)，使用數(shù)據(jù)可視化工具完成數(shù)據(jù)BI報(bào)表的制作

與重要指標(biāo)的監(jiān)控預(yù)警。

4.1.4能夠構(gòu)建數(shù)據(jù)儀表盤及其他形式的分析報(bào)

告以滿足戰(zhàn)略及決策支持需要，完成數(shù)據(jù)展示大

屏的制作。

5.1.1能夠在業(yè)務(wù)主管的指導(dǎo)下根據(jù)數(shù)據(jù)分析可

視化結(jié)果，形成有條理、有邏輯的日?qǐng)?bào)、周報(bào)、

月報(bào)、專題報(bào)告、行業(yè)分析報(bào)告等數(shù)據(jù)分析報(bào)告。

5.1.2能夠通過(guò)數(shù)據(jù)分析可視化結(jié)果，得出有效

的分析結(jié)論并體現(xiàn)在數(shù)據(jù)分析報(bào)告中。

5.1分析報(bào)告撰

5.報(bào)告撰寫5.1.3能夠發(fā)現(xiàn)業(yè)務(wù)中存在的問(wèn)題，給出解決建

寫

議或提出對(duì)業(yè)務(wù)有促進(jìn)的建議，用管理層或業(yè)務(wù)

人員易于理解的方式及語(yǔ)言向其呈現(xiàn)，滿足信息

使用者的特定需求。

5.1.4能夠圍繞企業(yè)的現(xiàn)狀與目標(biāo)，帶領(lǐng)團(tuán)隊(duì)完

成數(shù)據(jù)分析，并編寫復(fù)雜的數(shù)據(jù)分析報(bào)告。

6.大數(shù)據(jù)分析體系6.1大數(shù)據(jù)6.1.1能夠根據(jù)業(yè)務(wù)需求，基于云平臺(tái)進(jìn)行大數(shù)

構(gòu)建架構(gòu)規(guī)劃與設(shè)計(jì)據(jù)系統(tǒng)架構(gòu)設(shè)計(jì)并實(shí)現(xiàn)搭建部署。

12

T/CAICIXXXX—XXXX

6.1.2能夠根據(jù)業(yè)務(wù)需求，規(guī)劃設(shè)計(jì)自建大數(shù)據(jù)

系統(tǒng)往云上遷移的方案。

6.1.3能夠發(fā)現(xiàn)現(xiàn)有大數(shù)據(jù)系統(tǒng)架構(gòu)的問(wèn)題，并

提出合理的優(yōu)化建議。

6.1.4能夠輸出完整的大數(shù)據(jù)系統(tǒng)架構(gòu)設(shè)計(jì)、優(yōu)

化文檔。

6.2.1能夠迅速理解業(yè)務(wù)和現(xiàn)有數(shù)據(jù)解決方式，

通過(guò)快速迭代測(cè)試并展示大數(shù)據(jù)和數(shù)據(jù)分析方

案。

6.2數(shù)據(jù)指標(biāo)體

6.2.2能夠有效參與業(yè)務(wù)的數(shù)據(jù)體系的策略規(guī)

系構(gòu)建

劃，提供有價(jià)值的建議。

6.2.3能夠思考業(yè)務(wù)的關(guān)鍵成功因素，搭建業(yè)務(wù)

分析框架。

6.3.1能夠進(jìn)行深入的市場(chǎng)調(diào)研，對(duì)用戶行為進(jìn)

行分析，不斷優(yōu)化數(shù)據(jù)分析模型。

6.3.2能夠通過(guò)海量數(shù)據(jù)的挖掘和分析，形成報(bào)

告，匯報(bào)給決策層，支持戰(zhàn)略規(guī)劃。

6.3行業(yè)認(rèn)知及前瞻性研

6.3.3能夠熟練應(yīng)用數(shù)據(jù)分析技術(shù)，不僅在深度

究

上，并且要在廣度上了解最新技術(shù)進(jìn)展和突破，

并能因時(shí)制宜地應(yīng)用在實(shí)際場(chǎng)景中。

6.3.4能夠根據(jù)最新技術(shù)及產(chǎn)品，不斷優(yōu)化數(shù)據(jù)

分析架構(gòu)及系統(tǒng)。

8.2.2大數(shù)據(jù)開發(fā)工程師職業(yè)技能等級(jí)要求描述

表4大數(shù)據(jù)開發(fā)工程師職業(yè)技能等級(jí)要求（初級(jí)）

工作領(lǐng)域工作任務(wù)職業(yè)技能要求

1.1.1能夠創(chuàng)建虛擬機(jī)及安裝Linux操作系統(tǒng)。

1.1.2能夠區(qū)分Linux系統(tǒng)種類。

1.創(chuàng)建Linux系統(tǒng)1.1Linu操作系統(tǒng)安裝和

1.1.3能夠了解Linux系統(tǒng)管理。

環(huán)境使用

1.1.4能夠部署及配置Linux。

1.1.5能夠編寫shell腳本。

2.1.1能夠熟悉分布式系統(tǒng)概念、架構(gòu)。

2.1.2能夠了解Hadoop的核心和特點(diǎn)。

2.1了解Hadoop大數(shù)據(jù)2.1.3能夠獨(dú)立完成Hadoop平臺(tái)安裝，配置

2.大數(shù)據(jù)平臺(tái)架構(gòu)

架構(gòu)的部署Hadoop環(huán)境變量。

2.1.4能夠厘清HDFS的前提和設(shè)計(jì)目標(biāo)。

2.1.5能夠編寫并運(yùn)行MapReduce程序。

3.大數(shù)據(jù)應(yīng)用基礎(chǔ)3.1熟練掌握3.1.1能夠根據(jù)開發(fā)團(tuán)隊(duì)的要求，正確安裝配置

13

T/CAICIXXXX—XXXX

編程Java\Scala編程語(yǔ)言JDK。

3.1.2能夠根據(jù)Java\Scala程序工作機(jī)制，驗(yàn)證

Java\Scala程序的編譯和運(yùn)行是否正確。

3.1.3能夠熟練運(yùn)用數(shù)組存取數(shù)據(jù)。

3.1.4能夠熟練運(yùn)用Java\Scala語(yǔ)言的包和訪

問(wèn)控制機(jī)制提升代碼安全性。

3.2.1能夠熟練掌握Python數(shù)據(jù)爬蟲的基本原

理。

3.2熟練掌握Python編3.2.2能夠熟練掌握Numpy庫(kù)、Pandas庫(kù)等，對(duì)

程語(yǔ)言數(shù)據(jù)進(jìn)行清洗、存儲(chǔ)、處理及分析。