大數(shù)據(jù)架構(gòu)師工作的崗位職責(zé)

1、標(biāo)準(zhǔn)制度示范文本 | Excellent Model Text 資料編碼：CYKJ-FW-222編號(hào)：_大數(shù)據(jù)架構(gòu)師工作的崗位職責(zé)編輯：_日期：_單位：_大數(shù)據(jù)架構(gòu)師工作的崗位職責(zé)用戶指南：該制度資料適用于加強(qiáng)和規(guī)范人員自身的建設(shè)，實(shí)行工作管理和維護(hù)工作秩序，并進(jìn)一步提高工作效率形成明文上的條款，經(jīng)過(guò)一定的程序嚴(yán)格制定并公式，最終成為管理的依據(jù)和準(zhǔn)則?？赏ㄟ^(guò)修改使用，也可以直接沿用本模板進(jìn)行快速編輯。大數(shù)據(jù)架構(gòu)師工作的崗位職責(zé)1職責(zé)：1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)技術(shù)框架的技術(shù)選型和搭建;2、負(fù)責(zé)核心技術(shù)問(wèn)題公關(guān)，建設(shè)高可靠性，擴(kuò)展性及高性能大數(shù)據(jù)/數(shù)據(jù)應(yīng)用平臺(tái);3、負(fù)責(zé)規(guī)劃數(shù)據(jù)挖掘的整體流程，負(fù)責(zé)大數(shù)據(jù)

2、開(kāi)發(fā)團(tuán)隊(duì)業(yè)務(wù)需求開(kāi)發(fā);4、與其他團(tuán)隊(duì)密切配合，尋求數(shù)據(jù)層面的業(yè)務(wù)價(jià)值，利用數(shù)據(jù)分析結(jié)論推動(dòng)產(chǎn)品優(yōu)化;5、研究和分享大數(shù)據(jù)架構(gòu)領(lǐng)域新技術(shù)。任職要求：1、計(jì)算機(jī)相關(guān)專業(yè)全日制統(tǒng)招本科及以上;2、5年以上工作經(jīng)驗(yàn)，至少3年以上大數(shù)據(jù)項(xiàng)目相關(guān)工作經(jīng)驗(yàn)，能夠設(shè)計(jì)大型大數(shù)據(jù)系統(tǒng)的架構(gòu)和技術(shù)方案;3、精通Hadoop/Spark/Hbase/Hive等大數(shù)據(jù)技術(shù),精通ETL技術(shù);4、熟悉數(shù)據(jù)挖掘，了解典型大數(shù)據(jù)算法和策略;5、熟悉主流Java技術(shù)框架，精通關(guān)系型數(shù)據(jù)庫(kù)及SQL語(yǔ)言，熟悉NoSQL/JSON/XML;6、有較強(qiáng)的學(xué)習(xí)能力和問(wèn)題解決能力，邏輯嚴(yán)密、思路清晰;7、有數(shù)據(jù)倉(cāng)庫(kù)經(jīng)驗(yàn)者優(yōu)先，有金融行業(yè)項(xiàng)

3、目經(jīng)驗(yàn)者優(yōu)先。大數(shù)據(jù)架構(gòu)師工作的崗位職責(zé)2職責(zé)：1、負(fù)責(zé)DMP技術(shù)架構(gòu)設(shè)計(jì)與構(gòu)建，根據(jù)業(yè)務(wù)規(guī)劃及技術(shù)規(guī)劃制定應(yīng)用架構(gòu)方案;2、負(fù)責(zé)設(shè)計(jì)構(gòu)建DMP數(shù)據(jù)采集、存儲(chǔ)及分析框架，設(shè)計(jì)數(shù)據(jù)處理的技術(shù)流程和規(guī)范;3、負(fù)責(zé)核心功能的架構(gòu)與代碼模板編寫(xiě)，開(kāi)發(fā)與維護(hù)系統(tǒng)公用核心模塊;4、負(fù)責(zé)基于大數(shù)據(jù)技術(shù)的海量數(shù)據(jù)的自動(dòng)化分析處理和統(tǒng)計(jì)工作。崗位要求：1、計(jì)算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷，三年以上的開(kāi)發(fā)經(jīng)驗(yàn)，二年以上大數(shù)據(jù)相關(guān)軟件架構(gòu)的實(shí)際經(jīng)驗(yàn);2、精通大數(shù)據(jù)處理技術(shù)，熟悉Hadoop/Storm技術(shù)體系，有Hadoop、Hive、Hbase項(xiàng)目經(jīng)驗(yàn);3、具有較強(qiáng)的架構(gòu)能力，具有分布式計(jì)算、實(shí)時(shí)計(jì)算、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)

4、挖掘系統(tǒng)的架構(gòu)經(jīng)歷優(yōu)先;4、對(duì)數(shù)據(jù)敏感，洞察力強(qiáng)，了解國(guó)內(nèi)外廣告發(fā)展趨勢(shì);5.、擅長(zhǎng)系統(tǒng)分析與設(shè)計(jì)，精通常用的設(shè)計(jì)模式，擅長(zhǎng)性能調(diào)優(yōu);6、熟悉DMP/RTB技術(shù)原理，了解用戶的行為分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等廣告行業(yè)從業(yè)經(jīng)歷。大數(shù)據(jù)架構(gòu)師工作的崗位職責(zé)3職責(zé)：1、負(fù)責(zé)spark, hadoop, flink等開(kāi)發(fā)和優(yōu)化。2、參與前期需求溝通和分析，以產(chǎn)品化開(kāi)發(fā)的思維，完成需求分解和數(shù)據(jù)架構(gòu)設(shè)計(jì)。3、與研發(fā)和數(shù)據(jù)科學(xué)家合作保證產(chǎn)品定義清晰，按時(shí)完成產(chǎn)品上線。4、能夠洞察市場(chǎng)狀況，與各部門(mén)合作轉(zhuǎn)化為基于大數(shù)據(jù)挖掘的新策略或方案.5、主動(dòng)創(chuàng)造和發(fā)掘新的基于大數(shù)據(jù)挖

5、掘產(chǎn)品商業(yè)模式.任職要求：1、全日制本科及以上學(xué)歷，計(jì)算機(jī)軟件相關(guān)專業(yè)，5年以上開(kāi)發(fā)經(jīng)驗(yàn)，3年以上架構(gòu)經(jīng)驗(yàn)2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分布式數(shù)據(jù)存儲(chǔ)和分布式計(jì)算平臺(tái)原理，流式計(jì)算開(kāi)發(fā)，有開(kāi)源二次開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。3、精通大數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí).熟練掌握J(rèn)ava/Perl/Python至少一種編程語(yǔ)言。4、具有數(shù)據(jù)挖掘和分析、機(jī)器學(xué)習(xí)等項(xiàng)目實(shí)施相關(guān)經(jīng)驗(yàn)者優(yōu)先;5、良好的跨部門(mén)溝通合作能力，解決不同觀點(diǎn)能力并取得結(jié)果。具備敏銳的互聯(lián)網(wǎng)產(chǎn)品理解力，學(xué)習(xí)能力和邏輯思維能力強(qiáng);6、較強(qiáng)的自我驅(qū)動(dòng)力、推動(dòng)和協(xié)調(diào)能力，強(qiáng)烈的責(zé)任心和團(tuán)

6、隊(duì)合作精神;大數(shù)據(jù)架構(gòu)師工作的崗位職責(zé)4職責(zé)1、負(fù)責(zé)大數(shù)據(jù)架構(gòu)設(shè)計(jì)，包括定義數(shù)據(jù)的存儲(chǔ)、集成(ETL)、應(yīng)用，支撐業(yè)務(wù)運(yùn)營(yíng)和數(shù)據(jù)分析類需求實(shí)現(xiàn);2、制定數(shù)據(jù)治理領(lǐng)域的數(shù)據(jù)體系化管理措施，包括元數(shù)據(jù)設(shè)計(jì)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)處理、數(shù)據(jù)安全等工作，確保數(shù)據(jù)可信與安全;3、基于行業(yè)數(shù)據(jù)積累，滿足業(yè)務(wù)的數(shù)據(jù)挖掘需求，實(shí)現(xiàn)從數(shù)據(jù)到資產(chǎn)的轉(zhuǎn)變，根據(jù)目標(biāo)行業(yè)建立具有前瞻性的數(shù)據(jù)模型;4、對(duì)各產(chǎn)品的數(shù)據(jù)安全負(fù)責(zé)，主導(dǎo)制定和實(shí)施數(shù)據(jù)庫(kù)系統(tǒng)安全策略，保證整體方案數(shù)據(jù)安全;崗位要求業(yè)務(wù)技能要求：1、深入理解云化、數(shù)據(jù)倉(cāng)庫(kù)，在參與過(guò)的系統(tǒng)設(shè)計(jì)中，必須涉及這兩項(xiàng)關(guān)鍵技術(shù);n2、精通或者熟悉Hadoop體系架構(gòu)，以及

7、HDFS/HBase/Hive/MapReduce/Spark等技術(shù)，了解體系架構(gòu)各組件的優(yōu)缺點(diǎn)，有直接的產(chǎn)品設(shè)計(jì)與開(kāi)發(fā)、部署、調(diào)優(yōu)的經(jīng)驗(yàn);3、精通或熟悉常見(jiàn)RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及開(kāi)發(fā)，了解各數(shù)據(jù)庫(kù)優(yōu)缺點(diǎn)， 熟悉與架構(gòu)設(shè)計(jì)相關(guān)的數(shù)據(jù)存儲(chǔ)、性能調(diào)優(yōu)等相關(guān)領(lǐng)域知識(shí)，有相關(guān)項(xiàng)目經(jīng)驗(yàn)尤佳;4、熟悉業(yè)界常用的數(shù)據(jù)采集、集成、數(shù)據(jù)存儲(chǔ)、計(jì)算、數(shù)據(jù)模型、數(shù)據(jù)分析的技術(shù)方案，具有數(shù)據(jù)分析或數(shù)據(jù)挖掘相關(guān)經(jīng)驗(yàn)者優(yōu)先;n5、熟悉數(shù)據(jù)治理相關(guān)流

8、程，包括數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)治理、數(shù)據(jù)組織、數(shù)據(jù)服務(wù)等。專業(yè)知識(shí)要求：1、具備數(shù)據(jù)治理的知識(shí)與體系方案，包含政策、組織、角色、流程、規(guī)范等，以及規(guī)劃相應(yīng)的支撐方案。了解業(yè)界的數(shù)據(jù)管理方法論;2、具備數(shù)據(jù)用例設(shè)計(jì)和開(kāi)發(fā)能力。能夠基于業(yè)務(wù)相關(guān)數(shù)據(jù)進(jìn)行業(yè)務(wù)需求分析和痛點(diǎn)識(shí)別，將業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)的需求，完成數(shù)據(jù)用例的設(shè)計(jì)和開(kāi)發(fā);3、精通海量數(shù)據(jù)(日增量百億)級(jí)別數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市的構(gòu)建流程。熟悉公安、政務(wù)、工業(yè)、交通、醫(yī)療等多行業(yè)業(yè)務(wù)者優(yōu)先。大數(shù)據(jù)架構(gòu)師工作的崗位職責(zé)5職責(zé)：1. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)的基礎(chǔ)技術(shù)規(guī)劃，編制相關(guān)規(guī)范文檔。2. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)采集，處理，存儲(chǔ)以及挖掘分析的架構(gòu)實(shí)現(xiàn)。3

9、. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)的實(shí)際規(guī)劃建設(shè)，包括環(huán)境和框架的規(guī)劃搭建以及部分核心編碼工作。4. 負(fù)責(zé)大數(shù)據(jù)相關(guān)技術(shù)發(fā)展方向的預(yù)研。5. 參與業(yè)務(wù)需求調(diào)研，根據(jù)需求及行業(yè)特點(diǎn)設(shè)計(jì)大數(shù)據(jù)解決方案并跟進(jìn)具體實(shí)施項(xiàng)目。6. 制定大數(shù)據(jù)平臺(tái)中數(shù)據(jù)質(zhì)量，業(yè)務(wù)質(zhì)量監(jiān)控及管理辦法。崗位要求：1. 全日制本科及以上學(xué)歷，5年以上工作經(jīng)驗(yàn)，4年及以上大數(shù)據(jù)架構(gòu)設(shè)計(jì)經(jīng)驗(yàn)，熟悉大數(shù)據(jù)解決方案，包括Hadoop平臺(tái)、Spark、storm、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等大數(shù)據(jù)解決方案。2. 深刻理解大數(shù)據(jù)處理(流計(jì)算、分布式計(jì)算、分布式文件系統(tǒng)、分布式存儲(chǔ)等相關(guān)技術(shù))實(shí)現(xiàn)方法。有架構(gòu)和設(shè)計(jì)實(shí)踐經(jīng)驗(yàn)。3. 精通大型數(shù)據(jù)庫(kù)Oracle、SqlServer等的開(kāi)發(fā)。4. 精通java，Python中的一種或多種語(yǔ)言。5. 熟悉容器、虛擬化、微服務(wù)框架等相關(guān)技