大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板

1、大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)數(shù)據(jù)倉庫的體系建設(shè)及落地實(shí)現(xiàn)。下面是小編整理的大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板。大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板1職責(zé)：1、獨(dú)立負(fù)責(zé)工作小組，并對(duì)下級(jí)成員進(jìn)行監(jiān)督；2、具備資源整合以及對(duì)軟件項(xiàng)目全局把控的能力；3、負(fù)責(zé)軟件項(xiàng)目的系統(tǒng)設(shè)計(jì)和需求分析；4、制定軟件項(xiàng)目開發(fā)計(jì)劃，并按時(shí)完成功能模塊的設(shè)計(jì)、開發(fā)以及編程任務(wù)；5、積極配合并完成主管下達(dá)的任務(wù)，并能夠?qū)浖块T的發(fā)展規(guī)劃提由意見；任職條件1、大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗(yàn)3年以上，至少具備2年以上java開發(fā)經(jīng)驗(yàn)；2、有基于hadoop的數(shù)據(jù)抽取、轉(zhuǎn)換、加載的開發(fā)相關(guān)經(jīng)驗(yàn)；3、熟練掌握hadoop生態(tài)的相

2、關(guān)知識(shí)，如hive,hbase,flume.kafka,storm,spark,mapreduce等；4、熟悉Linux操作系統(tǒng)。熟悉linux各項(xiàng)基本操作，至少掌握一門腳本語言;5、熟練數(shù)據(jù)倉庫，對(duì)多維數(shù)據(jù)建模有深入理解；6、有BI數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉庫、日志采集、多維數(shù)據(jù)倉庫設(shè)計(jì)、開發(fā)、架構(gòu)經(jīng)驗(yàn)者優(yōu)先7、思維敏捷，有較強(qiáng)的鉆研學(xué)習(xí)能力，較好的溝通能力、團(tuán)隊(duì)合作；大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板21、負(fù)責(zé)數(shù)據(jù)倉庫和大數(shù)據(jù)處理模塊的架構(gòu)設(shè)計(jì)和開發(fā)；2、 負(fù)責(zé)實(shí)現(xiàn)基于Spark框架的分布式計(jì)算框架的設(shè)計(jì)和開發(fā)工作；3、負(fù)責(zé)Spark技術(shù)研究和通用數(shù)據(jù)平臺(tái)的性能調(diào)優(yōu)；4、負(fù)責(zé)大數(shù)據(jù)項(xiàng)目中，基于kafka

3、、flume、sparkstreaming、SparkSQL等相關(guān)技術(shù)的海量數(shù)據(jù)的處理、分析、統(tǒng)計(jì)、挖掘工作。5、熟悉Scala/Java語言對(duì)Scala/Java原理、底層技術(shù)有深入研究者優(yōu)先；6、有過海量數(shù)據(jù)系統(tǒng)開發(fā)經(jīng)驗(yàn)者優(yōu)先；7、熟悉Hadoop/Spark生態(tài)系統(tǒng)組件的使用，至少有2年以上的Spark開發(fā)經(jīng)驗(yàn)；8、寫過推薦系統(tǒng)的優(yōu)先考慮大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板3職責(zé)1、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)建設(shè)工作，完成Hdaoop/Spark搭建部署，根據(jù)業(yè)務(wù)需要進(jìn)行開發(fā)；2、開發(fā)實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲并爬取所需數(shù)據(jù)，有效存儲(chǔ)到大數(shù)據(jù)平臺(tái)；3、對(duì)平臺(tái)數(shù)據(jù)做預(yù)處理，滿足數(shù)據(jù)展現(xiàn)及后續(xù)機(jī)器學(xué)習(xí)等系統(tǒng)使用；4、根

4、據(jù)業(yè)務(wù)需要，應(yīng)用大數(shù)據(jù)實(shí)時(shí)分析技術(shù)、可視化技術(shù)等，并對(duì)平臺(tái)發(fā)展規(guī)劃進(jìn)行設(shè)計(jì)。任職資格1、本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)2、熟悉數(shù)據(jù)倉庫和數(shù)據(jù)建模相關(guān)技術(shù)細(xì)節(jié)，有編程經(jīng)驗(yàn)，熟悉SQL/Hadoop/Hive/Hbase/Spark等大數(shù)據(jù)工具；3、具備海量數(shù)據(jù)處理經(jīng)驗(yàn)，或有互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)挖掘工作經(jīng)驗(yàn)；4、1年以上崗位經(jīng)驗(yàn)優(yōu)先，本科應(yīng)屆有意向的，可優(yōu)先培養(yǎng)。大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板4職責(zé)：1 .負(fù)責(zé)金融銀行大數(shù)據(jù)系統(tǒng)相關(guān)模塊的數(shù)據(jù)架構(gòu)及研發(fā)實(shí)施工作2 .依據(jù)業(yè)務(wù)場景、分析需求提供技術(shù)解決方案并加以實(shí)現(xiàn)；3.與客戶業(yè)務(wù)部門對(duì)接， 解決數(shù)據(jù)建模、 報(bào)表和報(bào)告在系統(tǒng)開發(fā)遇到的問題；任職資格：1 .

5、具備3年以上DW原統(tǒng)建設(shè)經(jīng)當(dāng)了解BI系統(tǒng)，有數(shù)據(jù)管理經(jīng)驗(yàn)，有維度建模相關(guān)經(jīng)驗(yàn)，了解數(shù)據(jù)倉庫建設(shè)過程中的挑戰(zhàn)與問題2.精通多系統(tǒng)數(shù)據(jù)融合、清洗、轉(zhuǎn)換、整合，具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗(yàn)3,熟悉業(yè)界數(shù)據(jù)倉庫建模方法、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量體系管理4,掌握大型數(shù)據(jù)庫開發(fā)技術(shù)(ORACLE/DB2),有豐富的數(shù)據(jù)庫模型設(shè)計(jì)和優(yōu)化經(jīng)驗(yàn)5,熟練掌握Unix/Linux常規(guī)命令、工具及Shell編程6,掌握一門或多門編程語言優(yōu)先，如Java、Python、scala等7,熟悉Hadoop、spark、kafka等大數(shù)據(jù)生態(tài)相關(guān)技術(shù)，有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先8.良好的語言溝通與表達(dá)能力和自我驅(qū)動(dòng)動(dòng)力9.具備銀行項(xiàng)目設(shè)計(jì)、開發(fā)、優(yōu)化等經(jīng)驗(yàn)者加分大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板5職責(zé)：1、參與ODS系統(tǒng)或Hadoop系統(tǒng)數(shù)據(jù)庫相關(guān)開發(fā)，包括數(shù)據(jù)倉庫的數(shù)據(jù)模型設(shè)計(jì)(ODS層設(shè)計(jì)、基礎(chǔ)數(shù)據(jù)層設(shè)計(jì)、匯總層設(shè)計(jì)等)；2、參與ETLMapping設(shè)計(jì)及開發(fā)工作；3、參與客戶/用戶畫像、經(jīng)營管理、產(chǎn)品畫像、營銷活動(dòng)等主題域建設(shè)工作。資質(zhì)要求：1.計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，優(yōu)秀者放寬至大專；2 .有 大 型 數(shù) 據(jù) 庫(ORALCE/MSSQLSERVER)開 發(fā) 經(jīng) 驗(yàn) ， 有SybaseIQHIVESparkSQL開發(fā)經(jīng)驗(yàn)者優(yōu)先；3、有較強(qiáng)的SQL編程能力，熟練編寫存儲(chǔ)過程，能設(shè)計(jì)各種復(fù)雜的業(yè)務(wù)處理、統(tǒng)