大數(shù)據(jù)開發(fā)工程師的工作職責模板

1、大數(shù)據(jù)開發(fā)工程師的工作職責模板大數(shù)據(jù)開發(fā)工程師負責數(shù)據(jù)倉庫的體系建設及落地實現(xiàn)。下面是小編整理的大數(shù)據(jù)開發(fā)工程師的工作職責模板。大數(shù)據(jù)開發(fā)工程師的工作職責模板1職責：1、獨立負責工作小組，并對下級成員進行監(jiān)督；2、具備資源整合以及對軟件項目全局把控的能力；3、負責軟件項目的系統(tǒng)設計和需求分析；4、制定軟件項目開發(fā)計劃，并按時完成功能模塊的設計、開發(fā)以及編程任務；5、積極配合并完成主管下達的任務，并能夠?qū)浖块T的發(fā)展規(guī)劃提由意見；任職條件1、大數(shù)據(jù)相關開發(fā)經(jīng)驗3年以上，至少具備2年以上java開發(fā)經(jīng)驗；2、有基于hadoop的數(shù)據(jù)抽取、轉(zhuǎn)換、加載的開發(fā)相關經(jīng)驗；3、熟練掌握hadoop生態(tài)的相

2、關知識，如hive,hbase,flume.kafka,storm,spark,mapreduce等；4、熟悉Linux操作系統(tǒng)。熟悉linux各項基本操作，至少掌握一門腳本語言;5、熟練數(shù)據(jù)倉庫，對多維數(shù)據(jù)建模有深入理解；6、有BI數(shù)據(jù)平臺、數(shù)據(jù)倉庫、日志采集、多維數(shù)據(jù)倉庫設計、開發(fā)、架構(gòu)經(jīng)驗者優(yōu)先7、思維敏捷，有較強的鉆研學習能力，較好的溝通能力、團隊合作；大數(shù)據(jù)開發(fā)工程師的工作職責模板21、負責數(shù)據(jù)倉庫和大數(shù)據(jù)處理模塊的架構(gòu)設計和開發(fā)；2、 負責實現(xiàn)基于Spark框架的分布式計算框架的設計和開發(fā)工作；3、負責Spark技術(shù)研究和通用數(shù)據(jù)平臺的性能調(diào)優(yōu)；4、負責大數(shù)據(jù)項目中，基于kafka

3、、flume、sparkstreaming、SparkSQL等相關技術(shù)的海量數(shù)據(jù)的處理、分析、統(tǒng)計、挖掘工作。5、熟悉Scala/Java語言對Scala/Java原理、底層技術(shù)有深入研究者優(yōu)先；6、有過海量數(shù)據(jù)系統(tǒng)開發(fā)經(jīng)驗者優(yōu)先；7、熟悉Hadoop/Spark生態(tài)系統(tǒng)組件的使用，至少有2年以上的Spark開發(fā)經(jīng)驗；8、寫過推薦系統(tǒng)的優(yōu)先考慮大數(shù)據(jù)開發(fā)工程師的工作職責模板3職責1、負責公司大數(shù)據(jù)平臺建設工作，完成Hdaoop/Spark搭建部署，根據(jù)業(yè)務需要進行開發(fā)；2、開發(fā)實現(xiàn)網(wǎng)絡爬蟲并爬取所需數(shù)據(jù)，有效存儲到大數(shù)據(jù)平臺；3、對平臺數(shù)據(jù)做預處理，滿足數(shù)據(jù)展現(xiàn)及后續(xù)機器學習等系統(tǒng)使用；4、根

4、據(jù)業(yè)務需要，應用大數(shù)據(jù)實時分析技術(shù)、可視化技術(shù)等，并對平臺發(fā)展規(guī)劃進行設計。任職資格1、本科及以上學歷，計算機相關專業(yè)2、熟悉數(shù)據(jù)倉庫和數(shù)據(jù)建模相關技術(shù)細節(jié)，有編程經(jīng)驗，熟悉SQL/Hadoop/Hive/Hbase/Spark等大數(shù)據(jù)工具；3、具備海量數(shù)據(jù)處理經(jīng)驗，或有互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)挖掘工作經(jīng)驗；4、1年以上崗位經(jīng)驗優(yōu)先，本科應屆有意向的，可優(yōu)先培養(yǎng)。大數(shù)據(jù)開發(fā)工程師的工作職責模板4職責：1 .負責金融銀行大數(shù)據(jù)系統(tǒng)相關模塊的數(shù)據(jù)架構(gòu)及研發(fā)實施工作2 .依據(jù)業(yè)務場景、分析需求提供技術(shù)解決方案并加以實現(xiàn)；3.與客戶業(yè)務部門對接， 解決數(shù)據(jù)建模、 報表和報告在系統(tǒng)開發(fā)遇到的問題；任職資格：1 .

5、具備3年以上DW原統(tǒng)建設經(jīng)當了解BI系統(tǒng)，有數(shù)據(jù)管理經(jīng)驗，有維度建模相關經(jīng)驗，了解數(shù)據(jù)倉庫建設過程中的挑戰(zhàn)與問題2.精通多系統(tǒng)數(shù)據(jù)融合、清洗、轉(zhuǎn)換、整合，具備海量數(shù)據(jù)加工處理相關經(jīng)驗3,熟悉業(yè)界數(shù)據(jù)倉庫建模方法、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量體系管理4,掌握大型數(shù)據(jù)庫開發(fā)技術(shù)(ORACLE/DB2),有豐富的數(shù)據(jù)庫模型設計和優(yōu)化經(jīng)驗5,熟練掌握Unix/Linux常規(guī)命令、工具及Shell編程6,掌握一門或多門編程語言優(yōu)先，如Java、Python、scala等7,熟悉Hadoop、spark、kafka等大數(shù)據(jù)生態(tài)相關技術(shù)，有相關實踐經(jīng)驗著優(yōu)先8.良好的語言溝通與表達能力和自我驅(qū)動動力9.具備銀行項目設計、開發(fā)、優(yōu)化等經(jīng)驗者加分大數(shù)據(jù)開發(fā)工程師的工作職責模板5職責：1、參與ODS系統(tǒng)或Hadoop系統(tǒng)數(shù)據(jù)庫相關開發(fā)，包括數(shù)據(jù)倉庫的數(shù)據(jù)模型設計(ODS層設計、基礎數(shù)據(jù)層設計、匯總層設計等)；2、參與ETLMapping設計及開發(fā)工作；3、參與客戶/用戶畫像、經(jīng)營管理、產(chǎn)品畫像、營銷活動等主題域建設工作。資質(zhì)要求：1.計算機相關專業(yè)本科及以上學歷，優(yōu)秀者放寬至大專；2 .有 大 型 數(shù) 據(jù) 庫(ORALCE/MSSQLSERVER)開 發(fā) 經(jīng) 驗 ， 有SybaseIQHIVESparkSQL開發(fā)經(jīng)驗者優(yōu)先；3、有較強的SQL編程能力，熟練編寫存儲過程，能設計各種復雜的業(yè)務處理、統(tǒng)