數(shù)據(jù)倉庫工程師的主要職責

1、標準制度示范文本 | Excellent Model Text 資料編碼：CYKJ-FW-426編號：_數(shù)據(jù)倉庫工程師的主要職責編輯：_日期：_單位：_數(shù)據(jù)倉庫工程師的主要職責用戶指南：該制度資料適用于加強和規(guī)范人員自身的建設(shè)，實行工作管理和維護工作秩序，并進一步提高工作效率形成明文上的條款，經(jīng)過一定的程序嚴格制定并公式，最終成為管理的依據(jù)和準則。可通過修改使用，也可以直接沿用本模板進行快速編輯。數(shù)據(jù)倉庫工程師的主要職責1職責：1.負責企業(yè)級數(shù)據(jù)倉庫設(shè)計、規(guī)劃、建設(shè)、實施、管理,數(shù)據(jù)倉庫架構(gòu)設(shè)計與數(shù)據(jù)開發(fā)，創(chuàng)建數(shù)據(jù)倉庫、數(shù)據(jù)集市2.熟悉數(shù)據(jù)倉庫領(lǐng)域知識，從架構(gòu)和技術(shù)層面參與建設(shè)數(shù)據(jù)倉庫，包括元

2、數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理、性能優(yōu)化和調(diào)優(yōu)。3.負責數(shù)據(jù)倉庫平臺相關(guān)數(shù)據(jù)管理工作，如研發(fā)規(guī)范、質(zhì)量規(guī)范、保障規(guī)范的制定與推動實施落地4.配合和協(xié)助數(shù)據(jù)分析/數(shù)據(jù)挖掘形成底層/中間層的業(yè)務(wù)邏輯切片任職資格:1. 本科或碩士以上學歷，計算機工程相關(guān)專業(yè)2. 熟悉大數(shù)據(jù)相關(guān)技術(shù)能力(Hadoop/MapReduce/Hive/Hbase等),熟練進行數(shù)倉Hive建設(shè)和軟件架構(gòu),較強的數(shù)據(jù)抽象能力3.精通SQL，具備海量數(shù)據(jù)處理和Hive/Spark性能調(diào)優(yōu)經(jīng)驗,3年以上大規(guī)模分布式數(shù)據(jù)倉庫建設(shè)經(jīng)驗4.熟練使用Druid/Kylin之一進行數(shù)據(jù)挖掘模型設(shè)計，熟練掌握Java/Scala之一，具備良

3、好的coding素養(yǎng)和習慣,了解腳本語言，如Python、Shell等5.強烈的責任心,工作態(tài)度積極主動，有較好的團隊精神和溝通能力，工作細致認真數(shù)據(jù)倉庫工程師的主要職責2職責：1、負責ETL開發(fā)、作業(yè)調(diào)度和數(shù)據(jù)平臺建設(shè)2、負責數(shù)據(jù)倉庫的設(shè)計、開發(fā)和優(yōu)化，建立結(jié)構(gòu)層次合理、靈活可擴展的數(shù)據(jù)倉庫3、設(shè)計并研發(fā)BI分析相關(guān)的數(shù)據(jù)產(chǎn)品4、結(jié)合對數(shù)據(jù)的理解和業(yè)務(wù)需求，對數(shù)據(jù)進行整理、分析和挖掘任職要求1、計算機相關(guān)專業(yè)本科及以上學歷，有2年以上數(shù)據(jù)倉庫、ETL工作經(jīng)驗2、有海量數(shù)據(jù)處理、ETL及作業(yè)調(diào)度優(yōu)化、數(shù)據(jù)倉庫建模等經(jīng)驗3、熟悉Linux、SQL、Python或Java、Shell腳本，有Had

4、oop/Hive/Spark/HBase/Kylin/Impala等大數(shù)據(jù)技術(shù)使用經(jīng)驗4、邏輯清晰，對數(shù)據(jù)敏感，深入了解業(yè)務(wù)，具備自己獨特的想法并能提出合理的建議數(shù)據(jù)倉庫工程師的主要職責3職責：1、負責制定數(shù)據(jù)倉庫平臺技術(shù)體系架構(gòu)、數(shù)據(jù)架構(gòu)及規(guī)范;2、負責設(shè)計和實施公司業(yè)務(wù)數(shù)據(jù)的實時/離線數(shù)據(jù)ETL架構(gòu)方案;3、負責調(diào)度架構(gòu)設(shè)計與開發(fā);4、負責數(shù)據(jù)倉庫平臺運維以及日常數(shù)據(jù)運營等管理;5、負責關(guān)鍵技術(shù)攻關(guān);任職要求：1、5年以上數(shù)據(jù)倉庫項目開發(fā)經(jīng)驗，參與過數(shù)據(jù)倉庫架構(gòu)設(shè)計，對ETL開發(fā)流程、調(diào)度架構(gòu)有深入理解;2、精通mysql、 oralce 、greenplum等至少一種數(shù)據(jù)庫，豐富的SQL

5、性能調(diào)優(yōu)經(jīng)驗;3、熟練使用Java、Shell、Python、Perl等至少一種腳本語言;4、熟悉數(shù)據(jù)治理理論，數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理流程和方法;5、了解Hadoop/Hive/HBase/Spark/Storm等技術(shù)及其生態(tài)圈;6、溝通能力好、責任心強，具有良好的團隊合作精神和敬業(yè)精神;數(shù)據(jù)倉庫工程師的主要職責4職責：1.參與傳統(tǒng)數(shù)倉和大數(shù)據(jù)數(shù)倉日常開發(fā)工作;2.參與大數(shù)據(jù)倉庫設(shè)計、規(guī)劃和開發(fā);3.參與日常工作的優(yōu)化，提出建設(shè)性意見;4.負責管理項目，負責板塊內(nèi)的資源協(xié)調(diào)、進度管理、交付管理;5.參與數(shù)據(jù)倉庫、數(shù)據(jù)集市體系架構(gòu)的設(shè)計、規(guī)劃與開發(fā), 參與大數(shù)據(jù)、ETL開發(fā)，sql性能優(yōu)化。任職要

6、求：1.全日制本科，計算機等相關(guān)專業(yè)。3年以上數(shù)倉開發(fā)經(jīng)驗，有銀行、金融從業(yè)經(jīng)驗者優(yōu)先。2.2年以上項目管理經(jīng)驗，具備PMP證書優(yōu)先.3.熟悉oracle/hive/spark，熟悉數(shù)據(jù)處理和性能優(yōu)化，有UDF自定義函數(shù)、MR開發(fā)經(jīng)驗優(yōu)先;4.熟悉常用ETL工具，熟悉常用的Linux指令，熟悉shell/python任意一種腳本語言。數(shù)據(jù)倉庫工程師的主要職責5職責：1.建設(shè)公司級數(shù)據(jù)倉庫，并根據(jù)業(yè)務(wù)變化持續(xù)迭代和優(yōu)化;2.對業(yè)務(wù)數(shù)據(jù)進行梳理和抽象，建設(shè)數(shù)據(jù)倉庫的數(shù)據(jù)模型;3.對業(yè)務(wù)數(shù)據(jù)進行采集、清洗、轉(zhuǎn)換和存儲;4.支撐BI、用戶數(shù)據(jù)、用戶運營、用戶畫像、房源數(shù)據(jù)、推薦系統(tǒng)等核心數(shù)據(jù)平臺產(chǎn)品;5.研究大數(shù)據(jù)前沿技術(shù)，不斷持續(xù)優(yōu)化大數(shù)據(jù)平臺，為業(yè)務(wù)提供價值。任職資格:1.本科及以上計算機、統(tǒng)計學、數(shù)據(jù)庫、機器學習等相關(guān)專業(yè)，5年以上數(shù)據(jù)相關(guān)工作;2.對業(yè)務(wù)數(shù)據(jù)有敏銳的理解能力，并能快速梳理和分析業(yè)務(wù)數(shù)據(jù);3.熟練掌握SQL語言、熟悉MySQL，對Shell、Java(主要開發(fā)語言)、Python編程非常熟悉;4.熟悉常用的ETL技術(shù)和原則;精通數(shù)據(jù)倉庫數(shù)據(jù)庫設(shè)計規(guī)范和