數(shù)據(jù)中臺介紹

數(shù)據(jù)中臺方案匯報(bào)第一部分什么是數(shù)據(jù)中臺數(shù)據(jù)中臺的由來阿里啟動(dòng)中臺戰(zhàn)略的起因是一次商務(wù)拜訪。2015年中，馬云拜訪了芬蘭赫爾辛基的手游公司Supercell，稅前利潤15億美元的公司。其最令人熟知的作品包括了《卡通農(nóng)場》、《部落沖突》、《海島奇兵》、《部落沖突：皇室戰(zhàn)爭》《荒野亂斗》，2016年6月，騰訊以86億美元收購了Supercell的84.3%股權(quán)，此時(shí)Supercell不超過200人。通過游戲中臺將游戲開發(fā)過程中公共、通用的游戲素材和算法整理起來，可以同時(shí)支持幾個(gè)小團(tuán)隊(duì)在幾周時(shí)間內(nèi)研發(fā)出一款新游戲，并能鼓勵(lì)員工充分試錯(cuò)。數(shù)據(jù)中臺的由來08年09年10年11年12年13年14年15年OracleHadoopOdps基礎(chǔ)設(shè)施發(fā)展組織架構(gòu)淘寶商城（天貓）共享業(yè)務(wù)事業(yè)部（業(yè)務(wù)中臺）聚劃算數(shù)據(jù)平臺事業(yè)部（數(shù)據(jù)中臺）大中臺、小前臺戰(zhàn)略數(shù)據(jù)應(yīng)用BI淘數(shù)據(jù)Data

1.0“描述過去，看結(jié)果；看了，然后呢”Data

2.0“數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)，野蠻生長、重復(fù)建設(shè)、孤島煙囪”Data

3.0“更多數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)、更多活數(shù)據(jù)云和端互通流動(dòng)應(yīng)用、數(shù)據(jù)質(zhì)量”搜索廣告風(fēng)控個(gè)性化推薦生意參謀聚石塔TCIF量子統(tǒng)計(jì)IdMapping數(shù)加SkyBridge御膳房數(shù)據(jù)時(shí)代StormBase中臺戰(zhàn)略FlinkMaxCompute企業(yè)大數(shù)據(jù)面臨什么樣的問題零散的、孤立的、分散的0102混亂的、困惑的03渴望的、不滿足的04基礎(chǔ)不牢、價(jià)值不高的業(yè)務(wù)越向前越不準(zhǔn)確數(shù)據(jù)被業(yè)務(wù)模塊割裂數(shù)據(jù)口徑不統(tǒng)一數(shù)據(jù)視角不一致數(shù)據(jù)定義不清晰數(shù)據(jù)對不上每個(gè)崗位都希望得到數(shù)據(jù)的支撐很多種智能的應(yīng)用都需要數(shù)據(jù)的支撐底層建設(shè)嚴(yán)重匱乏高價(jià)值數(shù)據(jù)難以產(chǎn)生當(dāng)前的數(shù)據(jù)業(yè)務(wù)價(jià)值低下企業(yè)數(shù)據(jù)應(yīng)用演進(jìn)路徑1.02.03.0數(shù)據(jù)服務(wù)4.0業(yè)務(wù)需求為導(dǎo)向少量的統(tǒng)計(jì)分析建立數(shù)據(jù)理念數(shù)據(jù)倉庫建設(shè)業(yè)務(wù)需求驅(qū)動(dòng)數(shù)據(jù)業(yè)務(wù)融合業(yè)務(wù)場景驅(qū)動(dòng)數(shù)據(jù)應(yīng)用閉環(huán)統(tǒng)計(jì)分析決策支持?jǐn)?shù)據(jù)驅(qū)動(dòng)企業(yè)數(shù)據(jù)應(yīng)用演進(jìn)路徑階段應(yīng)用場景數(shù)據(jù)需求參與方價(jià)值體現(xiàn)存儲計(jì)算數(shù)據(jù)組織Data1.0、Data2.0“描述過去，看結(jié)果；看了，然后呢”報(bào)表明確業(yè)務(wù)（決策）IT（實(shí)施）面向業(yè)務(wù)人員的輔助決策數(shù)據(jù)庫選型：Oracle、Mysq等面向業(yè)務(wù)主題的指標(biāo)體系報(bào)表明確業(yè)務(wù)（決策）IT（實(shí)施）面向業(yè)務(wù)人員的輔助決策數(shù)據(jù)倉庫選型：Teradata、GreenPlum等面向業(yè)務(wù)主題的指標(biāo)體系Data2.0“數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)，野蠻生長、重復(fù)建設(shè)、孤島煙囪”單一智能決策業(yè)務(wù)應(yīng)用場景明確系統(tǒng)（決策）業(yè)務(wù)和IT（實(shí)施）面向業(yè)務(wù)系統(tǒng)的優(yōu)化升級Hadoop生態(tài)選型：開源Hadoop、CDH、HDP等面向業(yè)務(wù)主題的指標(biāo)體系（準(zhǔn)實(shí)時(shí)、預(yù)測類指標(biāo)）Data3.0“更多數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)、更多活數(shù)據(jù)互通流動(dòng)應(yīng)用、統(tǒng)一數(shù)據(jù)服務(wù)”多元化場景：報(bào)表、產(chǎn)品推薦、個(gè)性化信息推送、客戶健康管理、核保核賠、風(fēng)控迭代系統(tǒng)（決策）業(yè)務(wù)和IT（實(shí)施）面向業(yè)務(wù)創(chuàng)新與快速需求響應(yīng)Hadoop生態(tài)選型：開源Hadoop、CDH、HDP等面向場景驅(qū)動(dòng)的數(shù)據(jù)資產(chǎn)體系數(shù)據(jù)中臺定義數(shù)據(jù)中臺是一種戰(zhàn)略選擇和組織形式，通過有型的產(chǎn)品支撐和實(shí)施方法論，解決大企業(yè)面臨的數(shù)據(jù)孤島、數(shù)據(jù)維護(hù)混亂、數(shù)據(jù)價(jià)值利用低的問題，依據(jù)企業(yè)特有的業(yè)務(wù)和架構(gòu)，構(gòu)建一套從數(shù)據(jù)匯聚、開發(fā)、管理、到資產(chǎn)服務(wù)的體系，源源不斷地把數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)的，形成可持續(xù)讓企業(yè)數(shù)據(jù)用起來的機(jī)制，讓數(shù)據(jù)可見、可懂、可用、可運(yùn)營。數(shù)據(jù)中臺定位賦能業(yè)務(wù)中臺和前臺，實(shí)現(xiàn)業(yè)務(wù)增值（用戶留存/產(chǎn)品銷量/商品庫存）。數(shù)據(jù)中臺的三大能力全域的數(shù)據(jù)融合形成全域視角：全集團(tuán)各業(yè)務(wù)單元數(shù)據(jù)的融合，以往是單一視角的看業(yè)務(wù)問題，現(xiàn)在可以全域視角去看業(yè)務(wù)的提升。全域的數(shù)據(jù)資產(chǎn)管理：現(xiàn)有問題：有哪些數(shù)據(jù)沒人能說的清楚，更別說用起來。未來實(shí)現(xiàn)：數(shù)據(jù)資產(chǎn)的發(fā)現(xiàn)、數(shù)據(jù)資產(chǎn)的管控、數(shù)據(jù)資產(chǎn)的評估、數(shù)據(jù)資產(chǎn)的運(yùn)營。全面的數(shù)據(jù)價(jià)值交換：數(shù)據(jù)提供統(tǒng)一的服務(wù)能力為各業(yè)務(wù)賦能，同時(shí)可以根據(jù)各數(shù)據(jù)源的貢獻(xiàn)情況進(jìn)行數(shù)據(jù)計(jì)量，按此可以進(jìn)行業(yè)務(wù)線之間的財(cái)務(wù)結(jié)算，可以更直觀的感受到數(shù)據(jù)資產(chǎn)的價(jià)值。數(shù)據(jù)中臺通過整合數(shù)據(jù)、產(chǎn)品與技術(shù)，形成共享服務(wù)體系，為敏捷型前臺業(yè)務(wù)部門提供支撐，最終達(dá)到：數(shù)據(jù)從零散到統(tǒng)一、從成本中心到資產(chǎn)中心、從數(shù)據(jù)孤島到數(shù)據(jù)融通、從給數(shù)式服務(wù)到業(yè)務(wù)主題式服務(wù)。數(shù)據(jù)中臺的價(jià)值降低數(shù)據(jù)計(jì)算成本與數(shù)據(jù)存儲成本。降低因大量重復(fù)建設(shè)及數(shù)據(jù)體系不一致等導(dǎo)致的人力成本的浪費(fèi)。將數(shù)據(jù)當(dāng)成一種必須產(chǎn)生價(jià)值的資產(chǎn)加以構(gòu)建和管理降低成本實(shí)現(xiàn)了統(tǒng)一標(biāo)準(zhǔn)和快速響應(yīng)一份數(shù)據(jù)滿足多種服務(wù)需求滿足多場景下對響應(yīng)速度的需求企業(yè)數(shù)據(jù)統(tǒng)一共享服務(wù)，數(shù)據(jù)成為了資產(chǎn)而非成本提高效率業(yè)務(wù)數(shù)據(jù)化數(shù)據(jù)資產(chǎn)化資產(chǎn)業(yè)務(wù)化促進(jìn)數(shù)據(jù)價(jià)值化解決了企業(yè)中各個(gè)數(shù)據(jù)相關(guān)開發(fā)團(tuán)隊(duì)各自為政的問題，促使組織管理更加扁平化解決了因組織迅速膨脹、員工眾多造成的管理不善和效率低下問題促進(jìn)組織優(yōu)化數(shù)據(jù)中臺具備強(qiáng)大的數(shù)據(jù)規(guī)整能力，能夠極大的提高從數(shù)據(jù)采集、數(shù)據(jù)資產(chǎn)化到數(shù)據(jù)應(yīng)用的工作效率，推動(dòng)現(xiàn)有業(yè)務(wù)的優(yōu)化和新業(yè)務(wù)的開展。推動(dòng)業(yè)務(wù)創(chuàng)新第二部分?jǐn)?shù)據(jù)中臺怎么建企業(yè)數(shù)據(jù)中臺實(shí)施方略數(shù)據(jù)中臺建設(shè)方略以用促通以通帶存以存訓(xùn)算以算利用“用”：通過某一業(yè)務(wù)切入點(diǎn)，尋找數(shù)據(jù)中臺建設(shè)的核心應(yīng)用抓手；“通”：基于業(yè)務(wù)切入點(diǎn)進(jìn)行相關(guān)數(shù)據(jù)的打通，將原來看似沒有關(guān)系的數(shù)據(jù)進(jìn)行連接，構(gòu)建基礎(chǔ)資產(chǎn)體系，形成全新的數(shù)據(jù)視角；“存”：數(shù)據(jù)一旦形成一個(gè)價(jià)值點(diǎn)，通過數(shù)據(jù)應(yīng)用實(shí)現(xiàn)數(shù)據(jù)的流動(dòng)交互，從而使更多的數(shù)據(jù)被存儲上來，并形成“活”的數(shù)據(jù)，源源不斷供應(yīng)到平臺中；“算”：通過吸引更多的數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)體系的逐步完善，尋找更多的業(yè)務(wù)應(yīng)用場景，進(jìn)行數(shù)據(jù)的深度挖掘計(jì)算，建立數(shù)據(jù)應(yīng)用閉環(huán)，數(shù)據(jù)越用越有價(jià)值；注：數(shù)據(jù)中臺的規(guī)劃一定要著眼于未來，從大處著手；落地時(shí)要從小場景進(jìn)行切入，找到最能體現(xiàn)數(shù)據(jù)價(jià)值的地方，逐漸完善能力；隨著存儲、計(jì)算需求的增加，逐步加大投入；應(yīng)用回到場景，價(jià)值在場景得到驗(yàn)證，最終形成閉環(huán)。企業(yè)數(shù)據(jù)中臺實(shí)施步驟調(diào)研盤點(diǎn)業(yè)務(wù)盤點(diǎn)數(shù)據(jù)盤點(diǎn)場景盤點(diǎn)平臺搭建底層選型大數(shù)據(jù)開發(fā)平臺資產(chǎn)管理平臺數(shù)據(jù)服務(wù)平臺數(shù)據(jù)建設(shè)數(shù)據(jù)匯聚公共數(shù)據(jù)建設(shè)數(shù)據(jù)標(biāo)簽建設(shè)價(jià)值場景客群畫像精準(zhǔn)營銷風(fēng)險(xiǎn)控制…持續(xù)運(yùn)營場景推廣長效運(yùn)營數(shù)據(jù)閉環(huán)中臺戰(zhàn)略頂層規(guī)劃組織架構(gòu)體系架構(gòu)運(yùn)營機(jī)制企業(yè)數(shù)據(jù)中臺實(shí)施步驟：調(diào)研盤點(diǎn)010203數(shù)據(jù)積累情況調(diào)研對各業(yè)務(wù)領(lǐng)域涉及的系統(tǒng)名稱、數(shù)據(jù)庫類型、已積累的數(shù)據(jù)內(nèi)容等進(jìn)行分析；對積累的數(shù)據(jù)類型、數(shù)據(jù)更新頻次、數(shù)據(jù)標(biāo)準(zhǔn)情況、數(shù)據(jù)質(zhì)量情況等進(jìn)行分析；對數(shù)據(jù)的管理現(xiàn)狀、數(shù)據(jù)的使用情況等進(jìn)行分析；數(shù)據(jù)中臺建設(shè)規(guī)劃根據(jù)業(yè)務(wù)需求進(jìn)行缺失數(shù)據(jù)內(nèi)容補(bǔ)充規(guī)劃；根據(jù)調(diào)研情況制定數(shù)據(jù)匯聚、加工策略，進(jìn)行數(shù)據(jù)資產(chǎn)化建設(shè)規(guī)劃；對數(shù)據(jù)資產(chǎn)化建設(shè)和數(shù)據(jù)應(yīng)用場景所需技術(shù)支撐進(jìn)行規(guī)劃；數(shù)據(jù)及業(yè)務(wù)應(yīng)用問題分析對業(yè)務(wù)數(shù)據(jù)使用過程中的痛點(diǎn)問題進(jìn)行分析；對未來業(yè)務(wù)應(yīng)用的數(shù)據(jù)支撐需求進(jìn)行分析；對基于數(shù)據(jù)資產(chǎn)化建設(shè)過程中識別的新的數(shù)據(jù)應(yīng)用場景進(jìn)行分析；企業(yè)數(shù)據(jù)中臺實(shí)施步驟：平臺搭建數(shù)據(jù)中臺基礎(chǔ)設(shè)施統(tǒng)一數(shù)據(jù)存儲計(jì)算平臺統(tǒng)一數(shù)據(jù)資產(chǎn)建設(shè)工具解決大數(shù)據(jù)量存儲計(jì)算問題，主要包括結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的分布式存儲和離線計(jì)算、實(shí)時(shí)計(jì)算、即席計(jì)算、在線計(jì)算、算法建模等，主要是以Hadoop生態(tài)體系為代表的分布式存儲計(jì)算框架為主。解決數(shù)據(jù)資產(chǎn)建設(shè)過程中數(shù)據(jù)交換、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)的問題，提高了數(shù)據(jù)開發(fā)、數(shù)據(jù)管理、數(shù)據(jù)應(yīng)用效率，構(gòu)建數(shù)據(jù)應(yīng)用基礎(chǔ)設(shè)施。企業(yè)數(shù)據(jù)中臺實(shí)施步驟：數(shù)據(jù)建設(shè)關(guān)系型數(shù)據(jù)庫Oracle、SqlServerMySQL、Postgresql………….數(shù)據(jù)倉庫Hive、ODPS、Greenplum………….NoSQLHBase、MongDB、OTS……….消息中間件Kafka、ZeroMQ文件EXCEL、CSV、TXT其他爬蟲、埋點(diǎn)、日志、檢索引擎………..統(tǒng)一數(shù)據(jù)存儲計(jì)算平臺高性能計(jì)算存儲HANA文件存儲HDFS、OSS等數(shù)據(jù)匯聚：通過統(tǒng)一數(shù)據(jù)交換中心進(jìn)行增量離線、實(shí)時(shí)數(shù)據(jù)匯聚，將相關(guān)數(shù)據(jù)逐步匯聚至統(tǒng)一數(shù)據(jù)存儲、計(jì)算平臺，形成ODS原始數(shù)據(jù)層。企業(yè)數(shù)據(jù)中臺實(shí)施步驟：數(shù)據(jù)建設(shè)統(tǒng)一數(shù)據(jù)層建設(shè)：以維度建模為理論基礎(chǔ)進(jìn)行傳統(tǒng)數(shù)倉建模，構(gòu)建總線矩陣，劃分業(yè)務(wù)板塊、定義數(shù)據(jù)域、業(yè)務(wù)過程、維度、度量、修飾類型、修飾詞、時(shí)間周期、派生指標(biāo)，進(jìn)行維表、明細(xì)事實(shí)表、匯總事實(shí)表模型設(shè)計(jì)與開發(fā)。企業(yè)數(shù)據(jù)中臺實(shí)施步驟：數(shù)據(jù)建設(shè)標(biāo)簽體系構(gòu)建：標(biāo)簽從數(shù)據(jù)加工而來，是對某一對象屬性、特征的刻畫，是具有業(yè)務(wù)含義或?qū)I(yè)務(wù)有指導(dǎo)意義的數(shù)據(jù)定義，是能夠?yàn)闃I(yè)務(wù)所使用并產(chǎn)生價(jià)值的加工后的數(shù)據(jù)?！緮?shù)據(jù)】：業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)字段【標(biāo)簽】：給業(yè)務(wù)使用的指標(biāo)特征，業(yè)務(wù)能看得懂，用的起來的數(shù)據(jù)【類目】：方便尋找標(biāo)簽的類目結(jié)構(gòu)標(biāo)簽有三種類型：1.原始數(shù)據(jù)標(biāo)簽（客戶原始提供的數(shù)據(jù)表中字段，經(jīng)過清洗標(biāo)準(zhǔn)化）性別、年齡、生日、收貨地址、終端機(jī)型2.統(tǒng)計(jì)數(shù)據(jù)標(biāo)簽（客戶原始數(shù)據(jù)通過ETL加工，例如求和、平均等函數(shù)運(yùn)算）結(jié)算行為上的屬性：消費(fèi)頻次、消費(fèi)總金額、客單價(jià)、消費(fèi)時(shí)間段偏好、平均等待時(shí)長等商品上的屬性：品類偏好等3.算法數(shù)據(jù)標(biāo)簽（客戶原始數(shù)據(jù)經(jīng)過算法模型計(jì)算后的高級標(biāo)簽）工作地（根據(jù)收貨地址推算），是否是租客、消費(fèi)能力（低、中、高），消費(fèi)特征（促銷銘感，消費(fèi)果斷、財(cái)大氣粗等）企業(yè)數(shù)據(jù)中臺實(shí)施步驟：價(jià)值場景構(gòu)建標(biāo)簽設(shè)計(jì)完成之后形成后臺標(biāo)簽類目，在業(yè)務(wù)應(yīng)用是通過標(biāo)簽的申請、組裝，形成場景化前臺標(biāo)簽類目，結(jié)合數(shù)據(jù)引擎能力，通過“標(biāo)簽+引擎”快速生成服務(wù)于業(yè)務(wù)的應(yīng)用形態(tài)，主要有API服務(wù)接口和可視化兩種常見形態(tài)。標(biāo)簽?zāi)夸洠ń壎ū恚┥暾垬?biāo)簽我的標(biāo)簽標(biāo)簽組創(chuàng)建標(biāo)簽組選擇標(biāo)簽數(shù)據(jù)應(yīng)用能力前臺類目數(shù)據(jù)應(yīng)用A……應(yīng)用服務(wù)API標(biāo)簽+引擎=生成服務(wù)場景化自由組合、動(dòng)態(tài)生成【資產(chǎn)安全】標(biāo)簽審批后臺類目數(shù)據(jù)交換任務(wù)對應(yīng)數(shù)據(jù)目錄，標(biāo)簽?zāi)夸浲ㄟ^綁定表實(shí)現(xiàn)，分前后臺目錄，前臺目錄和業(yè)務(wù)場景綁定，后臺類目相對固定企業(yè)數(shù)據(jù)中臺實(shí)施步驟：持續(xù)運(yùn)營統(tǒng)一數(shù)據(jù)平臺市場運(yùn)營業(yè)務(wù)數(shù)據(jù)沉淀風(fēng)險(xiǎn)控制業(yè)務(wù)數(shù)據(jù)沉淀市場營銷業(yè)務(wù)數(shù)據(jù)沉淀統(tǒng)一存儲數(shù)據(jù)資產(chǎn)服務(wù)業(yè)務(wù)賦能價(jià)值點(diǎn)曝光更多業(yè)務(wù)賦能業(yè)務(wù)數(shù)據(jù)回流業(yè)務(wù)數(shù)據(jù)回流第三部分?jǐn)?shù)據(jù)中臺建設(shè)工具支撐數(shù)據(jù)中臺整體技術(shù)架構(gòu)數(shù)據(jù)中臺Hadoop計(jì)算層IaaS層數(shù)據(jù)開發(fā)平臺業(yè)務(wù)應(yīng)用層決策支持大數(shù)據(jù)營銷投資收益跟蹤BI分析運(yùn)營大屏流程監(jiān)控信用風(fēng)險(xiǎn)控制創(chuàng)新應(yīng)用資產(chǎn)共享平臺大數(shù)據(jù)開發(fā)門戶異構(gòu)網(wǎng)絡(luò)異構(gòu)數(shù)據(jù)源可視化配置數(shù)據(jù)同步數(shù)據(jù)開發(fā)離線數(shù)據(jù)開發(fā)發(fā)布部署運(yùn)維監(jiān)控實(shí)時(shí)數(shù)據(jù)開發(fā)發(fā)布部署運(yùn)維監(jiān)控智能調(diào)度基線告警一鍵運(yùn)維運(yùn)維監(jiān)控?cái)?shù)據(jù)建模規(guī)范數(shù)據(jù)研發(fā)規(guī)范發(fā)布運(yùn)維規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量數(shù)據(jù)血緣數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)分級管理敏感數(shù)據(jù)脫敏數(shù)據(jù)訪問審計(jì)數(shù)據(jù)安全管理數(shù)據(jù)服務(wù)上架數(shù)據(jù)服務(wù)申請調(diào)用訪問審計(jì)數(shù)據(jù)工具/服務(wù)管理數(shù)據(jù)資產(chǎn)管理平臺用戶中心角色管理權(quán)限審批用戶管理用戶角色管理權(quán)限控制數(shù)據(jù)權(quán)限環(huán)境隔離開發(fā)角色管理開發(fā)角色管理數(shù)據(jù)資產(chǎn)體系產(chǎn)品標(biāo)簽體系客戶標(biāo)簽體系企業(yè)標(biāo)簽體系……….服務(wù)引擎發(fā)布服務(wù)引擎授權(quán)需求下發(fā)數(shù)據(jù)服務(wù)引擎管理數(shù)據(jù)服務(wù)HANA算法庫資源包環(huán)境隔離云基礎(chǔ)設(shè)施數(shù)據(jù)開發(fā)平臺：數(shù)據(jù)匯聚多數(shù)據(jù)源同步異構(gòu)網(wǎng)絡(luò)同步可視化界面插件化擴(kuò)展Oracle主庫Oracle備庫MySQL主庫MySQL備庫MsSQL主庫MsSQL備庫數(shù)據(jù)源HiveHbaseOther數(shù)據(jù)平臺數(shù)據(jù)同步OracleReaderMsSQLReaderMySQLReaderGPWriterHiveWriterHbaseWriterOtherReaderOtherWriter數(shù)據(jù)從業(yè)務(wù)庫流向數(shù)倉的在線、離線存儲，支持BI分析以及數(shù)據(jù)算法挖掘數(shù)據(jù)智能適配業(yè)務(wù)人員操作控制UI端支持20多種多源、異構(gòu)數(shù)據(jù)的匯集、可以支持離線、實(shí)時(shí)的數(shù)據(jù)接入，支持以插件化、熱插拔的方式對數(shù)據(jù)源進(jìn)行擴(kuò)充數(shù)據(jù)開發(fā)平臺：數(shù)據(jù)開發(fā)成熟的數(shù)據(jù)開發(fā)平臺，支持市面幾乎所有底層平臺，具備多種工具能力，通過可視化圖形界面操作，順利完成各種數(shù)據(jù)開發(fā)工作，方便的任務(wù)、配置、調(diào)度等工作。離線開發(fā)、實(shí)時(shí)開發(fā)、算法開發(fā)HiveHadoopSparkMaxComputeApache社區(qū)版CDH星環(huán)Transwarp……OracleGreenplumKafkaFlumeHbasePythonShell……豐富的大數(shù)據(jù)組件可視化工作流開發(fā)拖拽式算法開發(fā)異構(gòu)系統(tǒng)統(tǒng)一管理多人并行協(xié)同將復(fù)雜的作業(yè)拆分成一個(gè)個(gè)小任務(wù)，簡化代碼的邏輯，降低維護(hù)成本。組件化設(shè)計(jì)，可以支持新的存儲計(jì)算組件加入準(zhǔn)入管理、認(rèn)可用戶才可使用。資源管理，資源池劃分。內(nèi)置豐富算法框架、算法包、函數(shù)包，提升開發(fā)效率任務(wù)流模式擴(kuò)展性資源控制內(nèi)置包支持異構(gòu)平臺統(tǒng)一管理，SQL、SHELL、PYTHON、MR、DFS、HIVE、SPARK、SPARKSQL等多種節(jié)點(diǎn)類型支持多人協(xié)同開發(fā)，集成開發(fā)環(huán)境，通過統(tǒng)一的開發(fā)環(huán)境及管理，提高開發(fā)效率支持腳本、函數(shù)、資源，可以開發(fā)引擎、調(diào)用內(nèi)置算法包等1、提交發(fā)布申請2、發(fā)布審核3、審核通過后，自動(dòng)復(fù)制到生產(chǎn)環(huán)境離線開發(fā)實(shí)時(shí)開發(fā)算法開發(fā)數(shù)據(jù)開發(fā)平臺：數(shù)據(jù)開發(fā)離線開發(fā)實(shí)時(shí)開發(fā)算法開發(fā)數(shù)據(jù)開發(fā)平臺：數(shù)據(jù)開發(fā)開發(fā)中心提供圖形化開發(fā)界面.支持多租戶.支持開發(fā)、測試、準(zhǔn)生產(chǎn)環(huán)境在線切換輸出支持RDS、ES、Kafka、Hbase、Kudu、Mysql支持SQL語法檢測資源控制支持應(yīng)用準(zhǔn)入管理，只有認(rèn)證用戶方可提交作業(yè)至集群資源管理工具中指定的資源池中運(yùn)行.支持資源管理，允許用戶提交登記的資源申請以內(nèi)的應(yīng)用，超過登記的資源需求應(yīng)予以拒絕。提供Rest等服務(wù)接口，允許經(jīng)認(rèn)證的第三方通過REST接口方式提交作業(yè)至集群中運(yùn)行運(yùn)維中心實(shí)時(shí)展示任務(wù)運(yùn)行的拓?fù)鋱D，查看作業(yè)吞吐指標(biāo)、節(jié)點(diǎn)性能指標(biāo)和Kafka管理、數(shù)據(jù)接入模塊打通，實(shí)現(xiàn)應(yīng)用級數(shù)據(jù)端到端的完整流向監(jiān)控集成YARN的作業(yè)運(yùn)行狀態(tài)監(jiān)控支持流處理應(yīng)用延遲、吞吐等性能閥值設(shè)置及異常告警支持kafka等消息中間件Topic在線管理，包括在線啟停，支持滾動(dòng)重啟、新增Topic、修改數(shù)據(jù)保留時(shí)長、查看Topic詳情等支持Topic中消息的元數(shù)據(jù)管理，包括查看Schema定義、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類型等多計(jì)算引擎支持Flink、SparkStreaming、Storm全SQL驅(qū)動(dòng)，將數(shù)據(jù)源（kafka、hbase、字典）注冊表、轉(zhuǎn)化、sink都以表的形式操作.多表關(guān)聯(lián),實(shí)時(shí)流與事實(shí)表、維度表、字典表的連接對Flink除自身的提供的UDF外，將和HiveUDF打通離線開發(fā)實(shí)時(shí)開發(fā)算法開發(fā)數(shù)據(jù)開發(fā)平臺：數(shù)據(jù)開發(fā)邏輯回歸、貝葉斯模型、支持向量回歸、隱馬爾可夫模型等分詞詞庫（百萬級）、實(shí)體識別、文本序列分析、文本相似度分析、情感分析、自動(dòng)摘要、主題分析等決策樹、K-means、支持向量機(jī)、隨機(jī)森林、貝葉斯分類器、模擬退火法、神經(jīng)網(wǎng)絡(luò)等網(wǎng)絡(luò)流、二分圖、Dijkstra、算法最短路徑算法、Prim算法、Sollin算法、Kruskal算法等文本語義算法分類聚類算法關(guān)系圖論算法回歸預(yù)測算法集成TensorFlow、Caffe、XGBoost等多種機(jī)器學(xué)習(xí)框架，可插件式擴(kuò)展

數(shù)據(jù)開發(fā)平臺：數(shù)據(jù)開發(fā)配套工具告警管理可視化運(yùn)維基線控制作業(yè)調(diào)度機(jī)制智能識別依賴關(guān)系同時(shí)支持依賴和定時(shí)調(diào)度節(jié)點(diǎn)失敗時(shí)，下游節(jié)點(diǎn)不再執(zhí)行1、運(yùn)行情況概覽，實(shí)時(shí)查看成功、失敗、運(yùn)行中、等待的任務(wù)狀態(tài)；2、查看關(guān)鍵任務(wù)等待資源情況，必要時(shí)人工干預(yù)；3、支持一鍵重跑、置成功、補(bǔ)數(shù)據(jù)、重跑下游等運(yùn)維功能；4、一鍵查看運(yùn)行日志；多個(gè)任務(wù)打包到一個(gè)基線，進(jìn)行統(tǒng)一的資源與告警管理。根據(jù)基線優(yōu)先級動(dòng)態(tài)調(diào)整資源分配。對基線完成時(shí)間進(jìn)行預(yù)測，出現(xiàn)延遲告警，及時(shí)通知相關(guān)運(yùn)維值班人員提前介入。開發(fā)測試預(yù)發(fā)生產(chǎn)環(huán)境級聯(lián)可以自定義配置單一環(huán)境（生產(chǎn)）、常規(guī)模式（開發(fā)、生產(chǎn)）、嚴(yán)格環(huán)境（開發(fā)、測試、預(yù)發(fā)、生產(chǎn)）、外包環(huán)境（外包人員開發(fā)、內(nèi)部員工開發(fā)、測試、預(yù)發(fā)、生產(chǎn)）等模式。平臺以環(huán)境級聯(lián)方式靈活支持企業(yè)各類環(huán)境需求，方便對資源、權(quán)限的控制和隔離。短信、電話等觸發(fā)規(guī)則升級條件報(bào)警恢復(fù)

統(tǒng)計(jì)分析數(shù)據(jù)資產(chǎn)管理與數(shù)據(jù)服務(wù)數(shù)據(jù)資產(chǎn)管理與數(shù)據(jù)服務(wù)所有數(shù)據(jù)治理、數(shù)據(jù)管理方案，通過工具落地來保障執(zhí)行?？梢暬畔⒐芾砉ぞ?，滿足用戶對海量數(shù)據(jù)的元信息檢索、標(biāo)注、數(shù)據(jù)口徑標(biāo)準(zhǔn)化等訴求，有效提高企業(yè)數(shù)據(jù)資產(chǎn)管理效率通過工具和組織，保障標(biāo)準(zhǔn)的執(zhí)行。把數(shù)據(jù)標(biāo)準(zhǔn)融入到數(shù)據(jù)建模、數(shù)據(jù)開發(fā)、數(shù)據(jù)質(zhì)量等過程，在工具以及流程上落實(shí)標(biāo)準(zhǔn)，而不僅僅是放在文檔上，并通過組織保障結(jié)合考核監(jiān)控標(biāo)準(zhǔn)的執(zhí)行。表級、字段級、應(yīng)用級血緣追溯管理質(zhì)量規(guī)則引入數(shù)據(jù)標(biāo)準(zhǔn)，質(zhì)量檢查參與到任務(wù)調(diào)度與報(bào)警，發(fā)現(xiàn)質(zhì)量問題及時(shí)告警修復(fù)，并自動(dòng)生成質(zhì)量報(bào)告數(shù)據(jù)模型與數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)開發(fā)流程結(jié)合，保障模型的規(guī)范通過規(guī)范管理表的生命周期，避免存儲資源的浪費(fèi)，提高系統(tǒng)資源使用效率，確保系統(tǒng)安全穩(wěn)定高效運(yùn)行。數(shù)據(jù)分級管理，可以做到指標(biāo)、字段級的安全管理。數(shù)據(jù)模型數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)血緣數(shù)據(jù)安全生命周期數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)資產(chǎn)管理與數(shù)據(jù)服務(wù)展示標(biāo)簽建設(shè)形成的數(shù)據(jù)資產(chǎn)的業(yè)務(wù)血緣鏈路，解決“數(shù)據(jù)從哪里來？數(shù)據(jù)被誰用了？誰的數(shù)據(jù)最有價(jià)值，貢獻(xiàn)最大？”的問題。數(shù)據(jù)資產(chǎn)管理與數(shù)據(jù)服務(wù)安全的使用數(shù)據(jù)資產(chǎn)建設(shè)數(shù)據(jù)資產(chǎn)數(shù)據(jù)引擎創(chuàng)建API發(fā)布APIAPI上線監(jiān)控審計(jì)數(shù)據(jù)建設(shè)方數(shù)據(jù)需求方申請權(quán)限獲取ACCESSTOKEN獲取服務(wù)列表調(diào)用服務(wù)使用情況統(tǒng)計(jì)授權(quán)有哪些數(shù)據(jù)資產(chǎn)使用效果評估反饋根據(jù)反饋情況調(diào)整修改注冊登錄第四部分?jǐn)?shù)據(jù)中臺案例介紹工業(yè)制造數(shù)字化轉(zhuǎn)型案例【痛點(diǎn)】：阿米巴核算數(shù)據(jù)無法實(shí)時(shí)指導(dǎo)管理改善【方案】：建設(shè)阿米巴大數(shù)據(jù)平臺某制造業(yè)上市公司:構(gòu)建阿米巴大數(shù)據(jù)平臺，通過數(shù)據(jù)實(shí)時(shí)驅(qū)動(dòng)管理【業(yè)務(wù)效果】：每日自動(dòng)生成經(jīng)營核算數(shù)據(jù)，數(shù)據(jù)實(shí)時(shí)驅(qū)動(dòng)管理改善阿米巴核算體系：構(gòu)建500+阿米巴核算標(biāo)簽，可多維度對比分析挖掘數(shù)據(jù)價(jià)值成本降低：2018年，環(huán)比上年同等營業(yè)額下，經(jīng)營管理成本降低20%數(shù)據(jù)多源異構(gòu)分散于SAP、EHR、益模等多個(gè)系統(tǒng)，涉及銷售、采購、生產(chǎn)、物流、人事、財(cái)務(wù)等業(yè)務(wù)部門現(xiàn)有阿米巴核算表生成時(shí)間長分析顆粒粗，人工投入多經(jīng)營數(shù)據(jù)無法每日呈現(xiàn)，實(shí)時(shí)指導(dǎo)管理改善通過阿米巴大數(shù)據(jù)平臺，實(shí)現(xiàn)數(shù)據(jù)自動(dòng)匯聚及清洗加工建立阿米巴標(biāo)簽類目體系（涉及員工、經(jīng)營單元、產(chǎn)品、原材料、設(shè)備、費(fèi)用、人力成本、收入等）通過阿米巴大數(shù)據(jù)平臺每日核算數(shù)據(jù)實(shí)時(shí)展現(xiàn)，指導(dǎo)經(jīng)營改善利用算法模型與深度挖掘，實(shí)現(xiàn)經(jīng)營預(yù)測集團(tuán)型企業(yè)數(shù)據(jù)中臺建設(shè)【痛點(diǎn)】：集團(tuán)多業(yè)務(wù)發(fā)展，也復(fù)雜，IT信息化復(fù)雜，尋求數(shù)字化轉(zhuǎn)型，【方案】：構(gòu)建集團(tuán)的數(shù)據(jù)中臺，基于數(shù)據(jù)中臺為業(yè)務(wù)提供更強(qiáng)大的支撐，完成數(shù)字化轉(zhuǎn)型國內(nèi)知名TOP10的地產(chǎn)集團(tuán):建立集團(tuán)地產(chǎn)業(yè)務(wù)的投資營銷分析管理平臺，支撐投資決策集團(tuán)多業(yè)態(tài)，IT獨(dú)立建設(shè)，形成數(shù)據(jù)孤島缺乏數(shù)據(jù)資產(chǎn)建設(shè)、數(shù)據(jù)應(yīng)用的理念及方法論

缺乏建設(shè)數(shù)據(jù)中臺的先進(jìn)的、體系化工具根據(jù)集團(tuán)現(xiàn)有的業(yè)務(wù)及數(shù)據(jù)情況，結(jié)合地產(chǎn)、互聯(lián)網(wǎng)行業(yè)內(nèi)的