

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
數(shù)據(jù)中臺方案匯報(bào)第一部分什么是數(shù)據(jù)中臺數(shù)據(jù)中臺的由來阿里啟動(dòng)中臺戰(zhàn)略的起因是一次商務(wù)拜訪。2015年中,馬云拜訪了芬蘭赫爾辛基的手游公司Supercell,稅前利潤15億美元的公司。其最令人熟知的作品包括了《卡通農(nóng)場》、《部落沖突》、《海島奇兵》、《部落沖突:皇室戰(zhàn)爭》《荒野亂斗》,2016年6月,騰訊以86億美元收購了Supercell的84.3%股權(quán),此時(shí)Supercell不超過200人。通過游戲中臺將游戲開發(fā)過程中公共、通用的游戲素材和算法整理起來,可以同時(shí)支持幾個(gè)小團(tuán)隊(duì)在幾周時(shí)間內(nèi)研發(fā)出一款新游戲,并能鼓勵(lì)員工充分試錯(cuò)。數(shù)據(jù)中臺的由來08年09年10年11年12年13年14年15年OracleHadoopOdps基礎(chǔ)設(shè)施發(fā)展組織架構(gòu)淘寶商城(天貓)共享業(yè)務(wù)事業(yè)部(業(yè)務(wù)中臺)聚劃算數(shù)據(jù)平臺事業(yè)部(數(shù)據(jù)中臺)大中臺、小前臺戰(zhàn)略數(shù)據(jù)應(yīng)用BI淘數(shù)據(jù)Data
1.0“描述過去,看結(jié)果;看了,然后呢”Data
2.0“數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù),野蠻生長、重復(fù)建設(shè)、孤島煙囪”Data
3.0“更多數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)、更多活數(shù)據(jù)云和端互通流動(dòng)應(yīng)用、數(shù)據(jù)質(zhì)量”搜索廣告風(fēng)控個(gè)性化推薦生意參謀聚石塔TCIF量子統(tǒng)計(jì)IdMapping數(shù)加SkyBridge御膳房數(shù)據(jù)時(shí)代StormBase中臺戰(zhàn)略FlinkMaxCompute企業(yè)大數(shù)據(jù)面臨什么樣的問題零散的、孤立的、分散的0102混亂的、困惑的03渴望的、不滿足的04基礎(chǔ)不牢、價(jià)值不高的業(yè)務(wù)越向前越不準(zhǔn)確數(shù)據(jù)被業(yè)務(wù)模塊割裂數(shù)據(jù)口徑不統(tǒng)一數(shù)據(jù)視角不一致數(shù)據(jù)定義不清晰數(shù)據(jù)對不上每個(gè)崗位都希望得到數(shù)據(jù)的支撐很多種智能的應(yīng)用都需要數(shù)據(jù)的支撐底層建設(shè)嚴(yán)重匱乏高價(jià)值數(shù)據(jù)難以產(chǎn)生當(dāng)前的數(shù)據(jù)業(yè)務(wù)價(jià)值低下企業(yè)數(shù)據(jù)應(yīng)用演進(jìn)路徑1.02.03.0數(shù)據(jù)服務(wù)4.0業(yè)務(wù)需求為導(dǎo)向少量的統(tǒng)計(jì)分析建立數(shù)據(jù)理念數(shù)據(jù)倉庫建設(shè)業(yè)務(wù)需求驅(qū)動(dòng)數(shù)據(jù)業(yè)務(wù)融合業(yè)務(wù)場景驅(qū)動(dòng)數(shù)據(jù)應(yīng)用閉環(huán)統(tǒng)計(jì)分析決策支持?jǐn)?shù)據(jù)驅(qū)動(dòng)企業(yè)數(shù)據(jù)應(yīng)用演進(jìn)路徑階段應(yīng)用場景數(shù)據(jù)需求參與方價(jià)值體現(xiàn)存儲計(jì)算數(shù)據(jù)組織Data1.0、Data2.0“描述過去,看結(jié)果;看了,然后呢”報(bào)表明確業(yè)務(wù)(決策)IT(實(shí)施)面向業(yè)務(wù)人員的輔助決策數(shù)據(jù)庫選型:Oracle、Mysq等面向業(yè)務(wù)主題的指標(biāo)體系報(bào)表明確業(yè)務(wù)(決策)IT(實(shí)施)面向業(yè)務(wù)人員的輔助決策數(shù)據(jù)倉庫選型:Teradata、GreenPlum等面向業(yè)務(wù)主題的指標(biāo)體系Data2.0“數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù),野蠻生長、重復(fù)建設(shè)、孤島煙囪”單一智能決策業(yè)務(wù)應(yīng)用場景明確系統(tǒng)(決策)業(yè)務(wù)和IT(實(shí)施)面向業(yè)務(wù)系統(tǒng)的優(yōu)化升級Hadoop生態(tài)選型:開源Hadoop、CDH、HDP等面向業(yè)務(wù)主題的指標(biāo)體系(準(zhǔn)實(shí)時(shí)、預(yù)測類指標(biāo))Data3.0“更多數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)、更多活數(shù)據(jù)互通流動(dòng)應(yīng)用、統(tǒng)一數(shù)據(jù)服務(wù)”多元化場景:報(bào)表、產(chǎn)品推薦、個(gè)性化信息推送、客戶健康管理、核保核賠、風(fēng)控迭代系統(tǒng)(決策)業(yè)務(wù)和IT(實(shí)施)面向業(yè)務(wù)創(chuàng)新與快速需求響應(yīng)Hadoop生態(tài)選型:開源Hadoop、CDH、HDP等面向場景驅(qū)動(dòng)的數(shù)據(jù)資產(chǎn)體系數(shù)據(jù)中臺定義數(shù)據(jù)中臺是一種戰(zhàn)略選擇和組織形式,通過有型的產(chǎn)品支撐和實(shí)施方法論,解決大企業(yè)面臨的數(shù)據(jù)孤島、數(shù)據(jù)維護(hù)混亂、數(shù)據(jù)價(jià)值利用低的問題,依據(jù)企業(yè)特有的業(yè)務(wù)和架構(gòu),構(gòu)建一套從數(shù)據(jù)匯聚、開發(fā)、管理、到資產(chǎn)服務(wù)的體系,源源不斷地把數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)的,形成可持續(xù)讓企業(yè)數(shù)據(jù)用起來的機(jī)制,讓數(shù)據(jù)可見、可懂、可用、可運(yùn)營。數(shù)據(jù)中臺定位賦能業(yè)務(wù)中臺和前臺,實(shí)現(xiàn)業(yè)務(wù)增值(用戶留存/產(chǎn)品銷量/商品庫存)。數(shù)據(jù)中臺的三大能力全域的數(shù)據(jù)融合形成全域視角:全集團(tuán)各業(yè)務(wù)單元數(shù)據(jù)的融合,以往是單一視角的看業(yè)務(wù)問題,現(xiàn)在可以全域視角去看業(yè)務(wù)的提升。全域的數(shù)據(jù)資產(chǎn)管理:現(xiàn)有問題:有哪些數(shù)據(jù)沒人能說的清楚,更別說用起來。未來實(shí)現(xiàn):數(shù)據(jù)資產(chǎn)的發(fā)現(xiàn)、數(shù)據(jù)資產(chǎn)的管控、數(shù)據(jù)資產(chǎn)的評估、數(shù)據(jù)資產(chǎn)的運(yùn)營。全面的數(shù)據(jù)價(jià)值交換:數(shù)據(jù)提供統(tǒng)一的服務(wù)能力為各業(yè)務(wù)賦能,同時(shí)可以根據(jù)各數(shù)據(jù)源的貢獻(xiàn)情況進(jìn)行數(shù)據(jù)計(jì)量,按此可以進(jìn)行業(yè)務(wù)線之間的財(cái)務(wù)結(jié)算,可以更直觀的感受到數(shù)據(jù)資產(chǎn)的價(jià)值。數(shù)據(jù)中臺通過整合數(shù)據(jù)、產(chǎn)品與技術(shù),形成共享服務(wù)體系,為敏捷型前臺業(yè)務(wù)部門提供支撐,最終達(dá)到:數(shù)據(jù)從零散到統(tǒng)一、從成本中心到資產(chǎn)中心、從數(shù)據(jù)孤島到數(shù)據(jù)融通、從給數(shù)式服務(wù)到業(yè)務(wù)主題式服務(wù)。數(shù)據(jù)中臺的價(jià)值降低數(shù)據(jù)計(jì)算成本與數(shù)據(jù)存儲成本。降低因大量重復(fù)建設(shè)及數(shù)據(jù)體系不一致等導(dǎo)致的人力成本的浪費(fèi)。將數(shù)據(jù)當(dāng)成一種必須產(chǎn)生價(jià)值的資產(chǎn)加以構(gòu)建和管理降低成本實(shí)現(xiàn)了統(tǒng)一標(biāo)準(zhǔn)和快速響應(yīng)一份數(shù)據(jù)滿足多種服務(wù)需求滿足多場景下對響應(yīng)速度的需求企業(yè)數(shù)據(jù)統(tǒng)一共享服務(wù),數(shù)據(jù)成為了資產(chǎn)而非成本提高效率業(yè)務(wù)數(shù)據(jù)化數(shù)據(jù)資產(chǎn)化資產(chǎn)業(yè)務(wù)化促進(jìn)數(shù)據(jù)價(jià)值化解決了企業(yè)中各個(gè)數(shù)據(jù)相關(guān)開發(fā)團(tuán)隊(duì)各自為政的問題,促使組織管理更加扁平化解決了因組織迅速膨脹、員工眾多造成的管理不善和效率低下問題促進(jìn)組織優(yōu)化數(shù)據(jù)中臺具備強(qiáng)大的數(shù)據(jù)規(guī)整能力,能夠極大的提高從數(shù)據(jù)采集、數(shù)據(jù)資產(chǎn)化到數(shù)據(jù)應(yīng)用的工作效率,推動(dòng)現(xiàn)有業(yè)務(wù)的優(yōu)化和新業(yè)務(wù)的開展。推動(dòng)業(yè)務(wù)創(chuàng)新第二部分?jǐn)?shù)據(jù)中臺怎么建企業(yè)數(shù)據(jù)中臺實(shí)施方略數(shù)據(jù)中臺建設(shè)方略以用促通以通帶存以存訓(xùn)算以算利用“用”:通過某一業(yè)務(wù)切入點(diǎn),尋找數(shù)據(jù)中臺建設(shè)的核心應(yīng)用抓手;“通”:基于業(yè)務(wù)切入點(diǎn)進(jìn)行相關(guān)數(shù)據(jù)的打通,將原來看似沒有關(guān)系的數(shù)據(jù)進(jìn)行連接,構(gòu)建基礎(chǔ)資產(chǎn)體系,形成全新的數(shù)據(jù)視角;“存”:數(shù)據(jù)一旦形成一個(gè)價(jià)值點(diǎn),通過數(shù)據(jù)應(yīng)用實(shí)現(xiàn)數(shù)據(jù)的流動(dòng)交互,從而使更多的數(shù)據(jù)被存儲上來,并形成“活”的數(shù)據(jù),源源不斷供應(yīng)到平臺中;“算”:通過吸引更多的數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)體系的逐步完善,尋找更多的業(yè)務(wù)應(yīng)用場景,進(jìn)行數(shù)據(jù)的深度挖掘計(jì)算,建立數(shù)據(jù)應(yīng)用閉環(huán),數(shù)據(jù)越用越有價(jià)值;注:數(shù)據(jù)中臺的規(guī)劃一定要著眼于未來,從大處著手;落地時(shí)要從小場景進(jìn)行切入,找到最能體現(xiàn)數(shù)據(jù)價(jià)值的地方,逐漸完善能力;隨著存儲、計(jì)算需求的增加,逐步加大投入;應(yīng)用回到場景,價(jià)值在場景得到驗(yàn)證,最終形成閉環(huán)。企業(yè)數(shù)據(jù)中臺實(shí)施步驟調(diào)研盤點(diǎn)業(yè)務(wù)盤點(diǎn)數(shù)據(jù)盤點(diǎn)場景盤點(diǎn)平臺搭建底層選型大數(shù)據(jù)開發(fā)平臺資產(chǎn)管理平臺數(shù)據(jù)服務(wù)平臺數(shù)據(jù)建設(shè)數(shù)據(jù)匯聚公共數(shù)據(jù)建設(shè)數(shù)據(jù)標(biāo)簽建設(shè)價(jià)值場景客群畫像精準(zhǔn)營銷風(fēng)險(xiǎn)控制…持續(xù)運(yùn)營場景推廣長效運(yùn)營數(shù)據(jù)閉環(huán)中臺戰(zhàn)略頂層規(guī)劃組織架構(gòu)體系架構(gòu)運(yùn)營機(jī)制企業(yè)數(shù)據(jù)中臺實(shí)施步驟:調(diào)研盤點(diǎn)010203數(shù)據(jù)積累情況調(diào)研對各業(yè)務(wù)領(lǐng)域涉及的系統(tǒng)名稱、數(shù)據(jù)庫類型、已積累的數(shù)據(jù)內(nèi)容等進(jìn)行分析;對積累的數(shù)據(jù)類型、數(shù)據(jù)更新頻次、數(shù)據(jù)標(biāo)準(zhǔn)情況、數(shù)據(jù)質(zhì)量情況等進(jìn)行分析;對數(shù)據(jù)的管理現(xiàn)狀、數(shù)據(jù)的使用情況等進(jìn)行分析;數(shù)據(jù)中臺建設(shè)規(guī)劃根據(jù)業(yè)務(wù)需求進(jìn)行缺失數(shù)據(jù)內(nèi)容補(bǔ)充規(guī)劃;根據(jù)調(diào)研情況制定數(shù)據(jù)匯聚、加工策略,進(jìn)行數(shù)據(jù)資產(chǎn)化建設(shè)規(guī)劃;對數(shù)據(jù)資產(chǎn)化建設(shè)和數(shù)據(jù)應(yīng)用場景所需技術(shù)支撐進(jìn)行規(guī)劃;數(shù)據(jù)及業(yè)務(wù)應(yīng)用問題分析對業(yè)務(wù)數(shù)據(jù)使用過程中的痛點(diǎn)問題進(jìn)行分析;對未來業(yè)務(wù)應(yīng)用的數(shù)據(jù)支撐需求進(jìn)行分析;對基于數(shù)據(jù)資產(chǎn)化建設(shè)過程中識別的新的數(shù)據(jù)應(yīng)用場景進(jìn)行分析;企業(yè)數(shù)據(jù)中臺實(shí)施步驟:平臺搭建數(shù)據(jù)中臺基礎(chǔ)設(shè)施統(tǒng)一數(shù)據(jù)存儲計(jì)算平臺統(tǒng)一數(shù)據(jù)資產(chǎn)建設(shè)工具解決大數(shù)據(jù)量存儲計(jì)算問題,主要包括結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的分布式存儲和離線計(jì)算、實(shí)時(shí)計(jì)算、即席計(jì)算、在線計(jì)算、算法建模等,主要是以Hadoop生態(tài)體系為代表的分布式存儲計(jì)算框架為主。解決數(shù)據(jù)資產(chǎn)建設(shè)過程中數(shù)據(jù)交換、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)的問題,提高了數(shù)據(jù)開發(fā)、數(shù)據(jù)管理、數(shù)據(jù)應(yīng)用效率,構(gòu)建數(shù)據(jù)應(yīng)用基礎(chǔ)設(shè)施。企業(yè)數(shù)據(jù)中臺實(shí)施步驟:數(shù)據(jù)建設(shè)關(guān)系型數(shù)據(jù)庫Oracle、SqlServerMySQL、Postgresql………….數(shù)據(jù)倉庫Hive、ODPS、Greenplum………….NoSQLHBase、MongDB、OTS……….消息中間件Kafka、ZeroMQ文件EXCEL、CSV、TXT其他爬蟲、埋點(diǎn)、日志、檢索引擎………..統(tǒng)一數(shù)據(jù)存儲計(jì)算平臺高性能計(jì)算存儲HANA文件存儲HDFS、OSS等數(shù)據(jù)匯聚:通過統(tǒng)一數(shù)據(jù)交換中心進(jìn)行增量離線、實(shí)時(shí)數(shù)據(jù)匯聚,將相關(guān)數(shù)據(jù)逐步匯聚至統(tǒng)一數(shù)據(jù)存儲、計(jì)算平臺,形成ODS原始數(shù)據(jù)層。企業(yè)數(shù)據(jù)中臺實(shí)施步驟:數(shù)據(jù)建設(shè)統(tǒng)一數(shù)據(jù)層建設(shè):以維度建模為理論基礎(chǔ)進(jìn)行傳統(tǒng)數(shù)倉建模,構(gòu)建總線矩陣,劃分業(yè)務(wù)板塊、定義數(shù)據(jù)域、業(yè)務(wù)過程、維度、度量、修飾類型、修飾詞、時(shí)間周期、派生指標(biāo),進(jìn)行維表、明細(xì)事實(shí)表、匯總事實(shí)表模型設(shè)計(jì)與開發(fā)。企業(yè)數(shù)據(jù)中臺實(shí)施步驟:數(shù)據(jù)建設(shè)標(biāo)簽體系構(gòu)建:標(biāo)簽從數(shù)據(jù)加工而來,是對某一對象屬性、特征的刻畫,是具有業(yè)務(wù)含義或?qū)I(yè)務(wù)有指導(dǎo)意義的數(shù)據(jù)定義,是能夠?yàn)闃I(yè)務(wù)所使用并產(chǎn)生價(jià)值的加工后的數(shù)據(jù)?!緮?shù)據(jù)】:業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)字段【標(biāo)簽】:給業(yè)務(wù)使用的指標(biāo)特征,業(yè)務(wù)能看得懂,用的起來的數(shù)據(jù)【類目】:方便尋找標(biāo)簽的類目結(jié)構(gòu)標(biāo)簽有三種類型:1.原始數(shù)據(jù)標(biāo)簽(客戶原始提供的數(shù)據(jù)表中字段,經(jīng)過清洗標(biāo)準(zhǔn)化)性別、年齡、生日、收貨地址、終端機(jī)型2.統(tǒng)計(jì)數(shù)據(jù)標(biāo)簽(客戶原始數(shù)據(jù)通過ETL加工,例如求和、平均等函數(shù)運(yùn)算)結(jié)算行為上的屬性:消費(fèi)頻次、消費(fèi)總金額、客單價(jià)、消費(fèi)時(shí)間段偏好、平均等待時(shí)長等商品上的屬性:品類偏好等3.算法數(shù)據(jù)標(biāo)簽(客戶原始數(shù)據(jù)經(jīng)過算法模型計(jì)算后的高級標(biāo)簽)工作地(根據(jù)收貨地址推算),是否是租客、消費(fèi)能力(低、中、高),消費(fèi)特征(促銷銘感,消費(fèi)果斷、財(cái)大氣粗等)企業(yè)數(shù)據(jù)中臺實(shí)施步驟:價(jià)值場景構(gòu)建標(biāo)簽設(shè)計(jì)完成之后形成后臺標(biāo)簽類目,在業(yè)務(wù)應(yīng)用是通過標(biāo)簽的申請、組裝,形成場景化前臺標(biāo)簽類目,結(jié)合數(shù)據(jù)引擎能力,通過“標(biāo)簽+引擎”快速生成服務(wù)于業(yè)務(wù)的應(yīng)用形態(tài),主要有API服務(wù)接口和可視化兩種常見形態(tài)。標(biāo)簽?zāi)夸洠ń壎ū恚┥暾垬?biāo)簽我的標(biāo)簽標(biāo)簽組創(chuàng)建標(biāo)簽組選擇標(biāo)簽數(shù)據(jù)應(yīng)用能力前臺類目數(shù)據(jù)應(yīng)用A……應(yīng)用服務(wù)API標(biāo)簽+引擎=生成服務(wù)場景化自由組合、動(dòng)態(tài)生成【資產(chǎn)安全】標(biāo)簽審批后臺類目數(shù)據(jù)交換任務(wù)對應(yīng)數(shù)據(jù)目錄,標(biāo)簽?zāi)夸浲ㄟ^綁定表實(shí)現(xiàn),分前后臺目錄,前臺目錄和業(yè)務(wù)場景綁定,后臺類目相對固定企業(yè)數(shù)據(jù)中臺實(shí)施步驟:持續(xù)運(yùn)營統(tǒng)一數(shù)據(jù)平臺市場運(yùn)營業(yè)務(wù)數(shù)據(jù)沉淀風(fēng)險(xiǎn)控制業(yè)務(wù)數(shù)據(jù)沉淀市場營銷業(yè)務(wù)數(shù)據(jù)沉淀統(tǒng)一存儲數(shù)據(jù)資產(chǎn)服務(wù)業(yè)務(wù)賦能價(jià)值點(diǎn)曝光更多業(yè)務(wù)賦能業(yè)務(wù)數(shù)據(jù)回流業(yè)務(wù)數(shù)據(jù)回流第三部分?jǐn)?shù)據(jù)中臺建設(shè)工具支撐數(shù)據(jù)中臺整體技術(shù)架構(gòu)數(shù)據(jù)中臺Hadoop計(jì)算層IaaS層數(shù)據(jù)開發(fā)平臺業(yè)務(wù)應(yīng)用層決策支持大數(shù)據(jù)營銷投資收益跟蹤BI分析運(yùn)營大屏流程監(jiān)控信用風(fēng)險(xiǎn)控制創(chuàng)新應(yīng)用資產(chǎn)共享平臺大數(shù)據(jù)開發(fā)門戶異構(gòu)網(wǎng)絡(luò)異構(gòu)數(shù)據(jù)源可視化配置數(shù)據(jù)同步數(shù)據(jù)開發(fā)離線數(shù)據(jù)開發(fā)發(fā)布部署運(yùn)維監(jiān)控實(shí)時(shí)數(shù)據(jù)開發(fā)發(fā)布部署運(yùn)維監(jiān)控智能調(diào)度基線告警一鍵運(yùn)維運(yùn)維監(jiān)控?cái)?shù)據(jù)建模規(guī)范數(shù)據(jù)研發(fā)規(guī)范發(fā)布運(yùn)維規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量數(shù)據(jù)血緣數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)分級管理敏感數(shù)據(jù)脫敏數(shù)據(jù)訪問審計(jì)數(shù)據(jù)安全管理數(shù)據(jù)服務(wù)上架數(shù)據(jù)服務(wù)申請調(diào)用訪問審計(jì)數(shù)據(jù)工具/服務(wù)管理數(shù)據(jù)資產(chǎn)管理平臺用戶中心角色管理權(quán)限審批用戶管理用戶角色管理權(quán)限控制數(shù)據(jù)權(quán)限環(huán)境隔離開發(fā)角色管理開發(fā)角色管理數(shù)據(jù)資產(chǎn)體系產(chǎn)品標(biāo)簽體系客戶標(biāo)簽體系企業(yè)標(biāo)簽體系……….服務(wù)引擎發(fā)布服務(wù)引擎授權(quán)需求下發(fā)數(shù)據(jù)服務(wù)引擎管理數(shù)據(jù)服務(wù)HANA算法庫資源包環(huán)境隔離云基礎(chǔ)設(shè)施數(shù)據(jù)開發(fā)平臺:數(shù)據(jù)匯聚多數(shù)據(jù)源同步異構(gòu)網(wǎng)絡(luò)同步可視化界面插件化擴(kuò)展Oracle主庫Oracle備庫MySQL主庫MySQL備庫MsSQL主庫MsSQL備庫數(shù)據(jù)源HiveHbaseOther數(shù)據(jù)平臺數(shù)據(jù)同步OracleReaderMsSQLReaderMySQLReaderGPWriterHiveWriterHbaseWriterOtherReaderOtherWriter數(shù)據(jù)從業(yè)務(wù)庫流向數(shù)倉的在線、離線存儲,支持BI分析以及數(shù)據(jù)算法挖掘數(shù)據(jù)智能適配業(yè)務(wù)人員操作控制UI端支持20多種多源、異構(gòu)數(shù)據(jù)的匯集、可以支持離線、實(shí)時(shí)的數(shù)據(jù)接入,支持以插件化、熱插拔的方式對數(shù)據(jù)源進(jìn)行擴(kuò)充數(shù)據(jù)開發(fā)平臺:數(shù)據(jù)開發(fā)成熟的數(shù)據(jù)開發(fā)平臺,支持市面幾乎所有底層平臺,具備多種工具能力,通過可視化圖形界面操作,順利完成各種數(shù)據(jù)開發(fā)工作,方便的任務(wù)、配置、調(diào)度等工作。離線開發(fā)、實(shí)時(shí)開發(fā)、算法開發(fā)HiveHadoopSparkMaxComputeApache社區(qū)版CDH星環(huán)Transwarp……OracleGreenplumKafkaFlumeHbasePythonShell……豐富的大數(shù)據(jù)組件可視化工作流開發(fā)拖拽式算法開發(fā)異構(gòu)系統(tǒng)統(tǒng)一管理多人并行協(xié)同將復(fù)雜的作業(yè)拆分成一個(gè)個(gè)小任務(wù),簡化代碼的邏輯,降低維護(hù)成本。組件化設(shè)計(jì),可以支持新的存儲計(jì)算組件加入準(zhǔn)入管理、認(rèn)可用戶才可使用。資源管理,資源池劃分。內(nèi)置豐富算法框架、算法包、函數(shù)包,提升開發(fā)效率任務(wù)流模式擴(kuò)展性資源控制內(nèi)置包支持異構(gòu)平臺統(tǒng)一管理,SQL、SHELL、PYTHON、MR、DFS、HIVE、SPARK、SPARKSQL等多種節(jié)點(diǎn)類型支持多人協(xié)同開發(fā),集成開發(fā)環(huán)境,通過統(tǒng)一的開發(fā)環(huán)境及管理,提高開發(fā)效率支持腳本、函數(shù)、資源,可以開發(fā)引擎、調(diào)用內(nèi)置算法包等1、提交發(fā)布申請2、發(fā)布審核3、審核通過后,自動(dòng)復(fù)制到生產(chǎn)環(huán)境離線開發(fā)實(shí)時(shí)開發(fā)算法開發(fā)數(shù)據(jù)開發(fā)平臺:數(shù)據(jù)開發(fā)離線開發(fā)實(shí)時(shí)開發(fā)算法開發(fā)數(shù)據(jù)開發(fā)平臺:數(shù)據(jù)開發(fā)開發(fā)中心提供圖形化開發(fā)界面.支持多租戶.支持開發(fā)、測試、準(zhǔn)生產(chǎn)環(huán)境在線切換輸出支持RDS、ES、Kafka、Hbase、Kudu、Mysql支持SQL語法檢測資源控制支持應(yīng)用準(zhǔn)入管理,只有認(rèn)證用戶方可提交作業(yè)至集群資源管理工具中指定的資源池中運(yùn)行.支持資源管理,允許用戶提交登記的資源申請以內(nèi)的應(yīng)用,超過登記的資源需求應(yīng)予以拒絕。提供Rest等服務(wù)接口,允許經(jīng)認(rèn)證的第三方通過REST接口方式提交作業(yè)至集群中運(yùn)行運(yùn)維中心實(shí)時(shí)展示任務(wù)運(yùn)行的拓?fù)鋱D,查看作業(yè)吞吐指標(biāo)、節(jié)點(diǎn)性能指標(biāo)和Kafka管理、數(shù)據(jù)接入模塊打通,實(shí)現(xiàn)應(yīng)用級數(shù)據(jù)端到端的完整流向監(jiān)控集成YARN的作業(yè)運(yùn)行狀態(tài)監(jiān)控支持流處理應(yīng)用延遲、吞吐等性能閥值設(shè)置及異常告警支持kafka等消息中間件Topic在線管理,包括在線啟停,支持滾動(dòng)重啟、新增Topic、修改數(shù)據(jù)保留時(shí)長、查看Topic詳情等支持Topic中消息的元數(shù)據(jù)管理,包括查看Schema定義、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類型等多計(jì)算引擎支持Flink、SparkStreaming、Storm全SQL驅(qū)動(dòng),將數(shù)據(jù)源(kafka、hbase、字典)注冊表、轉(zhuǎn)化、sink都以表的形式操作.多表關(guān)聯(lián),實(shí)時(shí)流與事實(shí)表、維度表、字典表的連接對Flink除自身的提供的UDF外,將和HiveUDF打通離線開發(fā)實(shí)時(shí)開發(fā)算法開發(fā)數(shù)據(jù)開發(fā)平臺:數(shù)據(jù)開發(fā)邏輯回歸、貝葉斯模型、支持向量回歸、隱馬爾可夫模型等分詞詞庫(百萬級)、實(shí)體識別、文本序列分析、文本相似度分析、情感分析、自動(dòng)摘要、主題分析等決策樹、K-means、支持向量機(jī)、隨機(jī)森林、貝葉斯分類器、模擬退火法、神經(jīng)網(wǎng)絡(luò)等網(wǎng)絡(luò)流、二分圖、Dijkstra、算法最短路徑算法、Prim算法、Sollin算法、Kruskal算法等文本語義算法分類聚類算法關(guān)系圖論算法回歸預(yù)測算法集成TensorFlow、Caffe、XGBoost等多種機(jī)器學(xué)習(xí)框架,可插件式擴(kuò)展
數(shù)據(jù)開發(fā)平臺:數(shù)據(jù)開發(fā)配套工具告警管理可視化運(yùn)維基線控制作業(yè)調(diào)度機(jī)制智能識別依賴關(guān)系同時(shí)支持依賴和定時(shí)調(diào)度節(jié)點(diǎn)失敗時(shí),下游節(jié)點(diǎn)不再執(zhí)行1、運(yùn)行情況概覽,實(shí)時(shí)查看成功、失敗、運(yùn)行中、等待的任務(wù)狀態(tài);2、查看關(guān)鍵任務(wù)等待資源情況,必要時(shí)人工干預(yù);3、支持一鍵重跑、置成功、補(bǔ)數(shù)據(jù)、重跑下游等運(yùn)維功能;4、一鍵查看運(yùn)行日志;多個(gè)任務(wù)打包到一個(gè)基線,進(jìn)行統(tǒng)一的資源與告警管理。根據(jù)基線優(yōu)先級動(dòng)態(tài)調(diào)整資源分配。對基線完成時(shí)間進(jìn)行預(yù)測,出現(xiàn)延遲告警,及時(shí)通知相關(guān)運(yùn)維值班人員提前介入。開發(fā)測試預(yù)發(fā)生產(chǎn)環(huán)境級聯(lián)可以自定義配置單一環(huán)境(生產(chǎn))、常規(guī)模式(開發(fā)、生產(chǎn))、嚴(yán)格環(huán)境(開發(fā)、測試、預(yù)發(fā)、生產(chǎn))、外包環(huán)境(外包人員開發(fā)、內(nèi)部員工開發(fā)、測試、預(yù)發(fā)、生產(chǎn))等模式。平臺以環(huán)境級聯(lián)方式靈活支持企業(yè)各類環(huán)境需求,方便對資源、權(quán)限的控制和隔離。短信、電話等觸發(fā)規(guī)則升級條件報(bào)警恢復(fù)
統(tǒng)計(jì)分析數(shù)據(jù)資產(chǎn)管理與數(shù)據(jù)服務(wù)數(shù)據(jù)資產(chǎn)管理與數(shù)據(jù)服務(wù)所有數(shù)據(jù)治理、數(shù)據(jù)管理方案,通過工具落地來保障執(zhí)行??梢暬畔⒐芾砉ぞ?,滿足用戶對海量數(shù)據(jù)的元信息檢索、標(biāo)注、數(shù)據(jù)口徑標(biāo)準(zhǔn)化等訴求,有效提高企業(yè)數(shù)據(jù)資產(chǎn)管理效率通過工具和組織,保障標(biāo)準(zhǔn)的執(zhí)行。把數(shù)據(jù)標(biāo)準(zhǔn)融入到數(shù)據(jù)建模、數(shù)據(jù)開發(fā)、數(shù)據(jù)質(zhì)量等過程,在工具以及流程上落實(shí)標(biāo)準(zhǔn),而不僅僅是放在文檔上,并通過組織保障結(jié)合考核監(jiān)控標(biāo)準(zhǔn)的執(zhí)行。表級、字段級、應(yīng)用級血緣追溯管理質(zhì)量規(guī)則引入數(shù)據(jù)標(biāo)準(zhǔn),質(zhì)量檢查參與到任務(wù)調(diào)度與報(bào)警,發(fā)現(xiàn)質(zhì)量問題及時(shí)告警修復(fù),并自動(dòng)生成質(zhì)量報(bào)告數(shù)據(jù)模型與數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)開發(fā)流程結(jié)合,保障模型的規(guī)范通過規(guī)范管理表的生命周期,避免存儲資源的浪費(fèi),提高系統(tǒng)資源使用效率,確保系統(tǒng)安全穩(wěn)定高效運(yùn)行。數(shù)據(jù)分級管理,可以做到指標(biāo)、字段級的安全管理。數(shù)據(jù)模型數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)血緣數(shù)據(jù)安全生命周期數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)資產(chǎn)管理與數(shù)據(jù)服務(wù)展示標(biāo)簽建設(shè)形成的數(shù)據(jù)資產(chǎn)的業(yè)務(wù)血緣鏈路,解決“數(shù)據(jù)從哪里來?數(shù)據(jù)被誰用了?誰的數(shù)據(jù)最有價(jià)值,貢獻(xiàn)最大?”的問題。數(shù)據(jù)資產(chǎn)管理與數(shù)據(jù)服務(wù)安全的使用數(shù)據(jù)資產(chǎn)建設(shè)數(shù)據(jù)資產(chǎn)數(shù)據(jù)引擎創(chuàng)建API發(fā)布APIAPI上線監(jiān)控審計(jì)數(shù)據(jù)建設(shè)方數(shù)據(jù)需求方申請權(quán)限獲取ACCESSTOKEN獲取服務(wù)列表調(diào)用服務(wù)使用情況統(tǒng)計(jì)授權(quán)有哪些數(shù)據(jù)資產(chǎn)使用效果評估反饋根據(jù)反饋情況調(diào)整修改注冊登錄第四部分?jǐn)?shù)據(jù)中臺案例介紹工業(yè)制造數(shù)字化轉(zhuǎn)型案例【痛點(diǎn)】:阿米巴核算數(shù)據(jù)無法實(shí)時(shí)指導(dǎo)管理改善【方案】:建設(shè)阿米巴大數(shù)據(jù)平臺某制造業(yè)上市公司:構(gòu)建阿米巴大數(shù)據(jù)平臺,通過數(shù)據(jù)實(shí)時(shí)驅(qū)動(dòng)管理【業(yè)務(wù)效果】:每日自動(dòng)生成經(jīng)營核算數(shù)據(jù),數(shù)據(jù)實(shí)時(shí)驅(qū)動(dòng)管理改善阿米巴核算體系:構(gòu)建500+阿米巴核算標(biāo)簽,可多維度對比分析挖掘數(shù)據(jù)價(jià)值成本降低:2018年,環(huán)比上年同等營業(yè)額下,經(jīng)營管理成本降低20%數(shù)據(jù)多源異構(gòu)分散于SAP、EHR、益模等多個(gè)系統(tǒng),涉及銷售、采購、生產(chǎn)、物流、人事、財(cái)務(wù)等業(yè)務(wù)部門現(xiàn)有阿米巴核算表生成時(shí)間長分析顆粒粗,人工投入多經(jīng)營數(shù)據(jù)無法每日呈現(xiàn),實(shí)時(shí)指導(dǎo)管理改善通過阿米巴大數(shù)據(jù)平臺,實(shí)現(xiàn)數(shù)據(jù)自動(dòng)匯聚及清洗加工建立阿米巴標(biāo)簽類目體系(涉及員工、經(jīng)營單元、產(chǎn)品、原材料、設(shè)備、費(fèi)用、人力成本、收入等)通過阿米巴大數(shù)據(jù)平臺每日核算數(shù)據(jù)實(shí)時(shí)展現(xiàn),指導(dǎo)經(jīng)營改善利用算法模型與深度挖掘,實(shí)現(xiàn)經(jīng)營預(yù)測集團(tuán)型企業(yè)數(shù)據(jù)中臺建設(shè)【痛點(diǎn)】:集團(tuán)多業(yè)務(wù)發(fā)展,也復(fù)雜,IT信息化復(fù)雜,尋求數(shù)字化轉(zhuǎn)型,【方案】:構(gòu)建集團(tuán)的數(shù)據(jù)中臺,基于數(shù)據(jù)中臺為業(yè)務(wù)提供更強(qiáng)大的支撐,完成數(shù)字化轉(zhuǎn)型國內(nèi)知名TOP10的地產(chǎn)集團(tuán):建立集團(tuán)地產(chǎn)業(yè)務(wù)的投資營銷分析管理平臺,支撐投資決策集團(tuán)多業(yè)態(tài),IT獨(dú)立建設(shè),形成數(shù)據(jù)孤島缺乏數(shù)據(jù)資產(chǎn)建設(shè)、數(shù)據(jù)應(yīng)用的理念及方法論
缺乏建設(shè)數(shù)據(jù)中臺的先進(jìn)的、體系化工具根據(jù)集團(tuán)現(xiàn)有的業(yè)務(wù)及數(shù)據(jù)情況,結(jié)合地產(chǎn)、互聯(lián)網(wǎng)行業(yè)內(nèi)的
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 唐山市2024-2025學(xué)年高一上學(xué)期期末考試英語試卷(含答案)
- 中國詩詞大會:30道關(guān)于詩詞中兒童形象的選擇題(附答案和解釋)
- 2025年區(qū)塊鏈技術(shù)考試題及答案
- 2025年大咯血考試試題及答案
- 2025年暴雨心理測試試題及答案
- 保健按摩師中級復(fù)習(xí)測試附答案
- 工業(yè)機(jī)器人應(yīng)用編程1+X中級練習(xí)試題
- 工業(yè)機(jī)器人復(fù)習(xí)試題含答案
- 2025年二波疫情測試題及答案
- 2025年傳熱學(xué)試題庫及答案
- 20以內(nèi)退位減法口算練習(xí)題100題30套(共3000題)
- 2024年湖南鐵道職業(yè)技術(shù)學(xué)院單招職業(yè)技能測試題庫及答案解析word版
- 2024發(fā)電企業(yè)智慧電廠智慧安防技術(shù)方案
- 騰訊專有云產(chǎn)品介紹-售前篇
- 火花機(jī)保養(yǎng)維護(hù)計(jì)劃表
- 六年級心理健康教育課件
- 弦切角-相交弦-切割線定理
- 棘輪機(jī)構(gòu)與槽輪機(jī)構(gòu)
- 云南省普通高中學(xué)生學(xué)分認(rèn)定及管理辦法
- 公司借款申請表
- 化工制圖第一章制圖的基本知識課件
評論
0/150
提交評論