打造數(shù)據(jù)中央廚房-助力大數(shù)據(jù)創(chuàng)業(yè)

打造數(shù)據(jù)中央廚房助力大數(shù)據(jù)創(chuàng)業(yè)引言大數(shù)據(jù)為新財富，價值堪比石油——世界經(jīng)濟論壇報告數(shù)據(jù)列入企業(yè)資產(chǎn)負債表只是時間問題——維克托一個組織如果沒有認識到管理數(shù)據(jù)和信息如同管理有形資產(chǎn)一樣極其重要，那么他在新經(jīng)濟時代將無法生存——湯姆.彼得斯數(shù)據(jù)創(chuàng)業(yè)維艱：從零到一創(chuàng)業(yè)公司往往面臨著招人難、融資難、推廣難等等各種困境。在瞬息萬變的移動互聯(lián)網(wǎng)領(lǐng)域，創(chuàng)業(yè)公司要想在巨頭的夾縫中求生存，高效的產(chǎn)品研發(fā)能力和快速更新迭代，才是生存與發(fā)展的關(guān)鍵。聚焦產(chǎn)品創(chuàng)新企業(yè)可以聚焦在專業(yè)領(lǐng)域，把數(shù)據(jù)獲取和清洗環(huán)節(jié)作為產(chǎn)品的外延服務(wù)據(jù)統(tǒng)計：一個數(shù)據(jù)分析項目中，數(shù)據(jù)獲取，數(shù)據(jù)清洗等準(zhǔn)備工作占據(jù)了將近70%的時間。數(shù)據(jù)準(zhǔn)備環(huán)節(jié)：70%其他工作環(huán)節(jié)：30%數(shù)據(jù)準(zhǔn)備包括：數(shù)據(jù)獲取、數(shù)據(jù)清洗、存儲歸檔等其他工作包括：數(shù)據(jù)觀察、數(shù)據(jù)建模、數(shù)據(jù)挖掘等數(shù)據(jù)AI生態(tài)圈長江眾創(chuàng)打造數(shù)據(jù)協(xié)同工作平臺，提供“數(shù)據(jù)中央廚房”服務(wù)，整合多方資源，孵化各類垂直場景金融數(shù)據(jù)及人工智能企業(yè)建設(shè)AI生態(tài)圈工商數(shù)據(jù)財務(wù)數(shù)據(jù)投融數(shù)據(jù)其他數(shù)據(jù)法院執(zhí)行企業(yè)辦公企業(yè)設(shè)備員工行為數(shù)據(jù)AI企業(yè)數(shù)據(jù)AI企業(yè)數(shù)據(jù)AI企業(yè)數(shù)據(jù)AI企業(yè)行業(yè)客戶行業(yè)客戶行業(yè)客戶行業(yè)客戶行業(yè)客戶數(shù)據(jù)采集、清洗、存儲、管理一體化數(shù)據(jù)協(xié)同工作平臺數(shù)據(jù)集成開發(fā)流程編碼和調(diào)試接口高層次需求高層次設(shè)計定義數(shù)據(jù)需求定義數(shù)據(jù)源定義清洗流程定義轉(zhuǎn)換和映射定義數(shù)據(jù)校對編碼和測試定義數(shù)據(jù)服務(wù)接口數(shù)據(jù)集成開發(fā)遵循完整的軟件項目開發(fā)流程數(shù)據(jù)源和目標(biāo)概要分析數(shù)據(jù)協(xié)同工作平臺一覽數(shù)據(jù)集成面臨的挑戰(zhàn)多源異構(gòu)數(shù)據(jù)源的接口復(fù)雜性多樣的應(yīng)用數(shù)據(jù)庫不同外部數(shù)據(jù)供應(yīng)商的接入?yún)f(xié)議（通信、數(shù)據(jù)格式、認證、加密、字典）多種類型的數(shù)據(jù)類型：結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化語義歧義同一概念在不同數(shù)據(jù)源的涵義不同不同概念在不同數(shù)據(jù)源的涵義相似實例歧義數(shù)據(jù)記錄唯一標(biāo)示關(guān)聯(lián)數(shù)據(jù)識別數(shù)據(jù)標(biāo)準(zhǔn)和質(zhì)量不規(guī)范格式、編碼、度量單位、缺值、多值等指標(biāo)、統(tǒng)計口徑不一致多源數(shù)據(jù)的更新頻率/方式不一致數(shù)據(jù)管理架構(gòu)應(yīng)對復(fù)雜的數(shù)據(jù)集成數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量管理數(shù)據(jù)生命周期管理數(shù)據(jù)交換數(shù)據(jù)分布和存儲數(shù)據(jù)模型主數(shù)據(jù)參考數(shù)據(jù)事務(wù)數(shù)據(jù)元數(shù)據(jù)管理概念模型邏輯模型物理模型技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)指標(biāo)元數(shù)據(jù)操作元數(shù)據(jù)數(shù)據(jù)安全數(shù)據(jù)協(xié)同工作平臺四大特點支持多源異構(gòu)數(shù)據(jù)源快速接入元數(shù)據(jù)配置驅(qū)動的采集和智能清洗流程基于容器的微服務(wù)架構(gòu)支持高并發(fā)及海量數(shù)據(jù)存儲數(shù)據(jù)全生命周期管理與溯源數(shù)據(jù)集成框架數(shù)據(jù)源運營管理數(shù)據(jù)采集數(shù)據(jù)源管理采集任務(wù)調(diào)度管理采集監(jiān)控RawData數(shù)據(jù)預(yù)處理清洗流程管理智能數(shù)據(jù)清洗數(shù)據(jù)質(zhì)量控制FactData數(shù)據(jù)集市數(shù)據(jù)模型管理數(shù)據(jù)服務(wù)接口管理數(shù)據(jù)同步管理AppData元數(shù)據(jù)管理權(quán)限管理用戶管理數(shù)據(jù)管理運行監(jiān)控資源調(diào)度日志管理多租戶管理行業(yè)應(yīng)用數(shù)據(jù)協(xié)同工作平臺關(guān)鍵技術(shù)指標(biāo)存儲量千億量級數(shù)據(jù)PB級空間容量吞吐量日均億級數(shù)據(jù)處理秒級單次采集及清洗可靠性所有數(shù)據(jù)保留三份全量副本動態(tài)資源調(diào)度應(yīng)對高峰壓力技術(shù)架構(gòu)數(shù)據(jù)采集服務(wù)數(shù)據(jù)預(yù)處理服務(wù)數(shù)據(jù)集市采集任務(wù)調(diào)度采集服務(wù)-1采集服務(wù)-2采集服務(wù)-n..分布式消息服務(wù)Kafka節(jié)點分布式計算服務(wù)Spark節(jié)點分布式日志服務(wù)Elastic

Search節(jié)點清洗流程調(diào)度清洗服務(wù)-1清洗服務(wù)-2清洗服務(wù)-n..分布式HBase存儲數(shù)據(jù)切片MySQL存儲數(shù)據(jù)切片MySQL存儲Docker容器集群管理（SWARM）資源調(diào)度|運行監(jiān)控|自動部署|負載均衡數(shù)據(jù)同步調(diào)度同步服務(wù)-1同步服務(wù)-2同步服務(wù)-n..采集API服務(wù)清洗API服務(wù)數(shù)據(jù)接口服務(wù)統(tǒng)一認證服務(wù)認證服務(wù)節(jié)點分布式緩存服務(wù)Redis節(jié)點發(fā)展理念打造數(shù)據(jù)中央廚房，助力數(shù)據(jù)企業(yè)孵化秉承MOM理

念，共建AI產(chǎn)業(yè)生態(tài)圈產(chǎn)品與服務(wù)社群服務(wù)數(shù)據(jù)服務(wù)咨詢顧問創(chuàng)投孵化數(shù)據(jù)愛好者社群服務(wù)數(shù)據(jù)咨詢師社群服務(wù)企業(yè)家社群服務(wù)為傳統(tǒng)行業(yè)中的企業(yè)提供大數(shù)據(jù)+相關(guān)咨詢顧問關(guān)聯(lián)數(shù)據(jù)公司及AI職能

的孵化和投資場景金融數(shù)據(jù)服務(wù)數(shù)據(jù)“中央廚房”公司形成以數(shù)據(jù)服務(wù)為核心以咨詢顧問、社群服務(wù)、投資孵化服務(wù)為支撐相互協(xié)同的業(yè)務(wù)格局數(shù)創(chuàng)空間站長江眾創(chuàng)積極響應(yīng)國家“大眾創(chuàng)業(yè)，萬眾創(chuàng)新”的號召在上海、北京、寧波等地建立數(shù)創(chuàng)客空間（DatakerStation）,助力大數(shù)據(jù)&人工智能產(chǎn)業(yè)創(chuàng)新升級其中上海的空間站為浦東新區(qū)創(chuàng)新型孵化器數(shù)創(chuàng)空間站為大數(shù)據(jù)及人工智能創(chuàng)新企業(yè)提供辦公空間與人才聚集平臺,大數(shù)據(jù)技術(shù)支持的多樣化全流程服務(wù)體系同時為各階段創(chuàng)業(yè)者提供投融資對接服務(wù)，釋放入孵企業(yè)發(fā)展?jié)撃?加速入孵企業(yè)成長,幫助創(chuàng)業(yè)者走好每一步聯(lián)合辦公數(shù)據(jù)中央廚房共享知識管理平臺創(chuàng)業(yè)導(dǎo)師指導(dǎo)數(shù)據(jù)人才保障投融資對接數(shù)創(chuàng)空間站目前，數(shù)創(chuàng)空間站已經(jīng)孵化了公司內(nèi)外數(shù)個大數(shù)據(jù)創(chuàng)新項目，助力大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新升級。致力于成為中國領(lǐng)先的泛娛樂大數(shù)據(jù)服務(wù)商致力于成為最I(lǐng)N的數(shù)據(jù)客在線社群致力于成為公信力卓越的數(shù)據(jù)驅(qū)動型征信服務(wù)平臺致力于成為中國一流的獨立基金信息