企業(yè)實時大數(shù)據(jù)平臺解決方案

1、企業(yè)實時大數(shù)據(jù)平臺解決方案醫(yī)療器械大數(shù)據(jù)面臨的困惑和挑戰(zhàn)CONTENTSPart 1Part 2解決方案產(chǎn)品介紹Part 3應用場景解決方案01企業(yè)實時大數(shù)據(jù)平臺的系統(tǒng)架構(gòu) 平臺層數(shù)據(jù)存儲 數(shù)據(jù)同步 數(shù)據(jù)融合 數(shù)據(jù)質(zhì)量 分析匯總 影像識別 報表生成 日志分析實時數(shù)據(jù)處理平臺文檔解析日志解析流式處理實時計算批量數(shù)據(jù)處理平臺數(shù)據(jù)分析與挖掘能力中心數(shù)據(jù)治理平臺數(shù)據(jù)標準管理數(shù)據(jù)安全管理生命周期管理元數(shù)據(jù)管理數(shù)據(jù)血緣管理展示層數(shù)據(jù)源采集層數(shù)據(jù)共享交換應用層 應用服務平臺社情民意大數(shù)據(jù)分析可用不可見日志/文本/網(wǎng)頁/論壇圖像/聲音/視頻統(tǒng)一監(jiān)控和管理門戶展示平臺Web微信APP大屏ERP/CRM/SCM傳

2、感器/地理位置等全內(nèi)存分布式數(shù)據(jù)庫第三方數(shù)據(jù)數(shù)據(jù)ETL跨源異構(gòu)聯(lián)邦連接器數(shù)據(jù)網(wǎng)管數(shù)據(jù)中控數(shù)據(jù)總線數(shù)據(jù)目錄數(shù)據(jù)質(zhì)量管理全內(nèi)存分布式流數(shù)據(jù)庫人工智能并行算法庫拖拽式全流程機器學習建模管理平臺駕駛艙宏觀經(jīng)濟統(tǒng)計分析運營商手機實時經(jīng)營分析零售業(yè)員工行為分析自動化碼頭車輛智能調(diào)度電力三維實景可視化分析工業(yè)運行監(jiān)測分析教育輿情大數(shù)據(jù)監(jiān)測分析運營商用戶標簽搜索企業(yè)實時大數(shù)據(jù)平臺的技術(shù)架構(gòu)ERP/CRM/SCM日志、文本、網(wǎng)頁、論壇圖像聲音視頻SqoopKafka圖片/聲音/視頻處理工具Rapids StreamDBFlume臨時數(shù)據(jù)區(qū)內(nèi)容標簽/屬性標簽HDFSHDFS傳感器/地理位置等結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化半結(jié)

3、構(gòu)化流數(shù)據(jù)源數(shù)據(jù)區(qū)預測模型數(shù)據(jù)分析區(qū)元數(shù)據(jù)管理模型數(shù)據(jù)批處理報表HDFS/RapidsDBRapids Federation數(shù)據(jù)存儲區(qū)數(shù)據(jù)集市熱數(shù)據(jù)冷數(shù)據(jù)部門數(shù)據(jù)部門數(shù)據(jù)部門數(shù)據(jù)實時數(shù)據(jù)清洗轉(zhuǎn)換計算應用展示區(qū)多維度分析固定報表即席查詢數(shù)據(jù)集成結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫表A.2XML半結(jié)構(gòu)化數(shù)據(jù)JSONSet元數(shù)據(jù)（業(yè)務元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、操作元數(shù)據(jù)）非結(jié)構(gòu)化數(shù)據(jù)文本圖片多媒體.數(shù)據(jù)集成數(shù)據(jù)抽取數(shù)據(jù)推送數(shù)據(jù)同步結(jié)構(gòu)化非結(jié)構(gòu)化半結(jié)構(gòu)化應用程序網(wǎng)絡(luò)爬蟲傳感器（攝像頭、溫度計、測速儀）數(shù)據(jù)源數(shù)據(jù)著陸區(qū)（Landing Area）數(shù)據(jù)預處理數(shù)據(jù)開發(fā)數(shù)倉建模、 ETL開發(fā)數(shù)據(jù)清洗二義性數(shù)據(jù)重復不完整違反業(yè)務規(guī)則數(shù)據(jù)

4、轉(zhuǎn)換統(tǒng)一字段命名統(tǒng)一數(shù)據(jù)類型統(tǒng)一時間格式統(tǒng)一編碼規(guī)范數(shù)據(jù)著陸區(qū)數(shù)據(jù)倉庫ODS層EDW層數(shù)據(jù)應用支撐用戶業(yè)務需求分析數(shù)據(jù)資源需求數(shù)據(jù)挖掘數(shù)據(jù)架構(gòu)實現(xiàn)(流式/實時/圖)數(shù)據(jù)資源導入數(shù)據(jù)應用開發(fā)業(yè)務邏輯開發(fā)Web開發(fā)數(shù)據(jù)可視化大屏開發(fā)PC/移動端開發(fā)數(shù)據(jù)準備數(shù)據(jù)資源交付EDW數(shù)據(jù)源數(shù)據(jù)應用產(chǎn)品需求導入需求分解數(shù)據(jù)架構(gòu)需求可視化需求應用層需求需求實現(xiàn)XXXXXXXX其他企業(yè)數(shù)據(jù)治理工作平臺數(shù)據(jù)治理工作平臺整合業(yè)務功能，發(fā)布數(shù)據(jù)服務數(shù)據(jù)目錄業(yè)務術(shù)語 | 按主題導航數(shù)據(jù)資產(chǎn)數(shù)據(jù)標準數(shù)據(jù)元標準化流程 | 標準化數(shù)據(jù)比照和清洗數(shù)據(jù)地圖/數(shù)據(jù)血緣數(shù)據(jù)統(tǒng)計指標 | 各類大盤展示 | 端到端的血緣 | 元數(shù)據(jù)全文搜

5、索數(shù)據(jù)質(zhì)量數(shù)據(jù)剖析 | 數(shù)據(jù)質(zhì)量監(jiān)控 | 數(shù)據(jù)質(zhì)量提升 | 數(shù)據(jù)質(zhì)量評估和考核數(shù)據(jù)管理數(shù)據(jù)源探索 | 數(shù)據(jù)表管理 | 生命周期管理數(shù)據(jù)安全數(shù)據(jù)權(quán)限控制 | 敏感級別 | 數(shù)據(jù)沙箱元數(shù)據(jù)服務和工作臺跨業(yè)務系統(tǒng)和數(shù)據(jù)庫的統(tǒng)一元數(shù)據(jù)管理多租戶基于角色的訪問控制 | 租戶數(shù)據(jù)安全隔離數(shù)據(jù)集成批量集成 | 增量和全量數(shù)據(jù)抽取工作流周期任務 | 任務執(zhí)行情況跟蹤和監(jiān)控安全認證登錄認證 | 活動日志及審計企業(yè)數(shù)據(jù)治理核心功能組件數(shù)據(jù)治理元數(shù)據(jù)管理數(shù)據(jù)血緣管理數(shù)據(jù)地圖數(shù)據(jù)質(zhì)量管理數(shù)據(jù)安全管理關(guān)注在共享、交換、存儲、計算時的數(shù)據(jù)安全問題，基于角色進行數(shù)據(jù)訪問權(quán)限的控制，支持9個級別的安全等級，對數(shù)據(jù)實體訪問進行

6、權(quán)限控制。通過集中的元數(shù)據(jù)服務，采集各個組成模塊的元數(shù)據(jù)進行集中管理。關(guān)注數(shù)據(jù)質(zhì)量監(jiān)控，包括數(shù)據(jù)質(zhì)量分析、評估、審計和提升數(shù)據(jù)質(zhì)量指標化、度量化。完整的記錄了數(shù)據(jù)的來源、加工過程等全鏈路詳細信息，并進行圖形化展示，方便用戶進行影響分析和問題回溯支持全息數(shù)據(jù)地圖，從租戶、時間、數(shù)據(jù)量等不同維度對數(shù)據(jù)進行可視化，方便用戶從宏觀角度對數(shù)據(jù)進行深入的理解；數(shù)據(jù)分布情況，支持數(shù)據(jù)的全文檢索，數(shù)據(jù)庫級別的數(shù)據(jù)流向可視化展示，數(shù)據(jù)按照時間維度的增量、存量展示。數(shù)據(jù)共享交換平臺目錄驅(qū)動數(shù)據(jù)交換數(shù)據(jù)供應方公安業(yè)務系統(tǒng)公安 工商工商業(yè)務系統(tǒng) 環(huán)保環(huán)保業(yè)務系統(tǒng)數(shù)據(jù)需求方平臺方數(shù)據(jù)編目發(fā)布數(shù)據(jù)注冊發(fā)布數(shù)據(jù)編目數(shù)據(jù)交換

7、申請數(shù)據(jù)交換申請人社業(yè)務系統(tǒng)人社數(shù)據(jù)資源目錄目錄驅(qū)動數(shù)據(jù)交換中心庫數(shù)據(jù)共享交換平臺安全交換基于大數(shù)據(jù)平臺的數(shù)據(jù)安全交換，數(shù)據(jù)不直接提供給申請者，只提供申請者數(shù)據(jù)描述、定義和脫敏示例數(shù)據(jù)在大數(shù)據(jù)平臺的交換空間中計算，返回給申請者計算結(jié)果，實現(xiàn)“可用不可見”如法人庫數(shù)據(jù)和稅務、金融、外貿(mào)數(shù)據(jù)在交換空間經(jīng)過混合計算后，對公眾提供信用查詢服務。法人庫中的敏感數(shù)據(jù)不會對外暴露，只向業(yè)務需求方提供信用相關(guān)的查詢結(jié)果法人數(shù)據(jù)法人庫業(yè)務部門稅務、金融、外貿(mào)數(shù)據(jù)稅務、金融、外貿(mào)混合計算法人信用公共服務授權(quán)授權(quán)需要計算客戶等級授權(quán)交換空間企業(yè)實時大數(shù)據(jù)平臺的優(yōu)勢總結(jié)獨特的聯(lián)邦數(shù)據(jù)處理引擎，可以連接操作多種數(shù)據(jù)源，

8、使數(shù)據(jù)處理、數(shù)據(jù)建模、數(shù)據(jù)分析更加靈活、便捷強大的存儲、處理能力高效的實時處理與分析能力獨特的聯(lián)邦處理引擎并行數(shù)據(jù)挖掘工具ACDEB支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化多種數(shù)據(jù)類型的實時處理與在線分析建設(shè)成本低構(gòu)建在x86通用硬件上，無需捆綁硬件，技術(shù)開放并行R提供了強大的計算能力，包含大量算法庫采用MPP架構(gòu)，支持計算、存儲節(jié)點線性擴展；采用分布式內(nèi)存分析引擎，最高可擴展致數(shù)百TB級平臺介紹02分布式文件存儲HDFS可擴展數(shù)據(jù)節(jié)點可擴展數(shù)據(jù)庫可擴展block高可靠性HA副本可擴展容災及備份策略數(shù)據(jù)計算，分析與挖掘交互式查詢 RapidsDBSQLFederationMPP ExecAPI存儲引擎數(shù)

9、據(jù)挖掘Python MahoutMLlib流數(shù)據(jù)處理Spark streamingStormRapidsStreamDB管控RM資源管理Rapids ManagerZookeeperAmbari管控數(shù)據(jù)與消息Flume數(shù)據(jù)收集Kafka消息隊列Sqoop數(shù)據(jù)遷移編程接口API（Java，SQL）, 應用適配（不同引擎對不同查詢的支持）ElasticSearch搜索Rapids ParallelRAIworkflow批處理Hive on TezSparkNoSQLHbase數(shù)據(jù)可視化智能分析內(nèi)容檢索OLAP日志分析音/視頻展示數(shù)據(jù)訂閱平臺架構(gòu)圖技術(shù)亮點大數(shù)據(jù)存儲Hadoop高性能大數(shù)據(jù)存儲： 全

10、面支持PB級海量數(shù)據(jù)存儲支高模塊化、松耦合五層架構(gòu)應對不同領(lǐng)域大數(shù)據(jù)離線處理場景技術(shù)亮點全內(nèi)存分布式數(shù)據(jù)庫RapidsDB全內(nèi)存分布式數(shù)據(jù)處理引擎：無磁盤IO：基于內(nèi)存，比傳統(tǒng)數(shù)據(jù)庫性能提高近百倍；高擴展：分布式，支持按需動態(tài)在線擴展；高吞吐：日增20TB數(shù)據(jù)量，實時采集、分析；支持100TB全內(nèi)存數(shù)據(jù)量分析高并發(fā)：支持500/S并發(fā)（100TB）；低延時：TB級數(shù)據(jù)毫秒級響應（ 1秒內(nèi)在3,000億條數(shù)據(jù)內(nèi)匹配唯一1行記錄）。系統(tǒng)技術(shù)亮點跨源異構(gòu)查詢連接器Rapids Federation 多源異構(gòu)數(shù)據(jù)聯(lián)邦：專用/通用連接器，實現(xiàn)多源異構(gòu)海量數(shù)據(jù)直接統(tǒng)一連接、關(guān)聯(lián)和分析，打破數(shù)據(jù)孤島和類型限

11、制；避免數(shù)據(jù)遷移風險：不改變原有架構(gòu)，無需數(shù)據(jù)遷移；標準SQL統(tǒng)一接口：使用 ANSI 標準 SQL 語言作為統(tǒng)一的接口語言進行數(shù)據(jù)互訪， 使企業(yè)內(nèi)部的廣泛異構(gòu)數(shù)據(jù)源能夠被邏輯整合。多源異構(gòu)海量數(shù)據(jù)統(tǒng)一連接、查詢、分析：Rapids Federation連通多個數(shù)據(jù)孤島統(tǒng)一的SQL，降低開發(fā)、與使用的難度連通多個數(shù)據(jù)孤島Rapids FederationOACRMERP業(yè)務系統(tǒng) 系統(tǒng)技術(shù)亮點全內(nèi)存流數(shù)據(jù)庫Rapids StreamDB基于內(nèi)存、分布式流數(shù)據(jù)分析與挖掘：國際標準：以此形成中國30年來唯一SQL9075 2018 流數(shù)據(jù)庫國際標準；流數(shù)據(jù)處理：海量流式數(shù)據(jù)實時采集、分析加速；無磁盤

12、IO：全內(nèi)存，性能提高近百倍；高擴展：分布式，支持按需動態(tài)在線擴展；高吞吐：日增20TB流數(shù)據(jù)，實時采集、分析；高并發(fā)： 60萬條每核每秒；提供基于時間窗口、事件數(shù)量窗口來呈現(xiàn) 滾動窗口、滑動窗口模式系統(tǒng)技術(shù)亮點人工智能并行算法庫Rapids ParallelR四大類38種主流算法：國際標準：以此形成中國30年來唯一的 AI-in-Database庫內(nèi)人工智能國際標準；海量數(shù)據(jù)學習：并行R，適用于大規(guī)模數(shù)據(jù)集；庫內(nèi)學習：數(shù)據(jù)庫內(nèi)完成深度學習和機器學習；零門檻：以函數(shù)形式實現(xiàn)算法直接拖拉拽，業(yè)務人員零門檻使用。統(tǒng)計分析降維集成算法 深度神經(jīng)網(wǎng)絡(luò)算法Rapids ParallelR數(shù)據(jù)分析與數(shù)據(jù)挖

13、掘性能對比支持標準x86服務器，大大降低了高性能業(yè)務的建設(shè)成本和后期運營成本存儲型一體機、分析型一體機：與曙光、浪潮、太極等廠商合作，基于存儲、分析兩種場景的各自特點，預裝了定制化并且調(diào)優(yōu)好的 Rapids Hadoop 和 Rapids Data Platform半配刀片服務器*14+機架式服務器*5+光纖交換機*2滿配刀片服務器*28+機架式服務器*5+光纖交換機*2多柜滿配*n4通道大容量DDR4內(nèi)存，10Gb/s光纖網(wǎng)絡(luò)企業(yè)數(shù)據(jù)一體機基于x86硬件、低建設(shè)和運營成本完全自主可控大數(shù)據(jù)平臺實現(xiàn)大數(shù)據(jù)平臺從應用層、解析層、優(yōu)化層、存儲引擎的完全自主可控。應用層解析層優(yōu)化層存儲引擎完全自主可

14、控完全自主安全可控平臺體系03應用場景通過建立各種指數(shù)或模型，反映宏觀經(jīng)濟的運行狀況和預測未來走勢，實時出具宏觀經(jīng)濟指標（劃分為超前、同步和滯后三類指標）及時采取有效的宏觀經(jīng)濟管理措施來應對經(jīng)濟發(fā)展的變化為政府提供靈活、便捷的經(jīng)濟發(fā)展態(tài)勢為研究機構(gòu)提供高品質(zhì)、低成本、更豐富的經(jīng)濟發(fā)展信息為企業(yè)制訂發(fā)展策略提供參考。政府行業(yè)應用宏觀經(jīng)濟統(tǒng)計分析平臺整合、分析相關(guān)業(yè)務廳局的行業(yè)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)實時監(jiān)管媒體網(wǎng)站、微博、公眾號、貼吧、論壇信息分級網(wǎng)格化管理全省企事業(yè)單位和機關(guān)黨委的信息系統(tǒng)、新聞網(wǎng)站、公眾號等信息及時化解網(wǎng)絡(luò)輿論危機（民眾對社會、經(jīng)濟、政策等質(zhì)疑）智享公共信息，實現(xiàn)多部門協(xié)調(diào)合作自動出具網(wǎng)上輿情監(jiān)管報告4.2 政府行業(yè)應用網(wǎng)信輿情大數(shù)據(jù)分析平臺“政府智庫”實現(xiàn)數(shù)字民生治理實時抓取涉及政治、經(jīng)濟、軍事、娛樂、體育、衛(wèi)生、科技等各領(lǐng)域的數(shù)據(jù)；全內(nèi)存計算，實現(xiàn)多源、海量、并行、實時分析處理；對公共事件的媒體報道和公眾輿論信息實時匯聚和統(tǒng)計分析；對突發(fā)事件及時發(fā)出預警，準確地把握全局性、苗頭性、傾向性問題；自動生成社情民意監(jiān)測專報，為民生服務提供及時、準確、