大數(shù)據(jù)技術(shù)的創(chuàng)新與實(shí)踐

大數(shù)據(jù)技術(shù)的創(chuàng)新與實(shí)踐今日議程大數(shù)據(jù)發(fā)展趨勢(shì)13大數(shù)據(jù)技術(shù)實(shí)踐大數(shù)據(jù)業(yè)務(wù)創(chuàng)新2

智物智慧銀行

大移將數(shù)據(jù)資產(chǎn)轉(zhuǎn)化為業(yè)務(wù)價(jià)值云未來(lái)有哪些可以巧借的創(chuàng)新技術(shù)？大數(shù)據(jù)關(guān)系型->MPP->Hadoop數(shù)據(jù)湖、信息水庫(kù)、數(shù)據(jù)資產(chǎn)數(shù)權(quán)法、數(shù)據(jù)交易所物聯(lián)網(wǎng)、VR虛擬技術(shù)2020年25億設(shè)備聯(lián)網(wǎng)自動(dòng)駕駛虛擬技術(shù)移動(dòng)互聯(lián)移動(dòng)AppO2O線上線下融合智能化、認(rèn)知技術(shù)數(shù)字化->信息可視化->智能化嵌入式BI->敏捷BI全員探索報(bào)表->數(shù)理統(tǒng)計(jì)->自我學(xué)習(xí)認(rèn)知技術(shù)云平臺(tái)、云計(jì)算、區(qū)塊鏈Iaas/Pass/Saas，公有云/私有云虛擬化VS容器技術(shù)區(qū)塊鏈數(shù)據(jù)處理能力快速增長(zhǎng)帶來(lái)的技術(shù)變革RDBMSTBPBEBbatchinteractivereal-timestructuredimagestextvideostatisticspredictiondatamining新技術(shù)在四個(gè)維度上快速增加處理能力大數(shù)據(jù)量Volume可處理的數(shù)據(jù)量從TB、PB增加到EB高速Velocity從離線處理進(jìn)步到實(shí)時(shí)數(shù)據(jù)處理多樣Variety記錄、文本、圖片、音頻、視頻等多種數(shù)據(jù)類型準(zhǔn)確價(jià)值Veracity從基于歷史的統(tǒng)計(jì)，發(fā)展到數(shù)據(jù)挖掘和預(yù)測(cè)性分析數(shù)據(jù)處理的軟件棧在過(guò)去十年中從底向上幾乎全部被重寫大數(shù)據(jù)技術(shù)的高速發(fā)展集中式計(jì)算->分布式計(jì)算Google發(fā)表GFS論文，第二年發(fā)表MapReduce論文雅虎貢獻(xiàn)Hadoop源碼Hadoop成為Apache頂級(jí)項(xiàng)目20032004DoungCutting創(chuàng)立Nutch搜索項(xiàng)目，并基于Google論文實(shí)現(xiàn)DFS/MapReduce2006Google發(fā)表BigTable論文ApacheHadoop項(xiàng)目正式成立Doung加入雅虎并開始部署Hadoop2006-20082008Cloudera作為第一個(gè)Hadoop發(fā)行版公司成立20092011Hortonworks成立，MapR成立2013Spark發(fā)布2013Greenplum發(fā)布Hadoop版本PivotalHDGartner發(fā)布數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)管理解決方案魔力象限，首次將Hadoop廠商作為遠(yuǎn)見(jiàn)者進(jìn)行評(píng)判2015Spark成為Apache頂級(jí)項(xiàng)目，所有Hadoop發(fā)行版廠商宣布支持Spark2016HADOOPtimelineHadoop技術(shù)發(fā)展與現(xiàn)狀Facebook開源HIVEHadoop第一個(gè)版本發(fā)布20072011Hadoop2.0發(fā)布，引入資源管理YARNHBase發(fā)布星環(huán)科技基于Spark的交互式SQL引擎（Inceptor）能穩(wěn)定處理100TB，支持分布式事務(wù)和存儲(chǔ)過(guò)程，Spark技術(shù)已經(jīng)領(lǐng)先于國(guó)外同行2014Cloudera創(chuàng)始人將Impala作為交互式SQL引擎，其他Hadoop組件遷移到Spark上來(lái)Cloudera公布繼HBase以后的第一個(gè)Hadoop原生存儲(chǔ)替代方案——KuduSpark的流行將逐漸讓MapReduce、Tez走進(jìn)博物館2008星環(huán)科技公司成立2013星環(huán)科技核心研發(fā)團(tuán)隊(duì)同步開始Hadoop平臺(tái)研發(fā)決策支持?jǐn)?shù)據(jù)探索與業(yè)務(wù)預(yù)測(cè)統(tǒng)計(jì)分析數(shù)據(jù)存儲(chǔ)與聯(lián)機(jī)查詢自主學(xué)習(xí)

無(wú)監(jiān)督深度學(xué)習(xí)自適應(yīng)進(jìn)化演算

產(chǎn)品差異化定價(jià)信用風(fēng)險(xiǎn)、催收分析、關(guān)聯(lián)風(fēng)險(xiǎn)

業(yè)務(wù)數(shù)據(jù)探索模型測(cè)試驗(yàn)證

業(yè)務(wù)統(tǒng)計(jì)報(bào)表自助報(bào)表分析

生產(chǎn)數(shù)據(jù)實(shí)時(shí)與T+1復(fù)制作業(yè)數(shù)據(jù)直接存儲(chǔ)

事件觸發(fā)式自動(dòng)推理引擎自然語(yǔ)言理解與虛擬機(jī)器人

流動(dòng)性風(fēng)險(xiǎn)實(shí)時(shí)預(yù)警反欺詐（在線欺詐、欺詐網(wǎng)絡(luò)、索賠欺詐…)

業(yè)務(wù)趨勢(shì)預(yù)測(cè)客戶行為預(yù)測(cè)（流失預(yù)測(cè)、精準(zhǔn)營(yíng)銷）

客戶細(xì)分統(tǒng)計(jì)分析、客戶戶畫像

支持歷史數(shù)據(jù)在線查詢

支持明細(xì)查詢、關(guān)鍵字查詢及全文索引

大數(shù)據(jù)相關(guān)技術(shù)

給企業(yè)帶來(lái)更強(qiáng)的數(shù)據(jù)處理和計(jì)算能力，使得較難實(shí)現(xiàn)的需求快速突破了原有技術(shù)瓶頸。大數(shù)據(jù)在金融行業(yè)的能力進(jìn)階實(shí)時(shí)準(zhǔn)實(shí)時(shí)離線批處理DataScientist數(shù)據(jù)科學(xué)家DataEngineers數(shù)據(jù)分析師BusinessAnalyst業(yè)務(wù)分析師CasualUser普通用戶統(tǒng)計(jì)學(xué)、抽象數(shù)學(xué)、編程、業(yè)務(wù)流程等方面的專家。負(fù)責(zé)溝通與領(lǐng)導(dǎo)。數(shù)據(jù)、統(tǒng)計(jì)軟件、統(tǒng)計(jì)模型等方面的專家，充分理解計(jì)算機(jī)處理“陷阱”或誤區(qū)。利用在線分析處理和多維工具，創(chuàng)建新的業(yè)務(wù)模型，部分人員熟悉計(jì)算機(jī)語(yǔ)言和計(jì)算機(jī)處理技術(shù)。定期使用門戶和預(yù)置接口，較少有設(shè)計(jì)多維分析的能力。大數(shù)據(jù)技術(shù)的人才儲(chǔ)備戰(zhàn)略今日議程大數(shù)據(jù)發(fā)展趨勢(shì)13大數(shù)據(jù)技術(shù)實(shí)踐大數(shù)據(jù)業(yè)務(wù)創(chuàng)新2傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)面臨的挑戰(zhàn)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)量增大、應(yīng)用不斷增加，運(yùn)行沉重緩慢，不堪重負(fù)數(shù)據(jù)處理延時(shí)長(zhǎng)，無(wú)法看到實(shí)時(shí)運(yùn)營(yíng)狀況數(shù)據(jù)源不斷增多，訪問(wèn)和數(shù)據(jù)同步變得復(fù)雜；開始包括非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)；上層業(yè)務(wù)和使用部門增多，資源管理和安全控制變得困難。Scalable

Traditional

Data

Warehouse可伸縮的云計(jì)算架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)ContextIndependentData

Warehouse上下文無(wú)關(guān)聯(lián)數(shù)據(jù)倉(cāng)庫(kù)Logical

Data

Warehouse邏輯數(shù)據(jù)倉(cāng)庫(kù)原先的邏輯數(shù)據(jù)模型，不能有效支撐數(shù)據(jù)快速分析和價(jià)值發(fā)現(xiàn)；需要新的方法發(fā)掘數(shù)據(jù)的統(tǒng)計(jì)相關(guān)性、因果關(guān)系、關(guān)聯(lián)關(guān)系等規(guī)律。OperationalData

Warehouse實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)Hadoop大數(shù)據(jù)平臺(tái)應(yīng)具備的能力CRM現(xiàn)有業(yè)務(wù)系統(tǒng)ETL調(diào)度Flume宏觀政策/經(jīng)濟(jì)社交網(wǎng)絡(luò)其他信息…非/半結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)Kafka實(shí)時(shí)接收非結(jié)構(gòu)化處理日志處理影像存儲(chǔ)文本分析圖檢索結(jié)構(gòu)化數(shù)據(jù)處理實(shí)時(shí)決策平臺(tái)(StreamSQL)流式處理實(shí)時(shí)研判自助分析平臺(tái)(SQL)自助報(bào)表交互探索數(shù)據(jù)探索平臺(tái)(R)統(tǒng)計(jì)預(yù)測(cè)模型發(fā)現(xiàn)離線批處理平臺(tái)(SQL)數(shù)據(jù)加工主題模型ERPHRFinance……貼源層輕度匯總層元數(shù)據(jù)管理明細(xì)層數(shù)據(jù)質(zhì)量管理主題模型層作業(yè)調(diào)度管理檢索平臺(tái)(SQL)明細(xì)查詢綜合搜索T+0~T+1實(shí)時(shí)風(fēng)控?cái)?shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市用戶畫像實(shí)時(shí)推薦自助分析歷史數(shù)據(jù)查詢交易流水查詢精準(zhǔn)營(yíng)銷模型實(shí)驗(yàn)室審計(jì)業(yè)務(wù)ACRM日志監(jiān)控、預(yù)警、分析實(shí)時(shí)運(yùn)維預(yù)警小微貸款報(bào)表業(yè)務(wù)擔(dān)保鏈分析風(fēng)險(xiǎn)分析賬單查詢產(chǎn)品差異化定價(jià)欺詐分析民生銀行：自助分析大數(shù)據(jù)平臺(tái)行內(nèi)各級(jí)業(yè)務(wù)人員存款系統(tǒng)CRM理財(cái)系統(tǒng)柜員系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)加工固定報(bào)表數(shù)據(jù)集市數(shù)據(jù)服務(wù)平臺(tái)35家分行及下屬支行報(bào)告展示即時(shí)查詢績(jī)效評(píng)價(jià)數(shù)據(jù)交互批處理公共服務(wù)數(shù)據(jù)推送數(shù)據(jù)展示定制服務(wù)數(shù)據(jù)加工核心運(yùn)營(yíng)指標(biāo)計(jì)算模型展示4000+報(bào)表圖形化預(yù)測(cè)/展示核心模塊用戶全景視圖公共報(bào)表客戶流失日新增1.5張固定報(bào)表自助報(bào)表數(shù)據(jù)產(chǎn)品自助挖掘ATM手機(jī)銀行…….人行工商征信結(jié)算公安法院…….內(nèi)部數(shù)據(jù)外部數(shù)據(jù)Sqoop/PentahoSqoop/Pentaho/FTP理財(cái)產(chǎn)品分析挖掘報(bào)表制作客戶分析客戶服務(wù)產(chǎn)品管理運(yùn)營(yíng)監(jiān)控精準(zhǔn)營(yíng)銷風(fēng)險(xiǎn)控制在線推薦業(yè)務(wù)規(guī)劃異常交易監(jiān)管報(bào)送應(yīng)用開發(fā)駕駛艙Traditional

Data

Warehouse數(shù)據(jù)建模20個(gè)Hadoop節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)配2x1TB

PCIeSSD，所有數(shù)據(jù)緩存到SSD自助分析平臺(tái)數(shù)據(jù)實(shí)驗(yàn)室民生銀行：小微企業(yè)在線融資-大數(shù)據(jù)征信小微貸款服務(wù)平臺(tái)2014年下半年上線每家企業(yè)選取200個(gè)財(cái)務(wù)指標(biāo)采用分類算法對(duì)企業(yè)進(jìn)行信用評(píng)估恒豐銀行：大數(shù)據(jù)邏輯數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市數(shù)據(jù)服務(wù)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)接入源數(shù)據(jù)綜合監(jiān)管集市數(shù)據(jù)分析集市歷史數(shù)據(jù)服務(wù)接口數(shù)據(jù)服務(wù)接口DSI統(tǒng)一調(diào)度平臺(tái)公共數(shù)據(jù)模型層CDM源數(shù)據(jù)歷史層HDM基礎(chǔ)數(shù)據(jù)模型層FDM公共數(shù)據(jù)模型層CDM源數(shù)據(jù)歷史層HDM基礎(chǔ)數(shù)據(jù)模型層FDM源數(shù)據(jù)緩沖區(qū)ODM結(jié)構(gòu)化數(shù)據(jù)接入文件交換區(qū)FSA源數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)客戶關(guān)系管理集市審計(jì)、反洗錢等其它大數(shù)據(jù)管理平臺(tái)非結(jié)構(gòu)化數(shù)據(jù)接入非結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)社交媒體信息第三方數(shù)據(jù)···非結(jié)構(gòu)數(shù)據(jù)區(qū)歷史數(shù)據(jù)平臺(tái)在線數(shù)據(jù)平臺(tái)數(shù)據(jù)運(yùn)維體系恒豐銀行：構(gòu)建360度的客戶畫像-精準(zhǔn)營(yíng)銷客戶之間的關(guān)系客戶經(jīng)理與客戶的關(guān)系……客戶關(guān)系信息客戶風(fēng)險(xiǎn)信息客戶溝通信息客戶財(cái)務(wù)信息客戶資產(chǎn)信息客戶聯(lián)系信息客戶事件信息客戶基本信息客戶產(chǎn)品信息客戶維度重大事件，公司開業(yè)、生日等違約事件，提前還款、逾期等可疑事件，可能發(fā)生的一些事……客戶名稱證件類信息客戶性質(zhì)信息……存款類產(chǎn)品信貸類產(chǎn)品卡類產(chǎn)品……信用評(píng)級(jí)黑名單……客戶利潤(rùn)貢獻(xiàn)度……客戶資產(chǎn)相關(guān)信息……客戶聯(lián)系信息，包括營(yíng)業(yè)地址電話、聯(lián)系地址、公司網(wǎng)址、電郵地址等客戶建議信息、申請(qǐng)信息、溝通信息、回訪信息、投訴信息、調(diào)查信息等業(yè)務(wù)系統(tǒng)數(shù)據(jù)客戶基本產(chǎn)品信息賬戶信息交易信息……銀行內(nèi)外大數(shù)據(jù)供應(yīng)鏈信息微博信息社交網(wǎng)站信息音頻視頻……恒豐銀行：商圈分析-輔助渠道營(yíng)銷決策ID名稱ID名稱ID名稱1五角場(chǎng)6徐家匯11大柏樹2浦東建材市場(chǎng)7靜安寺-南京路-人民廣場(chǎng)12婁山關(guān)路3金沙江路中環(huán)路口8虹莘路13新世界4漕河涇9金沙江路祁連山路14長(zhǎng)壽路5中山公園10陸家嘴實(shí)時(shí)刷卡信息（來(lái)自銀聯(lián)）定義商圈商圈聚類模型分析與選擇模型擬合動(dòng)態(tài)商圈區(qū)域即時(shí)呈現(xiàn)，收縮變化一目了然二級(jí)商圈的挖掘人群密度趨勢(shì)研判恒豐銀行：異常擔(dān)保分析與實(shí)時(shí)交易風(fēng)險(xiǎn)監(jiān)控實(shí)時(shí)欺詐監(jiān)測(cè)客戶痛點(diǎn)：目前對(duì)于詐騙的發(fā)現(xiàn)具有滯后性，如何加快識(shí)別欺詐、避免銀行經(jīng)濟(jì)損失成為當(dāng)務(wù)之急‘解決方案：利用Transwarpdiscover神經(jīng)網(wǎng)絡(luò)模型及聚類分析模型等。結(jié)合Transwarpstream抽取實(shí)時(shí)數(shù)據(jù)，與discover中模型進(jìn)行匹配，可實(shí)現(xiàn)實(shí)時(shí)的欺詐監(jiān)測(cè)異常關(guān)系擔(dān)?？蛻敉袋c(diǎn)：銀行需要在信貸業(yè)務(wù)中準(zhǔn)確掌握客戶之間的相互關(guān)聯(lián)，通過(guò)數(shù)據(jù)扭轉(zhuǎn)信息不對(duì)稱帶來(lái)的風(fēng)險(xiǎn)。解決方案：利用Transwarpdiscover分析我行協(xié)議當(dāng)事人關(guān)系，進(jìn)行分層聚類分析，找出擔(dān)保關(guān)系網(wǎng)絡(luò)中最薄弱分析，更好的預(yù)防風(fēng)險(xiǎn)。星環(huán)TDH+Discover客戶行為分析解決方案星環(huán)Discover數(shù)據(jù)洞察平臺(tái)基于大數(shù)據(jù)全量建模分析,挖掘出140維客戶特征，實(shí)現(xiàn)多維客戶行為并發(fā)分析星環(huán)Discover采用機(jī)器自動(dòng)學(xué)習(xí)機(jī)制,提高分析準(zhǔn)確度6倍解決方案當(dāng)前ETL工具抽取源系統(tǒng)數(shù)據(jù)至傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)，再使用SAS工具采用專家經(jīng)驗(yàn)機(jī)制挖掘分析小微貸傾向與客戶或有資產(chǎn)預(yù)測(cè);性能、容量等數(shù)據(jù)處理能力限制，只能抽取較少維度數(shù)據(jù)，過(guò)分依賴專家經(jīng)驗(yàn)，導(dǎo)致小微貸傾向與客戶或有資產(chǎn)預(yù)測(cè)準(zhǔn)確率較低?？蛻籼魬?zhàn)突破傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)能力限制，存儲(chǔ)管理客戶行為分析所需全量數(shù)據(jù)改進(jìn)分析模式為機(jī)器自動(dòng)學(xué)習(xí)機(jī)制小微貸傾向分析TOP10000客戶推薦成功轉(zhuǎn)化率提高6倍客戶或有金融資產(chǎn)預(yù)測(cè)誤差率由60%降至30%客戶價(jià)值江蘇銀行：融創(chuàng)智庫(kù)大數(shù)據(jù)業(yè)務(wù)創(chuàng)新平臺(tái)精準(zhǔn)營(yíng)銷業(yè)務(wù)創(chuàng)新1、用不同活動(dòng)滾動(dòng)覆蓋到不同的客戶和產(chǎn)品，達(dá)到不同的經(jīng)營(yíng)目標(biāo)（KPI)2、建立經(jīng)典的金牌活動(dòng)，吸引合作商家和持卡人：比如最紅星期五3、開發(fā)了20多個(gè)模型對(duì)客戶進(jìn)行標(biāo)簽4、采用名單式漏斗對(duì)客戶進(jìn)行層層篩選、溝通、邀約、獎(jiǎng)勵(lì)和差別化服務(wù)平安銀行：新一代大數(shù)據(jù)風(fēng)險(xiǎn)分析平臺(tái)企業(yè)級(jí)大數(shù)據(jù)平臺(tái)：高可靠、高安全、易管理、易開發(fā)提供大數(shù)據(jù)批處理、即席查詢、實(shí)時(shí)查詢?nèi)蝿?wù)的統(tǒng)一調(diào)度和管理?yè)碛袃?nèi)核級(jí)開發(fā)的工程團(tuán)隊(duì)和咨詢、服務(wù)能力多家金融企業(yè)應(yīng)用，規(guī)劃設(shè)計(jì)、實(shí)施經(jīng)驗(yàn)豐富解決方案在互聯(lián)網(wǎng)金融時(shí)代，急需建設(shè)統(tǒng)一的大數(shù)據(jù)平臺(tái)，在此基礎(chǔ)上開發(fā)創(chuàng)新的新型金融產(chǎn)品，推動(dòng)金融大數(shù)據(jù)轉(zhuǎn)化為真正的生產(chǎn)力金融數(shù)據(jù)量和種類不斷增加，傳統(tǒng)數(shù)據(jù)平臺(tái)在處理、存儲(chǔ)、擴(kuò)容能力等方面已無(wú)法滿足要求客戶挑戰(zhàn)大數(shù)據(jù)平臺(tái)存儲(chǔ)擴(kuò)展可達(dá)PB級(jí)，提供統(tǒng)一大數(shù)據(jù)任務(wù)管理能力大數(shù)據(jù)業(yè)務(wù)：數(shù)據(jù)倉(cāng)庫(kù)、風(fēng)險(xiǎn)分析平臺(tái)、貸款清單查詢展示系統(tǒng)…貸款清單查詢，快于開源HIVE12倍的速度；在線歷史交易明細(xì)查詢，由只能查詢1年內(nèi)明細(xì)提升到6年內(nèi)明細(xì)客戶價(jià)值企業(yè)級(jí)大數(shù)據(jù)平臺(tái)：高可靠、高安全、易管理、易開發(fā)分布式日志收集系統(tǒng)自動(dòng)地將各分行的日志收集到總部大數(shù)據(jù)平臺(tái)統(tǒng)一管理：分布式日志收集系統(tǒng)+大數(shù)據(jù)分析平臺(tái)基于訪問(wèn)日志的用戶行為統(tǒng)計(jì)和分析模型擁有內(nèi)核級(jí)開發(fā)的工程團(tuán)隊(duì)和咨詢、服務(wù)能力解決方案應(yīng)對(duì)互聯(lián)網(wǎng)金融的競(jìng)爭(zhēng)，需要掌握網(wǎng)銀和手機(jī)APP用戶行為軌跡，精準(zhǔn)營(yíng)銷，擴(kuò)大銷售；優(yōu)化網(wǎng)銀服務(wù)模塊的質(zhì)量，提升客戶體驗(yàn)安全、運(yùn)維操作日志的關(guān)聯(lián)分析，提高故障發(fā)生時(shí)故障點(diǎn)定位的準(zhǔn)確率，提升故障響應(yīng)速度客戶挑戰(zhàn)統(tǒng)一的分布式日志收集+分析大數(shù)據(jù)平臺(tái)；數(shù)據(jù)收集周期大大縮短基于網(wǎng)銀和手機(jī)APP用戶行為統(tǒng)計(jì)和分析，客戶體驗(yàn)改進(jìn)日志和用戶信息關(guān)聯(lián)分析應(yīng)用于：用戶畫像和客戶營(yíng)銷、反欺詐支撐客戶價(jià)值四川農(nóng)信：分布式日志采集與分析平臺(tái)中泰證券：大數(shù)據(jù)技術(shù)創(chuàng)新應(yīng)用規(guī)劃聚合的數(shù)據(jù)平臺(tái)尋求效益深度洞察用戶融合數(shù)據(jù)以用戶為中心以大數(shù)據(jù)為基礎(chǔ)數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)流程和商業(yè)模式交易數(shù)據(jù)新渠道客戶數(shù)據(jù)APP互聯(lián)網(wǎng)域第三方

市場(chǎng)輿情精準(zhǔn)營(yíng)銷為用戶推薦個(gè)性化的投資計(jì)劃基于用戶交易模型的營(yíng)銷價(jià)值轉(zhuǎn)化精準(zhǔn)廣告投放，廣告價(jià)值分析客戶體驗(yàn)關(guān)懷體系優(yōu)化服務(wù)入口、一致的服務(wù)體驗(yàn)價(jià)值挖掘客戶統(tǒng)一視圖：客戶價(jià)值模型、客戶興趣模型、產(chǎn)品和市場(chǎng)計(jì)劃微博數(shù)據(jù)挖掘、營(yíng)銷分析、客戶關(guān)聯(lián)分析風(fēng)險(xiǎn)監(jiān)控用戶流式分析、市場(chǎng)輿情監(jiān)控、交易風(fēng)險(xiǎn)分析決策支持第一創(chuàng)業(yè)證券：金融文本挖掘與知識(shí)檢索企業(yè)風(fēng)險(xiǎn)評(píng)估語(yǔ)義檢索企業(yè)知識(shí)圖譜分布式爬蟲KafkaInceptor結(jié)構(gòu)化Discover語(yǔ)義分析全文檢索語(yǔ)義檢索2已有外部數(shù)據(jù)1批量導(dǎo)入HDFSDiscover后端前端展現(xiàn)國(guó)家工商總局：企業(yè)任職與投資關(guān)系圖譜分析利用大數(shù)據(jù)圖計(jì)算形成企業(yè)和企業(yè)之間的投資關(guān)系分析為每一個(gè)企業(yè)繪制其相關(guān)的投資關(guān)系圖普，挖掘出潛在的利害關(guān)系解決方案需要一個(gè)數(shù)據(jù)查詢系統(tǒng)來(lái)存放企業(yè)多方面的信息，如：登記信息、行政處罰信息、企業(yè)重要人員信息、投資者信息等；需要通過(guò)大數(shù)據(jù)平臺(tái)進(jìn)行企業(yè)關(guān)聯(lián)分析，構(gòu)建企業(yè)信用體系?？蛻籼魬?zhàn)通過(guò)大數(shù)據(jù)平臺(tái)的銷售數(shù)據(jù)進(jìn)行批發(fā)、大客戶關(guān)聯(lián)分析，構(gòu)建企業(yè)客戶價(jià)值、信用評(píng)價(jià)。對(duì)于預(yù)測(cè)大客戶、批發(fā)客戶需求，提前精準(zhǔn)營(yíng)銷、新一年對(duì)于這些重要客戶資源投放量、服務(wù)具有重要意義?？蛻魞r(jià)值自然人E投資投資人企業(yè)C企業(yè)B企業(yè)A投資供應(yīng)商投資人企業(yè)D自然人F個(gè)體戶G配偶親屬投訴財(cái)報(bào)解決方案客戶挑戰(zhàn)客戶價(jià)值南網(wǎng)廣州供電局：輸變電設(shè)備全景可視化我國(guó)最早的區(qū)域電網(wǎng)，供電客戶約500萬(wàn)。至2015年，廣州局用電實(shí)時(shí)數(shù)據(jù)量為5千萬(wàn)條/天；預(yù)估智能電表和物聯(lián)網(wǎng)下達(dá)到12-80億條/天傳統(tǒng)數(shù)據(jù)庫(kù)處理大數(shù)據(jù)量任務(wù)時(shí)需執(zhí)行16小時(shí)以上，分析速度慢，而且經(jīng)常由于資源搶占分析不出結(jié)果企業(yè)版Hadoop平臺(tái)：高可靠，高安全，易管理、易開發(fā)標(biāo)準(zhǔn)SQL2003和全兼容Oracle-PL/SQL，遷移成本低擁有內(nèi)核級(jí)開發(fā)的工程團(tuán)隊(duì)和咨詢、服務(wù)能力線性擴(kuò)容，大數(shù)據(jù)量時(shí)并發(fā)處理速度快更優(yōu)的服務(wù)質(zhì)量：在線查詢10年的歷史數(shù)據(jù)詳單更佳的處理性能：相比Oracle平均有4-5倍的性能提升提供標(biāo)準(zhǔn)SQL2003和全兼容Oracle-PL/SQL，遷移成本低海量數(shù)據(jù)存儲(chǔ)、計(jì)算能力，電網(wǎng)數(shù)據(jù)質(zhì)量系統(tǒng)，由5天減少到1天解決方案客戶挑戰(zhàn)客戶價(jià)值中國(guó)聯(lián)通：構(gòu)建統(tǒng)一大數(shù)據(jù)平臺(tái)-挖掘存量經(jīng)營(yíng)的價(jià)值應(yīng)用煙囪式建設(shè)，多種應(yīng)用系統(tǒng)獨(dú)立存儲(chǔ)，數(shù)據(jù)無(wú)法共享，跨部門獲取數(shù)據(jù)長(zhǎng)達(dá)數(shù)月缺乏有效的數(shù)據(jù)資產(chǎn)管理，不清楚到底有多少數(shù)據(jù)/模型/規(guī)則，數(shù)據(jù)安全隱患大現(xiàn)有系統(tǒng)支撐數(shù)據(jù)量有限，且數(shù)據(jù)量越大，分析處理速度越慢統(tǒng)一的企業(yè)級(jí)大數(shù)據(jù)平臺(tái)，數(shù)據(jù)分級(jí)存儲(chǔ)，一份數(shù)據(jù)、一份存儲(chǔ)統(tǒng)一的數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)安全管理標(biāo)準(zhǔn)的數(shù)據(jù)共享訪問(wèn)接口和能力開放接口線性擴(kuò)容，大數(shù)據(jù)量時(shí)并發(fā)處理速度不減平臺(tái)節(jié)點(diǎn)近1000個(gè)，是國(guó)內(nèi)除了BAT之外最大的大數(shù)據(jù)混搭平臺(tái)，數(shù)據(jù)存儲(chǔ)能力達(dá)到30PB級(jí)，多應(yīng)用并發(fā)處理速度快數(shù)據(jù)資產(chǎn)有效管理，加速挖掘數(shù)據(jù)價(jià)值解決方案客戶挑戰(zhàn)客戶價(jià)值湖北移動(dòng)：歷史話費(fèi)詳單查詢效率提升詳單數(shù)據(jù)量年增長(zhǎng)30%，每月達(dá)到50TB，傳統(tǒng)數(shù)據(jù)庫(kù)容量無(wú)法支撐，擴(kuò)容成本高。目前只能支持在線1個(gè)月話費(fèi)詳單查詢傳統(tǒng)數(shù)據(jù)庫(kù)處理大數(shù)據(jù)量任務(wù)時(shí)需執(zhí)行6小時(shí)以上，分析速度慢，而且經(jīng)常由于資源搶占分析不出結(jié)果企業(yè)版Hadoop平臺(tái)：高可靠，高安全，易管理、易開發(fā)主備大數(shù)據(jù)業(yè)務(wù)集群，100+大數(shù)據(jù)節(jié)點(diǎn)擁有內(nèi)核級(jí)開發(fā)的工程團(tuán)隊(duì)和咨詢、服務(wù)能力線性擴(kuò)容，大數(shù)據(jù)量時(shí)并發(fā)處理速度快更優(yōu)的服務(wù)質(zhì)量：在線查詢6~24個(gè)月的歷史話費(fèi)詳單更佳的處理性能：最大500用戶并發(fā)查詢?nèi)蝿?wù)，響應(yīng)時(shí)間小于500ms提供ad-hoc即席查詢功能PB級(jí)海量數(shù)據(jù)存儲(chǔ)、計(jì)算能力，經(jīng)分業(yè)務(wù)并發(fā)分析，由5天減少到1天上海移動(dòng)：利用基站數(shù)據(jù)進(jìn)行人流分析通過(guò)基站數(shù)據(jù)定位用戶的活動(dòng)區(qū)域通過(guò)基站上網(wǎng)數(shù)據(jù)分析用戶的關(guān)注點(diǎn)、出行目的、出行時(shí)間通過(guò)人群密集度算法，算出時(shí)間、經(jīng)緯度、人群密度等關(guān)鍵指標(biāo)，分析出人群遷移和密度變化趨勢(shì)華數(shù)傳媒：多維度的數(shù)據(jù)挖掘和精準(zhǔn)營(yíng)銷獲取用戶業(yè)務(wù)訪問(wèn)特征值構(gòu)建用戶個(gè)性化標(biāo)簽信息集合挖掘用戶的消費(fèi)屬性并對(duì)相應(yīng)的產(chǎn)品進(jìn)行包裝預(yù)測(cè)現(xiàn)有客戶購(gòu)買相關(guān)產(chǎn)品的可能性獲取客戶其他業(yè)務(wù)的訂購(gòu)信息，尋找業(yè)務(wù)之間的關(guān)聯(lián)性進(jìn)行產(chǎn)品的組合消費(fèi)和引導(dǎo)根據(jù)用戶訪問(wèn)數(shù)據(jù)提煉熱點(diǎn)信息、進(jìn)行排行根據(jù)熱點(diǎn)內(nèi)容進(jìn)行有針對(duì)性的廣告投放用戶消費(fèi)模型產(chǎn)品關(guān)聯(lián)模型內(nèi)容熱度模型用戶特征模型價(jià)值核算模型通過(guò)分析用戶行為，評(píng)估某一內(nèi)容的市場(chǎng)價(jià)值預(yù)測(cè)未來(lái)可能火爆的內(nèi)容預(yù)測(cè)（Prediction）數(shù)據(jù)分組（AffinityGrouping）聚類（Clustering）描述（Description）復(fù)雜數(shù)據(jù)挖掘1.用戶為中心的面向主題的數(shù)據(jù)分析框架思想客戶為中心的業(yè)務(wù)規(guī)劃面向主題的業(yè)務(wù)模型自定2.數(shù)據(jù)分析框架的主要事件分類（Classification）估計(jì)（Estimation）廣東佛山：禪城社區(qū)綜合治理大數(shù)據(jù)平臺(tái)項(xiàng)目背景：數(shù)據(jù)量巨大，數(shù)據(jù)類型豐富，包含結(jié)構(gòu)化數(shù)據(jù)、文檔、圖片、視頻等外部數(shù)據(jù)環(huán)境復(fù)雜，無(wú)法有效整合利用各部門數(shù)據(jù)孤立，無(wú)法共享業(yè)務(wù)分散，無(wú)法統(tǒng)一管理解決方案：基于星環(huán)大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)歸一整合利用流技術(shù)實(shí)現(xiàn)實(shí)時(shí)監(jiān)控預(yù)警如人流監(jiān)控基于數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)城市智能化管理客戶收益：基于大數(shù)據(jù)形成統(tǒng)一的市政管理平臺(tái)，整合分散零碎的業(yè)務(wù)數(shù)據(jù)共享共通，不再有數(shù)據(jù)孤島基于歷史城市事件進(jìn)行數(shù)據(jù)挖掘，形成智能決策平臺(tái)，實(shí)現(xiàn)城市智能化管理利用實(shí)時(shí)技術(shù)實(shí)現(xiàn)人流監(jiān)控預(yù)警，提升城市安全人流密度實(shí)時(shí)監(jiān)控廣東佛山：禪城社區(qū)綜合治理大數(shù)據(jù)平臺(tái)區(qū)委辦實(shí)時(shí)事件處理城市事件統(tǒng)計(jì)今日議程大數(shù)據(jù)發(fā)展趨勢(shì)13大數(shù)據(jù)技術(shù)實(shí)踐大數(shù)據(jù)業(yè)務(wù)創(chuàng)新2中國(guó)最早自主研發(fā)的大數(shù)據(jù)基礎(chǔ)軟件率先支持銀行業(yè)復(fù)雜關(guān)鍵應(yīng)用的大數(shù)據(jù)平臺(tái)國(guó)內(nèi)落地應(yīng)用案例最豐富的大數(shù)據(jù)廠商31全球最具有前瞻性的大數(shù)據(jù)廠商——Gartner2016年數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)管理解決方案魔力象限遠(yuǎn)見(jiàn)者領(lǐng)域Gartner認(rèn)可的全球六大（中國(guó)唯一）Hadoop發(fā)行版廠商之一最早入選中央政府采購(gòu)網(wǎng)的Hadoop發(fā)行版產(chǎn)品星環(huán)科技典型案例

（國(guó)內(nèi)落地案例最多）金融（20+）銀行、保險(xiǎn)、證券電信運(yùn)營(yíng)商（20+）移動(dòng)、聯(lián)通、電信交通公安（30+）山東、遼寧、浙江等能源電力國(guó)網(wǎng)+南網(wǎng)互聯(lián)網(wǎng)電商+CDN政府工商+稅務(wù)+司法物流快遞EMS廣播電視華數(shù)+衛(wèi)視

我們的部分客戶>200個(gè)Strengths■Althoughayoungvendor,TranswarphasgainedtractionintheChinesemarket.Ithaswon200clientsinlessthan18months.■Transwarphasauniquesetofcapabilities,suchasitsInceptorSQLcomponentbasedonApacheSpark,withOracleSQLandPL/SQLcompatibilitysupportingcreate,read,update,delete(CRUD)andACIDoperations.Thiscomponentisparticularlypraisedbyreferencecustomers.■ReferencecustomersindicatedthattheyareverysatisfiedwithTranswarp'sproduct,aswellaswiththesupportandtrainingthatthecompanyoffers.優(yōu)勢(shì)星環(huán)科技雖然年輕，但是已經(jīng)在中國(guó)市場(chǎng)中頗具影響力——星環(huán)科技在18個(gè)月內(nèi)贏取了200個(gè)客戶。星環(huán)科技的產(chǎn)品有其獨(dú)特的功能，例如它的SQL引擎Inceptor，基于ApacheSpark，兼容OracleSQL和PL/SQL，支持事務(wù)處理的CRUD(CREATE,READ,UPDATE,DELETE)并能保證ACID。Inceptor在被調(diào)查的用戶中受到了非常高的評(píng)價(jià)。被調(diào)查的用戶表示他們對(duì)星環(huán)的產(chǎn)品、支持以及提供的培訓(xùn)都非常滿意。Cautions■Sofar,TranswarpoperatesinChinaonly.Thatsaid,thesizeoftheChinesemarket,anditsspecificrequirements,offersplentyofscopeforTranswarptoexpand.■Transwarphasyettoofferacloudsolution,althoughitindicatesthatthecloudisonitsroadmap.■Referencecustomerspointedtosomemissingfunctionality,particularlywithregardtoadministrationandmanagement,andhighlightedalackofskillsinthemarket.However,acrossthewholespectrumofcustomerexperience,Transwarp'scustomersawardedscoresequaltotheaverageforthismarket.注意目前，星環(huán)僅在中國(guó)有業(yè)務(wù)。雖然如此，中國(guó)龐大的市場(chǎng)以及中國(guó)市場(chǎng)特有的要求給星環(huán)的發(fā)展空間巨大。雖然暫時(shí)還沒(méi)有推出云上的解決方案，但是星環(huán)科技的云解決方案已經(jīng)在計(jì)劃中。被調(diào)查的客戶指出星環(huán)的產(chǎn)品還有一些功能的缺失，尤其在產(chǎn)品的管理功能方面。被調(diào)客戶還指出市場(chǎng)中對(duì)口人才的稀缺。即使如此，被調(diào)客戶對(duì)星環(huán)科技各方面的評(píng)價(jià)都持平報(bào)告中的平均水平。六大Hadoop發(fā)行版廠商之一三年內(nèi)兩百多落地案例國(guó)內(nèi)首個(gè)Spark計(jì)算框架平臺(tái)“Transwarpisprobablythecoolest#Hadoopcompanyevenyou'veneverheardoftranswarp.io.”

--NickHeudecker,Gartner分析師唯一一家上榜的中國(guó)公司

被Gartner評(píng)為全球最具有前瞻性的大數(shù)據(jù)廠商2016年Gartner數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)管理魔力象限報(bào)告Gartner數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵能力排名Strengths■Althoughayoungvendor,TranswarphasgainedtractionintheChinesemarket.Ithaswon200clientsinlessthan18months.■Transwarphasauniquesetofcapabilities,suchasitsInceptorSQLcomponentbasedonApacheSpark,withOracleSQLandPL/SQLcompatibilitysupportingcreate,read,update,delete(CRUD)andACIDoperations.Thiscomponentisparticularlypraisedbyreferencecustomers.■ReferencecustomersindicatedthattheyareverysatisfiedwithTranswarp'sproduct,aswellaswiththesupportandtrainingthatthecompanyoffers.優(yōu)勢(shì)星環(huán)科技雖然年輕，但是已經(jīng)在中國(guó)市場(chǎng)中頗具影響力——星環(huán)科技在18個(gè)月內(nèi)贏取了200個(gè)客戶。星環(huán)科技的產(chǎn)品有其獨(dú)特的功能，例如它的SQL引擎Inceptor，基于ApacheSpark，兼容OracleSQL和PL/SQL，支持事務(wù)處理的CRUD(CREATE,READ,UPDATE,DELETE)并能保證ACID。Inceptor在被調(diào)查的用戶中受到了非常高的評(píng)價(jià)。被調(diào)查的用戶表示他們對(duì)星環(huán)的產(chǎn)品、支持以及提供的培訓(xùn)都非常滿意。Cautions■Sofar,TranswarpoperatesinChinaonly.Thatsaid,thesizeoftheChinesemarket,anditsspecificrequirements,offersplentyofscopeforTranswarptoexpand.■Transwarphasyettoofferacloudsolution,althoughitindicatesthatthecloudisonitsroadmap.■Referencecustomerspointedtosomemissingfunctionality,particularlywithregardtoadministrationandmanagement,andhighlightedalackofskillsinthemarket.However,acrossthewholespectrumofcustomerexperience,Transwarp'scustomersawardedscoresequaltotheaverageforthismarket.注意目前，星環(huán)僅在中國(guó)有業(yè)務(wù)。雖然如此，中國(guó)龐大的市場(chǎng)以及中國(guó)市場(chǎng)特有的要求給星環(huán)的發(fā)展空間巨大。雖然暫時(shí)還沒(méi)有推出云上的解決方案，但是星環(huán)科技的云解決方案已經(jīng)在計(jì)劃中。被調(diào)查的客戶指出星環(huán)的產(chǎn)品還有一些功能的缺失，尤其在產(chǎn)品的管理功能方面。被調(diào)客戶還指出市場(chǎng)中對(duì)口人才的稀缺。即使如此，被調(diào)客戶對(duì)星環(huán)科技各方面的評(píng)價(jià)都持平報(bào)告中的平均水平。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)排名第七位邏輯數(shù)據(jù)倉(cāng)庫(kù)排名第七位機(jī)器學(xué)習(xí)及數(shù)據(jù)探索類數(shù)據(jù)倉(cāng)庫(kù)排名并列第六位大數(shù)據(jù)生態(tài)及星環(huán)科技的公司定位AnalyticsasaServiceAnalyticsService&ApplicationsTransformation,Discovery&VisualizationToolsMachineLearning&StatisticsToolsHadoopDistributions&DatabasesInfrastructureTranswarpDataHub架構(gòu)圖最完整的SQL支持99%的SQL

2003支持，率先支持PL/SQL的引擎（98%），唯一支持ACID分布式事務(wù)的SQL引擎；定位數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市市場(chǎng)，可用于補(bǔ)充或替代Oracle、DB2等分析用數(shù)據(jù)庫(kù)。高效內(nèi)存/SSD計(jì)算第一個(gè)支持SSD的基于Hadoop的高效計(jì)算引擎，可比硬盤快一個(gè)數(shù)量級(jí)；可用于建立各種數(shù)據(jù)集市，對(duì)接多種主流報(bào)表工具。最完整的分布式機(jī)器學(xué)習(xí)算法庫(kù)支持最全（超過(guò)70余種）的分布式統(tǒng)計(jì)算法和機(jī)器學(xué)習(xí)算法，同時(shí)整合超過(guò)5000個(gè)R語(yǔ)言算法包。適合金融業(yè)風(fēng)險(xiǎn)控制、反欺詐、文本分析、精準(zhǔn)營(yíng)銷等應(yīng)用。支持最完整SQL和索引的NoSQL數(shù)據(jù)庫(kù)支持SQL2003、索引、全文索引，支持圖數(shù)據(jù)庫(kù)和圖算法，支持非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)支持高并發(fā)查詢最健壯和功能豐富的流處理框架支持真正的Exactly

Once語(yǔ)義支持所有組件的高可用(HA)支持流式SQL和流式機(jī)器學(xué)習(xí)TranswarpProprietaryApacheProjectsStream流處理引擎HyperbaseNoSQL數(shù)據(jù)庫(kù)搜索、圖計(jì)算TranswarpManagerInceptorPL/SQL批處理交互式分析資源管理YARN(內(nèi)置TranswarpExtension)優(yōu)化存儲(chǔ)HDFS(內(nèi)置TranswarpErasureCode)批處理框架MapReduce2協(xié)作服務(wù)Zookeeper消息隊(duì)列Kafka工作流Oozie日志采集Flume全文搜索ElasticSearch數(shù)據(jù)集成SqoopDiscover數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)交互工具HUEGuardian安全管控交互分析Zeppelin開發(fā)輔助WaterDrop實(shí)時(shí)同步DataAlive交互式分析引擎Inceptor-完整SQL支持DistributedExecutionEngine分布式執(zhí)行引擎Batch&InteractiveSQL

EngineJDBC4.0SHELLODBC3.5SQL2003Compiler語(yǔ)法解析器SQLParser優(yōu)化器RBO&CBO代碼生成CODEGENERATORTransactionManager分布式增刪改

DistributedCRUD事務(wù)并發(fā)控制器ConcurrencyControllerStarGate數(shù)據(jù)源連接器SourceHDFSText,

ORC,

ORCTransactionSourceOracleSourceHyperbase分布式內(nèi)存/SSD列式存儲(chǔ)HolodeskSourceDB2HDFSDriverHolodeskDriverHyperdrive驅(qū)動(dòng)層實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)計(jì)算算子下推以減少數(shù)據(jù)傳輸執(zhí)行計(jì)劃仍采用分布式計(jì)算……Connector中間件管理單元PL/SQLCompiler存儲(chǔ)過(guò)程解析器ProcedureParser控制流優(yōu)化器CFGOptimizer并行優(yōu)化器ParallelOptimizer多租戶管理Guardian計(jì)算資源配置ResourceManagement用戶安全授權(quán)管理Security&Authentication行級(jí)安全控制RowLevelSecurityDB2DriverOracleDriverApacheSpark基于內(nèi)存的Map/Reduce計(jì)算引擎，即將成為新一代主流計(jì)算框架。處理大數(shù)據(jù)像“光速”一樣快，比HadoopMap/Reduce快10x倍。Holodesk跨內(nèi)存/閃存/磁盤等介質(zhì)的分布式混合列式存儲(chǔ)，常用于緩存數(shù)據(jù)供Spark高速訪問(wèn)。Holodesk內(nèi)建內(nèi)存索引，可提供比開源Spark更高的交互式統(tǒng)計(jì)性能；結(jié)合使用低成本的內(nèi)存/SSD混合存儲(chǔ)方案，可接近全內(nèi)存存儲(chǔ)的分析性能。Most

complete

SQL

support兼容>95%

ANSISQL2003,HiveQL和>90%

PL/SQL語(yǔ)法，支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市等分析系統(tǒng)中常用的復(fù)雜分析型語(yǔ)法，方便應(yīng)用遷移。SQL引擎高度優(yōu)化的高速SQL引擎，可運(yùn)行在Spark或Map/Reduce上，可高速處理緩存在Holodesk上的列式數(shù)據(jù)。豐富的工具支持支持主流可視化和BI/挖掘工具，包括Tableau,IBMCognos,SAPBO,OracleBI,SAS等。支持Informatica，Pentaho/Kettle等ETL工具。DataFederation具備對(duì)多種關(guān)系數(shù)據(jù)庫(kù)和Hadoop數(shù)據(jù)源進(jìn)行交叉查詢，聚合，以及關(guān)聯(lián)操作等能力Inceptor不同版本功能描述標(biāo)準(zhǔn)版SQL2003,分布式事務(wù)專業(yè)版基礎(chǔ)版+內(nèi)存/SSD數(shù)據(jù)庫(kù)功能企業(yè)版專業(yè)版+PL/SQLFusionDistributedExecutionEngine分布式執(zhí)行引擎Association

Mining關(guān)聯(lián)/推薦Classification分類算法Clustering聚類算法Sequential

Analysis時(shí)序分析Regression回歸算法Deep

Learning深度機(jī)器學(xué)習(xí)DimensionReduction主成分分析Statistics統(tǒng)計(jì)算法R

Runtime

Library

R語(yǔ)言動(dòng)態(tài)運(yùn)行庫(kù)BeliefNetwork信念網(wǎng)絡(luò)Graph圖計(jì)算Sampling采樣算法Discriminate

Analysis判別分析Reinforcement

增強(qiáng)學(xué)習(xí)DecisionMethods決策方法FactorAnalysis因子分析Genetic遺傳算法Language

Interfaces

多語(yǔ)言接口Midas圖形界面RStudioIDE開發(fā)環(huán)境web

JSInterface

web展示接口HubbleCore算法計(jì)算接口Graphengine圖計(jì)算引擎CustomizedPlugins自定義插件TranswarpConnector–

SQLInterfacestoconnectdatasourcesIndustryTemplates行業(yè)模板FeatureEng特征工程StreamInceptorHyperbaseSQLInterface

SQL接口TranswarpDiscoverPlatform精準(zhǔn)營(yíng)銷數(shù)據(jù)層算法模型層使用層欺詐檢測(cè)文本挖掘?qū)崟r(shí)推薦信用風(fēng)險(xiǎn)流失預(yù)警客戶精分異常行為識(shí)別智能維護(hù)系統(tǒng)數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)Transwarp

Discover實(shí)時(shí)NewSQL數(shù)據(jù)庫(kù)HyperbaseTranswarpHBase–HadoopDatabase分布式BigTableTranswarpHyperdrive

–

SQL

backend

engine

between

Inceptor

&

HyperbaseReal-timeOLTP+OLAP+BATCH+Search+GraphTraversalApplicationMixedWorkload混合負(fù)載業(yè)務(wù)GraphlanguageScalableGraphDatabase圖形數(shù)據(jù)庫(kù)TransactionSQL

&

APITransactionExecutionEngine分布式事務(wù)處理引擎IndexSQL

&

APIGlobal/LocalIndex全局/局部索引Elastic

Search分布式全文索引DocumentSQL

&

APIDocument

Storejson/bson文檔存儲(chǔ)ObjectSQL

&

APIObject

Storeimage/files,

etc對(duì)象存儲(chǔ)SearchSQL

&APIDistributedFull-textSearch全文搜索Transwarp

InceptorHyperbase不同版本功能描述標(biāo)準(zhǔn)版OLTP支持高并發(fā)毫秒級(jí)數(shù)據(jù)插入/修改/查詢/刪除(CRUD)。結(jié)合InceptorSQL引擎，可以支持通過(guò)SQL進(jìn)行高并發(fā)的CRUD。支持分布式事務(wù)處理。支持常見(jiàn)數(shù)據(jù)類型，可更高效的存取數(shù)據(jù)OLAP支持多種索引（global/local/high-dimensionalindex）。結(jié)合Inceptor，可進(jìn)行行列存儲(chǔ)轉(zhuǎn)換，進(jìn)行秒級(jí)高效分析。支持復(fù)雜查詢條件，自動(dòng)利用索引加速數(shù)據(jù)檢索，無(wú)需指定索引。專業(yè)版基礎(chǔ)版+內(nèi)嵌搜索引擎實(shí)時(shí)同步創(chuàng)建索引實(shí)現(xiàn)秒級(jí)關(guān)鍵字搜索企業(yè)版專業(yè)版+圖數(shù)據(jù)庫(kù)支持高并發(fā)圖遍歷和檢索多類型支持結(jié)構(gòu)化記錄半結(jié)構(gòu)化文檔（JSON/BSON）非結(jié)構(gòu)化數(shù)據(jù)（圖片、音頻、二進(jìn)制文檔等）支持混合結(jié)構(gòu)數(shù)據(jù)的存儲(chǔ)、搜索、統(tǒng)計(jì)、分析支持SQL訪問(wèn)關(guān)系表和層次化文檔實(shí)時(shí)數(shù)據(jù)研判處理TranswarpStream計(jì)算層SourceManager數(shù)據(jù)源管理DistributedExecutionEngine分布式執(zhí)行引擎ApplicationManager流式任務(wù)管理服務(wù)StorageManager存儲(chǔ)管理SinkerManager輸出管理

TranswarpHyperbase

分布式NoSQL數(shù)據(jù)庫(kù)高速查詢或搜索在線數(shù)據(jù)挖掘時(shí)間窗口統(tǒng)計(jì)實(shí)時(shí)比對(duì)告警實(shí)時(shí)判斷告警實(shí)時(shí)數(shù)據(jù)TranswarpDataMart分布式內(nèi)存/SSD緩存高速數(shù)據(jù)探索分析StreamSQLSQLCompiler編譯器ODBCJDBCShellDataMining并行算法APIR語(yǔ)言量化模型StreamSQL

99%的ANSISQL2003的支持率強(qiáng)大的優(yōu)化器提升性能支持按時(shí)間切分滑動(dòng)窗口和滑動(dòng)步長(zhǎng)多數(shù)據(jù)源支持Socket文件Kafka……多種輸出方式支持HyperbaseHolodeskHDFS……企業(yè)數(shù)據(jù)總線支持從一個(gè)流讀入數(shù)據(jù)，再將其輸入另一個(gè)流，如常見(jiàn)的企業(yè)數(shù)據(jù)總線以Kafka為存儲(chǔ)中間件在線數(shù)據(jù)挖掘支持離線模型，在線預(yù)測(cè)時(shí)間窗口數(shù)據(jù)進(jìn)行實(shí)時(shí)挖掘分析Stream不同版本功能描述標(biāo)準(zhǔn)版基本流處理框架，支持流式聚合專業(yè)版基礎(chǔ)版+SQL企業(yè)版專業(yè)版+機(jī)器學(xué)習(xí)統(tǒng)一權(quán)限管控TranswarpGuardianBuild-inLDAPHAsupportedAccounting用戶管理Authentication用戶認(rèn)證Audit審計(jì)分布式文件系統(tǒng)HDFSRBAC支持Dir/FileaccesscontrolDir/FileACL用戶安全授權(quán)管理Grant/RevokeviaSQL行/列級(jí)安全控制Row/ColumnLevelInceptor流處理作業(yè)授權(quán)管理StreamApp/JobGrant/RevokeviaSQL主題級(jí)安全控制KafkaTopicLevelSecurityStream用戶安全授權(quán)管理AuthenticationwithInceptorandHDFSDiscover數(shù)據(jù)交互安全控制DataTransfer&Communication用戶安全授權(quán)管理Grant/RevokeviaSQL(withInceptor)單元格安全控制CellLevelHyperbaseDataAuthorization數(shù)據(jù)權(quán)限管理ExistingAD/LDAPwithKerberos使用既有用戶管理與認(rèn)證系統(tǒng)Build-inKerberosHAsupported公司部門一部門N…子部門子部門子部門子部門子部門子部門……………………Policy&AlertResourceUsageAuditGrant/RevokeAuditAccessControlAuditResourceAuthorization資源管理控制文件系統(tǒng)UsageQuotaControl數(shù)據(jù)庫(kù)/倉(cāng)庫(kù)StaticQuotaTempQuota存儲(chǔ)資源計(jì)算資源計(jì)算資源管理調(diào)度YARNQueueUse/AdminControlInceptor

PoolControlSLAControl用戶組管理員用戶超級(jí)管理員角色用戶組不斷沉淀的行業(yè)主題模型應(yīng)用模板貸款擔(dān)保信用風(fēng)險(xiǎn)對(duì)擔(dān)保網(wǎng)絡(luò)進(jìn)行圖譜分析，通過(guò)還款行為，全方位貸后貸中違約風(fēng)險(xiǎn)。通過(guò)深度高維學(xué)習(xí)進(jìn)行精準(zhǔn)客源獲取，廣泛用于分期和理財(cái)推薦中。360度零售和對(duì)公客戶視圖挖掘，深刻洞察了解客戶。神經(jīng)網(wǎng)絡(luò)和規(guī)則引擎雙重保障，助力企業(yè)攔截欺詐。非監(jiān)督和半監(jiān)督的客戶聚類，精準(zhǔn)分析了解客戶群體特征。用戶畫像欺詐檢測(cè)客戶精分精準(zhǔn)客源營(yíng)銷金融文本風(fēng)控檢索用文本信息建立企業(yè)風(fēng)險(xiǎn)模型，語(yǔ)義檢索話題、行業(yè)、事件、圖譜等。對(duì)用戶消費(fèi)行為進(jìn)行建模，流失模式和行為提前發(fā)現(xiàn)，提前挽回。購(gòu)物籃模型、相似度模型等基于客戶、產(chǎn)品、內(nèi)容的多重推薦。用戶訪問(wèn)安全路徑建模，識(shí)別網(wǎng)絡(luò)訪問(wèn)異常模式。根據(jù)pos機(jī)密度分布，精準(zhǔn)商圈定位和營(yíng)銷。實(shí)時(shí)推薦異常行為識(shí)別商圈聚類分析用戶流失預(yù)警智能可靠性維護(hù)工業(yè)數(shù)據(jù)故障診斷和可靠性維護(hù)建模。通過(guò)時(shí)序模型對(duì)價(jià)格、流量等時(shí)序敏感數(shù)據(jù)進(jìn)行預(yù)測(cè)和分析。實(shí)時(shí)人流密度估計(jì)；垃圾短信檢測(cè)。車輛積分稽查布控和套牌車分析。用戶畫像商品推薦自駕車遷徙路線成品油質(zhì)量生產(chǎn)環(huán)節(jié)運(yùn)營(yíng)商公安領(lǐng)域石油能源時(shí)序數(shù)據(jù)預(yù)測(cè)Midas——拖拽式圖形界面工具M(jìn)idas——圖形化分析步驟連接數(shù)據(jù)建立分析模型模型評(píng)估和可視化Waterdrop–SQL開發(fā)輔助工具為開發(fā)人員和數(shù)據(jù)庫(kù)管理人員提供的數(shù)據(jù)庫(kù)管理工具Eclipse插件DatabaseNavigatorSQLEditorSQLExecutorDataViewer自動(dòng)化環(huán)境健康檢查工具—Koalas圖計(jì)算GrapheneSQL支持ODBCJDBCShellSQLCompilerInceptorQueryEngineCypherCompilerApplicationManagerDistributedExecutionEngine(Spark)StorageManagerComputationFramework圖檢索類SQL語(yǔ)法支持復(fù)雜的搜索模型patterns多數(shù)據(jù)源支持實(shí)時(shí)響應(yīng)圖計(jì)算擴(kuò)展的SQL語(yǔ)法支持豐富的圖計(jì)算算法支持OLAP海量圖形分析支持GrapheneEngine十幾種豐富的圖計(jì)算算法支持，支持通過(guò)SQL進(jìn)行圖檢索、圖計(jì)算。TranswarpOperatingSystem云操作系統(tǒng)Transwarp

Operating

System磁盤存儲(chǔ)管理器網(wǎng)絡(luò)虛擬網(wǎng)絡(luò)管理器調(diào)度器調(diào)度etcd編排負(fù)載均衡器系統(tǒng)服務(wù)自動(dòng)擴(kuò)展replicator發(fā)現(xiàn)依賴name

serviceContainerPluginsContainers自定義應(yīng)用CPU/內(nèi)存基于優(yōu)先級(jí)調(diào)度HDFSYARNInceptorStreamElasticSearchHyperbasePigOoizeFlumeSqoopPostgresSQLRedisServiceRepositoryTranswarpOperatingSystem架構(gòu)CPU/MEMpriority-basedschedulerTranswarp

Operating

SystemDiskstoragemanagerNetworkVLANmanagerSchedulercoordinationetcdorchestrationloadbalancerSystem

Serviceauto-scalingreplicatordiscoveryname

serviceTOS的組成部分：Ring0：Docker/ContainerRing1：ResourceschedulerRing2：Built-in

systemservicesRing3：Centralservicerepository(dockerimages)ContainerPluginsContainersTOS顯著優(yōu)勢(shì)自動(dòng)一鍵部署運(yùn)行任何docker鏡像完善的資源隔離性彈性計(jì)算自動(dòng)擴(kuò)容自我修復(fù)TOS

+

TDH=IaaS

+

PaaS可用于構(gòu)建企業(yè)大數(shù)據(jù)私有云或者在公有云上提供大數(shù)據(jù)平臺(tái)服務(wù)我們的核心優(yōu)勢(shì)：功能遠(yuǎn)超國(guó)內(nèi)外友商TOS是為大數(shù)據(jù)應(yīng)用量身訂做的云操作系統(tǒng)基于Docker和KubernetesTOS支持一鍵部署TDH，基于優(yōu)先級(jí)的搶占式資源調(diào)度和細(xì)粒度資源分配資源彈性共享--提高資源利用率靈活部署：BigData+Application資源調(diào)度：Auto-scaling+Self-healing服務(wù)發(fā)現(xiàn)：CentralRepository隔離性--保障服務(wù)質(zhì)量和安全性數(shù)據(jù)隔離：DataSources,AccessPattern,ConfidentialLevels計(jì)算隔離：CPU,Memory,I/O應(yīng)用隔離TOS云操作系統(tǒng)統(tǒng)一管理--提高系統(tǒng)可管理性資源統(tǒng)一管理：CPU、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)突破單機(jī)管理局限：?jiǎn)螜C(jī)管理向集群管理服務(wù)統(tǒng)一管理：服務(wù)生命周期管理容器軟件導(dǎo)致的性能損失：<

1%Intel?SSDDCP3700IOPSLatency(us)Peakrate(MB/s)InterfaceRead460,0002.22800NVMe*PCIe*3.0Write175,00061900NVMe*PCIe*3.0Read/Write250,0004n/aNVMe*PCIe*3.0高密度一體機(jī)TxData-4TxData-4STxData-4MTxData-4HPernodeCOMPUTE/

PROCESSOR12/16CoresPerNode2IntelE5-2620v32.4GHzOR2IntelE5-2620v42.1GHz16/20

CoresPerNode

2IntelE5-2630v32.4GHzOR2IntelE5-2630v42.2GHz20/24

CoresPerNode2IntelE5-2650v32.30GHzOR2IntelE5-2650v42.2GHzMemory/

RAM64GB/128GB/256GB

DDR4RECC64GB/128GB/256GB

DDR4RECC64GB/128GB/256GB

DDR4RECCSTORAGE

RAW/FLASH800GB/1.2TB(option)800GB/1.2TB(option)800GB/1.2TB(option)STORAGE

RAW/HDD6TB/12TB6TB/12TB6TB/12TBNETWORK

CONNECTIONDualPort10GE(option)

DualPort1GEDualPort10GE(option)

DualPort1GEInifiniBand56G

DualPort10GE(option)

DualPort1GEnodesperclusterMININUMMAXIMUMINCREMENTS

444646