大數(shù)據(jù)培訓(xùn)教程大數(shù)據(jù)的來(lái)源和動(dòng)機(jī)課件

大數(shù)據(jù)培訓(xùn)教程大數(shù)據(jù)的來(lái)源和動(dòng)機(jī)課件BeInternetional大數(shù)據(jù)，盛名難負(fù)BeInternetional大數(shù)據(jù)，盛名難負(fù)Agenda1.大數(shù)據(jù)的時(shí)代背景2.大數(shù)據(jù)時(shí)代的典型技術(shù)Agenda1.大數(shù)據(jù)的時(shí)代背景1.大數(shù)據(jù)的時(shí)代背景1.大數(shù)據(jù)的時(shí)代背景大數(shù)據(jù)浪潮興起的主要脈絡(luò)2008年9月，NATURE，“SPECIALS:BigData”12月，計(jì)算社區(qū)聯(lián)盟，“BigDataComputing:CreatingRevolutionaryBreakthroughsinCommerce,Science,andSociety”2009年10月，ToyHey,“The4thParadigm:Data-IntensiveScienceDiscovery”2011年2月，SCIENCE，“SPECIALS:DealingwithData”5月，EMCWorld’2011,“CloudMeetsBigData”6月，麥肯錫，“BigData:TheNextFrontierforInnovation,competition,andproductivity”6月，IDC(SponsoredbyEMC)，“DIGTIALUNIVERSE:ExtractingValuefromChaos”2012年1月，達(dá)沃斯世界經(jīng)濟(jì)論壇，“BigData,BigImpact:NewPossibilitiesforInternationalDevelopment”3月，美國(guó)奧巴馬政府，“BigDataResearchandDevelopmentInitiative”5月，聯(lián)合國(guó)，“BigDataforDevelopment:ChallengesandOpportunities”大數(shù)據(jù)浪潮興起的主要脈絡(luò)2008年美國(guó)政府的大數(shù)據(jù)計(jì)劃具有很強(qiáng)烈的宣傳符號(hào)色彩3月29日：奧巴馬政府以“BigDataisaBigDeal”為題發(fā)布新聞。宣布投資2億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”以圖增強(qiáng)收集海量數(shù)據(jù)、分析萃取信息的能力。與工業(yè)界、大學(xué)研究界、非營(yíng)利性機(jī)構(gòu)與管理者一起利用大數(shù)據(jù)所創(chuàng)造的機(jī)會(huì)。5月23日：在TechCrunchDisrupt大會(huì)上，透露了5項(xiàng)將要頒布的重要聯(lián)邦舉措。其核心是政府開(kāi)放數(shù)據(jù)計(jì)劃，將政府?dāng)?shù)據(jù)和一些企業(yè)數(shù)據(jù)公開(kāi)，以圖改善美國(guó)人的生活方式，進(jìn)而創(chuàng)造工作崗位。6個(gè)首先啟動(dòng)大數(shù)據(jù)計(jì)劃的政府部門(mén)中，國(guó)家科學(xué)基金會(huì)的研究?jī)?nèi)容提到要“形成一個(gè)包含數(shù)學(xué)、統(tǒng)計(jì)基礎(chǔ)和計(jì)算機(jī)算法的獨(dú)特科學(xué)”，其他大多是應(yīng)對(duì)挑戰(zhàn)的數(shù)據(jù)工程類(lèi)項(xiàng)目，如國(guó)防部高級(jí)技術(shù)研究局多尺度異常檢測(cè)項(xiàng)目網(wǎng)絡(luò)內(nèi)部威脅項(xiàng)目INSIGHT(網(wǎng)絡(luò)威脅自動(dòng)識(shí)別)MachineReading項(xiàng)目Mind’sEys(機(jī)器視覺(jué))項(xiàng)目VIRAT(軍事圖像分析與預(yù)警)XDATA(半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的計(jì)算技術(shù)與軟件工具)美國(guó)政府的大數(shù)據(jù)計(jì)劃具有很強(qiáng)烈的宣傳符號(hào)色彩3月29日：奧巴ObamaElectionTOPContributorObamaElectionTOPContributor大數(shù)據(jù)培訓(xùn)教程大數(shù)據(jù)的來(lái)源和動(dòng)機(jī)課件麥肯錫的咨詢報(bào)告比較系統(tǒng)的確立了大數(shù)據(jù)的概念麥肯錫的咨詢報(bào)告比較系統(tǒng)的確立了大數(shù)據(jù)的概念大數(shù)據(jù)培訓(xùn)教程大數(shù)據(jù)的來(lái)源和動(dòng)機(jī)課件更為深遠(yuǎn)的可能是“數(shù)據(jù)科學(xué)”的最終興起Allthemodelsarewrong,andincreasinglyyoucansucceedwithoutthem.-FromPeterNorvig,GOOGLE2007年，已故圖靈獎(jiǎng)得主吉姆.格雷（JimGray）在他最后一次演講中描繪了數(shù)據(jù)密集型科研“第四范式”（The4thParadigm）的愿景。即相對(duì)于試驗(yàn)科學(xué)（第一范式）、理論科學(xué)（第二范式）、計(jì)算科學(xué)（第三范式）而言。數(shù)據(jù)科學(xué)繼承了統(tǒng)計(jì)學(xué)的很多東西。。。強(qiáng)調(diào)后見(jiàn)之明（hindsight）或預(yù)見(jiàn)（foresight）而非洞察（insight）強(qiáng)調(diào)相關(guān)關(guān)系（correlation）而非因果關(guān)系（causality）Correlationisenoughandtheendoftheory!*“DataScience”在字眼上最早由EMC提出。。。更為深遠(yuǎn)的可能是“數(shù)據(jù)科學(xué)”的最終興起AllthemodBigData是什么–用于承載所有的概念BigData的定義–盛名之下，其實(shí)難負(fù)廣義的:大數(shù)據(jù)已經(jīng)不再局限于技術(shù)領(lǐng)域。如今，大數(shù)據(jù)已成為一項(xiàng)業(yè)務(wù)上優(yōu)先考慮的工作任務(wù)，因?yàn)樗軌驅(qū)θ蛘辖?jīng)濟(jì)時(shí)代的商務(wù)產(chǎn)生深遠(yuǎn)的影響。除了為應(yīng)對(duì)長(zhǎng)期存在的業(yè)務(wù)挑戰(zhàn)提供解決方案之外，大數(shù)據(jù)還為流程、組織、整個(gè)行業(yè)、甚至社會(huì)本身的轉(zhuǎn)型激發(fā)了許多新的方式。狹義的:BigData泛指數(shù)據(jù)集的大小，產(chǎn)生的速度和數(shù)據(jù)類(lèi)型超過(guò)了通常的數(shù)據(jù)庫(kù)，數(shù)據(jù)管理軟件在限定的時(shí)間范圍內(nèi)所能獲取，存儲(chǔ)，管理和分析的范疇。這是一個(gè)相對(duì)的概念，不能從絕對(duì)意義上指明某一個(gè)數(shù)值來(lái)定義，而且這個(gè)相對(duì)的標(biāo)準(zhǔn)根據(jù)所處的行業(yè)和客戶的不同千差萬(wàn)別BigData是什么–用于承載所有的概念BigData市場(chǎng)曲線市場(chǎng)曲線2.大數(shù)據(jù)時(shí)代的典型技術(shù)2.大數(shù)據(jù)時(shí)代的典型技術(shù)以GOOGLE為代表的互聯(lián)網(wǎng)公司是大數(shù)據(jù)發(fā)展的始作俑者大數(shù)據(jù)可以說(shuō)發(fā)軔于GOOGLE于2003年陸續(xù)發(fā)表的一些技術(shù)論文-“TheGoogleFileSystem”“MapReduce:SimplifiedDataProcessingonLargeCluster”“Bigtable:ADistributedStorageSystemforStructuredData”HDFS是GFS的開(kāi)源實(shí)現(xiàn)Fackbook的HayStack解決了海量小文件（如圖片）的存儲(chǔ)問(wèn)題NoSQL(NotOnlySQL)GOOGLE的BIGTABLEAMAZON的DYNAMOYAHOO的PNUTSACIDvsBASEBasicallyavailableSoftstateEventuallyconsistent以弱一致獲取高可用基于SPANNER的混合型數(shù)據(jù)庫(kù)F1(用于GOOGLE的廣告系統(tǒng))融合兼有了BIGTABLE的高擴(kuò)展性與SQL數(shù)據(jù)庫(kù)的可用性和功能性以GOOGLE為代表的互聯(lián)網(wǎng)公司是大數(shù)據(jù)發(fā)展的始作俑者大數(shù)據(jù)BigData的代表技術(shù)

AgileprovisioningElasticcomputepowerScalablestorageresources

Devicemanagement

andanalyticsGeolocationinformationSocialbusiness

interactions

DatastreamsanalysisHighperformanceInfrastructure

Ultralowresponsetime

HorizontalscalabilityHadoopNoSQLStreamingPureSQLandRDBMSapproachBetterhorizontalscalabilitythantraditionalRDBMS

RelativelowhardwareinfrastructureMPPDBBigData的代表技術(shù)AgileprovisioninSQLOnHadoop數(shù)據(jù)庫(kù)的擴(kuò)展，延伸和增強(qiáng)是Hadoop技術(shù)在目前企業(yè)市場(chǎng)最迫切，最可行和可落地的需求Hadoop技術(shù)的可接受度是一個(gè)大問(wèn)題MapReduce運(yùn)算模式與以往的方式大相徑庭，具有比較陡峭的學(xué)習(xí)曲線以Hadoop技術(shù)為平臺(tái)的系統(tǒng)的設(shè)計(jì)，開(kāi)發(fā)，實(shí)施，運(yùn)維，優(yōu)化對(duì)于企業(yè)來(lái)說(shuō)是巨大的挑戰(zhàn)SQL支持為大數(shù)據(jù)技術(shù)的落地打開(kāi)了一扇大門(mén)成熟的社區(qū)和技術(shù)體系架構(gòu)業(yè)界大量的數(shù)據(jù)依然是結(jié)構(gòu)化數(shù)據(jù)Pre-ProcessingHubQuery-ableArchiveExploratoryAnalysisInformationIntegrationDataWarehouseStreamsReal-time

processingHadoopLandingzoneforalldataDataWarehouseHadoopCancombinewithunstructuredinformationDataWarehouse1231.海量數(shù)據(jù)集成預(yù)處理2.歷史數(shù)據(jù)管理系統(tǒng)3.跨域探索性分析SQLOnHadoop數(shù)據(jù)庫(kù)的擴(kuò)展，延伸和增強(qiáng)Pre-P+ConsistencyAvailabilityTolerancetonetworkPartitionsCAPTheorem你只能最多同時(shí)具備兩個(gè)方面+ConsistencyAvailabilityTolera分布式計(jì)算之MPPShared-Nothing架構(gòu)演進(jìn)共享磁盤(pán)例如：InformixXPSOracleRACDB2pureScaleDBSAN/共享磁盤(pán)DBDBDB網(wǎng)絡(luò)SAN/FC完全共享例如：SMP服務(wù)器DB磁盤(pán)無(wú)共享例如：GreenplumDBDBDBDB網(wǎng)絡(luò)磁盤(pán)磁盤(pán)磁盤(pán)磁盤(pán)MasterMPP注：藍(lán)灰色表示共享資源分布式計(jì)算之MPPShared-Nothing架構(gòu)演進(jìn)共享動(dòng)態(tài)數(shù)據(jù)的實(shí)時(shí)分析流數(shù)據(jù)結(jié)構(gòu)或非結(jié)構(gòu)化動(dòng)態(tài)數(shù)據(jù)流流計(jì)算實(shí)時(shí)對(duì)流數(shù)據(jù)進(jìn)行分析計(jì)算靜態(tài)數(shù)據(jù)上的歷史數(shù)據(jù)分析批處理模式查詢驅(qū)動(dòng)：靜態(tài)數(shù)據(jù)提交查詢依靠數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)傳統(tǒng)計(jì)算模式流計(jì)算模式QueriesMemoryDiskUpdatesMemoryDiskEventDataQueriesAlertsActions流計(jì)算動(dòng)態(tài)數(shù)據(jù)的實(shí)時(shí)分析靜態(tài)數(shù)據(jù)上的歷史數(shù)據(jù)分析傳統(tǒng)計(jì)算模式流計(jì)算3.互聯(lián)網(wǎng)和大數(shù)據(jù)環(huán)境下的金融實(shí)踐3.互聯(lián)網(wǎng)和大數(shù)據(jù)環(huán)境下的金融實(shí)踐大數(shù)據(jù)培訓(xùn)教程大數(shù)據(jù)的來(lái)源和動(dòng)機(jī)課件大數(shù)據(jù)培訓(xùn)教程大數(shù)據(jù)的來(lái)源和動(dòng)機(jī)課件大數(shù)據(jù)培訓(xùn)教程大數(shù)據(jù)的來(lái)源和動(dòng)機(jī)課件大數(shù)據(jù)培訓(xùn)教程大數(shù)據(jù)的來(lái)源和動(dòng)機(jī)課件這表明了什么?商業(yè)模式的差異是巨大的互聯(lián)網(wǎng)所有的模式都是以客戶中心，流量，入口，體驗(yàn)至上(真正的以人為本),有兩個(gè)案例1.XX行的警告短信2.某歐洲企業(yè)的前臺(tái)，對(duì)于人的尊重，對(duì)比其他國(guó)內(nèi)企業(yè)傳統(tǒng)行業(yè)怎么賺錢(qián)怎么賣(mài)怎么盈利互聯(lián)網(wǎng)不懂傳統(tǒng)行業(yè)這是劣勢(shì)，也是優(yōu)勢(shì)(經(jīng)驗(yàn)是一種桎梏，守成也許適用，但是開(kāi)拓未必)這表明了什么?商業(yè)模式的差異是巨大的傳統(tǒng)行業(yè)門(mén)口的野蠻人傳統(tǒng)行業(yè)整體趨勢(shì)脫媒和轉(zhuǎn)型是中國(guó)金融業(yè)當(dāng)前和未來(lái)的重要經(jīng)營(yíng)主題。金融深化加劇金融脫媒效應(yīng)，中國(guó)金融業(yè)面臨轉(zhuǎn)型和分化?；ヂ?lián)網(wǎng)金融的快速崛起和迅猛發(fā)展帶來(lái)金融脫媒和互聯(lián)網(wǎng)脫媒的雙重挑戰(zhàn)。在這種背景下更新轉(zhuǎn)型思金融重構(gòu)價(jià)值鏈，是中國(guó)銀行業(yè)的重要變革方向。整體趨勢(shì)脫媒和轉(zhuǎn)型是中國(guó)金融業(yè)當(dāng)前和未來(lái)的重要經(jīng)營(yíng)主題。互聯(lián)網(wǎng)的本質(zhì)是通過(guò)技術(shù)手段，解決了信息不對(duì)稱的問(wèn)題,解決了“溝通”的問(wèn)題，一切仰賴于信息封閉與不對(duì)稱產(chǎn)生超額利潤(rùn)的模式與行業(yè)都會(huì)收到?jīng)_擊與挑戰(zhàn)互聯(lián)網(wǎng)的本質(zhì)是通過(guò)技術(shù)手段，解決了信息不對(duì)稱的問(wèn)題,解決互聯(lián)網(wǎng)法則一.用戶，個(gè)人用戶，尤其是有黏合性的用戶，基于社會(huì)、組織、商業(yè)活動(dòng)關(guān)系構(gòu)成的虛擬社區(qū)用戶，自組織的有目的的群體用戶二.贏者通吃三.分散合作+開(kāi)放四.用戶體驗(yàn)至上總則：信息對(duì)稱、組織扁平、快速響應(yīng)，互聯(lián)網(wǎng)代表的是一種平民化思潮互聯(lián)網(wǎng)法則一.用戶，個(gè)人用戶，尤其是有黏合性的用戶，基于社互聯(lián)網(wǎng)為金融帶來(lái)了什么極為低廉的交易成本(x86&Cloud)更有效的更快速的大數(shù)據(jù)分析方法(BigData&FastData)無(wú)組織的組織力量-極致與動(dòng)態(tài)的個(gè)性群體(以客戶為中心)新的自然壟斷平臺(tái)與生態(tài)環(huán)境(Unifiedplatform&Ecosystem)加上移動(dòng)互聯(lián)網(wǎng)之后更是如虎添翼，永遠(yuǎn)在線，模糊了線上線下的邊界(Neveroffline)全新的商業(yè)模式和意識(shí)形態(tài)互聯(lián)網(wǎng)為金融帶來(lái)了什么極為低廉的交易成本(x86&Cloud互聯(lián)網(wǎng)金融環(huán)境下中國(guó)金融業(yè)面臨的挑戰(zhàn)除了數(shù)據(jù)本身的大規(guī)模增長(zhǎng)以外，銀行業(yè)面臨的更大的挑戰(zhàn)是大數(shù)據(jù)帶來(lái)的業(yè)務(wù)挑戰(zhàn)，這包括：微型企業(yè)貸款市場(chǎng)上，銀行與互聯(lián)網(wǎng)起家的小額貸款公司難以競(jìng)爭(zhēng)；在互聯(lián)網(wǎng)支付中，網(wǎng)銀支付所占比重越來(lái)越低，這使得銀行越來(lái)越難以知道客戶的消費(fèi)行為；互聯(lián)網(wǎng)融資模式的出現(xiàn)，在未來(lái)可能會(huì)超過(guò)以銀行為中心的間接融資和以交易所為中心的直接融資模式，這會(huì)使得銀行逐漸被邊緣化。所有這些挑戰(zhàn)，本質(zhì)上是因?yàn)殂y行對(duì)于客戶的了解程度，數(shù)據(jù)的理解相對(duì)越來(lái)越弱數(shù)據(jù)量大PBLevel的挑戰(zhàn)互聯(lián)網(wǎng)化帶來(lái)的靈活敏捷性挑戰(zhàn)對(duì)于數(shù)據(jù)價(jià)值的認(rèn)識(shí)與挖掘能力的挑戰(zhàn)互聯(lián)網(wǎng)金融環(huán)境下中國(guó)金融業(yè)面臨的挑戰(zhàn)除了數(shù)據(jù)本身的大規(guī)模增長(zhǎng)互聯(lián)網(wǎng)金融的主要表現(xiàn)形式第三方支付平臺(tái)支付寶，快捷支付，PayPal，square移動(dòng)金融Orange+巴克萊，法國(guó)電信網(wǎng)+巴黎銀行，中移動(dòng)+浦發(fā)，M-PESA社交網(wǎng)絡(luò)金融Facebook

F幣，Twitter+PayPal

=

Twitpay網(wǎng)絡(luò)融資平臺(tái)P2P，眾籌，阿里小貸，鯰鄉(xiāng)小貸，余額寶互聯(lián)網(wǎng)金融的主要表現(xiàn)形式第三方支付平臺(tái)以余額寶來(lái)分析產(chǎn)品特點(diǎn)有活期存款的流動(dòng)性，收益遠(yuǎn)高于活期，不設(shè)最低門(mén)檻的貨幣基金建行的觀察通過(guò)制度規(guī)避監(jiān)管風(fēng)險(xiǎn)通過(guò)客戶篩選控制市場(chǎng)風(fēng)險(xiǎn)借助大數(shù)據(jù)降低流動(dòng)性風(fēng)險(xiǎn)(海量taobao數(shù)據(jù)的深度挖掘，支付寶支付規(guī)律，消費(fèi)模式，實(shí)現(xiàn)實(shí)時(shí)流動(dòng)性預(yù)估)建行的啟示盡快推出類(lèi)似產(chǎn)品強(qiáng)化“以客戶為中心”的創(chuàng)新意識(shí)(用戶想要什么樣的理財(cái)產(chǎn)品)加大信息技術(shù)與銀行經(jīng)營(yíng)管理的深度融合(復(fù)雜的流程通過(guò)技術(shù)自動(dòng)化，簡(jiǎn)化)以余額寶來(lái)分析產(chǎn)品特點(diǎn)基于海量消費(fèi)數(shù)據(jù)的動(dòng)態(tài)定價(jià)能力是互聯(lián)網(wǎng)金融的核心之一

風(fēng)險(xiǎn)的快速準(zhǔn)確定價(jià)仰賴多源與維度的信息分析盈利

=

收益

–

壞賬

–成本價(jià)格

&總貸款量

客戶響應(yīng)率

&平均貸款額

價(jià)格價(jià)格總業(yè)務(wù)量?jī)r(jià)格壞賬率贏利驅(qū)動(dòng)成分收支平衡曲線逆向選擇測(cè)試模型Price(APR%)9.812壞賬率不斷測(cè)試和學(xué)習(xí)Price營(yíng)業(yè)利潤(rùn)TP0影響最優(yōu)價(jià)格的其它因素:市場(chǎng)競(jìng)爭(zhēng)經(jīng)濟(jì)狀況Etc...TP1經(jīng)濟(jì)變好及競(jìng)爭(zhēng)加劇TP2經(jīng)濟(jì)變壞未知的價(jià)格彈性價(jià)格降低LoanSize貸款量隨價(jià)格降低而增加觀察和分析Price最優(yōu)定價(jià)CreditLossRate$LoanSizeResponseRateTP考慮費(fèi)用因素基于海量消費(fèi)數(shù)據(jù)的動(dòng)態(tài)定價(jià)能力是互聯(lián)網(wǎng)金融的核心之一

Taobao基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)運(yùn)算與挖掘Taobao基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)運(yùn)算與挖掘DataArchitectureofTaoBao-ForhugedatavolumeandhugetransactionHorizontalshardinginusercenterUserlogindata(90%log)andusermasterdata(10%log)areseparated,andstoredtodifferentdbclusters,OnlineandofflinedataisseparatedRead-writeseparationintradecenterChoosesuitablepartitionkeyRelievethereadbottleneckofmasterdb,scalereadnodesWriteonlyinonedatabaseforconsistency.DealwithcomplexquerySqlisfromcomplextosimpleMulti-tablejoin->complexqueryonsingletable->queryonprimarykeyRequestsPresentationSpringTradeCenter

ProductCenterCommentCenterUserCenterTairdistributedcacheDataAccessLayerHSFHorizontalshardinginusercenterread-writeseparationintradecenterCASE1CASE2CASE3AddsearchinproductcenterTFSTDDLSharddb,shardtableSupportsubsetofsql:joinisnotsupportednow.Limitedtransaction:notcrossdatabase,specialdatasourcesRead-writeseparationTairDistributedcacheTFSDistributedstorageformassive“small”file(<1M).HSFHighperformanceserviceframeworkforthecommunicationamongmodulesDataArchitectureofTaoBao-業(yè)務(wù)模型?這是企業(yè)的隱私幾乎所有的客戶不愿意告訴其他人仰賴與對(duì)于業(yè)務(wù)的熟悉和創(chuàng)新仰賴于基于數(shù)據(jù)的建模數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量非常重要，并且是需要一開(kāi)始就規(guī)劃和建立的(大多數(shù)傳統(tǒng)企業(yè)并不是這樣)需要數(shù)據(jù)科學(xué)家數(shù)據(jù)分析人員數(shù)據(jù)建模人員模型開(kāi)發(fā)人員業(yè)務(wù)模型?這是企業(yè)的隱私4.成功/失敗案例介紹4.成功/失敗案例介紹典型場(chǎng)景與案例序號(hào)場(chǎng)景描述1歷史數(shù)據(jù)管理系統(tǒng)/平臺(tái)數(shù)據(jù)生命周期，全量數(shù)據(jù)存儲(chǔ)與管理2全息信息庫(kù)/渠道整合半結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)與傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)倉(cāng)庫(kù)的融合庫(kù)3日志分析管理平臺(tái)針對(duì)運(yùn)維，應(yīng)用日志的存儲(chǔ)，管理與挖掘4用戶情感分析與挖掘文本處理，NLP5市場(chǎng)趨勢(shì)與行情挖掘預(yù)測(cè)ML，業(yè)務(wù)建模大規(guī)模并行計(jì)算能力6高頻實(shí)時(shí)交易分析內(nèi)存計(jì)算，實(shí)時(shí)計(jì)算7歷史回放/市場(chǎng)監(jiān)管歷史數(shù)據(jù)管理系統(tǒng)的變種…典型場(chǎng)景與案例序號(hào)場(chǎng)景描述1歷史數(shù)據(jù)管理系統(tǒng)/平臺(tái)數(shù)據(jù)生命周歷史數(shù)據(jù)管理的現(xiàn)狀與需求1.歷史數(shù)據(jù)時(shí)間跨度長(zhǎng)、數(shù)據(jù)量大，目前做法主要是從備份系統(tǒng)獲取數(shù)據(jù)，操作周期長(zhǎng)，數(shù)據(jù)恢復(fù)、提取過(guò)程復(fù)雜，對(duì)于部分歷史數(shù)據(jù)，可能難以提供。2.隨著歷史數(shù)據(jù)的日益增長(zhǎng)，歷史數(shù)據(jù)管理應(yīng)用己面臨著數(shù)據(jù)備份恢復(fù)時(shí)間長(zhǎng)、運(yùn)維成本高、存儲(chǔ)彈性擴(kuò)展能力差、存儲(chǔ)成本高、無(wú)法滿足業(yè)務(wù)多維查詢的問(wèn)題；3.電子影像及文檔服務(wù)平臺(tái)則存在海量歷史數(shù)據(jù)離線檢索不便、數(shù)據(jù)備份恢復(fù)時(shí)間長(zhǎng)的問(wèn)題。同時(shí)，隨著近年來(lái)業(yè)務(wù)的發(fā)展，產(chǎn)生了結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)整合存儲(chǔ)與聯(lián)動(dòng)查詢的新需求。4.基于全量數(shù)據(jù)挖掘與建模的需求歷史數(shù)據(jù)管理的現(xiàn)狀與需求1.歷史數(shù)據(jù)時(shí)間跨度長(zhǎng)、數(shù)據(jù)量大，目歷史數(shù)據(jù)HDS能力需求序號(hào)能力描述1數(shù)據(jù)導(dǎo)入導(dǎo)出數(shù)據(jù)導(dǎo)入導(dǎo)出1.1數(shù)據(jù)導(dǎo)入從整合層和從數(shù)據(jù)服務(wù)層導(dǎo)入至歷史數(shù)據(jù)平臺(tái)，進(jìn)行存儲(chǔ)的能力1.2數(shù)據(jù)導(dǎo)出從歷史數(shù)據(jù)平臺(tái)導(dǎo)出至數(shù)據(jù)整合層和數(shù)據(jù)服務(wù)層的能力2數(shù)據(jù)查詢兩種不同類(lèi)型的查詢2.1簡(jiǎn)單查詢基于單表或者兩個(gè)表的簡(jiǎn)單在線查詢，基于關(guān)鍵id或者時(shí)間段的查詢，例如交易明細(xì)類(lèi)查詢2.2復(fù)雜查詢多表連接查詢，批量在/離線查詢，支持多種查詢謂詞，多維報(bào)表類(lèi)應(yīng)用，分析類(lèi)型查詢，如審計(jì)，司法類(lèi)查詢3數(shù)據(jù)分析基于應(yīng)用日志進(jìn)行各種海量數(shù)據(jù)數(shù)據(jù)挖掘分析，客戶行為分析，精準(zhǔn)營(yíng)銷(xiāo)支持等4數(shù)據(jù)歸檔PB級(jí)別的歷史數(shù)據(jù)存儲(chǔ)，無(wú)需進(jìn)行傳統(tǒng)備份5低成本-高擴(kuò)展基于x86平臺(tái)，能夠上千節(jié)點(diǎn)的擴(kuò)展性歷史數(shù)據(jù)HDS能力需求序號(hào)能力描述1數(shù)據(jù)導(dǎo)入導(dǎo)出數(shù)據(jù)導(dǎo)入導(dǎo)出應(yīng)用場(chǎng)景描述序號(hào)項(xiàng)目S1交易明細(xì)查詢S2外部，內(nèi)部司法審計(jì)查詢S3應(yīng)用日志分析S4數(shù)據(jù)導(dǎo)入導(dǎo)出S5數(shù)據(jù)模型與挖掘應(yīng)用場(chǎng)景描述序號(hào)項(xiàng)目S1交易明細(xì)查詢S2外部，內(nèi)部司法審計(jì)查應(yīng)用場(chǎng)景1–歷史交易明細(xì)查詢業(yè)務(wù)需求針對(duì)交易明細(xì)，放開(kāi)給終端用戶進(jìn)行查詢，面向普通用戶和分行支持網(wǎng)銀或者柜臺(tái)進(jìn)行在線查詢，服務(wù)器響應(yīng)時(shí)間要求為在線SLA或者異步方式針對(duì)特殊帳號(hào)，如taobao類(lèi)海量交易帳號(hào)，可適當(dāng)延長(zhǎng)SLA具體查詢類(lèi)型用戶帳號(hào)+查詢時(shí)間段基于單表或者少量表連接應(yīng)用場(chǎng)景1–歷史交易明細(xì)查詢業(yè)務(wù)需求應(yīng)用場(chǎng)景2–司法與審計(jì)查詢業(yè)務(wù)需求支持離線批量查詢，查詢類(lèi)型多變，不固定格式有單獨(dú)的審計(jì)數(shù)據(jù)庫(kù)，如審計(jì)庫(kù)無(wú)數(shù)據(jù)，需要在歷史數(shù)據(jù)HDS中進(jìn)行查詢，或能導(dǎo)入至審計(jì)數(shù)據(jù)庫(kù)針對(duì)特殊帳號(hào)，如taobao海量交易帳號(hào)，可適當(dāng)延長(zhǎng)SLA具體查詢類(lèi)型無(wú)具體類(lèi)型ad-hoc查詢應(yīng)用場(chǎng)景2–司法與審計(jì)查詢業(yè)務(wù)需求應(yīng)用場(chǎng)景3–應(yīng)用日志分析業(yè)務(wù)需求支持離線批量查詢和分析，查詢類(lèi)型多變，不固定格式基于應(yīng)用程序日志等日志數(shù)據(jù)進(jìn)行用戶行為，用戶偏好等客戶化分析為精準(zhǔn)營(yíng)銷(xiāo)進(jìn)行服務(wù)來(lái)自外部的半結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)與分析具體查詢類(lèi)型復(fù)雜查詢，多表關(guān)聯(lián)應(yīng)用場(chǎng)景3–應(yīng)用日志分析業(yè)務(wù)需求應(yīng)用場(chǎng)景4–數(shù)據(jù)導(dǎo)入導(dǎo)出業(yè)務(wù)需求交易明細(xì)數(shù)據(jù)，加工后的數(shù)據(jù)，公共處理的數(shù)據(jù)，輕度加工匯總的數(shù)據(jù)以及其他各類(lèi)數(shù)據(jù)的高速導(dǎo)入導(dǎo)出能力與其他各類(lèi)源數(shù)據(jù)庫(kù)的交互能力高性能，大吞吐量并行導(dǎo)入導(dǎo)出應(yīng)用場(chǎng)景4–數(shù)據(jù)導(dǎo)入導(dǎo)出業(yè)務(wù)需求應(yīng)用場(chǎng)景5–數(shù)據(jù)模型與挖掘業(yè)務(wù)需求海量歷史交易數(shù)據(jù)的數(shù)據(jù)建模與挖掘，產(chǎn)生用戶消費(fèi)行為數(shù)據(jù)分析圍繞以客戶為中心的各類(lèi)應(yīng)用客戶360視圖客戶細(xì)分客戶生命周期管理宏觀經(jīng)濟(jì)類(lèi)應(yīng)用場(chǎng)景5–數(shù)據(jù)模型與挖掘業(yè)務(wù)需求面向互聯(lián)網(wǎng)背景的業(yè)務(wù)探索已經(jīng)展開(kāi)：服務(wù)營(yíng)銷(xiāo)DDN專(zhuān)線連接一對(duì)一客戶信息綁定（唯一識(shí)別）基本的功能賬單、積分、額度。。。消費(fèi)提醒（取代短信？）還款（微信支付？？？）信息推送（較少）未來(lái)LBS->想象空間太大語(yǔ)音->機(jī)器人客服幾個(gè)數(shù)字3000千萬(wàn)持卡人已粉100萬(wàn)每年上億條的短信費(fèi)用呼叫中心成本面向互聯(lián)網(wǎng)背景的業(yè)務(wù)探索已經(jīng)展開(kāi)：服務(wù)營(yíng)銷(xiāo)DDN專(zhuān)線連接技術(shù)性探索也已未雨綢繆：某商業(yè)銀行案例（續(xù)）打通社會(huì)化大數(shù)據(jù)庫(kù)，期待社會(huì)化數(shù)據(jù)內(nèi)外通達(dá)如何把品牌價(jià)值透過(guò)網(wǎng)絡(luò)雜音直擊目標(biāo)客戶，并及時(shí)發(fā)現(xiàn)客戶的需求做好精準(zhǔn)服務(wù)是考驗(yàn)自身技術(shù)段位的如果把銀行內(nèi)部的客戶號(hào)和新浪的微博號(hào)掛接起來(lái)，在一定程度上就可以做群體營(yíng)銷(xiāo)了。外部數(shù)據(jù)引入的動(dòng)作很關(guān)鍵，把微博、QQ、郵箱等社交化的、能很快找到客戶的方式能通達(dá)起來(lái)。跟傳統(tǒng)的數(shù)據(jù)存儲(chǔ)放一起，同等對(duì)待，建立一個(gè)更加立體豐富的數(shù)據(jù)庫(kù)。基本信息、愛(ài)好信息、行為信息、分析信息互聯(lián)網(wǎng)金融模式新浪微博開(kāi)發(fā)平臺(tái)上做了一個(gè)繳費(fèi)應(yīng)用——“V繳費(fèi)”技術(shù)性探索也已未雨綢繆：某商業(yè)銀行案例（續(xù)）打通社會(huì)化大數(shù)據(jù)國(guó)外典型案例：摩根大通已經(jīng)開(kāi)始使用Hadoop技術(shù)以滿足日益增多的用途，包括詐騙檢驗(yàn)、IT風(fēng)險(xiǎn)管理和自助服務(wù)150PB在線存儲(chǔ)數(shù)據(jù)、30,000個(gè)數(shù)據(jù)庫(kù)和35億個(gè)用戶登錄賬號(hào)Hadoop能夠存儲(chǔ)大量非結(jié)構(gòu)化數(shù)據(jù)，允許公司收集和存儲(chǔ)Web日志、交易數(shù)據(jù)和社交媒體數(shù)據(jù)。數(shù)據(jù)被匯集至一個(gè)通用平臺(tái)，以方便以客戶為中心的數(shù)據(jù)挖掘與數(shù)據(jù)分析工具的使用。國(guó)外典型案例：摩根大通已經(jīng)開(kāi)始使用Hadoop技術(shù)以滿足日益BankingSolutionsTreeImproveCompanyPerformanceCustomerIdentificationCustomerAttractionCustomerRetentionCustomerDevelopmentEntityResolutionTargetCustomerAnalysisEconomicValueAddCustomerSegmentationLook-a-likeModelingOfferOptimizationNetLift/UpliftModelingChurnPredictionCustomerLifetimeValueSentimentAnalysisLoyaltyModelingComplaintsManagementCustomerProfilingUpSell/CrossSellOptimizationMarketBasketAnalysisPropensityModelingOperationsPlanningAdministrative/GeneralFacilitiesManagementIT/SecurityAnalyticsCostAnalysisDecisionSupportBusinessForecastingEventSimulationWorkforceAnalyticsEmployeeChurnEmployeeUtilizationMarketingServices/ProductsManagementConsumerCreditModelingRiskScorecardSpendAnalysisChannelPreferenceProductOptimizationAssetAllocationAnalysisCommercial/BusinessRiskandExposureAnalysisRetirementBenefitsAnalyticsTreasuryManagementAssetManagementModelingGeneralEconomicForecastingPricingStrategiesPortfolioOptimizationRegulatoryAdherenceAnalysisBankingSolutionsTreeImprovePhase1Phase2Phase3IncreaseSpendEfficiencyCampaignAnalyticsTradePromotionModelingMarketingMixModelingIncreaseCustomerAcquisitionCustomerSegmentationChurnPrediction,LoyaltyProgramAnalytics&TargetingCustomerLifetimeValueCustomerSegmentationSiteSelectionDigitalPresence&SocialMediaAnalyticsCrossChannelCustomerViewIncreaseBasketSizeCorrelationAnalysisAffinityAnalysisCross-sell/Upsell&NBO?Copyright2012EMCCorporation.Allrightsreserved.53發(fā)展方向建議-樣例Phase1Phase2Phase3Increase5.超越大數(shù)據(jù)，發(fā)展與展望5.超越大數(shù)據(jù)，發(fā)展與展望金融服務(wù)業(yè)“大數(shù)據(jù)”發(fā)展的10大趨勢(shì)（Sungard）對(duì)更大的歷史數(shù)據(jù)集的需要新的監(jiān)管和合規(guī)要求更加深入的數(shù)據(jù)分析自身風(fēng)險(xiǎn)管理框架的完善對(duì)風(fēng)險(xiǎn)可審性與管理強(qiáng)度的要求利用更多服務(wù)交付渠道帶來(lái)的更多數(shù)據(jù)及其分析需求市場(chǎng)中對(duì)數(shù)據(jù)處理基礎(chǔ)設(shè)施的大量投資幫助金融服務(wù)業(yè)充分掌握數(shù)據(jù)價(jià)值、降低成本并發(fā)現(xiàn)套利需要重新設(shè)計(jì)ETL流程以適應(yīng)數(shù)據(jù)擴(kuò)展使用預(yù)測(cè)信用風(fēng)險(xiǎn)模型移動(dòng)設(shè)備的普及要求處理和整合非結(jié)構(gòu)化數(shù)據(jù)推動(dòng)了對(duì)數(shù)據(jù)處理算法的需求風(fēng)險(xiǎn)管理數(shù)據(jù)集成分析&價(jià)值但最大的趨勢(shì)可能是。。。金融服務(wù)業(yè)“大數(shù)據(jù)”發(fā)展的10大趨勢(shì)（Sungard）對(duì)更大金融業(yè)發(fā)展互聯(lián)網(wǎng)金融和大數(shù)據(jù)的一些思考金融的客戶數(shù)據(jù)和交易數(shù)據(jù)是大數(shù)據(jù)的重要組成部分，是進(jìn)行金融互聯(lián)化最大的寶藏之一外部/線上數(shù)據(jù)作為銀行內(nèi)部數(shù)據(jù)的補(bǔ)充，現(xiàn)階段內(nèi)部的客戶行為數(shù)據(jù)和交易數(shù)據(jù)具有最大的價(jià)值大數(shù)據(jù)的技術(shù)架構(gòu)不一定馬上能夠解決，重要的是大數(shù)據(jù)應(yīng)用的理念金融業(yè)發(fā)展互聯(lián)網(wǎng)金融和大數(shù)據(jù)的一些思考金融的客戶數(shù)據(jù)和交易數(shù)金融機(jī)構(gòu)的比較優(yōu)勢(shì)壟斷性的線下能力金融專(zhuān)業(yè)能力強(qiáng)大的資本實(shí)力和雄厚的客戶資源積累了非常多的客戶資金數(shù)據(jù)金融機(jī)構(gòu)的比較優(yōu)勢(shì)壟斷性的線下能力當(dāng)前金融業(yè)從事互聯(lián)網(wǎng)金融和大數(shù)據(jù)的幾大缺陷戰(zhàn)略上重視度不夠，資源投入不足，缺乏有效的基礎(chǔ)架構(gòu)支持內(nèi)部管理中互聯(lián)網(wǎng)文化與傳統(tǒng)銀行文化存在沖突商業(yè)模式上對(duì)互聯(lián)網(wǎng)精神尊重不足銀行創(chuàng)設(shè)的平臺(tái)較為封閉，銀行服務(wù)反而是短板大數(shù)據(jù)人才(基礎(chǔ)架構(gòu)人才，應(yīng)用開(kāi)發(fā)人才，大數(shù)據(jù)分析人才)的缺乏。當(dāng)前金融業(yè)從事互聯(lián)網(wǎng)金融和大數(shù)據(jù)的幾大缺陷戰(zhàn)略上重視度不夠，為什么大數(shù)據(jù)現(xiàn)在在國(guó)內(nèi)叫好不叫座深層次的原因，數(shù)據(jù)化，量化管理和決策與我們的文化與習(xí)慣不太契合案例:一個(gè)做BI和前端展現(xiàn)的朋友和我講的一個(gè)企業(yè)老總的故事,數(shù)據(jù)裁剪不分緣由的問(wèn)責(zé)制，缺乏支持創(chuàng)新的文化和氛圍現(xiàn)有的基礎(chǔ)架構(gòu)是面向功能性的，而不是面向主題和客戶，導(dǎo)致數(shù)據(jù)的不一致性，質(zhì)量問(wèn)題和集成性問(wèn)題。具有政治壁壘屬性技術(shù)的成熟度，最后一公里的實(shí)現(xiàn)缺乏相應(yīng)的技術(shù)人才，咨詢?nèi)瞬藕蜆I(yè)務(wù)人才能夠?qū)嵤┖瓦\(yùn)維的基礎(chǔ)技術(shù)人才–不多將業(yè)務(wù)問(wèn)題轉(zhuǎn)換為大數(shù)據(jù)架構(gòu)上的模型的咨詢?nèi)瞬浓C非常少運(yùn)用新的技術(shù)力量提供的能力優(yōu)化業(yè)務(wù)模型的業(yè)務(wù)人才–幾乎沒(méi)有為什么大數(shù)據(jù)現(xiàn)在在國(guó)內(nèi)叫好不叫座深層次的原因，數(shù)據(jù)化，量化管互聯(lián)網(wǎng)企業(yè)的比較優(yōu)勢(shì)創(chuàng)新基因更符合互聯(lián)網(wǎng)精神的企業(yè)文化監(jiān)管套利平臺(tái)競(jìng)爭(zhēng)方面的先發(fā)優(yōu)勢(shì)互聯(lián)網(wǎng)企業(yè)的比較優(yōu)勢(shì)創(chuàng)新基因如何將推進(jìn)大數(shù)據(jù)技術(shù)在傳統(tǒng)企業(yè)落地

BigData需要仰賴一個(gè)可擴(kuò)展的基礎(chǔ)架構(gòu)和大數(shù)據(jù)團(tuán)隊(duì)2BigData的應(yīng)用需要在一開(kāi)始就找準(zhǔn)可度量的業(yè)務(wù)價(jià)值5圍繞推進(jìn)以客戶為中心的創(chuàng)新1BigData要真正發(fā)揮力量需要依靠先進(jìn)的分析技術(shù)4最初的努力需要著重于內(nèi)部已有數(shù)據(jù)的利用和挖掘3實(shí)驗(yàn)精神和試錯(cuò)精神-Readytofail!6如何將推進(jìn)大數(shù)據(jù)技術(shù)在傳統(tǒng)企業(yè)落地

BigData需要仰賴大數(shù)據(jù)的愿景我堅(jiān)定的相信，如果傳統(tǒng)的行業(yè)，金融，電信，醫(yī)療，政府與公共事業(yè)等等，能夠善加利用和挖掘數(shù)據(jù)的寶藏一定會(huì)給人民群眾帶來(lái)更多的驚喜，便利，大幅的提高客戶的滿意度和生活的幸福感。如同目前的互聯(lián)網(wǎng)企業(yè)一樣對(duì)于企業(yè)的影響我的建議IT和業(yè)務(wù)部門(mén)需要能夠識(shí)別，利用大數(shù)據(jù)處理技術(shù)來(lái)給實(shí)際的業(yè)務(wù)，商業(yè)和企業(yè)發(fā)展以巨大的幫助CIO和IT領(lǐng)袖需要開(kāi)始投入資源，或者使用一個(gè)實(shí)際的業(yè)務(wù)項(xiàng)目來(lái)演練大數(shù)據(jù)技術(shù)，鍛煉整個(gè)相關(guān)的團(tuán)隊(duì)IT部門(mén)將要全面的支持大數(shù)據(jù)的方案，并且這種支持并不是暫時(shí)，而是長(zhǎng)遠(yuǎn)的在進(jìn)行技術(shù)路線或基礎(chǔ)設(shè)施規(guī)劃時(shí)，需要考慮投入適當(dāng)?shù)念A(yù)算，人力和項(xiàng)目來(lái)應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市面臨巨大的變革來(lái)迎接大數(shù)據(jù)的時(shí)代，或者面臨被淘汰的危險(xiǎn)考慮使用新興的大數(shù)據(jù)技術(shù)架構(gòu)或適合于本行業(yè)的大數(shù)據(jù)方案來(lái)擴(kuò)展和延伸當(dāng)前的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)商業(yè)分析人員在使用大數(shù)據(jù)處理技術(shù)對(duì)業(yè)務(wù)提供指導(dǎo)必須要謹(jǐn)慎的考慮數(shù)據(jù)的真實(shí)性和分析結(jié)果的可信度以及數(shù)據(jù)隱私，否者會(huì)對(duì)商業(yè)產(chǎn)生不可估量的損害上線試點(diǎn)項(xiàng)目或者系統(tǒng)，持續(xù)收集反饋信息，積累經(jīng)驗(yàn)，與成熟的有經(jīng)驗(yàn)的廠商進(jìn)行合作，確保整體規(guī)劃方向正確，確保初創(chuàng)項(xiàng)目得到最好的咨詢和實(shí)施服務(wù)大數(shù)據(jù)的愿景我堅(jiān)定的相信，如果傳統(tǒng)的行業(yè)，金融，電信，醫(yī)療，大數(shù)據(jù)技術(shù)未來(lái)的熱點(diǎn)方向大數(shù)據(jù)時(shí)代的信息隱私保護(hù)–用戶偏好與客戶把握與隱私保護(hù)為天然的矛盾少數(shù)派報(bào)告關(guān)于一切數(shù)字化后，人類(lèi)無(wú)處遁尋的災(zāi)難，信息隱私保護(hù)的問(wèn)題，對(duì)于再無(wú)隱秘可言的擔(dān)心。人們會(huì)被預(yù)測(cè)將要犯罪而被逮捕。黑鏡子第三季關(guān)于虛擬人生的探討基于大數(shù)據(jù)的建模預(yù)測(cè)分析技術(shù)[真正帶來(lái)價(jià)值的部分]統(tǒng)計(jì)學(xué)習(xí),機(jī)器學(xué)習(xí)DeepLearning圖片視頻等非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)分析[非結(jié)構(gòu)化數(shù)據(jù)的處理]中文文本的語(yǔ)義級(jí)別信息挖掘[NLP,智能問(wèn)答系統(tǒng)]冬天能穿多少穿多少，夏天能穿多少穿多少。。。大數(shù)據(jù)技術(shù)未來(lái)的熱點(diǎn)方向大數(shù)據(jù)時(shí)代的信息隱私保護(hù)–用戶偏StaticwebsiteWebfrontendUserDBQueueAnalyticsDBBackgroundworkersAPIendpointnginx1.5+modsecurity+openssl+bootstrap2postgresql+pgv8+v8hadoop+hive+thrift+OpenJDKRuby+Rails+sass+UnicornRedis+redis-sentinelPython3.0+celery+pyredis+libcurl+ffmpeg+libopencv+nodejs+phantomjsPython2.7+Flask+pyredis+celery+psycopg+postgresql-clientDevelopmentVMQAserverPublicCloudDisasterrecoveryContributor’slaptopProductionServersMultiplicityofStacksMultiplicityofhardwareenvironmentsProductionClusterCustomerDataCenterDoservicesandappsinteractappropriately?CanImigratesmoothlyandquickly?目前傳統(tǒng)IT架構(gòu)-非互聯(lián)網(wǎng)化架構(gòu)日益受到的挑戰(zhàn)StaticwebsiteWebfrontendUse超越大數(shù)據(jù),大數(shù)據(jù)已是過(guò)去時(shí)!超越大數(shù)據(jù),大數(shù)據(jù)已是過(guò)去時(shí)!Software-DefinedDatacenterNewData-fabricsTheSoftwareDefinedDataCenterNewExperiencesNewBizModelspioneeredbynewConsumer

InternetgiantsInternet-of-thingsPervasivetelemetryMainframeClient-Server&WebCLOUDERAOperateatScaleinahighlyautomatedwayAWSVMW...ETC超越大數(shù)據(jù)-云時(shí)代的新平臺(tái)建議NextGenerationPlatform大數(shù)據(jù)快數(shù)據(jù)快速迭代開(kāi)發(fā)與集成FromVMwareFromEMCIaaS云抽象化與應(yīng)用自動(dòng)部署擴(kuò)容與運(yùn)維Software-DefinedDatacenterNew新一代金融的IT服務(wù)層次

以云服務(wù)為基礎(chǔ)，以數(shù)據(jù)為核心，以分析為手段基礎(chǔ)云服務(wù)數(shù)據(jù)云服務(wù)應(yīng)用云服務(wù)“整合”–互聯(lián)網(wǎng)基礎(chǔ)設(shè)施化，建立互聯(lián)網(wǎng)基礎(chǔ)設(shè)施云服務(wù)平臺(tái)，提供支撐互聯(lián)網(wǎng)銀行的IT基礎(chǔ)設(shè)施“創(chuàng)新”–以渠道拓展和風(fēng)控加強(qiáng)兩個(gè)層面為基礎(chǔ)，去進(jìn)行業(yè)務(wù)、服務(wù)、營(yíng)銷(xiāo)和服務(wù)創(chuàng)新，提升業(yè)務(wù)“關(guān)鍵”–扎實(shí)的數(shù)據(jù)服務(wù)基礎(chǔ)和云服務(wù)能力是支撐互聯(lián)網(wǎng)銀行各服務(wù)正常和低風(fēng)險(xiǎn)運(yùn)轉(zhuǎn)的重要保障新一代金融的IT服務(wù)層次

以云服務(wù)為基礎(chǔ)，以數(shù)據(jù)為核心，以分新一代金融的IT服務(wù)細(xì)化

數(shù)據(jù)的核心價(jià)值基礎(chǔ)云服務(wù)數(shù)據(jù)云服務(wù)應(yīng)用云服務(wù)新一代金融的IT服務(wù)細(xì)化

數(shù)據(jù)的核心價(jià)值基礎(chǔ)云數(shù)據(jù)云應(yīng)用云...ETC支持開(kāi)放標(biāo)準(zhǔn)并與開(kāi)源有效互動(dòng)以數(shù)據(jù)為中心不與特定云平臺(tái)綁定,方便靈活部署針對(duì)企業(yè)的需求針對(duì)開(kāi)發(fā)者的需求3個(gè)平臺(tái)無(wú)縫集成1.應(yīng)用虛擬化平臺(tái)，支持多種IaaS2.數(shù)據(jù)中心平臺(tái)3.應(yīng)用開(kāi)發(fā)與服務(wù)平臺(tái)可伸縮的存儲(chǔ)和計(jì)算:HDFS/Object支持多種語(yǔ)言提供應(yīng)用框架內(nèi)存計(jì)算—數(shù)據(jù)加載、查詢、實(shí)時(shí)處理數(shù)據(jù)分析服務(wù)提供各種服務(wù)IaaS云抽象(可移植)自動(dòng)化:應(yīng)用供應(yīng)和生命周期管理服務(wù)注冊(cè)和服務(wù)目錄重新定義企業(yè)級(jí)PaaS...ETC支持開(kāi)放標(biāo)準(zhǔn)并與開(kāi)源有效互動(dòng)1.應(yīng)用虛擬化平臺(tái)，自由選擇的世界-互聯(lián)網(wǎng)的基因Runtime/FrameworksBuildpacksServiceBrokers…andCustomRuntimes…andCustomServicesCloudProviderInterface(CPI)AppServicesClouds…andCustomClouds自由選擇的世界-互聯(lián)網(wǎng)的基因Runtime/FrameworStaticwebsiteWebfrontendUserDBQueueAnalyticsDBDevelopmentVMQAserverPublicCloudContributor’slaptop互聯(lián)網(wǎng)架構(gòu)開(kāi)箱即用的理念和架構(gòu)模式MultiplicityofStacksMultiplicityofhardwareenvironmentsProductionClusterCustomerDataCenterDoservicesandappsinteractappropriately?CanImigratesmoothlyandquicklyOperator:ConfigureOnce,RunAnythingDeveloper:BuildOnce,RunAnywhere(Finally)StaticwebsiteWebfrontendUse互聯(lián)網(wǎng)化

金融IT的

邏輯架構(gòu)互聯(lián)網(wǎng)化

金融IT的

邏輯架構(gòu)思考與建議*互聯(lián)網(wǎng)和大數(shù)據(jù)為金融帶來(lái)的只是新工具還是全新的商業(yè)模式？*

若是后者，未來(lái)的互聯(lián)網(wǎng)金融商業(yè)模式的發(fā)展方向是什么？*

互聯(lián)網(wǎng)金融和大數(shù)據(jù)將怎樣沖擊金融行業(yè)現(xiàn)有格局？什么樣的企業(yè)將主導(dǎo)互聯(lián)網(wǎng)金融？企業(yè)在互聯(lián)網(wǎng)金融競(jìng)爭(zhēng)中勝出的核心要素是什么？*

開(kāi)個(gè)網(wǎng)銀，手機(jī)銀行就叫做互聯(lián)網(wǎng)金融?移動(dòng)金融?-(反面)某行的手機(jī)銀行為例,更新版本后連登錄都登錄不了，持續(xù)幾周-(正面)信用卡對(duì)賬單上面鏈接到商戶，引流量，新的商業(yè)模式-技術(shù)平臺(tái)只是依托，服務(wù)意識(shí)和形態(tài)才是關(guān)鍵,NoSilverBulletThink

Big,Startfromsmall,doitrightnow!思考與建議*互聯(lián)網(wǎng)和大數(shù)據(jù)為金融帶來(lái)的只是新工具還是全新的展望競(jìng)爭(zhēng)合作與共生關(guān)系跨界經(jīng)營(yíng)，合作構(gòu)建互聯(lián)網(wǎng)金融生態(tài)圈核心領(lǐng)域互不干涉自然的平衡與中庸之道展望競(jìng)爭(zhēng)合作與共生關(guān)系BACKUPBACKUP大數(shù)據(jù)平臺(tái)數(shù)據(jù)內(nèi)容及實(shí)現(xiàn)技術(shù)應(yīng)用平臺(tái)提交請(qǐng)求訪問(wèn)的數(shù)據(jù)，包括結(jié)構(gòu)化和非結(jié)構(gòu)化兩類(lèi)在線存儲(chǔ)周期超過(guò)數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù)適合Hadoop分布式架構(gòu)管理無(wú)法用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)的無(wú)結(jié)構(gòu)性的數(shù)據(jù)。例如文本、音頻數(shù)據(jù)等。適合Hadoop架構(gòu)方便用數(shù)據(jù)庫(kù)的二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)字段含義確定，清晰。例如：客戶信息、用電記錄等。是挖掘數(shù)據(jù)價(jià)值的主要對(duì)象。支持分析型應(yīng)用，時(shí)效性較低支持前臺(tái)交易系統(tǒng)查詢需求，具有可靠性高、并發(fā)度大、采集頻率短的特點(diǎn)適合分布式內(nèi)存數(shù)據(jù)處理技術(shù)按數(shù)據(jù)類(lèi)別劃分按數(shù)據(jù)格式類(lèi)別劃分按數(shù)據(jù)采集頻度劃分大數(shù)據(jù)

平臺(tái)在線數(shù)據(jù)歸檔數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)準(zhǔn)實(shí)時(shí)數(shù)據(jù)非實(shí)時(shí)數(shù)據(jù)面向貼源數(shù)據(jù)查詢和主題數(shù)據(jù)整合。數(shù)據(jù)區(qū)，適合X86MPP數(shù)據(jù)庫(kù)集群范式化模型數(shù)據(jù)面向分析類(lèi)應(yīng)用。對(duì)應(yīng)ADW和CM數(shù)據(jù)區(qū)，適合MPP數(shù)據(jù)庫(kù)集群維度模型數(shù)據(jù)按數(shù)據(jù)模型劃分大數(shù)據(jù)平臺(tái)數(shù)據(jù)內(nèi)容及實(shí)現(xiàn)技術(shù)應(yīng)用平臺(tái)提交請(qǐng)求訪問(wèn)的數(shù)據(jù)，包括Agenda1.大數(shù)據(jù)的時(shí)代背景2.大數(shù)據(jù)時(shí)代的典型技術(shù)3.互聯(lián)網(wǎng)和大數(shù)據(jù)環(huán)境下的金融實(shí)踐4.成功/失敗案例介紹5.超越大數(shù)據(jù)，發(fā)展與展望6.開(kāi)放討論與交流Agenda1.大數(shù)據(jù)的時(shí)代背景、書(shū)籍是全世界的營(yíng)養(yǎng)品。生活里沒(méi)有書(shū)籍，就好像沒(méi)有陽(yáng)光；智慧里沒(méi)有書(shū)籍，就好像鳥(niǎo)兒沒(méi)有翅膀莎士比亞

2、書(shū)籍使人變得思想奔放。革拉特珂夫

3、書(shū)籍是造就靈魂的工具雨果

4、經(jīng)驗(yàn)豐富的人讀書(shū)用兩只眼睛，一只眼睛看到紙面上的話，另一只眼睛看到紙的背面。歌德

5、我撲在書(shū)籍上，就好像饑餓的人撲在面包上。高爾基

6、書(shū)籍是巨大的力量。列寧

7、書(shū)人類(lèi)發(fā)出的最美妙的聲音。萊文

8、生活在我們這個(gè)世界里，不讀書(shū)就完全不可能了解人。高爾基

9、黑發(fā)不知勤學(xué)早，白首方悔讀書(shū)遲。顏真卿

10、書(shū)是良藥，善讀之可以醫(yī)愚。劉向

11、讀書(shū)破萬(wàn)卷，下筆如有神。杜甫

12、在你渴望時(shí)，它前來(lái)給予詳細(xì)指教，但是從不糾纏不休。比切

13、書(shū)籍是少年的食物，它使老年人快樂(lè)，也是繁榮的裝飾和危難的避難所，慰人心靈。在家庭成為快樂(lè)的種子，在外也不致成為障礙物，但在旅行之際，卻是夜間的伴侶西塞羅

14、過(guò)去一切時(shí)代的精華盡在書(shū)中?？ㄈR爾

15、書(shū)籍并不是沒(méi)有生命的東西，它包藏著一種生命的潛力，與作者同樣地活躍。不僅如此，它還像一個(gè)寶瓶，把作者生機(jī)勃勃的智慧中最純凈的精華保存起來(lái)彌爾頓

16、每一本書(shū)都是一個(gè)用黑字印在白紙上的靈魂，只要我的眼睛、我的理智接觸了它，它就活起來(lái)了。高爾基

17、讀一本好書(shū)，就是和許多高尚的人談話。笛卡爾

18、讀書(shū)之于頭腦，好比運(yùn)動(dòng)之于身體。愛(ài)迪生

19、書(shū)籍乃世人積累智慧之長(zhǎng)明燈寇第斯

20、光陰給我們經(jīng)驗(yàn)，讀書(shū)給我們知識(shí)。奧斯特洛夫斯基

21、讀書(shū)有三到，謂心到，眼到，口到。朱熹

22、書(shū)籍是青年人不可分離的生命伴侶和導(dǎo)師。高爾基

23、和書(shū)籍生活在一起，永遠(yuǎn)不會(huì)嘆氣。羅曼羅蘭

24、書(shū)籍是最好的朋友。當(dāng)生活中遇到任何困難的時(shí)候，你都可以向它求助，它永遠(yuǎn)不會(huì)背棄你都德

25、書(shū)籍通過(guò)心靈觀察世界的窗口。住宅里沒(méi)有書(shū)，猶如房間沒(méi)有窗戶。威爾遜

26、讀一本好書(shū)，象交了一個(gè)益友。臧克家

27、讀萬(wàn)卷書(shū)，行萬(wàn)里路。劉彝

15)時(shí)間一天天過(guò)去，有時(shí)覺(jué)得它漫長(zhǎng)難熬，有時(shí)卻又感到那么短促;有時(shí)愉快幸福，有時(shí)又悲傷惆悵。一天與一天不同，一日和一日有別，仿佛一晝夜之間也有春夏秋冬之分。;;阿;巴巴耶娃16)世界上最快而又最慢，最長(zhǎng)而又最短，最平凡而又最珍貴，最容易被人忽視，而又最令人后悔的就是時(shí)間。;;高爾基17)在人類(lèi)生活中，時(shí)間剎那而過(guò)，它的本體是處于一個(gè)流動(dòng)狀態(tài)中，知覺(jué)是昏鈍的，整個(gè)肉體的構(gòu)成是易腐朽的，靈魂是一個(gè)疾轉(zhuǎn)之物，運(yùn)氣是很難預(yù)料的，名望是缺乏見(jiàn)識(shí)的東西。;;馬爾庫(kù);奧勒留18)時(shí)間就是金錢(qián)，而且對(duì)用它來(lái)計(jì)算利益的人來(lái)說(shuō)，是一筆巨大的金額。;;狄更斯19)時(shí)間會(huì)刺破青春表面的彩飾，會(huì)在美人的額上掘深溝淺槽;會(huì)吃掉稀世之珍!天生麗質(zhì)，什么都逃不過(guò)他那橫掃的鐮刀。;;莎士比亞20)浪費(fèi)別人