面向大數(shù)據(jù)數(shù)據(jù)處理的解決方案

1、面向大數(shù)據(jù)數(shù)據(jù)處理的解決方案1Harmonious 云計(jì)算中心 （位于橫濱第3中心內(nèi)）采用基于豐富業(yè)績(jī)的高可靠性、高安全性、環(huán)保型技術(shù)Hitachi Virtual Storage Platform能夠應(yīng)對(duì)磁盤(pán)驅(qū)動(dòng)器雙重故障的RAID6數(shù)據(jù)中心運(yùn)營(yíng)服務(wù)BladeSymphony采用獨(dú)特的硬件虛擬化輔助結(jié)構(gòu) 物理服務(wù)器、虛擬服務(wù)器的構(gòu)成信息進(jìn)行一元化管理有機(jī)地連接各個(gè)分散系統(tǒng)服務(wù)器虛擬化結(jié)構(gòu)VirtageJP1其他（ Cosminexus、HiRDB ）服務(wù)器中間件存儲(chǔ)冗余話(huà)的高可靠性模塊能夠檢測(cè)異常的管理模塊能夠在不停機(jī)的狀態(tài)下更新固件模塊型數(shù)據(jù)中心約43,000家客戶(hù)（中國(guó)30個(gè)城市、500

2、家客戶(hù)）參與該市場(chǎng)100個(gè)種類(lèi)以上豐富的產(chǎn)品線(xiàn)TWX-21其他（ Shareresearch、 FINEMAX、HIPLUS等）菜單向1000家公司以上的客 戶(hù)提供著服務(wù)支撐IT系統(tǒng)/服務(wù)的平臺(tái)以及應(yīng)用產(chǎn)品Twx-21云計(jì)算大型存儲(chǔ)系統(tǒng)市場(chǎng)份額位于世界前列日本國(guó)內(nèi)運(yùn)行管理軟件市場(chǎng)份額No.1 (連續(xù)14年)日本最大規(guī)模的 e Market Place1.致力于Big Data的數(shù)據(jù)處理及創(chuàng)造新的價(jià)值Contents2.面向大數(shù)據(jù)處理的產(chǎn)品及解決方案的介紹3. 流數(shù)據(jù)處理平臺(tái)面向大數(shù)據(jù)處理的產(chǎn)品及解決方案的介紹4.內(nèi)存數(shù)據(jù)網(wǎng)格5.按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)6. 高速數(shù)據(jù)訪(fǎng)問(wèn)平臺(tái)7. 總結(jié)1.致力于B

3、ig Data的數(shù)據(jù)處理及創(chuàng)造新的價(jià)值面向大數(shù)據(jù)處理的產(chǎn)品及解決方案的介紹信息爆炸時(shí)代的降臨與IT商業(yè)領(lǐng)域的新方向4Twitter信息系統(tǒng)持續(xù)存儲(chǔ)下來(lái)的數(shù)據(jù)基礎(chǔ)設(shè)備及機(jī)器不斷產(chǎn)生的數(shù)據(jù)業(yè)務(wù)日志辦公文件Web/郵件博客等手機(jī)設(shè)備的利用感應(yīng)器的數(shù)據(jù)卡的使用交通及氣象數(shù)據(jù)等企業(yè)在日常業(yè)務(wù)活動(dòng)中，持續(xù)儲(chǔ)存下來(lái)大量的業(yè)務(wù)日志，郵件，及Web日志各種社會(huì)基礎(chǔ)設(shè)備及機(jī)器也會(huì)不斷的產(chǎn)生大量的新數(shù)據(jù)通過(guò)分析人的行為與設(shè)備運(yùn)轉(zhuǎn)時(shí)所保留下來(lái)大量的數(shù)據(jù)，可催生出新的服務(wù)-信息爆炸時(shí)代的降臨與IT商業(yè)領(lǐng)域的新方向5-Twitter信息系統(tǒng)持續(xù)存儲(chǔ)下來(lái)的數(shù)據(jù)基礎(chǔ)設(shè)備及機(jī)器不斷產(chǎn)生的數(shù)據(jù)業(yè)務(wù)日志辦公文件Web/郵件博客等手

4、機(jī)設(shè)備的利用感應(yīng)器的數(shù)據(jù)卡的使用交通及氣象數(shù)據(jù)等企業(yè)內(nèi)、各種業(yè)務(wù)、Web増大社會(huì)基盤(pán)機(jī)械生成新飛躍的増大人行動(dòng)振舞示活用新期待企業(yè)內(nèi)、各種業(yè)務(wù)、Web増大社會(huì)基盤(pán)機(jī)械生成新飛躍的増大人行動(dòng)振舞示活用新期待有效利用Big Data是IT商業(yè)領(lǐng)域的新的發(fā)展方向！ 企業(yè)內(nèi)、各種業(yè)務(wù)、Web増大社會(huì)基盤(pán)機(jī)械生成新飛躍的増大人行動(dòng)振舞示活用新期待在以往的商業(yè)活動(dòng)中，通過(guò)對(duì)業(yè)務(wù)和人以及設(shè)備的活動(dòng)所留下來(lái)的數(shù)據(jù)進(jìn)行分析，從而提高企業(yè)競(jìng)爭(zhēng)力來(lái)拉開(kāi)與對(duì)手的區(qū)別。在今后的商業(yè)活動(dòng)中，將更加重視對(duì)Big Data里隱藏的商機(jī)的挖掘。致力于Big Data技術(shù)及從中勘探新價(jià)值6-抽出數(shù)據(jù)庫(kù)模擬/分析（信息化）實(shí)時(shí)監(jiān)視

5、挖掘應(yīng)用(反饋)數(shù)據(jù)整理數(shù)據(jù)收集交通數(shù)據(jù)IC卡利用履歷數(shù)據(jù) Web存取記錄數(shù)據(jù)新發(fā)現(xiàn)知識(shí)提供Big Data的數(shù)據(jù)處理的平臺(tái)提供處理Big Data的平臺(tái)顧客與客戶(hù)共創(chuàng)價(jià)值(業(yè)務(wù)理解)目的目標(biāo)（）課題對(duì)Big Data展開(kāi)深度分析(協(xié)同客戶(hù)共同創(chuàng)造新價(jià)值).面向大數(shù)據(jù)處理的的產(chǎn)品及解決方案的介紹面向大數(shù)據(jù)處理的產(chǎn)品及解決方案的介紹有效利用Big Data的前提條件8-有效利用Big Data的前提條件 通過(guò)實(shí)時(shí)監(jiān)視和實(shí)時(shí)處理 高效壓縮數(shù)據(jù)并可高速查詢(xún) 集成分析數(shù)據(jù)挖掘有用信息對(duì)現(xiàn)狀進(jìn)行實(shí)時(shí)的把握得出適合自己的服務(wù)從中獲得新的發(fā)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)購(gòu)買(mǎi)金融交易記錄電力測(cè)量?jī)x器數(shù)據(jù)卡利用博客自動(dòng)檢票口海

6、量的數(shù)據(jù)必須經(jīng)過(guò)處理后才能發(fā)揮其作用為有效利用Big Data而提供的數(shù)據(jù)處理平臺(tái)9-面向Big Data數(shù)據(jù)處理的中間件和硬件可擴(kuò)展性BladeSymphony/HA8000 Hitachi Virtual File Platform虛擬文件存儲(chǔ)平臺(tái)高信賴(lài)度的刀片服務(wù)器海量信息的實(shí)時(shí)處理1.實(shí)時(shí)處理對(duì)海量信息進(jìn)行分析3.集成與分析海量信息的高效存儲(chǔ)和高速查詢(xún)履歷，日志2.存儲(chǔ)查詢(xún)uCosminexus Stream Data PlatformuCosminexus Elastic Application Data storeHitachi Advanced Data Binder Platf

7、ormHadoopuCosminexus Grid Processing Server流數(shù)據(jù)處理平臺(tái)高性能內(nèi)存數(shù)據(jù)網(wǎng)格網(wǎng)格計(jì)算高速數(shù)據(jù)訪(fǎng)問(wèn)平臺(tái)uCosminexus Stream Data Platform/Data Store按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)大量數(shù)據(jù)處理平臺(tái)的相關(guān)產(chǎn)品及解決方案10-需求新技術(shù)產(chǎn)品特點(diǎn)實(shí)時(shí)數(shù)據(jù)的處理與利用流數(shù)據(jù)流處理平臺(tái)（uCosminexusStream Data Platform）通過(guò)內(nèi)存內(nèi)計(jì)算和差值計(jì)算來(lái)實(shí)現(xiàn)處理的高速化可使用SQL的腳本語(yǔ)言(CQL)來(lái)描述分析步驟，具易開(kāi)發(fā)性隨著內(nèi)存中處理的數(shù)據(jù)量的增加，需增加靈活性和可擴(kuò)展性?xún)?nèi)存數(shù)據(jù)網(wǎng)格（uCosminexus

8、Elastic Application Data store）通過(guò)CJava語(yǔ)言直接訪(fǎng)問(wèn)（參照數(shù)據(jù)）內(nèi)存緩存內(nèi)的數(shù)據(jù)，來(lái)實(shí)現(xiàn)數(shù)據(jù)訪(fǎng)問(wèn)的高速化把大量數(shù)據(jù)分散配置在多個(gè)節(jié)點(diǎn)上，對(duì)應(yīng)用程序提供虛擬化的內(nèi)存訪(fǎng)問(wèn)對(duì)按時(shí)間順序存儲(chǔ)的數(shù)據(jù)的高效儲(chǔ)存與高度分析按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)（uCosminexusStream Data Platform/Data Store）通過(guò)高效壓縮大量的日志數(shù)據(jù)，降低數(shù)據(jù)的存儲(chǔ)成本實(shí)現(xiàn)對(duì)現(xiàn)實(shí)世界里的信息的高速解析（時(shí)間序列數(shù)據(jù)分析）大量數(shù)據(jù)的存儲(chǔ)與超高速搜索高速數(shù)據(jù)訪(fǎng)問(wèn)平臺(tái)（HitachiAdvanced Data BinderPlatform）采用了基于“非順序型操作原理”的

9、超高速的數(shù)據(jù)庫(kù)搜索引擎通過(guò)對(duì)服務(wù)器的多核處理器及存儲(chǔ)設(shè)備的最大限度的有效利用，使處理性能得到了大幅的改善超高速的數(shù)據(jù)庫(kù)引擎再結(jié)合了旗下的服務(wù)器和存儲(chǔ)產(chǎn)品后而推出的最佳實(shí)踐模式，具有易導(dǎo)入性縮短批處理的時(shí)間，防止因批處理延時(shí)而導(dǎo)致的中斷網(wǎng)格計(jì)算（uCosminexusGrid Processing Server）通過(guò)分割配置數(shù)據(jù)后再并行執(zhí)行批處理，實(shí)現(xiàn)了批處理的高速化具備了骨干系統(tǒng)的高可用性，及對(duì)應(yīng)故障影響的局部化對(duì)應(yīng)大量數(shù)據(jù)處理而推出的新服務(wù)Hadoop(開(kāi)放源代碼)通過(guò)并行處理加快了處理大量日志數(shù)據(jù)的速度，并將處理的復(fù)雜性隱藏起來(lái)，從而實(shí)現(xiàn)了易開(kāi)發(fā)性O(shè)SS技術(shù)具有巨大發(fā)展?jié)摿Γ澜绺鞔蠊镜?/p>

10、系統(tǒng)里已經(jīng)摸索著開(kāi)始使用該項(xiàng)技術(shù)以上技術(shù)是在日本內(nèi)閣府創(chuàng)設(shè)的最先端研究開(kāi)發(fā)支援計(jì)劃下，由東京大學(xué)和共同合作開(kāi)發(fā)的“最高速的數(shù)據(jù)庫(kù)引擎的開(kāi)發(fā)（略稱(chēng)）”項(xiàng)目的研發(fā)成果。SQL：Structured Query Language，CQL：Continuous Query Language，OSS：Open Source Software大量數(shù)據(jù)處理平臺(tái)的使用效果11-采用內(nèi)存數(shù)據(jù)網(wǎng)格處理技術(shù)對(duì)磁盤(pán)型的訪(fǎng)問(wèn)提高了約倍流數(shù)據(jù)處理平臺(tái)非序列操作方式1提高了數(shù)據(jù)的輸入輸出效率，比原來(lái)快了約倍高速數(shù)據(jù)訪(fǎng)問(wèn)平臺(tái)按時(shí)間順序分割，通過(guò)數(shù)據(jù)壓縮存儲(chǔ)使得存儲(chǔ)的容量削減到約通過(guò)特征點(diǎn)索引提高數(shù)據(jù)查詢(xún)速度約倍按時(shí)間順序存儲(chǔ)

11、的數(shù)據(jù)庫(kù)內(nèi)存數(shù)據(jù)網(wǎng)格：以上技術(shù)是在日本內(nèi)閣府創(chuàng)設(shè)的最先端研究開(kāi)發(fā)支援計(jì)劃下，由東京大學(xué)和共同合作開(kāi)發(fā)的“最高速的數(shù)據(jù)庫(kù)引擎的開(kāi)發(fā)（略稱(chēng)）”項(xiàng)目的研發(fā)成果。（注）實(shí)際效果根據(jù)數(shù)據(jù)內(nèi)容，處理內(nèi)容有差別3. 流數(shù)據(jù)處理平臺(tái)面向大數(shù)據(jù)處理的產(chǎn)品及解決方案的介紹什么是流數(shù)據(jù)處理13IT的瞬發(fā)力 像是擁有神經(jīng)系統(tǒng)的反射能力一樣的IT系統(tǒng)以往的IT系統(tǒng)對(duì)存儲(chǔ)起來(lái)的膨大數(shù)據(jù)進(jìn)行集成與分析大腦的處理在數(shù)據(jù)生成的同時(shí)，就對(duì)其進(jìn)行集成與分析 反射神經(jīng)系統(tǒng)現(xiàn)實(shí)世界中發(fā)生的海量數(shù)據(jù)從數(shù)據(jù)分析中了解到正在發(fā)生什么將要發(fā)生什么POINT流數(shù)據(jù)處理DBDWH得出對(duì)“過(guò)去”的分析結(jié)果從數(shù)據(jù)分析中了解到過(guò)去什么了發(fā)生得出對(duì)“現(xiàn)在

12、”的分析結(jié)果不間斷地輸入數(shù)據(jù)1.實(shí)時(shí)處理uCosminexus Stream Data Platform儲(chǔ)存數(shù)據(jù)生產(chǎn)的數(shù)據(jù)電力網(wǎng)的數(shù)據(jù)感應(yīng)器的數(shù)據(jù)設(shè)備的數(shù)據(jù)-流數(shù)據(jù)處理的概要14發(fā)出SQL查詢(xún)，參照所有數(shù)據(jù)范圍, 然后抽出所有的結(jié)果DBMS關(guān)系型數(shù)據(jù)處理先把數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)中,然后對(duì)其進(jìn)行處理idVaabaaba123456查詢(xún)語(yǔ)句對(duì)a,b分別進(jìn)行求和結(jié)果a15b6DBMS流數(shù)據(jù)處理數(shù)據(jù)生成時(shí)就立即對(duì)其進(jìn)行處理， 只處理與其相關(guān)的一部分a,1流數(shù)據(jù)處理流程式數(shù)據(jù)處理數(shù)據(jù)一生成就逐次的對(duì)其進(jìn)行處理b,2a,3b,4a,5a,6結(jié)果a15b6事先登錄查詢(xún)語(yǔ)句對(duì)a,b分別進(jìn)行求和【只處理變化部分】(

13、a,5)輸入時(shí)（a,6)輸入時(shí)a9b6只處理a=9+6DBMS：DataBase Management System-流數(shù)據(jù)處理的應(yīng)用領(lǐng)域15syslogProxylog認(rèn)證logsyslogProxylog認(rèn)證logIT系統(tǒng)中生成的各種日志文件從感應(yīng)器中得到的數(shù)據(jù)從汽車(chē)的位置信息中得到的數(shù)據(jù)DBMS數(shù)據(jù)圖形化警報(bào)通知高效壓縮存儲(chǔ)數(shù)據(jù)一旦生成，立即進(jìn)行分析-流數(shù)據(jù)分析的事例:股指信息高速發(fā)布系統(tǒng)16通過(guò)高速的計(jì)算實(shí)現(xiàn)即時(shí)發(fā)布股指信息，從而提高了服務(wù)水平。實(shí)現(xiàn)股指算法的靈活性和高效性，可以很容易的對(duì)應(yīng)將來(lái)業(yè)務(wù)的變化。導(dǎo)入該系統(tǒng)對(duì)顧客的好處股票買(mǎi)賣(mài)系統(tǒng)用戶(hù)行情查詢(xún)系統(tǒng)輸入適配器輸入數(shù)據(jù)/過(guò)濾處理整

14、理格式/發(fā)布數(shù)據(jù)uCosminexus Stream Data Platform每股股價(jià)整體股指處理性能處理速率(吞吐量)8,000件/秒延遲10微秒以下(110微秒)過(guò)去的服務(wù)高速股指發(fā)布發(fā)布間隔每秒當(dāng)有股票價(jià)格發(fā)生變化時(shí)，瞬時(shí)反應(yīng)到股指指數(shù)高速分布系統(tǒng)流數(shù)據(jù)處理平臺(tái)輸出適配器流數(shù)據(jù)計(jì)算處理當(dāng)個(gè)股股價(jià)一發(fā)生波動(dòng)，就即時(shí)反應(yīng)到整體股指上，并以微秒的 速度發(fā)送股指信息給客戶(hù)端 要點(diǎn)統(tǒng)計(jì)分析模式-當(dāng)流通股的數(shù)量發(fā)生調(diào)整時(shí)，立即適用最新模式進(jìn)行整體股價(jià)的計(jì)算流數(shù)據(jù)分析的事例：交通路況實(shí)時(shí)監(jiān)控17機(jī)動(dòng)車(chē)車(chē)輛位置信息流數(shù)據(jù)的處理平臺(tái)uCosminexus Stream Data Platform聚類(lèi)分析

15、計(jì)算速度計(jì)算行駛方向計(jì)算車(chē)輛密度監(jiān)測(cè)擁堵監(jiān)測(cè)事故車(chē)輛ID（緯度,經(jīng)度）交通擁堵信息輸入數(shù)據(jù)約2,000條/秒紅：低速黃：中速綠：高速始點(diǎn)：前一時(shí)間的位置終點(diǎn)：最新位置車(chē)輛行駛狀況監(jiān)測(cè)擁堵事故這個(gè)位置發(fā)生了嚴(yán)重的交通擁堵交通事故 通過(guò)對(duì)車(chē)輛行駛位置的收集和分析，可以對(duì)交通路況進(jìn)行實(shí)時(shí)的監(jiān)控 通過(guò)分析各車(chē)輛的速度和行駛方向，可以監(jiān)測(cè)交通擁堵和交通事故等狀況交通事故信息2008 Google 2008 Zenrin -. 內(nèi)存數(shù)據(jù)網(wǎng)格面向大數(shù)據(jù)處理的產(chǎn)品及解決方案的介紹什么是內(nèi)存數(shù)據(jù)網(wǎng)格19.實(shí)時(shí)處理uCosminexus Elastic Application Data store.存儲(chǔ)與查詢(xún)通過(guò)

16、網(wǎng)絡(luò)將大量的服務(wù)器的內(nèi)存空間統(tǒng)合在一起，使之形成一個(gè)超大型的虛擬內(nèi)存，然后在其上進(jìn)行數(shù)據(jù)配置。應(yīng)用程序無(wú)需考慮數(shù)據(jù)的配置形態(tài)，就可直接對(duì)大量的數(shù)據(jù)進(jìn)行處理。虛擬化內(nèi)存內(nèi)存空間應(yīng)用程序應(yīng)用程序應(yīng)用程序內(nèi)存空間內(nèi)存空間內(nèi)存空間服務(wù)器客戶(hù)端-內(nèi)存數(shù)據(jù)網(wǎng)格的特長(zhǎng)20BCBC添加服務(wù)器切換復(fù)制透過(guò)的D透過(guò)性讀取KVS接口應(yīng)用程序發(fā)出故障簡(jiǎn)潔的數(shù)據(jù)建模簡(jiǎn)潔的數(shù)據(jù)建模數(shù)據(jù)訪(fǎng)問(wèn)高速化-內(nèi)存中配置數(shù)據(jù)-由索引和數(shù)值構(gòu)成()耐故障性位置透過(guò)性-隱藏了數(shù)據(jù)的物理配置位置-即使服務(wù)器發(fā)生故障也不發(fā)生數(shù)據(jù)的丟失數(shù)據(jù)訪(fǎng)問(wèn)高速化位置透過(guò)性耐故障性 KVS：Key-Value Store應(yīng)用了內(nèi)存內(nèi)數(shù)據(jù)網(wǎng)格的應(yīng)用程序的優(yōu)點(diǎn)易

17、于開(kāi)發(fā)性響應(yīng)時(shí)間短高吞吐量高可用性?xún)?nèi)存空間虛擬內(nèi)存空間應(yīng)用程序應(yīng)用程序uCEADs：uCosminexus Elastic Application Data store-內(nèi)存數(shù)據(jù)網(wǎng)格的事例：座位預(yù)約系統(tǒng)21 通過(guò)直接調(diào)用對(duì)象數(shù)據(jù)到內(nèi)存上進(jìn)行處理，來(lái)實(shí)現(xiàn)整體處理的高速化 通過(guò)統(tǒng)合大量服務(wù)器上的內(nèi)存來(lái)虛擬出超大內(nèi)存空間，高度拓展數(shù)據(jù)處理的自由度 通過(guò)對(duì)數(shù)據(jù)的多重化配置來(lái)防止數(shù)據(jù)丟失座位預(yù)約處理的高速化應(yīng)用后負(fù)載平衡器座位預(yù)約管理應(yīng)用程序預(yù)約座位用的終端ValueKeyDBMS座位預(yù)約管理DB讀寫(xiě)磁盤(pán)觸發(fā)事件日期車(chē)次名12/25XXX12/25YYY12/25ZZZ日期車(chē)次名12/25XXX12/2

18、5YYY12/25ZZZ一個(gè)月的數(shù)據(jù)#1#2#3#1#2#3通過(guò)讀取內(nèi)存來(lái) 實(shí)現(xiàn)高速化通過(guò)復(fù)制數(shù)據(jù)來(lái) 確保高信賴(lài)度無(wú)需考慮數(shù)據(jù)的物理保存地址通過(guò)讀寫(xiě)磁盤(pán)來(lái)有效回避瓶頸問(wèn)題-#45. 按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)面向大數(shù)據(jù)處理的產(chǎn)品及解決方案的介紹什么是按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)23.存儲(chǔ)與查詢(xún)uCosminexus Stream Data Platform/Data Store按數(shù)據(jù)發(fā)生的時(shí)間順序來(lái)高效存儲(chǔ)數(shù)據(jù)的管理平臺(tái)按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)uCosminexusStream Data Platform/Data Store10:00:00時(shí)刻10:00:0110:59:59：11:00:00：1.01

19、.01.0：1.0：感應(yīng)器110.025.211.1：11.1：感應(yīng)器2現(xiàn)實(shí)世界里的數(shù)據(jù)感應(yīng)器的數(shù)據(jù)電力網(wǎng)的數(shù)據(jù)設(shè)備的數(shù)據(jù)存儲(chǔ)分析收集現(xiàn)實(shí)世界里的信息并保存收集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)讀取數(shù)據(jù)查詢(xún)時(shí)間順序的數(shù)據(jù)統(tǒng)計(jì)時(shí)間順序的數(shù)據(jù)分析時(shí)間順序數(shù)據(jù)得出結(jié)果AP：Application Program-按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)的特長(zhǎng)24按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù) uCosminexusStream Data Platform/Data Store10:00:00感應(yīng)器1壓縮數(shù)據(jù)特征點(diǎn)10:00:00感應(yīng)器2特征點(diǎn)11:00:00感應(yīng)器1特征點(diǎn)11:00:00感應(yīng)器2特征點(diǎn)壓縮數(shù)據(jù)壓縮數(shù)據(jù)壓縮數(shù)據(jù)10:00:00時(shí)刻1

20、0:00:0110:59:59：11:00:00：1.01.01.0：1.0：感應(yīng)器110.025.211.1：11.1：感應(yīng)器2數(shù)據(jù)輸入單位數(shù)據(jù)保存單位通過(guò)對(duì)每個(gè)時(shí)間點(diǎn)發(fā)生的數(shù)據(jù)列進(jìn)行切割壓縮，來(lái)有效削減整體的磁盤(pán)占有容量。通過(guò)特征點(diǎn)索引來(lái)實(shí)現(xiàn)查詢(xún)的高速化（最大/最小，平均，波形模式等）提供按時(shí)間順序數(shù)據(jù)的專(zhuān)用查詢(xún)語(yǔ)句（查詢(xún)條件，波形查詢(xún)，關(guān)聯(lián)查詢(xún)，統(tǒng)計(jì)）通過(guò)對(duì)現(xiàn)實(shí)世界里的大量信息進(jìn)行高壓縮來(lái)實(shí)現(xiàn)信息存儲(chǔ)的低成本化對(duì)按時(shí)間順序存儲(chǔ)下來(lái)的大量信息進(jìn)行高速查詢(xún)與高速分析要點(diǎn)內(nèi)含計(jì)劃內(nèi)容-現(xiàn)實(shí)世界里的數(shù)據(jù)感應(yīng)器的數(shù)據(jù)電力網(wǎng)的數(shù)據(jù)設(shè)備的數(shù)據(jù)收集數(shù)據(jù)存儲(chǔ)收集現(xiàn)實(shí)世界里的信息并保存分析檢索時(shí)間順序數(shù)據(jù)統(tǒng)

21、計(jì)時(shí)間順序數(shù)據(jù)分析時(shí)間順序數(shù)據(jù)得出結(jié)果存儲(chǔ)數(shù)據(jù)讀取數(shù)據(jù)按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)的事例：燃?xì)廨啓C(jī)的維護(hù)系統(tǒng) -什么是燃?xì)廨啓C(jī)-25燃?xì)廨啓C(jī)是高精密設(shè)備 1套燃?xì)廨啓C(jī)里配備有200個(gè)以上的各種感應(yīng)器 全天候監(jiān)控燃?xì)廨啓C(jī)的運(yùn)行狀況，檢測(cè)出數(shù)據(jù)超過(guò)閥值立即報(bào)警 若檢測(cè)出異常則立即自動(dòng)緊急停止運(yùn)行狀況的分析與監(jiān)視溫度震動(dòng)壓力-按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)的事例：燃?xì)廨啓C(jī)的維護(hù)系統(tǒng) -運(yùn)行狀況監(jiān)控服務(wù)-26 收集分布在各地的燃?xì)廨啓C(jī)的運(yùn)行狀況的數(shù)據(jù)到監(jiān)控中心 收集到的數(shù)據(jù)量 1天=2GB、1個(gè)月=60GB、1年=720GB 分析過(guò)去燃?xì)廨啓C(jī)的運(yùn)行數(shù)據(jù)，來(lái)判斷設(shè)備的現(xiàn)在的運(yùn)行狀況從各地的燃?xì)廨啓C(jī)中收集運(yùn)行狀況的數(shù)據(jù)

22、進(jìn)行分析運(yùn)行狀況數(shù)據(jù)運(yùn)行狀況數(shù)據(jù)運(yùn)行狀況數(shù)據(jù)收集燃?xì)廨啓C(jī)的運(yùn)行狀況客戶(hù)運(yùn)行分析報(bào)告互聯(lián)網(wǎng)-按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)的事例：燃?xì)廨啓C(jī)的維護(hù)系統(tǒng) -運(yùn)用了按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)的解析技術(shù)后-27 為實(shí)現(xiàn)快速的分析數(shù)據(jù)，長(zhǎng)時(shí)間不間斷的監(jiān)控著整體設(shè)備的運(yùn)行狀況 為實(shí)現(xiàn)多視角分析數(shù)據(jù)，對(duì)各種各樣的數(shù)據(jù)進(jìn)行多角度的建模與解析把通過(guò)分析數(shù)據(jù)而得到的準(zhǔn)確的信息即時(shí)傳達(dá)給客戶(hù)運(yùn)行狀況數(shù)據(jù)運(yùn)行狀況數(shù)據(jù)運(yùn)行狀況數(shù)據(jù)按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)設(shè)備點(diǎn)檢數(shù)據(jù)高壓縮高速查詢(xún)客戶(hù)提高分析精度運(yùn)行分析報(bào)告提案-按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)的事例：燃?xì)廨啓C(jī)的維護(hù)系統(tǒng) -對(duì)消減存儲(chǔ)空間的評(píng)價(jià)-28 配合時(shí)間順序生成的數(shù)據(jù)的特征，首先按列單位來(lái)

23、存儲(chǔ)數(shù)據(jù) 然后按小時(shí)單位來(lái)分割數(shù)據(jù)，通過(guò)壓縮后再存儲(chǔ) 從而達(dá)到了大幅地消減整體數(shù)據(jù)的存儲(chǔ)空間11.811.2基準(zhǔn)模型 感應(yīng)器個(gè)數(shù)200個(gè) 數(shù)據(jù)收集周期1次/秒 Block單位1小時(shí)可將存儲(chǔ)空間降到12！對(duì)存儲(chǔ)空間的核查6個(gè)月RDB：Relational Database-1年現(xiàn)狀的RDB按時(shí)間存儲(chǔ)的數(shù)據(jù)庫(kù)存蓄時(shí)間存蓄量（MB）按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)的事例：燃?xì)廨啓C(jī)的維護(hù)系統(tǒng) -對(duì)高速查詢(xún)數(shù)據(jù)的評(píng)價(jià)-29 通過(guò)特征點(diǎn)索引來(lái)提高數(shù)據(jù)的查詢(xún)速度 通過(guò)數(shù)據(jù)分割保存的技術(shù)來(lái)有效提高數(shù)據(jù)訪(fǎng)問(wèn)速度（ I/0 ） 從數(shù)據(jù)查詢(xún)的分析結(jié)果中說(shuō)明經(jīng)得起實(shí)際運(yùn)用的檢驗(yàn)搜索范圍（日）1 10 31 181 365 當(dāng)前

24、RDB（3/200）19.9 187.9 573.1 3,329.3 6,819.6 當(dāng)前RDB（3/400）23.6 294.8 873.1 5,008.8 9,760.8 時(shí)間順DS（3/200）1.6 4.69.845.994.2時(shí)間順DS（3/400）1.6 4.811.751.7105.1例：從400個(gè)感應(yīng)器中查詢(xún)3個(gè)感應(yīng)器的數(shù)據(jù) 查詢(xún)時(shí)間s查詢(xún)數(shù)據(jù)的速度可提高10倍以上！對(duì)查詢(xún)時(shí)間的核查時(shí)間順DS：按時(shí)間順序來(lái)存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)（Data Store）-基準(zhǔn)模型 感應(yīng)器個(gè)數(shù)200個(gè)/400個(gè) 數(shù)據(jù)收集周期1次/秒 Block單位1小時(shí)現(xiàn)狀的RDB(3/200)現(xiàn)狀的RDB(3/400

25、)按時(shí)間順序存儲(chǔ)的數(shù)據(jù)(3/200)按時(shí)間順序存儲(chǔ)的數(shù)據(jù)(3/400)查詢(xún)范圍(日)查詢(xún)時(shí)間(s)6. 高速數(shù)據(jù)訪(fǎng)問(wèn)平臺(tái)面向大數(shù)據(jù)處理的產(chǎn)品及解決方案的介紹什么是高速數(shù)據(jù)訪(fǎng)問(wèn)平臺(tái)31在先端技術(shù)研究開(kāi)發(fā)支援計(jì)劃下，與東京大學(xué)共同合作開(kāi)發(fā)了超高速的數(shù)據(jù)庫(kù)引擎技術(shù)的研究成果，并實(shí)現(xiàn)了產(chǎn)品化。Hitachi Advanced Data Binder PlatformHitachi Advanced Data Binder Platform服務(wù)器HA8000存儲(chǔ)設(shè)備BR1200超高速的數(shù)據(jù)庫(kù)引擎首推的超高速的數(shù)據(jù)庫(kù)引擎產(chǎn)品，結(jié)合了旗下的服務(wù)器和搭載SSD的存儲(chǔ)產(chǎn)品，實(shí)現(xiàn)高速選取與搜索數(shù)據(jù)等功能。實(shí)現(xiàn)以大

26、型數(shù)據(jù)庫(kù)為處理對(duì)象的超高速數(shù)據(jù)查詢(xún)?yōu)榱俗畲笙薅鹊匕l(fā)揮超高速的數(shù)據(jù)庫(kù)引擎的性能，提供了旗下的高信賴(lài)高性能的硬件產(chǎn)品與之組合，推出了驗(yàn)證完畢的最佳實(shí)踐模式。.存儲(chǔ)查詢(xún)Hitachi Advanced Data Binder Platform-SSD：Solid State Drive高速數(shù)據(jù)訪(fǎng)問(wèn)平臺(tái)的專(zhuān)業(yè)應(yīng)用領(lǐng)域32信息的爆炸性增長(zhǎng) (1018) (1015) (1012)【提取條件】（專(zhuān)業(yè)領(lǐng)域）在金融系統(tǒng)中ATM，POS機(jī)，以及證券交易系統(tǒng)里，要求能及時(shí)地處理數(shù)據(jù)整體統(tǒng)計(jì)分析，整體日志管理，熱銷(xiāo)商品分析，流行趨勢(shì)分析，故障調(diào)查，批量處理等特定URL搜索，向下鉆取分析，假設(shè)檢驗(yàn)等反復(fù)驗(yàn)證的搜索例：

27、年齡層(20來(lái)歲)場(chǎng)所(新宿) 的手機(jī)的使用情況更加體系化更加實(shí)時(shí)執(zhí)行查詢(xún)處理的頻率（1行/次）查詢(xún)時(shí)發(fā)生的數(shù)據(jù)訪(fǎng)問(wèn)量（整體的處理）滿(mǎn)足Big Data數(shù)據(jù)處理中的并列全件數(shù)據(jù)搜索的需求通過(guò)搜索全件的數(shù)據(jù)，找出數(shù)據(jù)的潛在價(jià)值-ATM：Automatic Teller MachinePOS：Point Of SaleURL：Uniform Resource Locator以上技術(shù)是在日本內(nèi)閣府創(chuàng)設(shè)的最先端研究開(kāi)發(fā)支援計(jì)劃下，由東京大學(xué)和共同合作開(kāi)發(fā)的“最高速的數(shù)據(jù)庫(kù)引擎的開(kāi)發(fā)（略稱(chēng)）”項(xiàng)目的研發(fā)成果。超高速的數(shù)據(jù)庫(kù)引擎的概述33-是對(duì)大量的數(shù)據(jù)進(jìn)行超高速搜索的新型DBMS是最先端研究開(kāi)發(fā)支援計(jì)劃

28、下的研發(fā)成果通過(guò)將多核處理器與存儲(chǔ)系統(tǒng)的使用效率提升至最大限度的“非序列性操作原理”技術(shù)，來(lái)實(shí)現(xiàn)超高速搜索數(shù)據(jù)的功能超高速的DB傳統(tǒng)的RDB一般的RDBMS神奈川東京埼玉JOB并發(fā)型RDBMS神奈川東京埼玉JOBJOBJOB容易出現(xiàn)磁盤(pán)輸入與輸出時(shí)的性能瓶頸問(wèn)題可分散磁盤(pán)輸入與輸出從而改善性能瓶頸問(wèn)題但運(yùn)營(yíng)成本會(huì)增加超高速DBMSJOB對(duì)多個(gè)磁盤(pán)實(shí)行超高速的非同期的輸入與輸出操作。DBMS：Database Management SystemRDBMS：Relational Database Management System以上技術(shù)是在日本內(nèi)閣府創(chuàng)設(shè)的最先端研究開(kāi)發(fā)支援計(jì)劃下，由東京大學(xué)和共

29、同合作開(kāi)發(fā)的“最高速的數(shù)據(jù)庫(kù)引擎的開(kāi)發(fā)（略稱(chēng)）”項(xiàng)目的研發(fā)成果。超高速的數(shù)據(jù)庫(kù)引擎的特點(diǎn)34-其一：搜索速度非常的快 擅長(zhǎng)從一個(gè)表中的提取具體數(shù)據(jù)再結(jié)合多表進(jìn)行數(shù)據(jù)處理 適用于以搜索業(yè)務(wù)為中心的信息系統(tǒng)。在自由搜索領(lǐng)域有著絕對(duì)的優(yōu)勢(shì)。其二：充分發(fā)揮多核CPU的優(yōu)勢(shì)，并和使用磁盤(pán)(HDD/SSD)個(gè)數(shù)成正比實(shí)現(xiàn)了高速化 系統(tǒng)結(jié)構(gòu)簡(jiǎn)單。可以構(gòu)建單臺(tái)服務(wù)器的系統(tǒng)，隨著處理業(yè)務(wù)的增大可以擴(kuò)展系統(tǒng) 越是大量的數(shù)據(jù)(PB級(jí)，EB級(jí))使用的硬盤(pán)數(shù)量會(huì)越多，越可體現(xiàn)出該技術(shù)的優(yōu)勢(shì) 即使是少量的(TB級(jí))數(shù)據(jù)，結(jié)合具有隨機(jī)存取特長(zhǎng)的SSD硬盤(pán)，也可有效發(fā)揮該技術(shù)的優(yōu)勢(shì)搜索處理(s)同期I/O處理(ms)服務(wù)器存

30、儲(chǔ)設(shè)備服務(wù)器存儲(chǔ)設(shè)備分配任務(wù)搜索過(guò)程等待I/O結(jié)束磁盤(pán)I/O【傳統(tǒng)型RDBMS】順序操作方式 對(duì)一個(gè)SQL的操作請(qǐng)求，按順序執(zhí)行 由于受到磁盤(pán)I/O響應(yīng)慢的因素的影響，CPU的 利用率非常的低，得不到充分的利用【超高速DBMS】非順序操作方式 可以多線(xiàn)程執(zhí)行SQL的操作請(qǐng)求。充分有效的 利用CPU和磁盤(pán)的性能 對(duì)DB的基礎(chǔ)進(jìn)行了重新的設(shè)計(jì)HDD：Hard Disk DriveSQL：Structured Query Language，I/O：Input/Output以上技術(shù)是在日本內(nèi)閣府創(chuàng)設(shè)的最先端研究開(kāi)發(fā)支援計(jì)劃下，由東京大學(xué)和共同合作開(kāi)發(fā)的“最高速的數(shù)據(jù)庫(kù)引擎的開(kāi)發(fā)（略稱(chēng)）”項(xiàng)目的研發(fā)成果

31、。超高速的數(shù)據(jù)庫(kù)引擎的性能評(píng)價(jià)35-全部處理約需900秒全部處理只需10秒順序操作方式非順序操作方式速度提高了90倍IOPS: IO per second = 每秒的I/O次數(shù)。該值越大則表明磁盤(pán)的訪(fǎng)問(wèn)速度越快。以時(shí)間為橫軸，邏輯地址為縱軸，描繪出磁盤(pán)訪(fǎng)問(wèn)的狀態(tài)分布圖。左圖為順序操作方式，其磁盤(pán)的訪(fǎng)問(wèn)密度比較低，右圖顯示的是非順序操作方式，其磁盤(pán)的訪(fǎng)問(wèn)密度非常的高。我們可以從圖中判斷出非順序操作方在極短的時(shí)間內(nèi)能處理大量的輸入和輸出。以上技術(shù)是在日本內(nèi)閣府創(chuàng)設(shè)的最先端研究開(kāi)發(fā)支援計(jì)劃下，由東京大學(xué)和共同合作開(kāi)發(fā)的“最高速的數(shù)據(jù)庫(kù)引擎的開(kāi)發(fā)（略稱(chēng)）”項(xiàng)目的研發(fā)成果。高速數(shù)據(jù)訪(fǎng)問(wèn)平臺(tái)的事例：POS

32、數(shù)據(jù)分析36將來(lái)：可以只對(duì)中央DWH的數(shù)據(jù)實(shí)行高速搜索。通過(guò)消減批量數(shù)據(jù)處理的運(yùn)營(yíng)成本，添加不同視角的分析軸來(lái)有效促進(jìn)數(shù)據(jù)的利用?，F(xiàn)狀：收集POS數(shù)據(jù)，創(chuàng)建數(shù)據(jù)集市（Data Mart）。因?yàn)榕幚硇枰荛L(zhǎng)的時(shí)間，本想從更多的角度來(lái)分析數(shù)據(jù)，查看根多的結(jié)果，但只能放棄作罷了。POS數(shù)據(jù)POS數(shù)據(jù)POS數(shù)據(jù)DataMartDataMartDataMartDataMart常見(jiàn)的處理MasterData収集常見(jiàn)的處理MasterData収集中央DWH高速的POS數(shù)據(jù)分析費(fèi)時(shí)的夜間批處理因數(shù)據(jù)量的增加，夜間批處理已不能應(yīng)付本想從更多的角度來(lái)分析數(shù)據(jù)，但處理能力有限只好放棄中央DWHHitachi Ad

33、vanced Data BinderPlatform課題POS數(shù)據(jù)POS數(shù)據(jù)POS數(shù)據(jù)使用高速數(shù)據(jù)訪(fǎng)問(wèn)平臺(tái)，可以減少數(shù)據(jù)集市（Data Mart）解決方法-DWH：Data Warehouse以上技術(shù)是在日本內(nèi)閣府創(chuàng)設(shè)的最先端研究開(kāi)發(fā)支援計(jì)劃下，由東京大學(xué)和共同合作開(kāi)發(fā)的“最高速的數(shù)據(jù)庫(kù)引擎的開(kāi)發(fā)（略稱(chēng)）”項(xiàng)目的研發(fā)成果。37結(jié)果通過(guò)減少批量處理來(lái)降低運(yùn)營(yíng)成本！使添加不同視角的分析軸和按需搜索成為可能！評(píng)價(jià)實(shí)例（客戶(hù)分析）在高速數(shù)據(jù)訪(fǎng)問(wèn)的平臺(tái)上，對(duì)1.5TB的數(shù)據(jù)進(jìn)行處理： 速度比原來(lái)快了107倍（13.5小時(shí)7.5分鐘）-高速數(shù)據(jù)訪(fǎng)問(wèn)平臺(tái)的事例：POS數(shù)據(jù)分析以上技術(shù)是在日本內(nèi)閣府創(chuàng)設(shè)的最先

34、端研究開(kāi)發(fā)支援計(jì)劃下，由東京大學(xué)和共同合作開(kāi)發(fā)的“最高速的數(shù)據(jù)庫(kù)引擎的開(kāi)發(fā)（略稱(chēng)）”項(xiàng)目的研發(fā)成果。.總結(jié)面向大數(shù)據(jù)處理的產(chǎn)品及解決方案的介紹大量數(shù)據(jù)處理平臺(tái)的相關(guān)產(chǎn)品及解決方案39-需求新技術(shù)產(chǎn)品特點(diǎn)實(shí)時(shí)數(shù)據(jù)的處理與利用流數(shù)據(jù)流處理平臺(tái)（uCosminexusStream Data Platform）通過(guò)內(nèi)存內(nèi)計(jì)算和差值計(jì)算來(lái)實(shí)現(xiàn)處理的高速化可使用SQL的腳本語(yǔ)言(CQL)來(lái)描述分析步驟，具易開(kāi)發(fā)性隨著內(nèi)存中處理的數(shù)據(jù)量的增加，需增加靈活性和可擴(kuò)展性?xún)?nèi)存數(shù)據(jù)網(wǎng)格（uCosminexusElastic Application Data store）通過(guò)CJava語(yǔ)言直接訪(fǎng)問(wèn)（參照數(shù)據(jù)）內(nèi)存緩存內(nèi)的數(shù)據(jù)，來(lái)實(shí)現(xiàn)數(shù)據(jù)訪(fǎng)問(wèn)的高速化把大量數(shù)據(jù)分散配置在多個(gè)節(jié)點(diǎn)上，對(duì)應(yīng)用程序提供虛擬化的內(nèi)存訪(fǎng)問(wèn)對(duì)按時(shí)間順序存儲(chǔ)的數(shù)據(jù)的高效儲(chǔ)存與高度分析按時(shí)間順序存儲(chǔ)的數(shù)據(jù)庫(kù)（