海量數(shù)據(jù)存儲、訪問與管理

海量數(shù)據(jù)存儲、訪問與治理斷增長的數(shù)據(jù)。求也變得越來越迫切。人員覺察，公司收集、存儲和分析的有關(guān)客戶、財(cái)務(wù)、產(chǎn)品和運(yùn)營的數(shù)據(jù)，其增長率達(dá)125%之多。各個(gè)方面的因素導(dǎo)致了數(shù)據(jù)的爆炸，如：網(wǎng)絡(luò)應(yīng)用增加了數(shù)據(jù)的增長速度；監(jiān)控點(diǎn)擊流需要存儲與以往相比越來越多的不同的數(shù)據(jù)類型；多媒體數(shù)據(jù)也增加了對存儲的要求；我們存儲并治理的不僅僅是數(shù)字和文字，還有視頻、音頻、圖像、臨時(shí)數(shù)據(jù)以及更多內(nèi)容，這些數(shù)據(jù)的增長速度也在不斷地上升；數(shù)據(jù)倉庫和數(shù)據(jù)挖掘應(yīng)用鼓舞企業(yè)存儲越來越長的時(shí)間段內(nèi)越來越多的數(shù)據(jù)。這些實(shí)際狀況導(dǎo)致的結(jié)果就是數(shù)據(jù)大量增加。要求，幾乎影響到全球各家大型企業(yè)。法案要求公共公司遵守嚴(yán)格的金融記錄保持與報(bào)告法規(guī)。假設(shè)公司不能準(zhǔn)時(shí)、牢靠地訪問準(zhǔn)確的財(cái)務(wù)信息，那么它們護(hù)周期，增加數(shù)據(jù)容量。、照片、計(jì)算機(jī)生成的報(bào)告、字處理文檔、電子表格、演示文稿、語音和85%以上，數(shù)據(jù)量及其浩大，是信息資源治理的核心。同樣，企業(yè)需要對非構(gòu)造化數(shù)據(jù)進(jìn)展存儲、檢索、過濾、提取、挖掘、分析等各方面應(yīng)用。歷史數(shù)據(jù)歸檔與訪問的需要。一般來說業(yè)務(wù)系統(tǒng)是用來處理業(yè)務(wù)交易的，為了使這些關(guān)鍵業(yè)務(wù)系統(tǒng)的性能不會受到嚴(yán)峻影響，往往業(yè)務(wù)系統(tǒng)只存放短周期內(nèi)的業(yè)務(wù)交易數(shù)據(jù)，大量的歷史數(shù)據(jù)都被備份到磁帶上，或者被轉(zhuǎn)移到其他SQL查詢時(shí)再把它們從檔案環(huán)境中恢復(fù)出來。但是隨著企業(yè)對數(shù)據(jù)的重要性越來越重視，以及數(shù)據(jù)分析、數(shù)據(jù)挖掘的應(yīng)也對海量數(shù)據(jù)的存儲、治理和訪問提出了的需求。存儲異構(gòu)化的特點(diǎn)，企業(yè)的數(shù)據(jù)可能存儲在傳統(tǒng)系統(tǒng)、大型數(shù)據(jù)倉庫或具有計(jì)費(fèi)、訂購、制造、分銷或其他功能的數(shù)據(jù)運(yùn)營孤島上，因此會給訪問帶來極大的困難。數(shù)據(jù)整合與數(shù)據(jù)分析已經(jīng)成為信息治理技術(shù)的應(yīng)用熱點(diǎn)。只有在有效合數(shù)據(jù)的分析和加工來獲得制定策略所必需的信息依據(jù)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫面臨更大的挑戰(zhàn)設(shè)計(jì)之上的。InternetIntranet技術(shù)的進(jìn)展，使得非構(gòu)造化數(shù)據(jù)的應(yīng)用日趨擴(kuò)大，以及對海量數(shù)據(jù)快速訪問、有效的備份恢復(fù)機(jī)制、實(shí)時(shí)數(shù)據(jù)分析等等的需求，傳統(tǒng)的關(guān)系數(shù)據(jù)庫從1970年進(jìn)展至今，雖功能日趨完善，但在應(yīng)對海量數(shù)據(jù)處理上仍有很多缺乏。缺乏對海量數(shù)據(jù)的快速訪問力量當(dāng)你的競爭對手在周五下午宣布了的價(jià)格體系，你所在機(jī)構(gòu)的總裁在周一早晨之前想要一份對你公司有何影響的分析報(bào)告，業(yè)務(wù)分析員想做的最終一件事情是花費(fèi)20分鐘等待整個(gè)表掃描和多表連接來獲得“假設(shè)……會怎么樣”的查詢。由于沒有經(jīng)過優(yōu)化的查詢會消耗很長的時(shí)間；進(jìn)展查詢的用戶，其需求需要按打算執(zhí)行；多個(gè)查詢會競爭CPU資源；并且業(yè)務(wù)需求常常被轉(zhuǎn)變。全部這些都要求不斷調(diào)整優(yōu)化數(shù)據(jù)庫或甚至重設(shè)計(jì)數(shù)據(jù)庫。缺乏海量數(shù)據(jù)訪問敏捷性在現(xiàn)實(shí)狀況中，用戶在查詢時(shí)期望具有極大的敏捷性。用戶可以提任何問都能快速得到答復(fù)。傳統(tǒng)的數(shù)據(jù)庫不能夠供給敏捷的解決方法，不能對隨機(jī)性的查詢做出快速響應(yīng)，由于它需要等待系統(tǒng)治理人員對特別查詢進(jìn)展調(diào)優(yōu)，這導(dǎo)致很多公司不具備這種快速反響力量。對非構(gòu)造化數(shù)據(jù)處理力量薄弱傳統(tǒng)的關(guān)系型數(shù)據(jù)庫對數(shù)據(jù)類型的處理只局限于數(shù)字、字符等，對多媒體信息的處理只是停留在簡潔的二進(jìn)制代碼文件的存儲。然而，隨著用戶應(yīng)用需Intranet/Internet供給的多彩的多媒體溝通方式，用戶對多媒體處理的要求從簡潔的存儲上升為識別、檢索和深入加工，因此如E-mail等簡單數(shù)據(jù)類型，是很多數(shù)據(jù)庫廠家正面臨的問題。海量數(shù)據(jù)導(dǎo)致存儲本錢、維護(hù)治理本錢不斷增加/價(jià)格比更加受關(guān)注。GIGA爭論說明，ROI(投資回報(bào)率)越來越受到重視。海量數(shù)據(jù)使得企業(yè)由于保存大量在線數(shù)據(jù)以及數(shù)據(jù)膨脹而需要在存儲硬件上大量投資，雖然存儲設(shè)備的本錢在下降，但存儲的總體本錢卻在不斷增加，并且正在成為最大的一筆IT開支之一。另一方面，海量數(shù)據(jù)使DBA陷入持續(xù)的數(shù)據(jù)庫治理維護(hù)工作當(dāng)中。海量數(shù)據(jù)缺乏快速備份與災(zāi)難恢復(fù)機(jī)制傳統(tǒng)的數(shù)據(jù)庫備份技術(shù)，如通常承受的磁帶備份方式，不能運(yùn)用于海量數(shù)據(jù)，由于磁帶備份將使備份時(shí)間增加，需要幾小時(shí)-幾天，不僅影響了生產(chǎn)，而且增加了備份的難度，使得備份/恢復(fù)變得緩慢而且不行靠，幾乎無法在固定的時(shí)間窗口完成備份工作。另外，第三方備份軟件隱含的本錢代價(jià)如本錢開銷、只有通過引入有效的備份、便利高效的備份恢復(fù)技術(shù)，才能滿足海量數(shù)據(jù)安全的需要。SybaseVLDS的最大支持Sybase，致力于為客戶供給治理企業(yè)內(nèi)部各種簡單海量數(shù)據(jù)源的解決方案。其一系列的解決方案幫助數(shù)據(jù)密集型行業(yè)對來自于固定或移動數(shù)據(jù)源的構(gòu)造化或非構(gòu)造化的海量數(shù)據(jù)進(jìn)展VLDSSybasEIQSybaseIQRDBMS解決方案相比，數(shù)據(jù)存儲量可以削減60～80%。這也就削減了物理存儲需求和人員配備本錢。經(jīng)過獨(dú)立的審核測試確認(rèn)，48TSybaseIQ22TSybaseIQ比傳統(tǒng)數(shù)據(jù)庫更簡潔維護(hù)，而且不需要進(jìn)展與時(shí)間和資源相關(guān)的調(diào)整就可以到達(dá)極佳的性能。除了節(jié)約本錢以外，SybaseIQ止欺詐、減小風(fēng)險(xiǎn)、開掘的商機(jī)以及獲得其他各種好處。SybaseDODS從運(yùn)營系統(tǒng)獵取數(shù)據(jù)，將其復(fù)制到運(yùn)營數(shù)據(jù)存儲中，然后使用用戶生疏的、功能強(qiáng)大的報(bào)告工具快速訪問數(shù)據(jù)。強(qiáng)有力并且簡潔易用地進(jìn)展穿插查詢Emails,DocumentsandTransactions。SybaseDynamicArchive解決方案的獨(dú)特設(shè)計(jì)SybaseDynamicOperationalDataStrore(DODS)動態(tài)運(yùn)營數(shù)據(jù)存儲解決方案SybaseDODS解決方案承受功能強(qiáng)大的復(fù)制技術(shù)，SybaseIQ歸檔數(shù)據(jù)庫中，可供給比傳統(tǒng)數(shù)據(jù)庫快100倍的查詢速度，而所需的存儲空間卻比傳統(tǒng)RDBMS60～80%。SybaseDODS，使它們在保持原有系統(tǒng)性能的同時(shí)，還能安全地滿足不斷增長的實(shí)時(shí)自助業(yè)務(wù)分析的需要。用戶實(shí)例：TelefonicaSpain〔西班牙電信〕DODS系統(tǒng)、青島海爾DODSDODSSybaseE-mail與文檔歸檔、檢索解決方案－非構(gòu)造化數(shù)據(jù)的有效運(yùn)用Gartner爭論說明：非構(gòu)造化數(shù)據(jù)已經(jīng)與傳統(tǒng)的“構(gòu)造化”數(shù)據(jù)同樣重要，當(dāng)今85%以上的商業(yè)信息是保存在非構(gòu)造化數(shù)據(jù)中，而且這個(gè)進(jìn)展趨勢越來越快。相關(guān)法規(guī)的制定對公司E-mail搜尋需要的內(nèi)容以及附件包含的內(nèi)容？如何將E-mail信息與數(shù)據(jù)倉庫中數(shù)據(jù)進(jìn)展關(guān)聯(lián)查詢？類似的需求將越來越多，SybaseE-mail與文檔歸檔、檢索解決方案能夠快速地答復(fù)你的問題。實(shí)時(shí)捕獲E-mail內(nèi)容及附件信息，并傳送到IQ實(shí)時(shí)把文檔/媒體加載到IQ對文檔信息進(jìn)展快速load/index處理，客戶端對其中數(shù)據(jù)、email、文檔都可以進(jìn)展關(guān)聯(lián)查詢。用戶實(shí)例：UnitedHealthCare(storeANYtypeofmedicaldatasuchasCATscans,X-rays,regularphotos(i.eJPEG),spectrograms,EKGandothers.)SybaseDynamicArchive(DA)動態(tài)數(shù)據(jù)歸檔解決方案在典型的業(yè)務(wù)應(yīng)用環(huán)境中，數(shù)據(jù)量每年以125%的速度遞增。生產(chǎn)系統(tǒng)中高達(dá)80%數(shù)據(jù)處于非活動狀態(tài)，它們卻在不斷地占用著昂貴的硬件、存儲設(shè)備和維護(hù)資源，并且降低了應(yīng)用性能。傳統(tǒng)的歸檔治理方法是將數(shù)據(jù)移出應(yīng)用環(huán)境，但這可能會損害數(shù)據(jù)完整性，從而使公司面臨違反規(guī)定的風(fēng)險(xiǎn)。SybaseDynamicArchive解決方案特地設(shè)計(jì)用來滿足其核心應(yīng)用飽受數(shù)據(jù)迅猛增長之苦的企業(yè)的需求，為企業(yè)供給真正需要的東西：一種長期的、本錢效益好的方法，能夠從應(yīng)用生產(chǎn)中消退非活動數(shù)據(jù)，同時(shí)在需要這些數(shù)據(jù)時(shí)，又能夠持續(xù)實(shí)現(xiàn)無縫訪問，它還在節(jié)約本錢和提高性能方面供給了很多可以量化的優(yōu)勢。用戶實(shí)例：COSCON中遠(yuǎn)集運(yùn)DASybase海量數(shù)據(jù)備份／恢復(fù)NonStopIQNonStopIQ是針對海量數(shù)據(jù)的便利準(zhǔn)時(shí)的Disk-to-Disk(D2D)備份/恢復(fù)解決方案：根本無視數(shù)據(jù)庫的大小，進(jìn)展全庫備份在秒級或分鐘級就能完成；當(dāng)發(fā)生災(zāi)難時(shí)候，瞬間實(shí)現(xiàn)由生產(chǎn)庫到備份庫的切換，以最短的宕機(jī)時(shí)間來進(jìn)展恢復(fù)操作，TB60秒；支持本地和遠(yuǎn)程的操作；不同于磁帶備份，NonStop試、DBCCQA等等；比磁帶備份更加牢靠：馬上對備份數(shù)據(jù)進(jìn)展驗(yàn)證，備點(diǎn)數(shù)據(jù)庫隨時(shí)可以啟動、使用；可以使用ATA磁盤替代昂貴的FC磁盤來滿足本錢節(jié)約和信息價(jià)值非類存儲的需要，比“傳統(tǒng)的”磁帶備份/災(zāi)難恢復(fù)具有更低的本錢；20多個(gè)客戶在承受該方案〔從200GB140TB〕。用戶實(shí)例：NielsenMediaResearch、AMEX、BizRate、SEC、廣東移動IP行總行歷史數(shù)據(jù)查詢系統(tǒng)等等。SybaseＶＬＤＳ國內(nèi)外成功案例2005年SybaseVLDS10SybaseIQIQ同樣的裸數(shù)據(jù)大小，在其他傳統(tǒng)的關(guān)系型數(shù)據(jù)庫中，將有2-11局部國內(nèi)外VLDS的客戶應(yīng)用介紹：TelefonicaSpain〔西班牙電信〕Telefonica電信業(yè)主要的全球化企業(yè)之一，全球擁有8200萬客戶，在164500〔西班牙2100〕，3600180010080TelefonicaSybaseDODS解決方案，成功地將數(shù)十個(gè)各自獨(dú)立的信息系統(tǒng)的海量數(shù)據(jù)準(zhǔn)實(shí)時(shí)集中存放在ODS架構(gòu)中，實(shí)現(xiàn)了在最優(yōu)的存儲和維護(hù)本錢下獲得了最好的性能的目標(biāo)。ComScore-一家生代信息效勞公司ComScore需要監(jiān)控分別來自美國六個(gè)不同的主干網(wǎng)，七個(gè)重要要城市的網(wǎng)絡(luò)點(diǎn)擊流。Internet〔有時(shí)候會到達(dá)百萬數(shù)量級〕，這就導(dǎo)致有大量的數(shù)據(jù)需要收集，ComScore600300GB60TBIQ20+TB。NielsenMediaResearch總部位于佛羅里達(dá)州達(dá)尼丁市的NielsenMediaResearch評及相關(guān)效勞的主要供給商。可想而知，隨著這種調(diào)研工作的不斷擴(kuò)大和深入，NielsenMediaResearch的數(shù)據(jù)量也變得格外浩大，而且已經(jīng)成為了企業(yè)的生存命脈。Nielsen客戶提交的懇求往往不是訂單處理，而是集中在海量數(shù)據(jù)的提取上，由于客戶需要這些數(shù)據(jù)進(jìn)展分析。而每一條懇求都包含數(shù)十頁，甚至數(shù)百頁的SQL語句。假設(shè)承受傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，I/O負(fù)載將會格外重。如今，承受SybaseIQMultiplex后，不僅解決了問題，而且能夠隨時(shí)對CPU進(jìn)展調(diào)整，最高速率保持在每小時(shí)600GB，這個(gè)速度不會給SAN磁盤的I/OCPU保證系統(tǒng)的順當(dāng)運(yùn)行。KoreaChohungBank-韓國朝興銀行20001月，朝興銀行(CHB)完成了韓國第一個(gè)企業(yè)數(shù)據(jù)倉庫(EDW)和基于Web的市場數(shù)據(jù)庫系統(tǒng)的開發(fā)工作。CHB將EDW儲單元。包含在EDW中的客戶和交易信息每天都會更，供CHB內(nèi)部各獨(dú)立業(yè)務(wù)單位‘?dāng)?shù)700名用戶(如用于治理收益、信貸和風(fēng)險(xiǎn)的集成系統(tǒng))使用。廣東電信海量數(shù)據(jù)分析系統(tǒng)70163/16920028004003001001統(tǒng)的最終用戶的需求不盡一樣，業(yè)務(wù)策略不斷變化。廣東電信經(jīng)過多方測試比較，最終在163網(wǎng)，廣東省一代的多媒體網(wǎng)綜合業(yè)務(wù)治理系統(tǒng)，廣州電信市場經(jīng)營分析系統(tǒng)等多個(gè)系統(tǒng)中承受了SybaseVLDS廣東移動IP〔2006IQ30+TB〕廣東移動是中國領(lǐng)先的移動運(yùn)營商，其CMNET是中國移動集團(tuán)內(nèi)規(guī)模最大的省級IPIP網(wǎng)絡(luò)治理系統(tǒng)，每日數(shù)據(jù)行數(shù)巨大，僅WAP9〔ROWS〕，每日數(shù)據(jù)增量在800GB，且保持著相當(dāng)高的增長速率，在大量數(shù)據(jù)持續(xù)加載到數(shù)據(jù)庫的同時(shí)還需要做大量的匯總計(jì)算工作。該系統(tǒng)經(jīng)過9IPSybaseVLDS一期實(shí)現(xiàn)了多個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)的實(shí)時(shí)裝載、小時(shí)分析、日分析。在存儲方面，實(shí)際磁盤開銷低于原始數(shù)據(jù)文件的大小，在充分滿足查詢需求的根底上，很好的掌握了空間的膨脹，降低了存儲代價(jià)。交行總行歷史數(shù)據(jù)存儲與查詢系統(tǒng)〔5+TB〕交通銀行總行歷史查詢數(shù)據(jù)量在不斷增加，尤其在實(shí)現(xiàn)個(gè)人歷史數(shù)據(jù)查詢功能后，數(shù)5TB。交行總行歷