海量數(shù)據(jù)存儲(chǔ)、訪問(wèn)與管理

海量數(shù)據(jù)存儲(chǔ)、訪問(wèn)與治理斷增長(zhǎng)的數(shù)據(jù)。求也變得越來(lái)越迫切。人員覺(jué)察，公司收集、存儲(chǔ)和分析的有關(guān)客戶(hù)、財(cái)務(wù)、產(chǎn)品和運(yùn)營(yíng)的數(shù)據(jù)，其增長(zhǎng)率達(dá)125%之多。各個(gè)方面的因素導(dǎo)致了數(shù)據(jù)的爆炸，如：網(wǎng)絡(luò)應(yīng)用增加了數(shù)據(jù)的增長(zhǎng)速度；監(jiān)控點(diǎn)擊流需要存儲(chǔ)與以往相比越來(lái)越多的不同的數(shù)據(jù)類(lèi)型；多媒體數(shù)據(jù)也增加了對(duì)存儲(chǔ)的要求；我們存儲(chǔ)并治理的不僅僅是數(shù)字和文字，還有視頻、音頻、圖像、臨時(shí)數(shù)據(jù)以及更多內(nèi)容，這些數(shù)據(jù)的增長(zhǎng)速度也在不斷地上升；數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘應(yīng)用鼓舞企業(yè)存儲(chǔ)越來(lái)越長(zhǎng)的時(shí)間段內(nèi)越來(lái)越多的數(shù)據(jù)。這些實(shí)際狀況導(dǎo)致的結(jié)果就是數(shù)據(jù)大量增加。要求，幾乎影響到全球各家大型企業(yè)。法案要求公共公司遵守嚴(yán)格的金融記錄保持與報(bào)告法規(guī)。假設(shè)公司不能準(zhǔn)時(shí)、牢靠地訪問(wèn)準(zhǔn)確的財(cái)務(wù)信息，那么它們護(hù)周期，增加數(shù)據(jù)容量。、照片、計(jì)算機(jī)生成的報(bào)告、字處理文檔、電子表格、演示文稿、語(yǔ)音和85%以上，數(shù)據(jù)量及其浩大，是信息資源治理的核心。同樣，企業(yè)需要對(duì)非構(gòu)造化數(shù)據(jù)進(jìn)展存儲(chǔ)、檢索、過(guò)濾、提取、挖掘、分析等各方面應(yīng)用。歷史數(shù)據(jù)歸檔與訪問(wèn)的需要。一般來(lái)說(shuō)業(yè)務(wù)系統(tǒng)是用來(lái)處理業(yè)務(wù)交易的，為了使這些關(guān)鍵業(yè)務(wù)系統(tǒng)的性能不會(huì)受到嚴(yán)峻影響，往往業(yè)務(wù)系統(tǒng)只存放短周期內(nèi)的業(yè)務(wù)交易數(shù)據(jù)，大量的歷史數(shù)據(jù)都被備份到磁帶上，或者被轉(zhuǎn)移到其他SQL查詢(xún)時(shí)再把它們從檔案環(huán)境中恢復(fù)出來(lái)。但是隨著企業(yè)對(duì)數(shù)據(jù)的重要性越來(lái)越重視，以及數(shù)據(jù)分析、數(shù)據(jù)挖掘的應(yīng)也對(duì)海量數(shù)據(jù)的存儲(chǔ)、治理和訪問(wèn)提出了的需求。存儲(chǔ)異構(gòu)化的特點(diǎn)，企業(yè)的數(shù)據(jù)可能存儲(chǔ)在傳統(tǒng)系統(tǒng)、大型數(shù)據(jù)倉(cāng)庫(kù)或具有計(jì)費(fèi)、訂購(gòu)、制造、分銷(xiāo)或其他功能的數(shù)據(jù)運(yùn)營(yíng)孤島上，因此會(huì)給訪問(wèn)帶來(lái)極大的困難。數(shù)據(jù)整合與數(shù)據(jù)分析已經(jīng)成為信息治理技術(shù)的應(yīng)用熱點(diǎn)。只有在有效合數(shù)據(jù)的分析和加工來(lái)獲得制定策略所必需的信息依據(jù)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)面臨更大的挑戰(zhàn)設(shè)計(jì)之上的。InternetIntranet技術(shù)的進(jìn)展，使得非構(gòu)造化數(shù)據(jù)的應(yīng)用日趨擴(kuò)大，以及對(duì)海量數(shù)據(jù)快速訪問(wèn)、有效的備份恢復(fù)機(jī)制、實(shí)時(shí)數(shù)據(jù)分析等等的需求，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)從1970年進(jìn)展至今，雖功能日趨完善，但在應(yīng)對(duì)海量數(shù)據(jù)處理上仍有很多缺乏。缺乏對(duì)海量數(shù)據(jù)的快速訪問(wèn)力量當(dāng)你的競(jìng)爭(zhēng)對(duì)手在周五下午宣布了的價(jià)格體系，你所在機(jī)構(gòu)的總裁在周一早晨之前想要一份對(duì)你公司有何影響的分析報(bào)告，業(yè)務(wù)分析員想做的最終一件事情是花費(fèi)20分鐘等待整個(gè)表掃描和多表連接來(lái)獲得“假設(shè)……會(huì)怎么樣”的查詢(xún)。由于沒(méi)有經(jīng)過(guò)優(yōu)化的查詢(xún)會(huì)消耗很長(zhǎng)的時(shí)間；進(jìn)展查詢(xún)的用戶(hù)，其需求需要按打算執(zhí)行；多個(gè)查詢(xún)會(huì)競(jìng)爭(zhēng)CPU資源；并且業(yè)務(wù)需求常常被轉(zhuǎn)變。全部這些都要求不斷調(diào)整優(yōu)化數(shù)據(jù)庫(kù)或甚至重設(shè)計(jì)數(shù)據(jù)庫(kù)。缺乏海量數(shù)據(jù)訪問(wèn)敏捷性在現(xiàn)實(shí)狀況中，用戶(hù)在查詢(xún)時(shí)期望具有極大的敏捷性。用戶(hù)可以提任何問(wèn)都能快速得到答復(fù)。傳統(tǒng)的數(shù)據(jù)庫(kù)不能夠供給敏捷的解決方法，不能對(duì)隨機(jī)性的查詢(xún)做出快速響應(yīng)，由于它需要等待系統(tǒng)治理人員對(duì)特別查詢(xún)進(jìn)展調(diào)優(yōu)，這導(dǎo)致很多公司不具備這種快速反響力量。對(duì)非構(gòu)造化數(shù)據(jù)處理力量薄弱傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)類(lèi)型的處理只局限于數(shù)字、字符等，對(duì)多媒體信息的處理只是停留在簡(jiǎn)潔的二進(jìn)制代碼文件的存儲(chǔ)。然而，隨著用戶(hù)應(yīng)用需Intranet/Internet供給的多彩的多媒體溝通方式，用戶(hù)對(duì)多媒體處理的要求從簡(jiǎn)潔的存儲(chǔ)上升為識(shí)別、檢索和深入加工，因此如E-mail等簡(jiǎn)單數(shù)據(jù)類(lèi)型，是很多數(shù)據(jù)庫(kù)廠家正面臨的問(wèn)題。海量數(shù)據(jù)導(dǎo)致存儲(chǔ)本錢(qián)、維護(hù)治理本錢(qián)不斷增加/價(jià)格比更加受關(guān)注。GIGA爭(zhēng)論說(shuō)明，ROI(投資回報(bào)率)越來(lái)越受到重視。海量數(shù)據(jù)使得企業(yè)由于保存大量在線數(shù)據(jù)以及數(shù)據(jù)膨脹而需要在存儲(chǔ)硬件上大量投資，雖然存儲(chǔ)設(shè)備的本錢(qián)在下降，但存儲(chǔ)的總體本錢(qián)卻在不斷增加，并且正在成為最大的一筆IT開(kāi)支之一。另一方面，海量數(shù)據(jù)使DBA陷入持續(xù)的數(shù)據(jù)庫(kù)治理維護(hù)工作當(dāng)中。海量數(shù)據(jù)缺乏快速備份與災(zāi)難恢復(fù)機(jī)制傳統(tǒng)的數(shù)據(jù)庫(kù)備份技術(shù)，如通常承受的磁帶備份方式，不能運(yùn)用于海量數(shù)據(jù)，由于磁帶備份將使備份時(shí)間增加，需要幾小時(shí)-幾天，不僅影響了生產(chǎn)，而且增加了備份的難度，使得備份/恢復(fù)變得緩慢而且不行靠，幾乎無(wú)法在固定的時(shí)間窗口完成備份工作。另外，第三方備份軟件隱含的本錢(qián)代價(jià)如本錢(qián)開(kāi)銷(xiāo)、只有通過(guò)引入有效的備份、便利高效的備份恢復(fù)技術(shù)，才能滿(mǎn)足海量數(shù)據(jù)安全的需要。SybaseVLDS的最大支持Sybase，致力于為客戶(hù)供給治理企業(yè)內(nèi)部各種簡(jiǎn)單海量數(shù)據(jù)源的解決方案。其一系列的解決方案幫助數(shù)據(jù)密集型行業(yè)對(duì)來(lái)自于固定或移動(dòng)數(shù)據(jù)源的構(gòu)造化或非構(gòu)造化的海量數(shù)據(jù)進(jìn)展VLDSSybasEIQSybaseIQRDBMS解決方案相比，數(shù)據(jù)存儲(chǔ)量可以削減60～80%。這也就削減了物理存儲(chǔ)需求和人員配備本錢(qián)。經(jīng)過(guò)獨(dú)立的審核測(cè)試確認(rèn)，48TSybaseIQ22TSybaseIQ比傳統(tǒng)數(shù)據(jù)庫(kù)更簡(jiǎn)潔維護(hù)，而且不需要進(jìn)展與時(shí)間和資源相關(guān)的調(diào)整就可以到達(dá)極佳的性能。除了節(jié)約本錢(qián)以外，SybaseIQ止欺詐、減小風(fēng)險(xiǎn)、開(kāi)掘的商機(jī)以及獲得其他各種好處。SybaseDODS從運(yùn)營(yíng)系統(tǒng)獵取數(shù)據(jù)，將其復(fù)制到運(yùn)營(yíng)數(shù)據(jù)存儲(chǔ)中，然后使用用戶(hù)生疏的、功能強(qiáng)大的報(bào)告工具快速訪問(wèn)數(shù)據(jù)。強(qiáng)有力并且簡(jiǎn)潔易用地進(jìn)展穿插查詢(xún)Emails,DocumentsandTransactions。SybaseDynamicArchive解決方案的獨(dú)特設(shè)計(jì)SybaseDynamicOperationalDataStrore(DODS)動(dòng)態(tài)運(yùn)營(yíng)數(shù)據(jù)存儲(chǔ)解決方案SybaseDODS解決方案承受功能強(qiáng)大的復(fù)制技術(shù)，SybaseIQ歸檔數(shù)據(jù)庫(kù)中，可供給比傳統(tǒng)數(shù)據(jù)庫(kù)快100倍的查詢(xún)速度，而所需的存儲(chǔ)空間卻比傳統(tǒng)RDBMS60～80%。SybaseDODS，使它們?cè)诒３衷邢到y(tǒng)性能的同時(shí)，還能安全地滿(mǎn)足不斷增長(zhǎng)的實(shí)時(shí)自助業(yè)務(wù)分析的需要。用戶(hù)實(shí)例：TelefonicaSpain〔西班牙電信〕DODS系統(tǒng)、青島海爾DODSDODSSybaseE-mail與文檔歸檔、檢索解決方案－非構(gòu)造化數(shù)據(jù)的有效運(yùn)用Gartner爭(zhēng)論說(shuō)明：非構(gòu)造化數(shù)據(jù)已經(jīng)與傳統(tǒng)的“構(gòu)造化”數(shù)據(jù)同樣重要，當(dāng)今85%以上的商業(yè)信息是保存在非構(gòu)造化數(shù)據(jù)中，而且這個(gè)進(jìn)展趨勢(shì)越來(lái)越快。相關(guān)法規(guī)的制定對(duì)公司E-mail搜尋需要的內(nèi)容以及附件包含的內(nèi)容？如何將E-mail信息與數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)進(jìn)展關(guān)聯(lián)查詢(xún)？類(lèi)似的需求將越來(lái)越多，SybaseE-mail與文檔歸檔、檢索解決方案能夠快速地答復(fù)你的問(wèn)題。實(shí)時(shí)捕獲E-mail內(nèi)容及附件信息，并傳送到IQ實(shí)時(shí)把文檔/媒體加載到IQ對(duì)文檔信息進(jìn)展快速load/index處理，客戶(hù)端對(duì)其中數(shù)據(jù)、email、文檔都可以進(jìn)展關(guān)聯(lián)查詢(xún)。用戶(hù)實(shí)例：UnitedHealthCare(storeANYtypeofmedicaldatasuchasCATscans,X-rays,regularphotos(i.eJPEG),spectrograms,EKGandothers.)SybaseDynamicArchive(DA)動(dòng)態(tài)數(shù)據(jù)歸檔解決方案在典型的業(yè)務(wù)應(yīng)用環(huán)境中，數(shù)據(jù)量每年以125%的速度遞增。生產(chǎn)系統(tǒng)中高達(dá)80%數(shù)據(jù)處于非活動(dòng)狀態(tài)，它們卻在不斷地占用著昂貴的硬件、存儲(chǔ)設(shè)備和維護(hù)資源，并且降低了應(yīng)用性能。傳統(tǒng)的歸檔治理方法是將數(shù)據(jù)移出應(yīng)用環(huán)境，但這可能會(huì)損害數(shù)據(jù)完整性，從而使公司面臨違反規(guī)定的風(fēng)險(xiǎn)。SybaseDynamicArchive解決方案特地設(shè)計(jì)用來(lái)滿(mǎn)足其核心應(yīng)用飽受數(shù)據(jù)迅猛增長(zhǎng)之苦的企業(yè)的需求，為企業(yè)供給真正需要的東西：一種長(zhǎng)期的、本錢(qián)效益好的方法，能夠從應(yīng)用生產(chǎn)中消退非活動(dòng)數(shù)據(jù)，同時(shí)在需要這些數(shù)據(jù)時(shí)，又能夠持續(xù)實(shí)現(xiàn)無(wú)縫訪問(wèn)，它還在節(jié)約本錢(qián)和提高性能方面供給了很多可以量化的優(yōu)勢(shì)。用戶(hù)實(shí)例：COSCON中遠(yuǎn)集運(yùn)DASybase海量數(shù)據(jù)備份／恢復(fù)NonStopIQNonStopIQ是針對(duì)海量數(shù)據(jù)的便利準(zhǔn)時(shí)的Disk-to-Disk(D2D)備份/恢復(fù)解決方案：根本無(wú)視數(shù)據(jù)庫(kù)的大小，進(jìn)展全庫(kù)備份在秒級(jí)或分鐘級(jí)就能完成；當(dāng)發(fā)生災(zāi)難時(shí)候，瞬間實(shí)現(xiàn)由生產(chǎn)庫(kù)到備份庫(kù)的切換，以最短的宕機(jī)時(shí)間來(lái)進(jìn)展恢復(fù)操作，TB60秒；支持本地和遠(yuǎn)程的操作；不同于磁帶備份，NonStop試、DBCCQA等等；比磁帶備份更加牢靠：馬上對(duì)備份數(shù)據(jù)進(jìn)展驗(yàn)證，備點(diǎn)數(shù)據(jù)庫(kù)隨時(shí)可以啟動(dòng)、使用；可以使用ATA磁盤(pán)替代昂貴的FC磁盤(pán)來(lái)滿(mǎn)足本錢(qián)節(jié)約和信息價(jià)值非類(lèi)存儲(chǔ)的需要，比“傳統(tǒng)的”磁帶備份/災(zāi)難恢復(fù)具有更低的本錢(qián)；20多個(gè)客戶(hù)在承受該方案〔從200GB140TB〕。用戶(hù)實(shí)例：NielsenMediaResearch、AMEX、BizRate、SEC、廣東移動(dòng)IP行總行歷史數(shù)據(jù)查詢(xún)系統(tǒng)等等。SybaseＶＬＤＳ國(guó)內(nèi)外成功案例2005年SybaseVLDS10SybaseIQIQ同樣的裸數(shù)據(jù)大小，在其他傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)中，將有2-11局部國(guó)內(nèi)外VLDS的客戶(hù)應(yīng)用介紹：TelefonicaSpain〔西班牙電信〕Telefonica電信業(yè)主要的全球化企業(yè)之一，全球擁有8200萬(wàn)客戶(hù)，在164500〔西班牙2100〕，3600180010080TelefonicaSybaseDODS解決方案，成功地將數(shù)十個(gè)各自獨(dú)立的信息系統(tǒng)的海量數(shù)據(jù)準(zhǔn)實(shí)時(shí)集中存放在ODS架構(gòu)中，實(shí)現(xiàn)了在最優(yōu)的存儲(chǔ)和維護(hù)本錢(qián)下獲得了最好的性能的目標(biāo)。ComScore-一家生代信息效勞公司ComScore需要監(jiān)控分別來(lái)自美國(guó)六個(gè)不同的主干網(wǎng)，七個(gè)重要要城市的網(wǎng)絡(luò)點(diǎn)擊流。Internet〔有時(shí)候會(huì)到達(dá)百萬(wàn)數(shù)量級(jí)〕，這就導(dǎo)致有大量的數(shù)據(jù)需要收集，ComScore600300GB60TBIQ20+TB。NielsenMediaResearch總部位于佛羅里達(dá)州達(dá)尼丁市的NielsenMediaResearch評(píng)及相關(guān)效勞的主要供給商?？上攵?，隨著這種調(diào)研工作的不斷擴(kuò)大和深入，NielsenMediaResearch的數(shù)據(jù)量也變得格外浩大，而且已經(jīng)成為了企業(yè)的生存命脈。Nielsen客戶(hù)提交的懇求往往不是訂單處理，而是集中在海量數(shù)據(jù)的提取上，由于客戶(hù)需要這些數(shù)據(jù)進(jìn)展分析。而每一條懇求都包含數(shù)十頁(yè)，甚至數(shù)百頁(yè)的SQL語(yǔ)句。假設(shè)承受傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，I/O負(fù)載將會(huì)格外重。如今，承受SybaseIQMultiplex后，不僅解決了問(wèn)題，而且能夠隨時(shí)對(duì)CPU進(jìn)展調(diào)整，最高速率保持在每小時(shí)600GB，這個(gè)速度不會(huì)給SAN磁盤(pán)的I/OCPU保證系統(tǒng)的順當(dāng)運(yùn)行。KoreaChohungBank-韓國(guó)朝興銀行20001月，朝興銀行(CHB)完成了韓國(guó)第一個(gè)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)(EDW)和基于Web的市場(chǎng)數(shù)據(jù)庫(kù)系統(tǒng)的開(kāi)發(fā)工作。CHB將EDW儲(chǔ)單元。包含在EDW中的客戶(hù)和交易信息每天都會(huì)更，供CHB內(nèi)部各獨(dú)立業(yè)務(wù)單位‘?dāng)?shù)700名用戶(hù)(如用于治理收益、信貸和風(fēng)險(xiǎn)的集成系統(tǒng))使用。廣東電信海量數(shù)據(jù)分析系統(tǒng)70163/16920028004003001001統(tǒng)的最終用戶(hù)的需求不盡一樣，業(yè)務(wù)策略不斷變化。廣東電信經(jīng)過(guò)多方測(cè)試比較，最終在163網(wǎng)，廣東省一代的多媒體網(wǎng)綜合業(yè)務(wù)治理系統(tǒng)，廣州電信市場(chǎng)經(jīng)營(yíng)分析系統(tǒng)等多個(gè)系統(tǒng)中承受了SybaseVLDS廣東移動(dòng)IP〔2006IQ30+TB〕廣東移動(dòng)是中國(guó)領(lǐng)先的移動(dòng)運(yùn)營(yíng)商，其CMNET是中國(guó)移動(dòng)集團(tuán)內(nèi)規(guī)模最大的省級(jí)IPIP網(wǎng)絡(luò)治理系統(tǒng)，每日數(shù)據(jù)行數(shù)巨大，僅WAP9〔ROWS〕，每日數(shù)據(jù)增量在800GB，且保持著相當(dāng)高的增長(zhǎng)速率，在大量數(shù)據(jù)持續(xù)加載到數(shù)據(jù)庫(kù)的同時(shí)還需要做大量的匯總計(jì)算工作。該系統(tǒng)經(jīng)過(guò)9IPSybaseVLDS一期實(shí)現(xiàn)了多個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)的實(shí)時(shí)裝載、小時(shí)分析、日分析。在存儲(chǔ)方面，實(shí)際磁盤(pán)開(kāi)銷(xiāo)低于原始數(shù)據(jù)文件的大小，在充分滿(mǎn)足查詢(xún)需求的根底上，很好的掌握了空間的膨脹，降低了存儲(chǔ)代價(jià)。交行總行歷史數(shù)據(jù)存儲(chǔ)與查詢(xún)系統(tǒng)〔5+TB〕交通銀行總行歷史查詢(xún)數(shù)據(jù)量在不斷增加，尤其在實(shí)現(xiàn)個(gè)人歷史數(shù)據(jù)查詢(xún)功能后，數(shù)5TB。交行總行歷