HUABASE基于列存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)

本文由thulium2000貢獻(xiàn)pdf文檔可能在WAP端瀏覽體驗(yàn)不佳。建議您優(yōu)先選擇TXT，或下載源文件到本機(jī)查看。計(jì)算機(jī)研究與發(fā)展ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔＩＳＳＮ１０００—１２３９１ＣＮ１１—１７７７／１ｒＰ４７（Ｓｕｐｐｌ．）：５２４—５２８，２０１０ＨＵＡＢＡＳＥ：基于列存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)曾春１胡勁松２邢春曉１馮建華３１０００８４）１（清華大學(xué)信息技術(shù)研究院北京２（廣東環(huán)天電子技術(shù)發(fā)展有限公司廣州北京５１０１３０）１０００８４）３（清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系（ｚｅｎｇｃｈｕｎ＠ｔｓｉｎｇｈｕａ．ｏｒｇ．ｃｎ）ＨＵＡＢＡＳＥ：ＡＣｏｌｕｍｎ—ＯｒｉｅｎｔｅｄＲｅｌａｔｉｏｎａｌＤａｔａｂａｓｅＳｙｓｔｅｍＺｅｎｇＣｈｕｎｌ，ＨｕＪｉｎｓｏｎ９２，ＸｉｎｇＣｈｕｎｘｉａ０１，ａｎｄＦｅｎｇＪｉａｎｈｕａ３１（ＲｅｓｅａｒｃｈＩｎｓｔｉｔｕｔｅ２（Ｇｕａｎｇｄｏｎｇ３（ＤｅｐａｒｔｍｅｎｔｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ。ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８４）ＨｕａｎｔｉａｎＥｌｅｃｔｒｏｎｉｃＴｅｃｈｎｏｌｏｇｙＤｅｖｅｌｏｐｍｅｎｔＣｏ．，Ｌｔｄ．，Ｇｕａｎｇｚｈｏｕ５１０１３０）ｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８４）ＡｂｓｔｒａｃｔＨＵＡＢＡＳＥｉＳａｃｏｌｕｍｎ－ｏｒｉｅｎｔｅｄｒｅｌａｔｉｏｎａｌｄａｔａｂａｓｅｓｙｓｔｅｍ．Ｔｈｅｔｈｒｅｅｍａｉｎｆｅａｔｕｒｅｓｂｅｔｔｅｒｑｕｅｒｙｅｆｆｉｃｉｅｎｃｙ，ｆｅｗｅｒｄｉｓｋａｒｃｈｉｔｅｃｔｕｒｅｆｏｒｄａｔａｗａｒｅｈｏｕｓｅａｃｃｅｓｓｅｓｏｆｃｏｌｕｍｎ—ｏｒｉｅｎｔｅｄｄａｔａｂａｓｅｏｒｉｅｎｔｅｄｄａｔａｂａｓｅｉｓａｎａｒｅａｎｄｌｅｓｓｓｔｏｒａｇｅ．Ｃｏｌｕｍｎ－ｉｍｐｌｅｍｅｎｔｅｄｉｄｅａｌｎａｔｉｖｅｌｙ．ＨＵＡＢＡＳＥｓｐａｒｓｅｍｕｌｔｉｐｌｅｄａｔａｃｏｍｐｒｅｓｓｉｏｎｍｅｃｈａｎｉｓｍｓ，ｑｕｅｒｙｏｐｔｉｍｉｚａｔｉｏｎａｎｄｃａｎｉｎｄｅｘｉｎｇｔｏｔｅｃｈｎｏｌｏｇｉｅｓ．Ｂｙｓｕｐｐｏｒｔｉｎｇｂｕｓｉｎｅｓｓｉｎｔｅｌｌｉｇｅｎｃｅｅｆｆｉｃｉｅｎｔｌｙ，ＨＵＡＢＡＳＥｄｅｃｉｓｉｏｎ．Ｋｅｙｗｏｒｄｓｈｅｌｐｅｎｔｅｒｐｒｉｓｅｓｍａｋｅｗｉｓｅｂｕｓｉｎｅｓｓｃｏｌｕｍｎ—ｏｒｉｅｎｔｅｄｄａｔａｂａｓｅ；ｂｕｓｉｎｅｓｓｉｎｔｅｌｌｉｇｅｎｃｅ；ｄａｔａｗａｒｅｈｏｕｓｅ；ＴＰＣ—Ｈ摘要ＨＵＡＢＡＳＥ是基于列存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)．列存儲(chǔ)技術(shù)的特點(diǎn)是數(shù)據(jù)查詢效率高、讀磁盤少、存儲(chǔ)空間少，是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的理想架構(gòu)．ＨＵＡＢＡＳＥ實(shí)現(xiàn)了多種數(shù)據(jù)壓縮機(jī)制、查詢優(yōu)化和稀疏索引技術(shù)，在支持高效率的商業(yè)智能方面具有良好的發(fā)展前景，可以幫助企業(yè)輕松做出明智的業(yè)務(wù)經(jīng)營(yíng)決策．關(guān)整詞列數(shù)據(jù)庫(kù)；商業(yè)智能；數(shù)據(jù)倉(cāng)庫(kù)；ＴＰＣ—Ｈ中圖法分類號(hào)ＴＰ３１１．１３２．３隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，企業(yè)及政府信息化的不斷深入，應(yīng)用的復(fù)雜性日益增強(qiáng)．這些需求推動(dòng)著數(shù)據(jù)密集型應(yīng)用向海量和智能的方向發(fā)展．同時(shí)，數(shù)據(jù)倉(cāng)庫(kù)和在線分析等應(yīng)用迫切需要實(shí)時(shí)高效的數(shù)據(jù)處理技術(shù)．傳統(tǒng)的基于行存儲(chǔ)的數(shù)據(jù)庫(kù)技術(shù)已經(jīng)出現(xiàn)了技術(shù)瓶頸．如何在快速執(zhí)行復(fù)雜查詢的同時(shí)，還能縮小存儲(chǔ)空間和節(jié)約成本是目前數(shù)據(jù)庫(kù)技術(shù)研究的熱點(diǎn)問(wèn)題．本文介紹一種新型數(shù)據(jù)庫(kù)技術(shù)及其驗(yàn)證系統(tǒng)——基于列存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)ＨＵＡＢＡＳＥ．收稿日期：２０ｌＯ一０６～２５列存儲(chǔ)技術(shù)的特點(diǎn)是數(shù)據(jù)查詢效率高、讀磁盤少、存儲(chǔ)空間少，這是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的理想架構(gòu)．列數(shù)據(jù)庫(kù)的應(yīng)用價(jià)值來(lái)自于它對(duì)復(fù)雜查詢的快速響應(yīng)以及數(shù)據(jù)壓縮所帶來(lái)的存儲(chǔ)優(yōu)勢(shì)，使其在商業(yè)智能方面具有良好的發(fā)展前景．根據(jù)Ｇａｒｔｎｅｒ２０１０年１月關(guān)于數(shù)據(jù)倉(cāng)庫(kù)的分析報(bào)告【１］，列數(shù)據(jù)庫(kù)與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)相比，在數(shù)據(jù)分析方面表現(xiàn)出卓越的性能，因此，列數(shù)據(jù)庫(kù)技術(shù)的研究和產(chǎn)品開(kāi)發(fā)在學(xué)術(shù)界和工業(yè)界受到廣泛關(guān)注．基金項(xiàng)目：國(guó)家。八六三”高技術(shù)研究發(fā)展計(jì)劃基金項(xiàng)目（２００９ＡＡ０１２１４３）萬(wàn)方數(shù)據(jù)曾春等：ＨＵＡＢＡＳＥ：基于列存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)列數(shù)據(jù)庫(kù)的學(xué)術(shù)價(jià)值在于其獨(dú)特的數(shù)據(jù)存儲(chǔ)理念，以及基于列的存儲(chǔ)為企業(yè)決策分析、數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)智能這些應(yīng)用領(lǐng)域所帶來(lái)的效率和空間上的方便和優(yōu)勢(shì)．目前開(kāi)源列數(shù)據(jù)庫(kù)有Ｃ—Ｓｔｏｒｅ，ｒａｓｄａｍａｎ，ＭｏｎｅｔＤＢ等，商用列數(shù)據(jù)庫(kù)有ＳｙｂａｓｅＩＱ，ＶｅｒｔｉｃａＡｎａｌｙｔｉｃＥＸＡＳＯＬＤａｔａｂａｓｅ，ＰａｒＡｃｃｅｌＡｎａｌｙｔｉｃＤａｔａｂａｓｅ，據(jù)，它是由表、記錄等組成；另一是物理數(shù)據(jù)，它代表數(shù)據(jù)庫(kù)怎樣存儲(chǔ)邏輯數(shù)據(jù)．不同的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)或許有相同的邏輯數(shù)據(jù)，但它們通常有不同的物理數(shù)據(jù)．實(shí)現(xiàn)數(shù)據(jù)庫(kù)物理數(shù)據(jù)的方法有２種：一是基于行存儲(chǔ)，另一是基于列存儲(chǔ)．對(duì)于基于行存儲(chǔ)的實(shí)現(xiàn)方法，它把邏輯數(shù)據(jù)的整條記錄存儲(chǔ)到數(shù)據(jù)塊中，為了提高查詢速度，要為某些列建立Ｂ＋樹(shù)等類型的索引；對(duì)于基于列存儲(chǔ)的實(shí)現(xiàn)方法，邏輯數(shù)據(jù)中的記錄不直接按條映射到物理數(shù)據(jù)中，而是把記錄按列分開(kāi)，把所有記錄相同列的值存在一起，同時(shí)提供連接數(shù)據(jù)能夠把記錄相應(yīng)的列值重新組合起來(lái)形成記錄．ＥＸＡＳｏｌｕｔｉｏｎ等．近５年來(lái)在國(guó)際一流的數(shù)據(jù)庫(kù)會(huì)議ＶＬＤＢ，ＳＩＧＭＯＤ，ＩＣＤＥ上有關(guān)這個(gè)領(lǐng)域的優(yōu)秀論文也頻頻出現(xiàn)心。１０Ｊ．１ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)體系架構(gòu)ＨＵＡＢＡＳＥ是基于列存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)系如圖１所示，ＨＵＡＢＡＳＥ將記錄進(jìn)行分段存儲(chǔ)，表段內(nèi)數(shù)據(jù)按列排序存儲(chǔ)，表段中列值的個(gè)數(shù)有一個(gè)上限，連接數(shù)據(jù)存儲(chǔ)記錄號(hào)與數(shù)據(jù)塊序列號(hào)．?dāng)?shù)據(jù)插入時(shí)，盡管列值的位置會(huì)發(fā)生變化，只要它仍然在同一個(gè)數(shù)據(jù)塊中，連接數(shù)據(jù)就不需要更新，除非由于數(shù)據(jù)塊溢出導(dǎo)致列數(shù)據(jù)被移到新的數(shù)據(jù)塊中，數(shù)據(jù)塊的序列號(hào)才發(fā)生變化，連接數(shù)據(jù)可以用來(lái)把相應(yīng)的列值連接起來(lái)形成一條記錄．１（Ｐ００１，１）統(tǒng)．系統(tǒng)基于先進(jìn)的存儲(chǔ)模型，可用來(lái)解決傳統(tǒng)數(shù)據(jù)庫(kù)中一些關(guān)鍵的性能問(wèn)題．ＨＵＡＢＡＳＥ非常適合于商業(yè)智能分析領(lǐng)域，可以輔助ＢＩ工具為企業(yè)做出有效的業(yè)務(wù)經(jīng)營(yíng)決策．１．１ＨＵＡＢＡＳＥ簡(jiǎn)介關(guān)系型數(shù)據(jù)庫(kù)是一個(gè)用以存儲(chǔ)及處理結(jié)構(gòu)化數(shù)據(jù)的軟件系統(tǒng)，其數(shù)據(jù)分為２個(gè)層次：一是邏輯數(shù)ｌＩ（Ｐｅｎ，２）ＩＩ（１．９９，２）Ｉｌ（Ｐ００２，２）Ｉ值數(shù)據(jù)塊１００１（１，ｌ００１）（２，１００１）Ｉ（Ｒａｄｉｏ，１）ｌ值數(shù)據(jù)塊１００２ｌ（１０．９９，１）Ｉｌ值數(shù)據(jù)塊１００３ＩＤＰ００１Ｐ００２Ｐ００３Ｐ００４ＮａｍｅＲａｄｉｏＰｅｎＴＶＣａｌｌｌｅｒａＰｒｉｃｅ１０．９９１．９９２００．９９ｌｏｏ．９９（１，ｌ００２）（１，１００３）ｆｆ（２，１００２）ＩＩＪ（２，１００３）ＩＩ連接數(shù)據(jù)塊Ｉｌ連接數(shù)據(jù)塊¨連接數(shù)據(jù)塊ＩＩＤＮ姍ｅ表段ＩＩ（Ｐ００３，１）（１：＇００４，２）Ｉ值數(shù)據(jù)塊２００１｝（１，２００１）（２，２００１）Ｉｌ（Ｃａｍｅｒａ，２）ｉＩ（１００．９９，２）Ｉ（ＴＶ，１）Ｉ｜（２００．９９，１）ｌＩ值數(shù)據(jù)塊２００２ｌ值數(shù)據(jù)塊２００３ｒ—’。—‘’———————’１｜Ｉ（１，２００２）ｆｆ１１，２００３）Ｊ（２，２００２）（２，２００３）ｌＩ連接數(shù)據(jù)塊ＩＩ連接數(shù)據(jù)塊ＩＩ連接數(shù)據(jù)塊ｌＩＤＰｒｉＣｅ表段２圖１邏輯數(shù)據(jù)與物理數(shù)據(jù)示例圖２ＨＵＡＢＡＳＥ概況萬(wàn)方數(shù)據(jù)５２６計(jì)算機(jī)研究與發(fā)展２０１０，４７（增刊）ＨＵＡＢＡＳＥ非常適合于商業(yè)智能分析領(lǐng)域，如圖２所示，ＨＵＡＢＡＳＥ用戶可以利用ＥＴＬ工具從多種數(shù)據(jù)源抽取元數(shù)據(jù)然后存放到ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)中，ＨＵＡＢＡＳＥ可以存放和管理海量的數(shù)據(jù)并用于智能分析，比如：一個(gè)數(shù)據(jù)庫(kù)最大可以支持２３２個(gè)表空間；一個(gè)表空間最大可以支持２５６個(gè)數(shù)據(jù)文件Ｉ一個(gè)數(shù)據(jù)文件最大可支持３２ＴＢ數(shù)據(jù)．１．２ＨＵＡＢＡＳＥ體系架構(gòu)ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)管理系統(tǒng)是一個(gè)３層架構(gòu)：核心層、接口層和應(yīng)用層．核心層完全基于Ｊａｖａ實(shí)現(xiàn)，包括支持列存儲(chǔ)的所有關(guān)鍵組件．接口層支持ＯＤＢＣ和ＪＤＢＣ標(biāo)準(zhǔn)接口．應(yīng)用層支持各種數(shù)據(jù)庫(kù)應(yīng)用開(kāi)發(fā)，ＨＵＡＢＡＳＥ本身提供了多種基于ＪＤＢＣ接口的數(shù)據(jù)庫(kù)管理工具．如圖３所示：數(shù)據(jù)庫(kù)管理工具應(yīng)用層【ｌ應(yīng)用程序接口層ＯＤＢＣ３弋弋？７一】［數(shù)據(jù)庫(kù)管理器］【命令編輯器］【命令行工具］ｌＪＤＢＣＨＵＡＢＡＳＥ核心核心層列式存儲(chǔ)緩存策略加鎖機(jī)制查詢處理安全管理事務(wù)處理口志管理全文搜索圖３ＨＵＡＢＡＳＥ體系架構(gòu)１．核心層組件１）列式存儲(chǔ)．支持記錄的按列存儲(chǔ)、實(shí)現(xiàn)了高效的數(shù)據(jù)壓縮和稀疏索引技術(shù)，可以極大地提高存儲(chǔ)效率和查詢性能．２）緩存策略．支持多種數(shù)據(jù)塊緩沖機(jī)制，比如持久緩沖區(qū)、時(shí)鐘緩沖區(qū)、ＦＩＦ０緩沖區(qū)、ＬＲＵ緩沖區(qū)．發(fā)列數(shù)據(jù)庫(kù)應(yīng)用．２）數(shù)據(jù)庫(kù)管理器．基于Ｗｅｂ的數(shù)據(jù)庫(kù)管理器，可以從ｗｅｂ瀏覽器登錄，方便遠(yuǎn)程管理ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)．根據(jù)用戶角色，可以管理當(dāng)前數(shù)據(jù)庫(kù)的模式、表或用戶等．３）命令編輯器．基于圖形界面的命令編輯工具，可以方便地提交各種查詢和操作命令．４）命令行工具．命令行工具支持交互模式、命令模式和批處理模式．適合管理員做各種管理和維護(hù)操作．１．３３）加鎖機(jī)制．?dāng)?shù)據(jù)塊鎖是為了保持?jǐn)?shù)據(jù)塊的操作一致性，支持排它鎖、共享鎖、增量排它鎖、增量共享鎖．４）查詢處理．支持ＳＱＬ一９２和部分ＳＱＬ－９９標(biāo)準(zhǔn)、應(yīng)用多種查詢優(yōu)化策略，在復(fù)雜查詢上具有比基于行存儲(chǔ)的數(shù)據(jù)庫(kù)系統(tǒng)更優(yōu)越的性能．５）安全管理．支持?jǐn)?shù)據(jù)的加密存儲(chǔ)和傳送，保護(hù)用戶數(shù)據(jù)的隱私和安全．６）事務(wù)處理．支持事務(wù)的原子性、一致性、隔離性和持久性．７）日志管理．支持日志的回滾和重做，確保系統(tǒng)數(shù)據(jù)的完整性．８）全文搜索．支持對(duì)大文本列的全文搜索方式，可以有效提高大文本的查詢效率．２．接口層組件１）０ＤＢＣ．支持ＯＤＢＣ標(biāo)準(zhǔn)接口，應(yīng)用程序可以通過(guò)該接口訪問(wèn)ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)．２）ＪＤＢＣ．支持ＪＤＢＣ標(biāo)準(zhǔn)接Ｉ：１，Ｊａｖａ應(yīng)用程序可以通過(guò)該接口訪問(wèn)ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)．３．應(yīng)用層組件１）應(yīng)用程序．可以基于ＯＤＢＣ和ＪＤＢＣ接１：３開(kāi)ＨＵＡＢＡＳＥ關(guān)鍵技術(shù)ＨＵＡＢＡＳＥ支持關(guān)系型數(shù)據(jù)庫(kù)的核心功能，在列存儲(chǔ)方面的關(guān)鍵技術(shù)包含以下３個(gè)方面：１．?dāng)?shù)據(jù)壓縮技術(shù)基于行存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)一般只能做到對(duì)數(shù)據(jù)塊的壓縮．而基于列存儲(chǔ)的ＨＵＡＢＡＳＥ，采用了多種數(shù)據(jù)壓縮機(jī)制，比如同一列中相同的值只存放一份；對(duì)于整型數(shù)據(jù)，只存放相鄰列值的差．這些機(jī)制可以實(shí)現(xiàn)更高的數(shù)據(jù)壓縮效率．列數(shù)據(jù)庫(kù)按列存儲(chǔ)并在列上進(jìn)行壓縮的技術(shù)，在構(gòu)建大型數(shù)據(jù)倉(cāng)庫(kù)的時(shí)候可以表現(xiàn)出突出的優(yōu)勢(shì)，節(jié)省大量的存儲(chǔ)空間．２．查詢優(yōu)化技術(shù)基于行存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)查詢時(shí)，不能只讀取部分列，所有列都必須讀取到內(nèi)存中然后再去掉不需要的列，這樣就導(dǎo)致很多不必要的硬盤輸入輸出．而基于列存儲(chǔ)的ＨＵＡＢＡＳＥ，由于它把記錄的列分開(kāi)存儲(chǔ)，查詢引擎可以按需讀取列，從而減少了萬(wàn)方數(shù)據(jù)曾春等：ＨＵＡＢＡＳＥ：基于列存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)５２７硬盤輸入輸出，提高了數(shù)據(jù)庫(kù)的查詢性能．演示這種效果，我們將準(zhǔn)備幾個(gè)具有數(shù)百列的表進(jìn)行不同的查詢并觀察響應(yīng)時(shí)間．同時(shí)，還與基于行存儲(chǔ)的數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行對(duì)比．３．稀疏索引效果３．稀疏索引技術(shù)基于行存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)一般都是稠密索引，不僅增加存儲(chǔ)空間，也增加了數(shù)據(jù)更新時(shí)的代價(jià)．因此，為表的所有列都建立索引就不太現(xiàn)實(shí)，如ＨＵＡＢＡＳＥ給表中所有需要索引的列都建立了索引，為了進(jìn)行對(duì)比演示，我們將在基于行存儲(chǔ)的數(shù)據(jù)庫(kù)系統(tǒng)中創(chuàng)建相同的表但只索引部分列，然后在沒(méi)建索引的列上進(jìn)行查詢對(duì)比．２．３果對(duì)一個(gè)未加索引的列進(jìn)行查詢，系統(tǒng)不得不作全表掃描，導(dǎo)致數(shù)據(jù)庫(kù)的性能嚴(yán)重惡化．而基于列存儲(chǔ)的ＨＵＡＢＡＳＥ所建立的索引是稀疏索引，列值已被排序存儲(chǔ)，索引只建立到數(shù)據(jù)塊級(jí)，當(dāng)查詢通過(guò)索引定位到數(shù)據(jù)塊后，就可以使用二分法查找，這樣索引的存儲(chǔ)空間很小，維護(hù)代價(jià)很低，可以給所有需要索引的列都建立索引，從而顯著提高了數(shù)據(jù)庫(kù)的查詢性能．ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)性能演示為了演示ＨＵＡＢＡＳＥ作為列數(shù)據(jù)庫(kù)的性能優(yōu)勢(shì)，我們采用了ＴＰＣ—Ｈ（商業(yè)智能計(jì)算測(cè)試）的測(cè)試方法．ＴＰＣ－Ｈ是ＴＰＣ的重要測(cè)試標(biāo)準(zhǔn)之一（ｈｔｔｐ：１／ｔｐｃ．ｏｒｇ／ｔｐｃｈ），主要用來(lái)模擬真實(shí)商業(yè)應(yīng)用環(huán)境．與科學(xué)計(jì)算測(cè)試不同，商業(yè)智能計(jì)算測(cè)試是對(duì)現(xiàn)實(shí)中商用計(jì)算需求的全面模擬．ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)性能演示步驟如圖５所示：２ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)演示環(huán)境與步驟ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)完全基于Ｊａｖａ實(shí)現(xiàn)，所以具有無(wú)縫的多平臺(tái)部署能力．可以支持不同的操作系統(tǒng)環(huán)境，比如：Ｗｉｎｄｏｗｓ或Ｌｉｎｕｘ環(huán)境等．２．１回答圄答回Ｉ－－－．－－－－－－－－－．－．－．．．．．－－－－－－－－－－－－－－－—－－－－－－－－—．．．．．．．．．－－．．．．．．—．一，Ｊｌ：：—－－－－－－－－－－－－－－－－－－－－－－－－－－－．－－－－－－－－－－－－－－－－－－－?—－—－－－－?－－－－－／ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)演示環(huán)境ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)服務(wù)器運(yùn)行的基本要求是ｒ—————————————————————————、＇●————————————————————————、測(cè)試ＴＰｃ．Ｈ查詢裝載ＴＰｃ．Ｈ數(shù)據(jù)＞＞＞圖５ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)性能演示步驟具有Ｊａｖａ１．６運(yùn)行環(huán)境，１ＧＢ以上內(nèi)存，以及１０ＧＢ大小的存儲(chǔ)空間．ＨＵＡＢＡＳＥ安裝分為服務(wù)器端和客戶端部分，可以分開(kāi)安裝．為了演示ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)服務(wù)器和遠(yuǎn)程客戶端的連接，本文設(shè)計(jì)如圖４所示的演示環(huán)境．瓣裳髓藏§｛鼉｛Ａ囂Ａ霪囂贛糕群鬻產(chǎn)瓣｝差玨Ａ囂Ａ霪囂１．裝載ＴＰＣ～Ｈ數(shù)據(jù)ＨＵＡＢＡＳＥ提供了多種數(shù)據(jù)庫(kù)管理工具，以方便不同特點(diǎn)的用戶使用．為了配合ＴＰＣ—Ｈ測(cè)試演示，我們開(kāi)發(fā)了一些方便的數(shù)據(jù)裝載和查詢工具．裝載工具可以根據(jù)ＴＰＣ－Ｈ數(shù)據(jù)模板生成要求的數(shù)據(jù)并裝載到ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)中．為了演示ＨＵＡＢＡＳＥ在大數(shù)據(jù)量情況下的查詢性能，我們準(zhǔn)備了４００萬(wàn)條數(shù)據(jù)，裝載時(shí)間大約１１ＧＢ大?。瑁常埃恚椋?，數(shù)據(jù)文件大約數(shù)糕露瓣努瓣圖４２．２ＨＵＡＢＡＳＥ數(shù)據(jù)厙演不環(huán)境２．測(cè)試ＴＰＣ－Ｈ查詢ＨＵＡＢＡＳＥ數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)演示ＴＰＣ—Ｈ包括標(biāo)準(zhǔn)的２２個(gè)查詢，查詢工具可以根據(jù)ＴＰＣ－Ｈ查詢模板生成查詢語(yǔ)句，可以演示每個(gè)查詢語(yǔ)句的響應(yīng)時(shí)間．此外，為了與基于行存儲(chǔ)的數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行對(duì)比，我們將選擇一家行業(yè)領(lǐng)先的數(shù)據(jù)庫(kù)廠商進(jìn)行對(duì)比測(cè)試．為了演示ＨＵＡＢＡＳＥ列存儲(chǔ)的技術(shù)特點(diǎn)，我們?cè)O(shè)計(jì)了幾個(gè)演示步驟來(lái)展示數(shù)據(jù)壓縮的效率，查詢優(yōu)化和稀疏索引的效果．１．?dāng)?shù)據(jù)壓縮效率ＨＵＡＢＡＳＥ按列存儲(chǔ)并在列上進(jìn)行壓縮，為了演示壓縮效率，我們將準(zhǔn)備大量具有相同列值的原始數(shù)據(jù)并裝載到數(shù)據(jù)庫(kù)中．可以通過(guò)對(duì)比原始數(shù)據(jù)和裝載后數(shù)據(jù)文件的大小來(lái)觀察數(shù)據(jù)壓縮的效率．此外，還可以與基于行存儲(chǔ)的數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行對(duì)比．３結(jié)束語(yǔ)本文介紹了列存儲(chǔ)的技術(shù)優(yōu)勢(shì)，分析了ＨＵ越狐ＳＥ數(shù)據(jù)庫(kù)的體系架構(gòu)和關(guān)鍵技術(shù)，然后演示了ＨＵＡＢＡＳＥ列存儲(chǔ)的關(guān)鍵技術(shù)特點(diǎn)，最后通過(guò)對(duì)比演示ＴＰＣ－Ｈ測(cè)試結(jié)果，進(jìn)一步驗(yàn)證了ＨＵＡＢＡＳＥ作為列數(shù)據(jù)庫(kù)２．查詢優(yōu)化效果’ＨｕＡＢＡＳＥ能根據(jù)當(dāng)前查詢按需讀取列，為了萬(wàn)方數(shù)據(jù)５２８計(jì)算機(jī)研究與發(fā)展２０１０，４７（增刊）的性能優(yōu)勢(shì)．下一步，我們將提高系統(tǒng)的可用性，實(shí)現(xiàn)并行查詢和分布式的架構(gòu)．［７－１ＩｖａｎｏｖａＭ，ＫｅｒｓｔｅｎＭＬ，ＮｅｓＮ．Ｓｅｌｆ－ｏｒｇａｎｉｚｉｎｇ２００８ｓｔｒａｔｅｇｉｅｓｆｏｒａｃｏｌｕｍｎ—ｓｔｏｒｅｄａｔａｂａｓｅ／／ＰｒｏｃｏｆＥＤＢＴ．ＮｅｗＹｏｒｋ：ＡＣＭ．２００８：１５７－１６８［８３ＶａｉｄｙａＰ，ＬｅｅＪ．ＣｈａｒａｃｔｅｒｉｚａｔｉｏｎｏｆＴＰＣ－ＨＱｕｅｒｉｅｓｆｏｒＣｏｌｕｍｎ－０ｒｉｅｎｔｅｄｄａｔａｂａｓｅ２００８ｏｎａａ致謝本論文研究得到李超老師和張勇老師的ｄｕａｌ—ｃｏｒｅＡＭＤａｔｈｌｏｎ幫助，謹(jǐn)致謝意！參考文獻(xiàn)［９］ｐｒｏｃｅｓｓｏｒ／Ｐｒｏｃｏｆ２００８：１４１１－１４１２ＡＣＭＣＩＫＭ．ＮｅｗＹｏｒｋ：ＡＣＭ?ＢｏｎｃｚｗａｌｌｉｎＰＡ，ＫｅｒｓｔｅｎＭＬ，ＭａｎｅｇｏｌｄＳ．ＢｒｅａｋｉｎｇｔｈｅｍｅｍｏｒｙｍｏｎｅｔＤＢ．ＣｏｍｍｕｎｉｃａｔｉｏｎｓｏｆｔｈｅＡＣＭ。２００８，５１［１３ＦｅｉｎｂｅｒｇＤ，ＢｅｙｅｒＭＡ．Ｍａｇｉｃｑｕａｄｒａｎｔｆｏｒ（１２）：７７—８５ｄａｔａｗａｒｅｈｏｕｓｅｄａｔａｂａｓｅｍａｎａｇｅｍｅｎｔｓｙｓｔｅｍｓ．［２０１０—０６一０１３．ｈｔｔｐ：／ｗｗｗ．Ｄｏ］ＢｏｎｅｚＰＡ，ＧｒｕｓｔＴ，ＫｅｕｌｅｎＭＶ，ｅｔａ１．ＭｏｎｅｔＤＢ／ＸＱｕｅｒｙｔａＡｆａｓｔＸＱｕｅｒｙＰｒｏｃｐｒｏｃｅｓｓｏｒｐｏｗｅｒｅｄｂｙｒｅｌａｔｉｏｎａｌｇａｒｔｅｒ．ＣＯｍ／ＤｉｓｐｌａｙＤｏｃｕｍｅｎｔ？ｉｄ＝１２９０５１４［２］ＡｂａｄｉＤｅｎｇｉｎｅ／／ｏｆ２００６Ｊ，ＭａｄｄｅｎＳＲ，ＨａｅｈｅｍＮ．ＣｏｌｕｍｎＳｔｏｒｅｓａｒｅＡＣＭＳｌＧＭｏＤ．ＮｅｗＹｏｒｋ：ＡＣＭ，２００６：４７９—ＶＳ．４９０ＲｏｗＳｔｏｒｅｓ：Ｈｏｗｄｉｆｆｅｒｅｎｔｔｈｅｙｒｅａｌｌｙ？／［Ｆｒｏｃｏｆ２００８ＡＣＭＳＩＧＭＯＤ．ＮｅｗＹｏｒｋ：ＡＣＭ，２００８：９６７－９８０［３］ＡｂａｄｉＤＪ，ＭａｄｄｅｎＳＲ，ＦｅｒｒｅｉｒａｉｎＭ．曾Ｉｎｔｅｇｒａｔｉｎｇ春男，１９７６年生，博士，主要研究方向?yàn)閿?shù)據(jù)庫(kù)、ｃｏｍｐｒｅｓｓｉｏｎａｎｄｅｘｅｃｕｔｉｏｎ２００６ｃｏｌｕｍｎｏｒｉｅｎｔｅｄｄａｔａｂａｓｅ內(nèi)容管理．ｓｙｓｔｅｍｓ／］Ｐｒｏｅｏｆ２００６：６７１—６８２ＡＣＭｓＩＧＭＯＤ．ＮｅｗＹｏｒｋ：ＡＣＭ，胡勁松Ｄ男，１９７０年生，碩士，主要研究方向?yàn)榱袛?shù)［４］ＡｂａｄｉＤＪ，ＭｙｅｒｓａＳ，ＤｅｗｉｔｔＤＪ．Ｍａｔｅｒｉａｌｉｚａｔｉｏｎ２００７ＩＣＤＥ．據(jù)庫(kù)．ｓｔｒａｔｅｇｉｅｓｉｎｃｏｌｕｍｎ－ｏｒｉｅｎｔｅｄＤＢＭＳ／／ＰｒｏｅｏｆＰｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００７：４６６—４７５邢春曉男，１９６７年生，博士，教授，主要研究方向?yàn)閿?shù)據(jù)庫(kù)、數(shù)字圖書(shū)館．Ｙｏｒｋ：［５］ＳｔｏｎｅｂｒａｋｅｒＭ，Ａｂａｄｉｃｏｌｕｍｎ—ｏｒｉｅｎｔｅｄＤＪ，ＢａｔｋｉｎＡ，ｅｔａ１．Ｃ－ｓｔｏｒｅ：Ａ２００５ＶＬＤＢ．ＮｅｗＤＢＭＳ］［ＰｒｏｃｏｆＡＣＭ，２００５：５５３—５６４馮建華男，１９６７年生，博士，教授，主要研究方向?yàn)閿?shù)ｆｏｒｉｎｄｅｘｉｎｇＩＣＤＥ．ｔｓｉｎｇｈｕａ．ｅｄｕ．ｃｎ）．［６３ＧｅＴｉｎｇｊｉａｎ，ＺｄｏｎｉｋｉｎａＳＦａｓｔ．Ｓｅｃｕｒｅｅｎｅｒｙｐｔｉｏｎ據(jù)庫(kù)、數(shù)據(jù)倉(cāng)儲(chǔ)和ｗｗｗ環(huán)境下的信息處理（ｆｅｎｇｊｈ＠ｃｏｌｕｍｎ－ｏｒｉｅｎｔｅｄＤＢＭＳ／／Ｐｒｏｅｏｆ２００７Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００７：６７６—６８５萬(wàn)方數(shù)據(jù)HUABASE:基于列存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)作者：作者單位：刊名：英文刊名：年，卷(期)：被引用次數(shù)：曾春，胡勁松，邢春曉，馮建華曾春,邢春曉(清華大學(xué)信息技術(shù)研究院,北京,100084)，胡勁松(廣東環(huán)天電子技術(shù)發(fā)展有限公司,廣州,510130)，馮建華(清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系,北京,100084)計(jì)算機(jī)研究與發(fā)展JOURNALOFCOMPUTERRESEARCHANDDEVELOPMENT2010，47(z1)0次參考文獻(xiàn)(10條)1.FeinbergD,BeyerMA.Magicquadrantfordatawarehousedatabasemanagementsystems.[2010-0601]./DisplayDocument?id=12905142.AbadiDJ,MaddenSR,HachemN.ColumnStoresvs.RowStores:Howdifferentaretheyreally?//Procof2008ACMSIGMOD.NewYork:ACM,2008:967-9803.AbadiDJ,MaddenSR,FerreiraM.Integratingcompressionandexecutionincolumnorienteddatabasesystems//Procof2006ACMSIGMOD.NewYork:ACM,2006:671-6824.AbadiDJ,MyersDS,DeWittDJ.Materializationstrategiesinacolumn-orientedDBMS//Procof2007ICDE.Piscataway,NJ:IEEE,2007:466-4755.StonebrakerM,AbadiDJ,BatkinA,etal.C-store:Acolumn-orientedDBMS//Procof2005VLDB.NewYork:ACM,2005:553-5646.GeTingjian,ZdonikSFast.Secureencryptionforindexinginacolumn-orientedDBMS//Procof2007ICDE.Piscataway,NJ:IEEE,2007:676-6857.IvanovaM,KerstenML,NesN.Self-organizingstrategiesforacolumn-storedatabase//Procof2008EDBT.NewYork:ACM,2008:157-1688.VaidyaP,LeeJ.CharacterizationofTPC-HQueriesforaColumn-Orienteddatabaseonadual-coreAMDathlonprocessor//Procof2008ACMCIKM.NewYork:ACM,2008:1411-14129.BonczPA,KerstenML,ManegoldS.BreakingthememorywallinmonetDB.Communicationsofthe