【畢業(yè)學位論文】（Word原稿）基于對象的存儲系統(tǒng)中元數(shù)據(jù)管理算法研究-計算機應用技術

分類號 密級 編號 中國科學院研究生院 碩士 學位論文 基于對象的存儲系統(tǒng)中元數(shù)據(jù)管理算法研究 楊林 指導教師 杜曉黎 研究員 中國科學院計算技術研究所 申請學位級別 工學 碩士 學科專業(yè)名稱 計 算機應用 技術 論文提交日期 2011 年 4 月 論文答辯日期 2011 年 5 月 培養(yǎng)單位 中國科學院計算技術研究所 學位授予單位 中國科學院研究生院 答辯委員會主席 聲 明 我聲明本論文是我本人在導師指導下進行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標注和致謝的地方外，本論 文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示了謝意。 作者簽名： 日期： 論文版權使用授權書 本人授權中國科學院計算技術研究所可以保留并向國家有關部門或機構送交本論文的復印件和電子文檔，允許本論文被查閱和借閱，可以將本論文的全部或部分內容編入有關數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復制手段保存、匯編本論文。 （保密論文在解密后適用本授權書。） 作者簽名： 導師簽名： 日期： I 摘 要 面對 全球 范圍內 迅猛增長的數(shù)據(jù)存儲需求 ， 基于對象的存儲技術 (運而生，相對于 言，基于對象的存儲系統(tǒng) 由于其 可伸縮性、 低成本、 跨平臺、 易管理 等特性，逐漸成為 海量存儲系統(tǒng)的一個最佳選擇。 如 司的 為 核心技術， 利用數(shù)以萬計的 普通 商用服務器， 為 各種服務 提供了 強大的數(shù)據(jù)存儲能力 ； 司的 支持上千個存儲節(jié)點，上萬個客戶端， 存儲容量， 100GB/s 的傳輸帶寬 ， 為高性能計算提供 了強有力的支持 。 在 基于對象的存儲系統(tǒng) 中， 元數(shù)據(jù)（ 目錄 、 文件大小 、 訪問時間等信息 ）與 數(shù)據(jù)存儲 相分離 ， 文件 數(shù)據(jù)保存在大量的對象存儲服務器 （ 中， 元數(shù)據(jù) 則 由 專門的 元數(shù)據(jù)服務器處理 。 元數(shù)據(jù)請求 在 文件系統(tǒng)中 所占的比例高達 50%隨著 文件存儲規(guī)模從 別走向 別甚至 別， 在 所使用的 單一的元數(shù)據(jù)服務器 設計 所暴露的問題也越來越嚴重 ， 如單點失效 ， 性能瓶頸 ， 可靠性差 ，文件系統(tǒng)規(guī)模受限 等 。 本文針對基于對象的存儲系統(tǒng)中單一元 數(shù)據(jù)服務器帶來的問題， 結合聯(lián)想網(wǎng)盤的實際存儲需求， 設計實現(xiàn)了一個支持多元數(shù)據(jù)服務器 的 分布式文件系統(tǒng) ， 能夠利用元數(shù)據(jù)服務器集群，避免元數(shù)據(jù)服務器成為系統(tǒng)單點，通過 將文件系統(tǒng)的元數(shù)據(jù)請求 分布到多個元數(shù)據(jù)服務器 ， 提供更 好 的元數(shù)據(jù)處理性能 ， 同時 保證 元數(shù)據(jù)的冗余 。 本文的 主要挑戰(zhàn)在于 ： 1） 在 元數(shù)據(jù)服務器 集群中， 如何合理的分布和備份元數(shù)據(jù)， 能夠提供較好的性 能，較好的擴展性和 穩(wěn)定性。 2） 如何均衡系統(tǒng)中所有元數(shù)據(jù)服務器的負載，在元數(shù)據(jù)遷移中， 如何防止過度遷移導致系統(tǒng)抖動，以及在元數(shù)據(jù)遷移后及時 地 更新客戶端緩存狀態(tài)。 本文是為聯(lián)想 網(wǎng)盤下一代存儲 系統(tǒng) 進行的預 研 項目， 利用以上研究 成果，我們已經(jīng)實現(xiàn)了一個 文件 系統(tǒng) 原型 ， 相對 于 我們的原有系統(tǒng)， 其元數(shù)據(jù)處理能力 得到了很大的提高。 關鍵詞 ： 云存儲 ， 對象存儲技術， 元數(shù)據(jù) 服務器 集群 ， 動態(tài)子樹劃分 ， 元數(shù)據(jù)遷移 y is to its to An as on is on to a to 0% 0% of so is to BS is FS DS to is of in is on of we of 1) in ) to of We to in is is an we a to in a is 目 錄 摘 要 . I 目 錄 . V 圖目錄 . 目錄 . 1 第一章 引 言 . 1 用背景 . 1 存儲介紹 . 1 想網(wǎng)盤介紹 . 3 文面對的問題和研究目標 . 3 文的貢獻 . 5 文的組織 . 5 第二章 基于對象的存儲系統(tǒng)介紹 . 7 儲系統(tǒng)的歷史發(fā)展 . 7 . 8 . 9 . 10 象存儲系統(tǒng) . 10 型的對象的 存儲系統(tǒng)介紹 . 12 . 12 . 13 . 15 . 16 結 . 16 第三章 元數(shù)據(jù)服務器集群整體架構 . 17 體設計 . 17 儲系統(tǒng)的組成 . 17 件與對象的映射關系 . 19 于 戶端 . 19 于 架 . 20 基于對象的存儲系統(tǒng)中元數(shù)據(jù)管理算法研究 本化的元數(shù)據(jù)服務器節(jié)點管理 . 21 數(shù)據(jù)服務器的定位 . 21 本化的節(jié)點管理 . 21 點加入 . 22 點離開 . 23 點恢復 . 24 第四章 元數(shù)據(jù)分配策略 . 25 數(shù)據(jù)服務器集群技術 . 25 態(tài)子樹劃分 . 25 法 . 27 法 . 28 動態(tài)子樹分割 . 29 它方法 . 30 于動態(tài)子樹劃分的元數(shù)據(jù)分配算法 . 31 數(shù)據(jù)與元數(shù)據(jù)服務器的映射關系 . 31 裂點 . 33 位根節(jié)點 . 35 數(shù)據(jù)備份策略 . 36 結 . 38 第五章 元數(shù)據(jù)負載均衡 . 39 載統(tǒng)計 . 39 策形式 . 39 載計算 . 40 載累計 . 40 移粒度選擇 . 41 問頻度 . 42 樹大小 . 42 移子樹選擇 . 42 . 43 移步驟 . 43 存被動更新 . 45 結 . 46 第六章 性能分析評價 . 47 試工具和測試環(huán)境 . 47 目錄 文件系統(tǒng) 具介紹 . 47 試環(huán)境介紹 . 48 一元數(shù)據(jù)處理性能測試 . 48 數(shù)據(jù)服務器負載均衡測試 . 50 數(shù)據(jù)集群整體性能測試 . 52 結 . 54 第七章 結束語 . 55 文工作總結 . 55 一步研究方向 . 55 參考文獻 . 57 致 謝 . i 作者簡介 . 目錄 圖 儲架構（來自 1） . 8 圖 儲架構（來自 1） . 9 圖 儲架構 (來自： ) . 11 圖 于對象的存儲架構 （來自 1） . 11 圖 統(tǒng)結構 (來自 司 ) . 13 圖 統(tǒng)結構 (來自 司 ) . 14 圖 統(tǒng)結構 (來自 ) . 14 圖 構結構 (來自 . 15 圖 群中各個角色的關系 . 18 圖 理 (來自 ) . 19 圖 數(shù)據(jù)服務器加入流程 . 23 圖 數(shù)據(jù)服務器離開流程 . 24 圖 數(shù)據(jù)服務器恢復流程 . 24 圖 態(tài)子樹劃分示意圖 . 26 圖 動態(tài)子樹劃分（來自 . 29 圖 理 ( ) . 30 圖 個 儲示意 . 32 圖 數(shù)據(jù)的存儲結構 . 32 圖 態(tài)子樹劃分的整體名字空間視圖 . 32 圖 態(tài)子樹劃分在各個元數(shù)據(jù)服務器上的存儲結構 . 33 圖 數(shù)據(jù)節(jié)點分裂示意圖 . 35 圖 件系統(tǒng)啟動時定位根節(jié)點的過程 . 36 圖 建新文件時請求示意 . 37 中國科學院碩士學位論文 基于對象的存儲系統(tǒng)中元數(shù)據(jù)管理算法研究 X 圖 障發(fā)生時，獲取文件元數(shù)據(jù) (作 ) . 37 圖 載評估模型 . 41 圖 問頻度更新 . 42 圖 數(shù)據(jù)遷移前初始狀態(tài)，選擇遷移對象 . 44 圖 送壓縮子樹 . 44 圖 新相關狀態(tài) . 45 圖 動 新策略 . 46 圖 一元數(shù)據(jù)服務器性能測試分析 . 49 圖 一元數(shù)據(jù)服務器對多客戶端性能 . 50 圖 載均衡測試結果 . 50 圖 載均衡測試結果 . 51 圖 個 間負載均衡測試 . 51 圖 元數(shù)據(jù)的聚合性能 . 54 圖 況下單個 供的性能 . 54 1 表目錄 表 系統(tǒng)支持的 作列表 . 20 表 . 21 表 態(tài)子樹劃分 . 26 表 態(tài)子樹劃分調整結果 . 27 表 分方法示意 . 27 表 H 方法的 . 28 表 新后的 . 29 表 數(shù)據(jù)分布算法比較 . 31 表 客戶端測試中每個客戶端觀測到的平均性能 . 48 表 多客戶端測試中，所有客戶端觀測到的性能之和 . 49 表 2每個客戶端觀察到的性能 . 52 表 4每個客戶端觀察到的性能 . 53 表 每個客戶端觀察到的性能 . 53 1 第一章 引 言 在云計 算迅速發(fā)展的今天 ，用戶更趨向于把數(shù)據(jù)存儲在 云端，云端的數(shù)據(jù)正在以前所未有的速度增長， 每天上傳 6500 段視頻，每個月增加大約 20儲需求； 天處理的數(shù)據(jù)量超過 20008 年數(shù)據(jù) )。由此帶來的存儲需求極大地挑戰(zhàn)著云端的存儲架構，據(jù) 2010 年的研究表明，對于大型企業(yè)來說，數(shù)據(jù)增長是其基礎架構面臨的最大挑戰(zhàn)。 面對日益增加的數(shù)據(jù)量， 云端使用的 存儲系統(tǒng)正在從 別走向 別甚至 存儲 的強大需求要求存儲系統(tǒng)具有大容量，高并發(fā)，易擴展，容易管理等特性，現(xiàn)有的網(wǎng)絡存儲系統(tǒng)比如 然無 法滿足這樣的數(shù)據(jù)容量和訪問帶寬，也不能及時有效地擴展到 別。 基于對象的存儲系統(tǒng) ()應運而生，它具有 低成本、 可 擴展、 高容量 、 高性能 、 異構， 易于管理 等特性 ，基于對象的存儲能夠集合集群中 數(shù)以萬計的 存儲 服務器 ， 提供 別的存儲容量 和很高的性能 ； 由于 用商用服務器和P 網(wǎng)絡 構建 ，而不需要光纖，磁盤陣列等昂貴的設備 ，使得它能夠保持很低的成本；計中充分考慮到商用服務器的異構性，對硬件設備沒有嚴格的要求，任何一臺提供對象接口的對象存儲 服務器， 都可以很簡單的加入存儲集群中，使得存儲系統(tǒng)具有很好的擴展性；此外， ，數(shù)據(jù)通常以 冗余的方式存儲，能夠保證系統(tǒng)具有很好的容錯性， 可以保證系統(tǒng)在部分硬件損壞的情況下有效對外提供服務 。 這些特性完全契合了云存儲的各種需求， 因此基于對象的存儲系統(tǒng)是新一代集群存儲的最佳選擇，在本章中，我們將簡要介紹一下本課題的研究背景，引出本課題的研究目標和研究內容。 用背景 存儲介紹 云存儲是在云計算 (念上延伸和發(fā)展出來的一個新概念，是指通過集群應用 、網(wǎng)格技術或分布式文件系統(tǒng)等技術，將網(wǎng)絡中大量同構或異構的存儲設備集合起來，共同對外提供數(shù)據(jù)存儲功能的系統(tǒng)。 云存儲和云計算一樣，具有對用戶端的設備要求最低 、 方便共享 、 按使用付費等一些特征。 用戶使用云存儲后，終端將不再需要巨 大的存儲空間，它們將僅僅作為 訪問云端數(shù)據(jù)的 一個 設備 。 云存儲提供了可靠、安全的數(shù)據(jù)存儲中服務 ，用戶不用再擔心數(shù)據(jù)丟失、病毒入侵等麻煩。 云存儲最典型的應用 ， 利用 用戶文件不再保存在用戶的電腦上，而是保存在 存儲云中，無論用戶在什么地方 ，只需要一個瀏覽器登陸 可以訪問到自己的文件，這不僅可以防止用戶電腦意外中國科學院碩士學位論文 基于對象的存儲系統(tǒng)中元數(shù)據(jù)管理算法研究 2 丟失導致的數(shù)據(jù)泄露，還解決了用戶在多臺電腦上管理各種文件版本的困難， 此外， 利用云端的搜索技術，用戶可以很方便 地 找到自己曾經(jīng)記錄的文檔。 查數(shù)據(jù)顯示：到 2013 年，云存儲服務的增長率預計將超過所有其他 服務。在未來四年內，云服務的市場規(guī)模將從現(xiàn)在的 174 億美元增長到 442 億美元，其中，云存儲的市場比例將從目前的 9%增長到 14%，也就是說云存儲的市場規(guī)模將接近62 億美元。 云存儲 的發(fā)展 依賴 于以下一些 技