網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)hadoop接口實(shí)現(xiàn)及系統(tǒng)測(cè)試

1、網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) hadoop 接口實(shí)現(xiàn)及系統(tǒng)測(cè)試摘 要： 隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，各種網(wǎng)絡(luò)服務(wù)器對(duì)存儲(chǔ)的需求隨之發(fā)展。但由于商業(yè)規(guī)模的不同，對(duì)網(wǎng)絡(luò)存儲(chǔ)的需求也不同。因此，要選擇適合的網(wǎng)絡(luò)存儲(chǔ)技術(shù)進(jìn)行網(wǎng)絡(luò)存儲(chǔ)。傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)技術(shù)只是解決了數(shù)據(jù)的存儲(chǔ)問題，對(duì)于如何確保存儲(chǔ)數(shù)據(jù)的安全可靠性卻沒有提供有效方案。本文研究了分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，對(duì)其設(shè)計(jì)思想，體系架構(gòu)及存儲(chǔ)數(shù)據(jù)文件進(jìn)行了分析與設(shè)計(jì)。關(guān)鍵詞： 網(wǎng)絡(luò)技術(shù)；網(wǎng)絡(luò)存儲(chǔ)；數(shù)據(jù)；分布式Abstract ：With the rapid development of computer network technology, th

2、e demand for storagewith the development of various networkserver. But because of the different business scale, thedemand fornetworkstorage is also different.Therefore, to choose suitable networkstoragetechnology for network storage. The traditional network storage technology can solve the problem o

3、fdata storage, only about how to ensure the safety and reliability of the data is stored but not provideeffective solution. This paper studies the design and implementation of a distributed network storagesystem, the design thought, system architecture and data storage file has carried on the analys

4、is anddesign.Keywords: network;storage;data;distribute1 引言1.1研究背景數(shù)據(jù)的保存，從古至今都是在跟隨著時(shí)代發(fā)展的。古代，沒有硬盤技術(shù)，也沒有先進(jìn)的網(wǎng)絡(luò)技術(shù)，于是，我們聰明的祖先就將數(shù)據(jù)刻在龜甲、獸骨上，再后來，寫在竹簡(jiǎn)上、紙上，以及現(xiàn)代的磁帶、磁盤、光盤。從體積大容量小，一直發(fā)展到如今的體積小容量大的 U 盤、移動(dòng)硬盤。但這些從古到今的存儲(chǔ)介質(zhì)對(duì)于數(shù)據(jù)的保存不能解決數(shù)據(jù)的安全長久的問題。所以，我們要在這些脆弱的數(shù)據(jù)基第 1頁(共 1頁)礎(chǔ)上建立有效的、能夠長期安全保存數(shù)據(jù)的方法。在飛速發(fā)展的今天，無論是公司還是個(gè)人，隨著時(shí)間的累積，數(shù)

5、據(jù)都是呈增長趨勢(shì)的，勢(shì)必，我們需要一個(gè)有效的存儲(chǔ)數(shù)據(jù)的方法，來保證數(shù)據(jù)的長久存儲(chǔ)、安全存儲(chǔ)、可靠存儲(chǔ)。對(duì)于數(shù)據(jù)的安全存儲(chǔ)，個(gè)人的解決辦法通常是多處保存，磁盤，硬盤，優(yōu)盤等。但是對(duì)于一個(gè)小型企業(yè)甚至是更大型一點(diǎn)的企業(yè)來說，這樣的方法幾乎是不可行的。一般企業(yè)采用集中式存儲(chǔ)，利用磁盤鏡像來提高有限的數(shù)據(jù)可靠性，但能提供的容量有限。分布式存儲(chǔ)思想的出現(xiàn)，使得解決這些問題變得越來越現(xiàn)實(shí)，可實(shí)行。基于這些實(shí)際情況，分布式存儲(chǔ)系統(tǒng)的研究，與我們而言就有了很深的意義。1.2目的和意義本文的目的就是利用分布式思想建立一個(gè)廉價(jià)，部署簡(jiǎn)單，穩(wěn)定，可靠，易擴(kuò)展，自由組織的分布式存儲(chǔ)系統(tǒng)，使得數(shù)據(jù)的存儲(chǔ)高效、安全、長久

6、。1.3名詞解釋1）分布式存儲(chǔ)：與目前常見的集中式存儲(chǔ)技術(shù)不同，分布式存儲(chǔ)技術(shù)并不是將數(shù)據(jù)存儲(chǔ)在某個(gè)或多個(gè)特定的節(jié)點(diǎn)上，而是通過網(wǎng)絡(luò)使用企業(yè)中的每臺(tái)機(jī)器上的磁盤空間，并將這些分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備，數(shù)據(jù)分散的存儲(chǔ)在企業(yè)的各個(gè)角落。2） Hadoop：一個(gè)由 Apache 基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu), 用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。3） HDFS：Hadoop Distributed File System的簡(jiǎn)稱，是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。 HDFS 能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模

7、數(shù)據(jù)集上的應(yīng)用。4） SSH（安全外殼協(xié)議）：為Secure Shell的縮寫，由 IETF 的網(wǎng)絡(luò)工作小組第 2頁(共 2頁)（ Network Working Group ）所制定； SSH 為建立在應(yīng)用層和傳輸層基礎(chǔ)上的安全協(xié)議。SSH 是目前較可靠， 專為遠(yuǎn)程登錄會(huì)話和其他網(wǎng)絡(luò)服務(wù)提供安全性的協(xié)議。2 系統(tǒng)開發(fā)關(guān)鍵技術(shù)分析2.1分布式存儲(chǔ)技術(shù)2.1.1分布式存儲(chǔ)概念與目前常見的集中式存儲(chǔ)技術(shù)不同，分布式存儲(chǔ)技術(shù)并不是將數(shù)據(jù)存儲(chǔ)在某個(gè)或多個(gè)特定的節(jié)點(diǎn)上，而是通過網(wǎng)絡(luò)使用企業(yè)中的每臺(tái)機(jī)器上的磁盤空間，并將這些分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備，數(shù)據(jù)分散的存儲(chǔ)在企業(yè)的各個(gè)角落。2.1.2具

8、體技術(shù)海量的數(shù)據(jù)按照結(jié)構(gòu)化程度來分，可以大致分為結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)。1）結(jié)構(gòu)化數(shù)據(jù)所謂結(jié)構(gòu)化數(shù)據(jù)是一種用戶定義的數(shù)據(jù)類型， 它包含了一系列的屬性， 每一個(gè)屬性都有一個(gè)數(shù)據(jù)類型，存儲(chǔ)在關(guān)系數(shù)據(jù)庫里 , 可以用二維表結(jié)構(gòu)來表達(dá)實(shí)現(xiàn)的數(shù)據(jù)。大多數(shù)系統(tǒng)都有大量的結(jié)構(gòu)化數(shù)據(jù)，一般存儲(chǔ)在 Oracle 或 MySQL 的等的關(guān)系型數(shù)據(jù)庫中。2）非結(jié)構(gòu)化數(shù)據(jù)相對(duì)于結(jié)構(gòu)化數(shù)據(jù)而言, 不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù) , 包括所有格式的辦公文檔、文本、圖片、XML 、HTML 、各類報(bào)表、圖像和音頻 / 視頻信息等等。3）半結(jié)構(gòu)化數(shù)據(jù)介于完全結(jié)構(gòu)化數(shù)據(jù)（如關(guān)系型數(shù)據(jù)庫、

9、面向?qū)ο髷?shù)據(jù)庫中的數(shù)據(jù)）和完全無結(jié)構(gòu)的數(shù)據(jù)（如聲音、圖像文件等）之間的數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)模型具有一定第 3頁(共 3頁)的結(jié)構(gòu)性，但較之傳統(tǒng)的關(guān)系和面向?qū)ο蟮哪Ｐ透鼮殪`活。半結(jié)構(gòu)數(shù)據(jù)模型完全不基于傳統(tǒng)數(shù)據(jù)庫模式的嚴(yán)格概念，這些模型中的數(shù)據(jù)都是自描述的。2.2HDFSHadoop 分布式文件系統(tǒng)（ Hadoop Distributed File System）：每個(gè)文件就是一個(gè)數(shù)據(jù)集，也就是說數(shù)據(jù)的存儲(chǔ)最終以文件的形式，存儲(chǔ)在文件系統(tǒng)中。文件系統(tǒng)是 OS系統(tǒng)一個(gè)重要的部分。文件系統(tǒng)通過設(shè)備驅(qū)動(dòng)來訪問設(shè)備（如磁盤）。各種不同的文件系統(tǒng)其方式也不同，本系統(tǒng)采用的是分布式文件系統(tǒng)。分布式文件系統(tǒng)是用多

10、臺(tái)主機(jī)群集在一起構(gòu)建一個(gè)文件系統(tǒng)，剝離文件元數(shù)據(jù)和數(shù)據(jù)來用一個(gè)專門的集中式（也有非集中式）服務(wù)器維護(hù)文件系統(tǒng)的元信息，多臺(tái)專門存儲(chǔ)的服務(wù)器，對(duì)元數(shù)據(jù)的操作和數(shù)據(jù)讀取也分開。這是目前分布式文件系統(tǒng)采用的主要模式。本論文闡述的hdfs( Hadoop 分布式系統(tǒng) ) 也不例外，主要采用這個(gè)思想來構(gòu)建系統(tǒng)。3 系統(tǒng)需求分析3.1系統(tǒng)定義3.1.1項(xiàng)目要達(dá)到的目標(biāo)本項(xiàng)目設(shè)定的目標(biāo)如下：1）系統(tǒng)能夠提供友好的用戶界面，使操作人員的工作量最大限度的減少2）系統(tǒng)具有良好的運(yùn)行效率，有良好的可擴(kuò)充性，可以容易的加入其它系統(tǒng)的應(yīng)用。3）平臺(tái)的設(shè)計(jì)具有一定的超前性，靈活性，能夠適應(yīng)企業(yè)生產(chǎn)配置的變化。4）數(shù)據(jù)中心

11、要建設(shè)一個(gè)設(shè)備集中、集中管理、滿足應(yīng)用、方便擴(kuò)展、安全穩(wěn)定、共享同一的存儲(chǔ)系統(tǒng)。5）通過這個(gè)項(xiàng)目可以鍛煉隊(duì)伍，提高團(tuán)隊(duì)的開發(fā)能力和項(xiàng)目管理能力6）用戶注冊(cè)后能夠在上面保存刪除自己的文件。3.1.2系統(tǒng)整體結(jié)構(gòu)第 4頁(共 4頁)圖 3-1系統(tǒng)整體結(jié)構(gòu)圖3.2應(yīng)用環(huán)境3.2.1系統(tǒng)運(yùn)行網(wǎng)絡(luò)環(huán)境本系統(tǒng)的網(wǎng)絡(luò)運(yùn)行圖如圖3-2，無論是客戶端的網(wǎng)絡(luò)存儲(chǔ)使用者還是管理端的管理者等都可以通過網(wǎng)絡(luò)登錄到本系統(tǒng)中。網(wǎng)絡(luò)存儲(chǔ)將想要進(jìn)行存儲(chǔ)的東西存放在系統(tǒng)中，管理員可進(jìn)行管理。第 5頁(共 5頁)圖 3-2網(wǎng)絡(luò)運(yùn)行圖3.2.2系統(tǒng)運(yùn)行硬件環(huán)境1）硬件環(huán)境客戶機(jī)：普通PCCPU： P4 1.8GHz內(nèi)存： 256MB

12、 以上分辨率：推薦使用1024*768 像素2） WEB 服務(wù)器CPU： P4 1.8GHz內(nèi)存： 2048MB 以上3） hadoop 從服務(wù)器CPU： P4 1.8GHz內(nèi)存： 1024MB 以上3.2.3系統(tǒng)運(yùn)行軟件環(huán)境1）操作系統(tǒng)： Linux2）數(shù)據(jù)庫： mysql3）開發(fā)工具包：Myeclipse第 6頁(共 6頁)4）JSP 服務(wù)器： Tomcat5）瀏覽器： IE8.0/Firefox3.3功能規(guī)格我們采用面向?qū)ο蠓治鲎鳛橹饕南到y(tǒng)建模方法，使用UML(Unified ModelingLanguage) 作為建模語言。UML 為建?；顒?dòng)提供了從不同角度觀察和展示系統(tǒng)的各種特征的

13、方法。 在 UML 中，從任何一個(gè)角度對(duì)系統(tǒng)所作的抽象都可能需要幾種模型來描述，而這些來自不同角度的模型圖最終組成了系統(tǒng)的映像。Use Case 描述的是“ actor”( 用戶、外部系統(tǒng)以及系統(tǒng)處理) 是如何與系統(tǒng)交互來完成工作的。 Use Case 模型提供了一個(gè)非常重要的方式來界定系統(tǒng)邊界以及定義系統(tǒng)功能，同時(shí)，該模型將來可以派生出動(dòng)態(tài)對(duì)象模型。設(shè)計(jì) Use-case 時(shí)，我們遵循下列步驟：第一步，識(shí)別出系統(tǒng)的“actor”。Actor 可以是用戶、外部系統(tǒng)，甚至是外部處理，通過某種途徑與系統(tǒng)交互。重要的是著重從系統(tǒng)外部執(zhí)行者的角度來描述系統(tǒng)需要提供哪些功能，并指明這些功能的執(zhí)行者( A

14、ctor) 是誰。盡可能地確保所有 Actor 都被完全識(shí)別出來。第二步，描述主要的Use Case?？梢圆扇〔粩嗟貑栕约骸斑@個(gè)Actor 究竟想通過系統(tǒng)做什么？”來準(zhǔn)確地描述Use Case。第三步，重新審視每個(gè)Use Case，為它們下個(gè)詳盡的定義。3.3.1角色（ Actor ）定義1）使用者使用者是指在這個(gè)網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中通過客戶端存儲(chǔ)資料的人員，這個(gè) Actor 主要參與客戶端的注冊(cè)登陸賬號(hào)、搜索資料、下載、快速上傳等功能。2）管理者管理用戶是指管理端的用戶，即系統(tǒng)管理員。系統(tǒng)管理員是指對(duì)網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)進(jìn)行相關(guān)設(shè)置、維護(hù)的人員，它也是通過管理端登錄對(duì)管理端的用戶進(jìn)行設(shè)置，分配權(quán)限等，它們

15、的關(guān)系如圖：第 7頁(共 7頁)圖 3-3管理者與使用者關(guān)系3.3.2系統(tǒng)主用例圖圖 3-4系統(tǒng)主用例圖3.3.3客戶端子系統(tǒng)1）上傳文件：用戶登陸后可以上傳文件，從而存儲(chǔ)文件。2）下載文件：用戶登陸后可以從系統(tǒng)下載所需文件。3）修改密碼：用戶登陸后可以對(duì)本用戶密碼進(jìn)行修改。第 8頁(共 8頁)3.3.4管理端子系統(tǒng)1）用戶管理：管理員登陸后，可以用用戶操作，刪除用戶。2）空間管理：管理員登陸后，可以對(duì)用戶的空間大小進(jìn)行管理，更改用戶空間大小。3）文件管理：管理員登陸后，可以對(duì)用戶的文件進(jìn)行管理，清空用戶文件。4）密碼管理：管理員登陸后，可以對(duì)用戶的密碼進(jìn)行重置。3.4性能需求3.4.1界面需

16、求系統(tǒng)的界面要求如下：1）頁面內(nèi)容：主題突出，站點(diǎn)定義、術(shù)語和行文格式統(tǒng)一、規(guī)范、明確，欄目、菜單設(shè)置和布局合理，傳遞的信息準(zhǔn)確、及時(shí)。內(nèi)容豐富，文字準(zhǔn)確，語句通順；專用術(shù)語規(guī)范，行文格式統(tǒng)一規(guī)范。2）導(dǎo)航結(jié)構(gòu)：頁面具有明確的導(dǎo)航指示，且便于理解，方便用戶使用。3）技術(shù)環(huán)境：頁面大小適當(dāng)，能用各種常用瀏覽器以不同分辨率瀏覽；無錯(cuò)誤鏈接和空鏈接；采用CSS處理，控制字體大小和版面布局。4）藝術(shù)風(fēng)格：界面、版面形象清新悅目、布局合理, 字號(hào)大小適宜、字體選擇合理，前后一致，美觀大方；動(dòng)與靜搭配恰當(dāng), 動(dòng)靜效果好；色彩和諧自然, 與主題內(nèi)容相協(xié)調(diào)。3.4.2響應(yīng)時(shí)間需求無論是客戶端和管理端，當(dāng)用戶登

17、錄，進(jìn)行任何操作的時(shí)候，系統(tǒng)應(yīng)該及時(shí)的進(jìn)行反應(yīng)，反應(yīng)的時(shí)間在5 秒以內(nèi)。系統(tǒng)應(yīng)能監(jiān)測(cè)出各種非正常情況，如與設(shè)備的通信中斷，無法連接數(shù)據(jù)庫服務(wù)器等，避免出現(xiàn)長時(shí)間等待甚至無響應(yīng)。3.4.3可靠性需求系統(tǒng)應(yīng)保證 7X24 內(nèi)不當(dāng)機(jī)，保證20 人可以同時(shí)在客戶端登錄，系統(tǒng)正常運(yùn)行，正確提示相關(guān)內(nèi)容。3.4.4開放性需求第 9頁(共 9頁)系統(tǒng)應(yīng)具有十分的靈活性，以適應(yīng)將來功能擴(kuò)展的需求。3.4.5可擴(kuò)展性需求系統(tǒng)設(shè)計(jì)要求能夠體現(xiàn)擴(kuò)展性要求，以適應(yīng)將來功能擴(kuò)展的需求。3.4.6系統(tǒng)安全性需求系統(tǒng)有嚴(yán)格的權(quán)限管理功能， 各功能模塊需有相應(yīng)的權(quán)限方能進(jìn)入。系統(tǒng)需能夠防止各類誤操作可能造成的數(shù)據(jù)丟失，破壞。

18、防止用戶非法獲取網(wǎng)頁以及內(nèi)容。4 系統(tǒng)概要設(shè)計(jì)4.1功能需求與程序的關(guān)系本條用一張如下的矩陣圖說明各項(xiàng)功能需求的實(shí)現(xiàn)同各塊程序的分配關(guān)系：表 4-1 功能需求與程序關(guān)系表功能和需求描述模塊功能描述注冊(cè)用戶通過注冊(cè)賬號(hào)以便登錄登錄用戶和管理員通過登錄進(jìn)入界面下載文件用戶在搜索到相關(guān)資料后，可以對(duì)其進(jìn)行下載。上傳文件用戶可以把自己的資料上傳到網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的存儲(chǔ)空間中。登錄管理登錄管理是負(fù)責(zé)所有的管理端的登錄，管理端的人員要登錄到管理端必須經(jīng)過登錄界面，輸入自己的用戶名和密碼，通過判斷這個(gè)用戶的權(quán)限信息，不同的登錄人可能具有不同的權(quán)限，根據(jù)不同的權(quán)限現(xiàn)實(shí)不同的功能。上傳管理對(duì)使用者上傳的文件，管理者

19、可以進(jìn)行查看，可以及時(shí)更新并顯示上傳的文件，及提供上傳文件的詳細(xì)信息。下載管理對(duì)使用者下載文件的大小進(jìn)行管理，下載權(quán)限進(jìn)行管理?？臻g管理管理者具有分配空間給使用者的權(quán)限，可以查看使用者存儲(chǔ)空間剩余，可以增加、刪除、修改操作。文件管理對(duì)使用者上傳的文件，管理者可以進(jìn)行查看，可以及時(shí)更新并顯示上傳的文件，及提供上傳文件的詳細(xì)信息。可以對(duì)文件進(jìn)行增加、刪除、修改等操作。密碼管理管理者對(duì)密碼可以進(jìn)行查看， 修改等操作。 當(dāng)使用者登陸時(shí)，要將其輸入的密碼與數(shù)據(jù)庫中對(duì)應(yīng)的密碼進(jìn)行匹配。用戶管理當(dāng)進(jìn)入用戶管理模塊時(shí)， 在用戶管理中可以增加或刪除用戶，編輯用戶名，用戶密碼，修改用戶權(quán)限，具有不同權(quán)限的用戶進(jìn)入

20、系統(tǒng)主界面。第 10頁(共 10頁)4.2接口設(shè)計(jì)4.2.1用戶接口1）普通用戶可以上傳文件、下載文件、修改本用戶密碼。2）管理員可以對(duì)用戶、空間、文件、密碼進(jìn)行管理。4.2.2外部接口本系統(tǒng)暫未設(shè)計(jì)外部接口。4.2.3內(nèi)部接口軟件需要通過配置數(shù)據(jù)通服務(wù)器進(jìn)行連接。4.3運(yùn)行設(shè)計(jì)4.3.1運(yùn)行模塊組合1）用戶傳下載文件、查看文件夾、修改密碼模塊2）系統(tǒng)設(shè)定、管理員管理空間、用戶模塊4.3.2運(yùn)行控制用戶登錄進(jìn)入自己的空間界面，點(diǎn)擊上傳來進(jìn)行上傳文件， 點(diǎn)擊下載來進(jìn)行下載文件，點(diǎn)擊修改密碼對(duì)密碼進(jìn)行修改。4.3.3運(yùn)行時(shí)間1）用戶修改密碼模塊運(yùn)行時(shí)間少，用戶上傳下載文件運(yùn)行時(shí)間多。2）管理員管理

21、用戶，修改空間大小，修改用戶密碼時(shí)間少。4.4系統(tǒng)數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)4.4.1邏輯結(jié)構(gòu)設(shè)計(jì)要點(diǎn)表 4-2管理員信息數(shù)據(jù)字典表（manager）數(shù)據(jù)項(xiàng)名稱數(shù)據(jù)項(xiàng)類型數(shù)據(jù)項(xiàng)長度是否主鍵是否為空數(shù)據(jù)項(xiàng)含義數(shù)據(jù)項(xiàng)說明IDchar36是否管理員編號(hào)Uuidnamevarchar50否用戶名pwdChar32否密碼表 4-3用戶信息數(shù)據(jù)字典表（user ）第 11頁(共 11頁)數(shù)據(jù)項(xiàng)名稱數(shù)據(jù)項(xiàng)類型數(shù)據(jù)項(xiàng)長度是否主鍵是否為空數(shù)據(jù)項(xiàng)含義數(shù)據(jù)項(xiàng)說明IDchar36是否管理員編號(hào)Uuidnamevarchar50否用戶名pwdChar32否密碼VolumeInt用戶最大存null 表示不儲(chǔ)量限容量PathVarcha

22、r45否用戶存儲(chǔ)路徑EmailVarchar30否用戶驗(yàn)證郵注冊(cè)時(shí)用于箱驗(yàn)證AreaVarchar10否注冊(cè)地區(qū)SexVarchar5否用戶性別UploadtimeVarchar20否用戶上傳文件時(shí)間4.4.2物理結(jié)構(gòu)設(shè)計(jì)要點(diǎn)由客戶端獲得數(shù)據(jù)存入服務(wù)器，不同權(quán)限的操作人員有不同的方式。4.4.3數(shù)據(jù)結(jié)構(gòu)與程序的關(guān)系表 4-4數(shù)據(jù)結(jié)構(gòu)與程序關(guān)系表用戶上傳下載用戶修改密碼管理員管理空間管理員管理用戶用戶管理員4.5系統(tǒng)出錯(cuò)處理設(shè)計(jì)4.5.1出錯(cuò)信息表 4-5出錯(cuò)信息表錯(cuò)誤描述輸出形式含義處理方法未能鏈接數(shù)據(jù)庫找不到數(shù)據(jù)庫服務(wù)器不連通檢查防火墻不能上傳下載文件上傳下載失敗Hadoop 服務(wù)關(guān)閉開啟

23、Hadoop 服務(wù)4.5.2補(bǔ)救措施1）每天進(jìn)行數(shù)據(jù)備份，保證備份即時(shí)更新。第 12頁(共 12頁)2）系統(tǒng)崩潰時(shí)重啟系統(tǒng)，可繼續(xù)工作。3）數(shù)據(jù)丟失，回復(fù)已備份的最新數(shù)據(jù)。5 Hadoop 接口實(shí)現(xiàn)詳細(xì)設(shè)計(jì)5.1hdfs 文件系統(tǒng)的詳細(xì)結(jié)構(gòu)圖 5-1hdfs 文件系統(tǒng)詳細(xì)結(jié)構(gòu)圖5.2Linux 網(wǎng)絡(luò)配置設(shè)計(jì)5.2.1程序描述在 Linux 上設(shè)置網(wǎng)絡(luò)，使 master 主機(jī)和 slave 從機(jī)能夠相互連通。5.2.2功能主機(jī)和從機(jī)之間通過命令： pingip 能夠互相連通， 從而為之后的數(shù)據(jù)存儲(chǔ)做鋪墊。5.2.3性能要求做到瞬時(shí)響應(yīng)，在命令輸完，鍵入回車后，能立即給出ping 的結(jié)果。第 13

24、頁(共 13頁)5.2.4輸入項(xiàng)1）在 master（主機(jī)）輸入： pingslave （從機(jī)） ip2）在 slave1（從機(jī)）輸入： pingmaster（主機(jī)） ip3）在 slave2（從機(jī)）輸入： pingmaster（主機(jī)） ip4）在 slave3（從機(jī)）輸入： pingmaster（主機(jī)） ip5）在 slave4（從機(jī)）輸入： pingmaster（主機(jī)） ip5.2.5輸出項(xiàng)1）輸出 master 與每一個(gè) slave 的連通結(jié)果。2）輸出 slave1 與 master 的連通結(jié)果。3）輸出 slave2 與 master 的連通結(jié)果。4）輸出 slave3 與 mast

25、er 的連通結(jié)果。5）輸出 slave4 與 master 的連通結(jié)果。5.2.6測(cè)試計(jì)劃針對(duì)網(wǎng)絡(luò)配置的文件做測(cè)試，查看配置文件的完整性是否達(dá)到要求。5.3Linux Java 環(huán)境安裝5.3.1程序描述在 Linux 上配置 Java 環(huán)境變量。5.3.2功能安裝和配置 Java環(huán)境變量，為后期安裝配置Hadoop，正常啟動(dòng) / 停止 Hadoop服務(wù)做準(zhǔn)備。5.3.3性能此處設(shè)計(jì)無性能要求。5.3.4輸入項(xiàng)1）在 master（主機(jī)）輸入： java-version2）在 slave1（從機(jī)）輸入： java-version3）在 slave2（從機(jī)）輸入： java-version第 1

26、4頁(共 14頁)4）在 slave3（從機(jī)）輸入： java-version5）在 slave4（從機(jī)）輸入： java-version5.3.5輸出項(xiàng)在 master 和 slave 上都會(huì)輸出相應(yīng)配置好的JDK版本號(hào)。5.3.6測(cè)試計(jì)劃針對(duì) java 配置文件做測(cè)試，查看配置文件的完整性是否達(dá)到要求；并且在master 和所有 slave 都鍵入命令 java-version，檢查是否會(huì)輸出JDK版本號(hào)。5.4Linux SSH 無密碼驗(yàn)證設(shè)計(jì)5.4.1程序描述在 Linux 上配置 SSH 無密碼驗(yàn)證。5.4.2功能配置 SSH 無密碼驗(yàn)證，在主機(jī)和從機(jī)之間傳輸數(shù)據(jù)時(shí)不需要輸入密碼，使

27、得 master 和所有 slave 之間以及 slave 相互之間可以直接訪問。5.4.3性能此處設(shè)計(jì)無性能要求。5.4.4輸入項(xiàng)1）在 master（主機(jī)）輸入： sshslave1/ slave2/ slave3/ slave4_ip2）在 slave1（從機(jī)）輸入： sshmaster_ip3）在 slave2（從機(jī)）輸入： sshmaster_ip4）在 slave3（從機(jī)）輸入： sshmaster_ip5）在 slave4（從機(jī)）輸入： sshmaster_ip5.4.5輸出項(xiàng)在當(dāng)前狀態(tài)下進(jìn)入相應(yīng) ip 的其他 master/slaves5.4.6測(cè)試計(jì)劃針對(duì) SSH 無密碼驗(yàn)證

28、配置文件做測(cè)試，查看配置文件的完整性是否達(dá)到要求；并且在 master 和所有 slave 都鍵入命令sship ，檢查是否會(huì)進(jìn)入相應(yīng)IP 的其他第 15頁(共 15頁)master/slaves。5.5Linux Hadoop 安裝配置5.5.1程序描述在 Linux master 和 slaves上安裝配置 Hadoop 5.5.2 功能配置 Hadoop 服務(wù)，使用 hdfs 分布式文件系統(tǒng)，實(shí)現(xiàn)分布式網(wǎng)絡(luò)存儲(chǔ)。5.5.3性能能夠快速啟動(dòng) Hadoop 服務(wù)。5.5.4輸入項(xiàng)1）在 master（主機(jī)）輸入： start-all.sh2）在 master（主機(jī)）輸入： jsp3）在 sl

29、ave1（從機(jī)）輸入： jsp4）在 slave2（從機(jī)）輸入： jsp5）在 slave3（從機(jī)）輸入： jsp6）在 slave4（從機(jī)）輸入： j sp5.5.5輸出項(xiàng)1） Master 輸出：圖 5-2 master 輸出圖2） Slave 輸出：第 16頁(共 16頁)圖 5-3 slave 輸出圖5.5.6測(cè)試計(jì)劃針對(duì) Hadoop 配置文件做測(cè)試，查看配置文件的完整性是否達(dá)到要求；并且在master 和所有 slave 都鍵入命令 jsp 命令，在 windows7 瀏覽器輸入網(wǎng)址， 檢查是否出現(xiàn)正確的節(jié)點(diǎn)信息。5.6Linux mysql 安裝配置5.6.1程序描述在 Linu

30、x master 上安裝配置 mysql 5.6.2 功能數(shù)據(jù)庫，實(shí)現(xiàn)用戶信息及管理員信息的存儲(chǔ)。用戶登陸、注冊(cè)時(shí)調(diào)用數(shù)據(jù)庫，讀取信息，進(jìn)行判斷和存儲(chǔ)信息。5.6.3性能能夠自啟 mysql 數(shù)據(jù)庫。5.5.4輸入項(xiàng)在 master（主機(jī)）輸入： ps -aux|grep mysql 5.5.5 輸出項(xiàng)關(guān)于 Mysql 信息5.5.6測(cè)試計(jì)劃針對(duì) mysql 配置文件做測(cè)試，查看配置文件的完整性是否達(dá)到要求；并且在master 鍵入命令 ps -aux|grep mysql命令，查看 mysql 信息是否出現(xiàn)。5.7Hadoop hdfs 文件操作接口及實(shí)現(xiàn)5.7.1程序描述Hadoop hd

31、fs 文件操作接口及其實(shí)現(xiàn)第 17頁(共 17頁)5.7.2功能用戶上傳下載時(shí)，通過該接口實(shí)現(xiàn)向hdfs 存儲(chǔ)文件。5.7.3性能系統(tǒng)能夠做出快速反應(yīng)，響應(yīng)快，響應(yīng)時(shí)間短。5.7.4流程邏輯圖 5-2流程邏輯圖5.7.5存儲(chǔ)分配管理員并沒有存儲(chǔ)空間，每一個(gè)用戶初始有150MB 的儲(chǔ)存空間，管理員可以對(duì)每個(gè)用戶的空間進(jìn)行管理。5.7.6注釋設(shè)計(jì)1）加在模塊首部的注釋2）加在各分枝點(diǎn)處的注釋3）對(duì)各變量的功能、范圍、缺省條件等所加的注釋4）對(duì)使用的邏輯所加的注釋5.7.7測(cè)試計(jì)劃針對(duì)實(shí)現(xiàn)的接口作測(cè)試，寫一個(gè)測(cè)試方法，對(duì)上傳文件、下載文件逐個(gè)功能，挨個(gè)進(jìn)行測(cè)試，看是否能將數(shù)據(jù)在本地和hdfs 傳輸。

32、6 系統(tǒng)接口實(shí)現(xiàn)第 18頁(共 18頁)6.1上傳接口實(shí)現(xiàn)如圖 6-1 ：（ 1）（ 2）圖 6-1上傳接口實(shí)現(xiàn)截圖6.2下載接口實(shí)現(xiàn)如圖 6-2 ：第 19頁(共 19頁)圖 6-2下載接口實(shí)現(xiàn)截圖6.3創(chuàng)建目錄接口實(shí)現(xiàn)如圖 6-3 ：圖 6-3創(chuàng)建目錄接口實(shí)現(xiàn)截圖6.4刪除目錄接口實(shí)現(xiàn)如圖 6-4 ：第 20頁(共 20頁)圖 6-4刪除目錄接口實(shí)現(xiàn)截圖6.5獲取空間大小接口實(shí)現(xiàn)如圖 6-5 ：圖 6-5獲取空間大小接口實(shí)現(xiàn)截圖6.6列出文件列表接口實(shí)現(xiàn)如圖 6-6 ：第 21頁(共 21頁)圖 6-6獲取列表接口實(shí)現(xiàn)截圖7 系統(tǒng)測(cè)試7.1測(cè)試概要表 7-1 測(cè)試概要表編號(hào)測(cè)試類型測(cè)試內(nèi)容

33、測(cè)試人數(shù)工作時(shí)間（人）（天）1功能測(cè)試根據(jù)系統(tǒng)需求文檔和設(shè)11計(jì)文檔，檢查產(chǎn)品是否正確實(shí)現(xiàn)了功能。2性能測(cè)試提取系統(tǒng)性能數(shù)據(jù)，檢11查系統(tǒng)是否滿足在需求中所規(guī)定達(dá)到的性能。3界面測(cè)試檢查界面是否美觀合理114文擋測(cè)試檢查文檔是否足夠、描11述是否合理5兼容性測(cè)試對(duì)于 B/S 架構(gòu)的系統(tǒng)11來說需要考慮用戶端瀏覽器的版本。6容錯(cuò)性測(cè)試檢查系統(tǒng)的容錯(cuò)能力，11第 22頁(共 22頁)錯(cuò)誤的數(shù)據(jù)輸入不會(huì)對(duì)功能和系統(tǒng)產(chǎn)生非正常的影響，且程序?qū)﹀e(cuò)誤的輸入有正確的提示信息7易用性測(cè)試檢查系統(tǒng)是否易用友好118流程測(cè)試按操作流程進(jìn)行的測(cè)11試，主要有業(yè)務(wù)流程、數(shù)據(jù)流程、邏輯流程、正反流程，檢查軟件在按流程操

34、作時(shí)是否能夠正確處理9安裝測(cè)試檢查系統(tǒng)能否正確安11裝、配置10配置測(cè)試檢查配置是否合理、配11置是否正常11異常測(cè)試檢查系統(tǒng)能否處理異常117.2功能測(cè)試7.2.1功能測(cè)試計(jì)劃表 7-2 功能測(cè)試計(jì)劃表序號(hào)測(cè)試階段測(cè)試內(nèi)容人數(shù)（人）工作時(shí)間（天）準(zhǔn)備 mysql 數(shù)據(jù)庫和 tomcat1環(huán)境準(zhǔn)備應(yīng)用服務(wù)器、 Hadoop服務(wù)11及測(cè)試工具 loadrunner2整理測(cè)試點(diǎn)根據(jù)客戶操作制定功能測(cè)11試方案3編寫測(cè)試用例根據(jù)測(cè)試方案完成功能測(cè)11試用例文檔4準(zhǔn)備測(cè)試數(shù)據(jù)根據(jù)測(cè)試用例準(zhǔn)備測(cè)試數(shù)11據(jù)根據(jù)測(cè)試用例執(zhí)行功能測(cè)5執(zhí)行測(cè)試試，記錄測(cè)試數(shù)據(jù)和測(cè)試結(jié)11果6完成測(cè)試報(bào)告根據(jù)測(cè)試執(zhí)行情況完成測(cè)1

35、1試報(bào)告7.2.2功能測(cè)試用例概要表 7-3功能測(cè)試用例概要表序號(hào)測(cè)試模塊測(cè)試內(nèi)容第 23頁(共 23頁)1登錄模塊普通用戶登錄、管理員登錄2注冊(cè)模塊測(cè)試當(dāng)正確 / 錯(cuò)誤填寫信息是是否注冊(cè)成功3用戶模塊測(cè)試用戶能否成功上傳、下載文件，成功修改本用戶密碼4管理員模塊測(cè)試管理員是否能成功的對(duì)用戶、文件、空間、密碼進(jìn)行管理5退出模塊測(cè)試管理員和普通用戶是否能正常退出用戶界面7.2.3功能測(cè)試缺陷記錄通過功能測(cè)試后，暫時(shí)沒有發(fā)現(xiàn)缺陷。7.2.4功能測(cè)試結(jié)果分析本系統(tǒng)通過了功能測(cè)試，基本上沒有影響系統(tǒng)功能的bug 出現(xiàn)。7.3性能測(cè)試7.3.1性能測(cè)試計(jì)劃表 7-4 性能測(cè)試計(jì)劃表序號(hào)測(cè)試階段測(cè)試內(nèi)容人

36、數(shù)（人）工作時(shí)間（天）準(zhǔn)備 mysql 數(shù)據(jù)庫和 tomcat1環(huán)境準(zhǔn)備應(yīng)用服務(wù)器、 Hadoop服務(wù)11及測(cè)試工具 loadrunner2整理測(cè)試點(diǎn)根據(jù)客戶操作制定性能測(cè)11試方案3編寫測(cè)試用例根據(jù)測(cè)試方案完成性能測(cè)11試用例文檔4準(zhǔn)備測(cè)試數(shù)據(jù)根據(jù)測(cè)試用例準(zhǔn)備測(cè)試數(shù)11據(jù)根據(jù)測(cè)試用例執(zhí)行性能測(cè)5執(zhí)行測(cè)試試，記錄測(cè)試數(shù)據(jù)和測(cè)試結(jié)11果6優(yōu)化性能瓶頸根據(jù)測(cè)試反映出來的性能11問題優(yōu)化軟件系統(tǒng)7完成測(cè)試報(bào)告根據(jù)測(cè)試執(zhí)行情況完成測(cè)11試報(bào)告7.3.2性能測(cè)試用例概要表 7-5性能測(cè)試用例概要表第 24頁(共 24頁)編號(hào)測(cè)試模塊測(cè)試內(nèi)容并發(fā)用戶數(shù)與事并發(fā)用戶數(shù)、事務(wù)平均響應(yīng)時(shí)間、事務(wù)最大響應(yīng)時(shí)間、1

37、平均每秒處理事務(wù)數(shù)、 事務(wù)成功率、 每秒點(diǎn)擊率、 平均務(wù)執(zhí)行情況流量（字節(jié) / 秒）2并發(fā)用戶數(shù)與數(shù)CPU 利用率、磁盤I/O參數(shù)據(jù)庫主機(jī)并發(fā)用戶數(shù)與應(yīng)3用服務(wù)器的關(guān)系CPU 利用率表7.3.3性能測(cè)試缺陷記錄由于電腦 CPU 影響，響應(yīng)時(shí)間相對(duì)較慢。7.3.4性能測(cè)試結(jié)果分析（ 1）（2）圖 7-1性能測(cè)試分析圖7.4界面測(cè)試7.4.1界面測(cè)試計(jì)劃表 7-6 界面測(cè)試計(jì)劃表序號(hào)測(cè)試階段測(cè)試內(nèi)容人數(shù)（人）工作時(shí)間（天）1環(huán)境準(zhǔn)備準(zhǔn)備 mysql 數(shù)據(jù)庫和 tomcat11應(yīng)用服務(wù)器、 Hadoop 服務(wù)2整理測(cè)試點(diǎn)根據(jù)界面要求制定界面測(cè)11試方案3編寫測(cè)試用例根據(jù)測(cè)試方案完成功能測(cè)11第 25頁(共 25頁)試用例文檔4準(zhǔn)備測(cè)試數(shù)據(jù)根據(jù)測(cè)試用例準(zhǔn)備測(cè)試數(shù)11據(jù)根據(jù)測(cè)試用例執(zhí)行功能測(cè)5執(zhí)行測(cè)試試，記錄測(cè)試數(shù)據(jù)和測(cè)試結(jié)11果6完成測(cè)試報(bào)告根據(jù)測(cè)試執(zhí)行情況完成測(cè)11試報(bào)告7.4.2界面測(cè)試用例概要表 7-7 界面測(cè)試用例概要表編號(hào)測(cè)試模塊測(cè)試內(nèi)容1窗體窗體界面風(fēng)格是否合理， 樣式是否合理， 布局是否完整， 控件是否可行2消息框報(bào)錯(cuò)信息框、通知信息框是否有錯(cuò)字，是否合理3導(dǎo)航欄文字是否規(guī)范、圖