linux下安裝配置mogilefs

一、MOGILEFS介紹MOGILEFS是一種分布式文件存儲(chǔ)系統(tǒng)?？芍С治募詣?dòng)備份的功能，提供高可用性和高可擴(kuò)展性。MOGILEFS不支持對(duì)一個(gè)文件內(nèi)部的隨機(jī)或順序讀寫(xiě)，因此只適合做一部分應(yīng)用，如圖片服務(wù)，靜態(tài)HTML服務(wù)等，這些應(yīng)用在文件寫(xiě)入后基本上不需要對(duì)文件進(jìn)行修改，但是可以生成一個(gè)新的文件覆蓋原有文件。MOGILEFS分為如下幾部分1、數(shù)據(jù)庫(kù)部分?jǐn)?shù)據(jù)庫(kù)保存了MOGILEFS的所有元數(shù)據(jù)，一般使用MYSQL，可以單獨(dú)拿數(shù)據(jù)庫(kù)服務(wù)器來(lái)做，也可以跟其他程序跑在一起?？梢杂肕OGDBSETUP程序來(lái)初始化數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)部分非常重要，因?yàn)橐粋€(gè)MOGILEFS系統(tǒng)的所有TRACKER都必須指向同一個(gè)數(shù)據(jù)庫(kù)，因此如果數(shù)據(jù)庫(kù)出現(xiàn)問(wèn)題，那么整個(gè)MOGILEFS系統(tǒng)將處于不可用狀態(tài)，因此數(shù)據(jù)庫(kù)最好采用HA結(jié)構(gòu)，如MYSQL主從復(fù)制架構(gòu)，這樣可以降低數(shù)據(jù)庫(kù)出現(xiàn)問(wèn)題對(duì)MOGILEFS系統(tǒng)的影響。2、跟蹤器（TRACKER）MOGILEFSD即TRACKERS程序，類(lèi)似MOGILEFS的WIKI上介紹，TRACKERS做了很多工作，主要有以下幾個(gè)REPLICATION機(jī)器間復(fù)制文件DELETION從命名空間刪除是立即的，從文件系統(tǒng)刪除是異步的QUERYWORKER響應(yīng)客戶(hù)端的請(qǐng)求REAPER在磁盤(pán)失敗后將文件復(fù)制請(qǐng)求重新放到隊(duì)列中MONITOR監(jiān)測(cè)主機(jī)和設(shè)配的健康度和狀態(tài)TRACKER是訪問(wèn)MOGILEFS的入口，所有系統(tǒng)管理相關(guān)的操作都要通過(guò)其中的某個(gè)TRACKERS完成，應(yīng)用系統(tǒng)的一些操作也要通過(guò)TRACKERS，因此一個(gè)高業(yè)務(wù)量的MOGILEFS系統(tǒng)最好同時(shí)運(yùn)行多個(gè)TRACKERS來(lái)做負(fù)載均衡。3、存儲(chǔ)節(jié)點(diǎn)（STORAGE）MOGSTORED程序的啟動(dòng)將使本機(jī)成為一個(gè)存儲(chǔ)節(jié)點(diǎn)。MOGSTORED啟動(dòng)后，便可以通過(guò)MOGADM增加這臺(tái)機(jī)器到系統(tǒng)中。一臺(tái)機(jī)器可以只運(yùn)行一個(gè)MOGSTORED作為存儲(chǔ)節(jié)點(diǎn)即可，也可以同時(shí)運(yùn)行其他程序。存儲(chǔ)節(jié)點(diǎn)下面還需要定義設(shè)備（DEVICE），每個(gè)設(shè)備都有一個(gè)唯一的ID編號(hào)，設(shè)備也是用MOGADM添加到MOGILEFS系統(tǒng)中的。4、工具主要就是MOGADM，MOGTOOL這兩個(gè)工具了，用來(lái)在命令行下控制整個(gè)MOGILEFS系統(tǒng)以及查看狀態(tài)等等。5、客戶(hù)端（CLIENT）客戶(hù)端通過(guò)接口訪問(wèn)MOGILEFS系統(tǒng)，對(duì)整個(gè)系統(tǒng)進(jìn)行文件讀寫(xiě)操作。（HTTP/WWWADMINDIGESTCOM/4/MOGILEFSE5AE89E8A385E4B88EE9858DE7BDAE/MOGILEFSE4BB8BE7BB8D）MOGILEFS特點(diǎn)應(yīng)用層不需要特殊的核心組件無(wú)單點(diǎn)失敗MOGILEFS安裝的三個(gè)組件（存儲(chǔ)節(jié)點(diǎn)、跟蹤器、跟蹤用的數(shù)據(jù)庫(kù)），均可運(yùn)行在多個(gè)機(jī)器上，因此沒(méi)有單點(diǎn)失敗。（你也可以將跟蹤器和存儲(chǔ)節(jié)點(diǎn)運(yùn)行在同一臺(tái)機(jī)器上，這樣你就沒(méi)有必要用4臺(tái)機(jī)器）推薦至少兩臺(tái)機(jī)器。（沒(méi)有單點(diǎn)失敗本人持保留意見(jiàn)）自動(dòng)的文件復(fù)制基于不同的文件“分類(lèi)”，文件可以被自動(dòng)的復(fù)制到多個(gè)有足夠存儲(chǔ)空間的存儲(chǔ)節(jié)點(diǎn)上，這樣可以滿(mǎn)足這個(gè)“類(lèi)別”的最少?gòu)?fù)制要求。比如你有一個(gè)圖片網(wǎng)站，你可以設(shè)置原始的JPEG圖片需要復(fù)制至少三份，但實(shí)際只有1OR2份拷貝，如果丟失了數(shù)據(jù)，那么MOGILE可以重新建立遺失的拷貝數(shù)。用這種辦法，MOGILEFS不做RAID可以節(jié)約磁盤(pán)，否則你將存儲(chǔ)同樣的拷貝多份，完全沒(méi)有必要?！氨萊AID好多了”在一個(gè)非存儲(chǔ)區(qū)域網(wǎng)絡(luò)的RAID（NONSANRAID）的建立中，磁盤(pán)是冗余的，但主機(jī)不是，如果你整個(gè)機(jī)器壞了，那么文件也將不能訪問(wèn)。MOGILEFS在不同的機(jī)器之間進(jìn)行文件復(fù)制，因此文件始終是可用的。傳輸中立，無(wú)特殊協(xié)議MOGILEFS客戶(hù)端可以通過(guò)NFS或HTTP來(lái)和MOGILEFS的存儲(chǔ)節(jié)點(diǎn)來(lái)通信，但首先需要告知跟蹤器一下。簡(jiǎn)單的命名空間文件通過(guò)一個(gè)給定的KEY來(lái)確定，是一個(gè)全局的命名空間。你可以自己生成多個(gè)命名空間，只要你愿意，不過(guò)這樣可能在同一MOGILEFS中會(huì)造成KEY沖突。不用共享任何東西MOGILEFS不需要依靠昂貴的SAN來(lái)共享磁盤(pán)，每個(gè)機(jī)器只用維護(hù)好自己的磁盤(pán)。不需要RAID在MOGILEFS中的磁盤(pán)可以是做了RAID的也可以是沒(méi)有，如果是為了安全性著想的話(huà)RAID沒(méi)有必要買(mǎi)了，因?yàn)镸OGILEFS已經(jīng)提供了。不會(huì)碰到文件系統(tǒng)本身的不可知情況在MOGILEFS中的存儲(chǔ)節(jié)點(diǎn)的磁盤(pán)可以被格式化成多種格式（EXT3,REISERFS等等）。MOGILESFS會(huì)做自己內(nèi)部目錄的哈希，所以它不會(huì)碰到文件系統(tǒng)本身的一些限制，比如一個(gè)目錄中的最大文件數(shù)。你可以放心的使用。MOGILEFS適合于靜態(tài)存儲(chǔ)，就是那種一次保存，多次讀取型的資源，比如以HTML方式靜態(tài)化處理的動(dòng)態(tài)文件，圖片文件，其他只提供下載的文件等。（HTTP/BLOGCSDNNET/STARXU85/ARCHIVE/2008/12/04/3447301ASPX）二、MOGILEFS安裝第一首先要安裝MYSQL數(shù)據(jù)庫(kù)第二安裝依賴(lài)包執(zhí)行命令PERLMCPANESHELL進(jìn)入PERL依賴(lài)包安裝模式INSTALLDANGASOCKETINSTALLDBIINSTALLNETNETMASKINSTALLGEARMANSERVERINSTALLGEARMANCLIENTASYNCINSTALLIOAIOINSTALLPERLBALINSTALLBUNDLEDBDMYSQLINSTALLMOGILEFSSERVERINSTALLMOGILEFSCLIENTINSTALLMOGILEFSUTILS上述依賴(lài)包全部安裝完畢后退出。找到DBD模塊所在的目錄，我的目錄為/ROOT/CPAN/BUILD/，這個(gè)目錄是上面安裝時(shí)下載的各種依賴(lài)包。CDDBDMYSQL30008PERLMAKEFILEPLLIBS“L/USR/LIB64/MYSQLLMYSQLCLIENTL/USR/LIB64LZ“CFLAGSI/USR/INCLUDE/MYSQLMYSQL_CONFIG/USR/BIN/MYSQL_CONFIGTESTHOST127001TESTDBTESTTESTUSERROOTTESTPASSWORD111111MAKEMAKETESTMAKEINSTALL第三建立數(shù)據(jù)庫(kù)和創(chuàng)建表進(jìn)入MYSQL的控制臺(tái)MYSQLUROOTP111111，執(zhí)行下面的命令MYSQLMYSQLCREATEDATABASEMOGILEFSMYSQLGRANTALLONMOGILEFSTOMOGILEMYSQLSETPASSWORDFORMOGILEOLD_PASSWORD111111MYSQLFLUSHPRIVILEGESMYSQLQUIT然后再執(zhí)行下面的命令創(chuàng)建表MOGDBSETUPDBHOSTLOCALHOSTDBNAMEMOGILEFSDBUSERMOGILEDBPASSWORD111111DBROOTUSERROOTDBROOTPASS111111YESVERBOSE第四配置TRACKER的配置文件用ROOT用戶(hù)執(zhí)行ADDUSERMOGILEMKDIR/ETC/MOGILEFSVI/ETC/MOGILEFS/MOGILEFSCONFTRACKERS1270017001DB_DSNDBIMYSQLMOGILEFSHOST127001DB_USERMOGILEDB_PASS111111LISTEN1270017001CONF_PORT7001QUERY_JOBS10DELETE_JOBS1REPLICATE_JOBS5REAPER_JOBS1執(zhí)行如下命令來(lái)啟動(dòng)SUMOGILEMOGILEREDHAT1MOGILEFSDMOGILEFSDC/ETC/MOGILEFS/MOGILEFSDCONFDAEMONMOGILEREDHAT1MOGILEFSDPSAUX|GREPMOGILEFSD查看是否啟動(dòng)MOGILEFSD成功然后在各個(gè)TRACKER上進(jìn)行如下的配置，以便把MOGILEFSD加入服務(wù)并在系統(tǒng)啟動(dòng)時(shí)自動(dòng)啟動(dòng)編寫(xiě)管理腳本在/ETC/RCD/INITD/下新建文件MOGILEFSD,內(nèi)容如下/BIN/BASHMOGILEFSDSTARTUPSCRIPTFORTHEMOGILEFSTRACKERCHKCONFIG23458515/此行必寫(xiě)DESCRIPTIONMOGILEFSTRACKER/此行必寫(xiě)，描述服務(wù)的內(nèi)容PROCESSNAMEMOGILEFSDCONFIG/ETC/MOGILEFS/MOGILEFSDCONFPIDFILE/VAR/RUN/MOGILEFSDPIDSOURCEFUNCTIONLIBRARY/ETC/RCD/INITD/FUNCTIONSPATHTOTHEAPACHECTLSCRIPT,SERVERBINARY,ANDSHORTFORMFORMESSAGESLOCKFILELOCKFILE/VAR/LOCK/MOGILEFSDRETVAL0STARTECHON“STARTINGMOGILEFSD“SUMOGILEC“/USR/BIN/MOGILEFSDC/ETC/MOGILEFS/MOGILEFSDCONFDAEMON“RETVALECHORETVAL0STOPSTOPSTATUSSTATUSMOGILEFSDRETVALRESTARTSTOPSLEEP1STARTRELOADRELOADECHO“USAGEMOGILEFSDSTART|STOP|RESTART|RELOAD|STATUS“EXIT1ESACEXITRETVAL然后依次執(zhí)行如下命令CD/ETC/RCD/INITDCHMOD755MOGILEFSDCHKCONFIGADDMOGILEFSD這樣，當(dāng)LINUX啟動(dòng)時(shí)MOGILEFSD就會(huì)自動(dòng)啟動(dòng)。也可以通過(guò)手動(dòng)執(zhí)行以下命令來(lái)進(jìn)行MOGILEFSD的啟動(dòng)和停止SERVICEMOGILEFSDSTART|STOP|RESTART第五配置STORAGESERVER的配置文件ADDUSERMOGILEMKDIR/VAR/MOGDATAMKDIR/VAR/MOGDATA/DEV1第二臺(tái)目錄為/VAR/MOGDATA/DEV2CHOWNMOGILEMOGILE/VAR/MOGDATA/DEV1MKDIR/ETC/MOGILEFSVI/ETC/MOGILEFS/MOGSTOREDCONFMAXCONNS10000HTTPLISTEN00007500MGMTLISTEN00007501DOCROOT/VAR/MOGDATA然后啟動(dòng)STORAGESERVERROOTLOCALHOSTMOGILEFSSERVER251MOGSTOREDDAEMONROOTLOCALHOSTMOGILEFSSERVER251PSAUX|GREPMOGSTORED1在每個(gè)STORAGE的機(jī)器上，對(duì)STORAGE進(jìn)行相關(guān)的配置,以便把MOGSTORED加入服務(wù)并在系統(tǒng)啟動(dòng)時(shí)自動(dòng)啟動(dòng)編寫(xiě)管理腳本在/ETC/RCD/INITD/下新建文件MOGSTORED,內(nèi)容如下/BIN/SHMOGSTOREDSTARTUPSCRIPTFORTHEMOGLEFSSTORAGENODECHKCONFIG2358515DESCRIPTIONMOGILEFSSTORAGENODEPROCESSNAMEMOGSTOREDCONFIG/ETC/MOGILEFS/MOGSTOREDCONFPIDFILE/VAR/RUN/MOGSTOREDPIDSOURCEFUNCTIONLIBRARY/ETC/RCD/INITD/FUNCTIONSPATHTOTHEAPACHECTLSCRIPT,SERVERBINARY,ANDSHORTFORMFORMESSAGESLOCKFILELOCKFILE/VAR/LOCK/MOGSTOREDRETVAL0STARTECHON“STARTINGMOGSTORED“/USR/BIN/MOGSTOREDC/ETC/MOGILEFS/MOGSTOREDCONFDAEMONRETVALECHORETVAL0STOPSTOPSTATUSSTATUSMOGSTOREDRETVALRESTARTSTOPSLEEP1STARTRELOADRELOADECHO“USAGEMOGSTOREDSTART|STOP|RESTART|RELOAD|STATUS|“EXIT1ESACEXITRETVAL然后依次執(zhí)行如下命令CD/ETC/RCD/INITDCHMOD755MOGSTOREDCHKCONFIGADDMOGSTORED2MKDIR/DATA/MOGDATA建立數(shù)據(jù)目錄，在每個(gè)STORAGE按照所設(shè)置的配置文件建立數(shù)據(jù)目錄3根據(jù)你機(jī)器所能用的硬盤(pán)，在數(shù)據(jù)目錄下建立對(duì)應(yīng)的目錄并進(jìn)行掛載ACD/DATA/MOGDATAFILEFILENWEFILE“/PATH/TO/FILE“OUTPUTSTREAMOUTMFSNEWFILE“FILEKEY“,“MYCLASS“,FILELENGTHFILEINPUTSTREAMINNEWFILEINPUTSTREAMFILEBYTEBUF