IPv6存儲集群網(wǎng)絡(luò)模塊的設(shè)計(jì)應(yīng)用

1、    ipv6存儲集群網(wǎng)絡(luò)模塊的設(shè)計(jì)應(yīng)用    王悅摘要：互聯(lián)網(wǎng)協(xié)議 ipv4技術(shù)存在很多缺陷，如網(wǎng)絡(luò)地址資源有限，地址空間狹小，網(wǎng)絡(luò)地址分配率低，安全性不高等問題。隨著互聯(lián)網(wǎng)規(guī)模和網(wǎng)絡(luò)結(jié)構(gòu)的不斷擴(kuò)大和發(fā)展，人們對網(wǎng)絡(luò)協(xié)議的要求就越來越高，而ipv4技術(shù)已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足互聯(lián)網(wǎng)發(fā)展的實(shí)際需要。在這樣的形勢下， ipv6作為ipv4技術(shù)的下一代網(wǎng)絡(luò)協(xié)議就運(yùn)用而生。網(wǎng)絡(luò)協(xié)議 ipv6技術(shù)作為新一代網(wǎng)絡(luò)協(xié)議，很大程度上解決了傳統(tǒng)ipv4技術(shù)的多種不足問題，成為新一代網(wǎng)絡(luò)協(xié)議的主要標(biāo)志，使用了將近20余年的ipv4技術(shù)將會成為歷史。該文主要針對ipv6存儲集群網(wǎng)

2、絡(luò)模塊的設(shè)計(jì)和應(yīng)用進(jìn)行了分析和探討。關(guān)鍵詞：ipv6；ipv4；存儲集群；網(wǎng)絡(luò)模塊；設(shè)計(jì)應(yīng)用：tp393 ：a ：1009-3044（2015）012-0044-02ipv6作為新一代網(wǎng)絡(luò)協(xié)議技術(shù)具備多重優(yōu)點(diǎn)，網(wǎng)絡(luò)地址資源豐富，有超大的網(wǎng)絡(luò)地址空間，服務(wù)質(zhì)量高，分級地址模式以及安全性高等特點(diǎn)。隨著科技的不斷創(chuàng)新和人們要求的不斷提高，視頻會議、流媒體直播以及數(shù)據(jù)通信等等業(yè)務(wù)的增加，而這些實(shí)現(xiàn)這些應(yīng)用的過程中都需要足夠的網(wǎng)絡(luò)儲存支持，這就導(dǎo)致網(wǎng)絡(luò)的數(shù)據(jù)量急劇增長。san和nas是以往常用的存儲集群系統(tǒng)，san和nas屬于共享存儲系統(tǒng)，系統(tǒng)中的每個節(jié)點(diǎn)都可以對其進(jìn)行訪問，但如果系統(tǒng)中的節(jié)點(diǎn)增加到一定

3、程度時(shí)，i/0總線將會影響系統(tǒng)性能的進(jìn)一步增長，這樣就不能滿足實(shí)際需要。而lustre的出現(xiàn)有效地解決了san和nas中出現(xiàn)的問題，為海量存儲系統(tǒng)的構(gòu)建提供了基礎(chǔ)條件。目前，大多數(shù)分布式文件系統(tǒng)都是通過ipv4技術(shù)實(shí)現(xiàn)的，在ipv6網(wǎng)絡(luò)協(xié)議逐漸成為互聯(lián)網(wǎng)標(biāo)準(zhǔn)的形勢下，構(gòu)建基于ipv6的分布式文件系統(tǒng)將成為互聯(lián)網(wǎng)的必然發(fā)展趨勢。文章將介紹把支持ipv4的lustre分布式文件系統(tǒng)改進(jìn)為支持ipv4和ipv6兩種網(wǎng)絡(luò)協(xié)議的分布式文件系統(tǒng)的設(shè)計(jì)原理和方法步驟，并在兩種協(xié)議環(huán)境中對lustre的性能進(jìn)行測試。1 基于lustre的文件系統(tǒng)、網(wǎng)絡(luò)模塊lustre文件系統(tǒng)是有多個公司和科研機(jī)構(gòu)共同研發(fā)的基

4、于對象存儲的文件系統(tǒng)，其中之一的ibm（即國際商業(yè)機(jī)器公司）開發(fā)的超級計(jì)算機(jī)bule gene（深藍(lán)）和hpstorageworks scalable file share（hp的可擴(kuò)展文件共享系統(tǒng)）用到的文件存儲系統(tǒng)都是都是lustre文件系統(tǒng)。lustre文件系統(tǒng)表現(xiàn)的多方面優(yōu)點(diǎn)主要原因是因?yàn)樵撓到y(tǒng)同時(shí)采用了mds（元數(shù)據(jù)服務(wù)器）、ost（基于對象的存儲服務(wù)器）以及client（客戶端）形成三方通信模式。元數(shù)據(jù)服務(wù)器的主要功能是維護(hù)和管理目錄結(jié)構(gòu)、命名空間以及用戶權(quán)限，并且還負(fù)責(zé)保持系統(tǒng)數(shù)據(jù)的一致性；存儲服務(wù)器主要就是負(fù)責(zé)系統(tǒng)對象數(shù)據(jù)的存儲管理；客戶端負(fù)責(zé)存儲系統(tǒng)文件的運(yùn)行，和存儲服務(wù)器實(shí)

5、現(xiàn)系統(tǒng)數(shù)據(jù)交互，負(fù)責(zé)系統(tǒng)文件的讀寫以及存儲對象的屬性改變，另外還有通過獲取符合鏈接、目錄、inode結(jié)構(gòu)等方式與元數(shù)據(jù)服務(wù)器進(jìn)行交互。開發(fā)基于ipv6的lustre文件存儲系統(tǒng)要解決的一個關(guān)鍵性問題就是lustre文件存儲系統(tǒng)的網(wǎng)絡(luò)模塊，lustre文件存儲系統(tǒng)采用的網(wǎng)絡(luò)模塊是portals mpi，portals mpi主要是針對規(guī)模較大的并行系統(tǒng)而設(shè)計(jì)開發(fā)的，該網(wǎng)絡(luò)模塊利用旁路應(yīng)用程序以及旁路操作系統(tǒng)等相關(guān)技術(shù)到達(dá)零拷貝的效果，并通過對網(wǎng)絡(luò)抽象層的應(yīng)用可以獨(dú)立支持各種網(wǎng)絡(luò)類型。tcp/ip nal是portals 支持的多種網(wǎng)絡(luò)類型中唯一一個涉及ip協(xié)議棧的，所以只需要對網(wǎng)絡(luò)抽象層進(jìn)行改進(jìn)

6、設(shè)計(jì)。為了對socket api同時(shí)支持ipv4和ipv6的原理有更深入的理解，就需要對socket api的內(nèi)核實(shí)現(xiàn)原理進(jìn)行分析。linux系統(tǒng)內(nèi)核對ipv6的支持是從該系統(tǒng)版本2.2開始，本文是以版本2.6為研究對象進(jìn)行分析。2支持ipv4和ipv6雙協(xié)議棧的socket設(shè)計(jì)原理2.1選擇地址結(jié)構(gòu)ipv4和ipv6之間最明顯的變化及時(shí)把32位地址位數(shù)增加到128位，in6_addr和in_addr分別是兩者在linux系統(tǒng)中的描述形式，但最后還是采用其對應(yīng)的socket地址結(jié)構(gòu)進(jìn)行描述，極sockaddr_in6和sockaddr_in，主要原因有三個：第一，實(shí)現(xiàn)協(xié)議無關(guān)性的一個關(guān)鍵要素就

7、是系統(tǒng)再進(jìn)行ip地址傳遞同時(shí)就其所屬協(xié)議族進(jìn)行傳遞，這就需要地址結(jié)構(gòu)中包含有所屬協(xié)議族，而socket地址結(jié)構(gòu)很好地解決了這個問題。第二，ipv4的單播地址可以保證全球唯一，但ipv6包含有鏈接局部和聚合全局單播地址等，鏈接局部單播地址只能在給定鏈路內(nèi)保證唯一，但不可以保證全球惟一，其代表的接口是否相同不能利用in6_addr來進(jìn)行具體判斷，只有把sockaddr_in6結(jié)構(gòu)中的sin6_scope_id（指定鏈路范圍的成員）與結(jié)構(gòu)中in6_addr（pv6地址成員）進(jìn)行有效結(jié)合才可以對接口進(jìn)行精確識別。第三，sockaddr_storage 結(jié)構(gòu)和sockaddr 結(jié)構(gòu)是socket 的兩個

8、通用地址結(jié)構(gòu)，sockaddr 結(jié)構(gòu)的容量要比sockaddr_storage 結(jié)構(gòu)小很多，因此在進(jìn)行空間預(yù)留時(shí)很容易出現(xiàn)空間不夠的問題，而sockaddr_storage 結(jié)構(gòu)有足夠大的容量。2.2 選擇ip地址類型第一，選擇ipv6地址類型。大端字節(jié)序和小端字節(jié)序是系統(tǒng)內(nèi)存中多字節(jié)類型的兩個存儲方法，兩個存儲方法的主要區(qū)別就是高序字節(jié)存儲在起始地址，還是低序字節(jié)存儲在起始地址。ipv6地址的表達(dá)方式有三種，三種地址表達(dá)方法的128位數(shù)地址都是利用數(shù)組來表示。數(shù)組元素是多字節(jié)的表達(dá)方式有兩種，另外一種是s6_addr，s6_addr的元素是利用長度為16的單字節(jié)數(shù)組。為了省去大端字節(jié)和小端字

9、節(jié)相互轉(zhuǎn)換的麻煩，ipv6地址的表達(dá)方式盡可能采用s6_addr。 第二，選擇ipv4的地址類型。通常采用的int的ipv4地址表達(dá)方法其實(shí)是很不安全的，因?yàn)閕nt類型在很多情況下并不是32為，而且程序的可讀性也有所降低，因此ipv4的地址類型可以用in_addr來表示。2.3使用同時(shí)支持ipv4和ipv6 雙棧的socket api以往的socket api僅僅支持ipv4協(xié)議，隨著ipv6的誕生和發(fā)展，產(chǎn)生了支持雙棧的api。在對支持雙棧的api進(jìn)行調(diào)用時(shí)一定要明確地址結(jié)構(gòu)的格式和地址結(jié)構(gòu)的地址族，協(xié)議之間的相關(guān)性不能被隱藏。getnameinfo（）和getaddrinfo（）是sock

10、et api提供的兩個新型函數(shù)，協(xié)議無關(guān)性可以利用這兩個函數(shù)來實(shí)現(xiàn)。利用getnameinfo（）可以通過服務(wù)端口號和socket地址結(jié)構(gòu)獲取服務(wù)名和主機(jī)名；getaddrinfo（）可以由服務(wù)名和主機(jī)名獲取服務(wù)端口號和socket地址結(jié)構(gòu)。2.4 socket系統(tǒng)在內(nèi)核中的調(diào)用系統(tǒng)調(diào)用主要是給用戶空間的程序提供內(nèi)核服務(wù)，系統(tǒng)調(diào)用用到的函數(shù)主要有connect（），socket（），以及setsockopt（）等。對于比較重視效率的程序，如分布式系統(tǒng)，其系統(tǒng)調(diào)用如果比較頻繁的話就需要轉(zhuǎn)移到內(nèi)核空間，以便提高效率。在內(nèi)核中實(shí)現(xiàn)的系統(tǒng)直接調(diào)用的過程中，效率較高的都是底層函數(shù)。進(jìn)行socket系統(tǒng)調(diào)

11、用的時(shí)候，獲得socket結(jié)構(gòu)指針后對其所指向的方法進(jìn)行直接調(diào)用，此時(shí)程序可以到達(dá)最高效率。結(jié)合文章以上論述分析，這種情況下指定的操作集就是socket指針指向的方法。另外，因?yàn)橛脩艨臻g的地址范圍和內(nèi)核空間的地址范圍有所不同，所以一定要對寄存器的段描述符進(jìn)行更改，使段描述符指向內(nèi)核空間，才可以實(shí)現(xiàn)內(nèi)核中的系統(tǒng)調(diào)用。3對改進(jìn)后的 lustre文件系統(tǒng)進(jìn)行測試運(yùn)用文章的上述設(shè)計(jì)原理，成功設(shè)計(jì)開發(fā)出同時(shí)支持ipv4和ipv6雙協(xié)議的分布式文件存儲系統(tǒng)。對改進(jìn)后的lustre文件系統(tǒng)性能進(jìn)行測試，該文件系統(tǒng)既可以在ipv4網(wǎng)上正常運(yùn)行，同時(shí)也可以在純粹的ipv6網(wǎng)上運(yùn)行。為了對ipv4環(huán)境下的lust

12、re和ipv6環(huán)境下的lustre進(jìn)行性能比較，進(jìn)行了對比性測試。測試的需要的相關(guān)設(shè)備：配置相同的兩臺機(jī)器，其一為client和ost，另外一個是mds；硬盤（300 gb×2 sata）、ddr ram（512 mb）、cpu（3. 0 g）作為性能測試硬件環(huán)境；linux-2.4版本的redhat 9.0和lustre-1.2（改進(jìn)后的文件系統(tǒng)）作為軟件環(huán)境。iozone為測試工具。具體測試方法：在linux-2.4加載ipv6以及不加載ipv6的環(huán)境下運(yùn)行支持ipv4和ipv6雙棧的文件系統(tǒng)lustre，利用iozone在系統(tǒng)中寫出一定大小的文件，根據(jù)測試結(jié)果分析，系統(tǒng)的數(shù)據(jù)塊

13、從小逐漸到大，在ipv4和ipv6環(huán)境下lustre都可以獲得寬帶，lustre在兩種環(huán)境中的運(yùn)行性能沒有表現(xiàn)出太多差別，主要是因?yàn)閕pv4的地址長度僅僅是ipv6地址長度的四分之一，但ipv6的數(shù)據(jù)包結(jié)構(gòu)比較簡單，而且有固定的報(bào)頭長度，有利于硬件的運(yùn)行和實(shí)現(xiàn)，整體分析，lustre在ipv4和ipv6環(huán)境下的性能基本相同。4 結(jié)束語本文以僅支持ipv4網(wǎng)絡(luò)協(xié)議的分布式文件系統(tǒng)lustre為基礎(chǔ)，利用socket接口設(shè)計(jì)、開發(fā)了同時(shí)支持ipv4和ipv6兩種網(wǎng)絡(luò)協(xié)議的分布式文件系統(tǒng)，對其設(shè)計(jì)開發(fā)原理做了具體闡述，并對改進(jìn)后的lustre分布式文件系統(tǒng)進(jìn)行性能測試。測試結(jié)果證明基于ipv6的lustre分布式文件系統(tǒng)可以用于構(gòu)建新一代網(wǎng)絡(luò)儲存集群，接下來要研究的是基于ipv6的數(shù)據(jù)傳輸問題。參考文獻(xiàn)：1 曹強(qiáng)，羅怡，謝長生，張常軍.ipv6存儲集群網(wǎng)絡(luò)模塊的設(shè)計(jì)應(yīng)用j.江南大學(xué)學(xué)報(bào)：自然科學(xué)版，2007（4）.2 陳如明. 對ip 技術(shù)發(fā)展中一些問題的思考j. 電信科學(xué)， 2005， 21（8）： 6-9 .3 徐志桐. 在ipv4環(huán)境下部署ipv6網(wǎng)絡(luò)的策略j. 中國新技術(shù)新產(chǎn)品，2009（9） .4 羅怡，謝長生，曹強(qiáng)，張常軍. 下一代互聯(lián)網(wǎng)存儲集群系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)j. 計(jì)算機(jī)工程與科學(xué)，2007（6）