網(wǎng)絡(luò)存儲的未來發(fā)展方向【詳析】

網(wǎng)絡(luò)存儲的未來發(fā)展方向【詳析】

結(jié)構(gòu)數(shù)據(jù)與非結(jié)構(gòu)數(shù)據(jù)根據(jù)結(jié)構(gòu)數(shù)據(jù)(Structureddata)與非結(jié)構(gòu)數(shù)據(jù)(Unstructureddata)的對比比例估計(jì)，在一個(gè)企業(yè)中，非結(jié)構(gòu)數(shù)據(jù)的比率大約為80%。非結(jié)構(gòu)數(shù)據(jù)是一種由電子郵件，企業(yè)內(nèi)部文件，企業(yè)新聞，博客文章以及公司網(wǎng)頁組成的沒有形成固定結(jié)構(gòu)的數(shù)據(jù)，而結(jié)構(gòu)數(shù)據(jù)則是在相關(guān)數(shù)據(jù)庫里獲取的數(shù)據(jù)源。如果你形成了一種新的數(shù)據(jù)格式，并且可以從其數(shù)據(jù)庫里獲取，那這就是結(jié)構(gòu)數(shù)據(jù)，反之亦然。為什么要討論結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)呢？當(dāng)數(shù)據(jù)變?yōu)榻Y(jié)構(gòu)數(shù)據(jù)時(shí)，通過光纖信道獲取信號的水準(zhǔn)才最有效。隨著結(jié)構(gòu)數(shù)據(jù)量的不斷遞增，光纖信道也變得越來越流行。在過去的10年里，光纖信道成為各大企業(yè)編寫結(jié)構(gòu)數(shù)據(jù)庫時(shí)，最好的網(wǎng)絡(luò)傳輸工具。那么，在未來發(fā)展中，光纖信道將何去何從？當(dāng)然，結(jié)構(gòu)數(shù)據(jù)也在逐漸走下坡路，但事實(shí)上，在經(jīng)過一段萎靡期后，結(jié)構(gòu)數(shù)據(jù)也會逐漸上揚(yáng)。然而，諸如谷歌(Google)以及Facebook之類的搜索引擎和社交網(wǎng)絡(luò)公司一直在探索非結(jié)構(gòu)數(shù)據(jù)。其結(jié)果就是，谷歌和Facebook公司不會采用光纖信道的方式來獲取數(shù)據(jù)，當(dāng)然這要除了英特爾網(wǎng)絡(luò)應(yīng)用之外，如：ERP。同時(shí)，谷歌和Facebook則需要為Sarbaines-Oxley提供相關(guān)報(bào)告。在谷歌和Facebook的網(wǎng)絡(luò)存儲器中，典型的使用兩種SATA驅(qū)動器，并且在其他單獨(dú)的服務(wù)器中備份了3份所搜集的數(shù)據(jù)，這樣一來，無需RAID(OFweek通信國際注：RAID是“RedundantArrayofIndependentDisk”的縮寫，中文意思是獨(dú)立冗余磁盤陣列。)，就能解決數(shù)據(jù)冗余的問題。RAID是一種應(yīng)用在結(jié)構(gòu)數(shù)據(jù)中，且成本非常高的一種存儲磁盤陣列。他們采用的是一種名為，ApacheHadoop的軟件架構(gòu)，該軟件架構(gòu)是谷歌通過其GFS(谷歌文件系統(tǒng)，GoogleFileSystem)系統(tǒng)所構(gòu)思的，也是其開源HDFS(Hadoop分布文件系統(tǒng)，HadoopDistributedFileSystem)系統(tǒng)發(fā)展的產(chǎn)物。HDFS是一種用于大型文件處理，支持多個(gè)64Mbs文件格式處理的文件系統(tǒng)。很顯然，當(dāng)用于處理文本文檔時(shí)，HDFS的確有點(diǎn)大材小用，但當(dāng)處理音頻文件、圖片、以及視頻文件時(shí)，HDFS就能獨(dú)擋一面，成為焦點(diǎn)。HDFS是典型與HBase以及在Google的BigTable和(或)稱為Hive的數(shù)據(jù)庫架構(gòu)之后的其他開源模式項(xiàng)目相配套使用的文件處理系統(tǒng)。這到底是啥意思呢？隨著Web2.0數(shù)據(jù)的飛速增長，Web2.0的網(wǎng)絡(luò)用戶所提供的網(wǎng)絡(luò)數(shù)據(jù)就成為了Web1.0網(wǎng)站信息發(fā)布者的相關(guān)數(shù)據(jù)源，我們希望增長最快的是非結(jié)構(gòu)數(shù)據(jù)。谷歌和Facebook所采用的都是帶存儲功能的服務(wù)器，網(wǎng)絡(luò)數(shù)據(jù)首先被存儲在其本地硬盤上，然后再通過網(wǎng)絡(luò)附件形式，存儲到其標(biāo)準(zhǔn)的網(wǎng)絡(luò)服務(wù)器上。我們知道，搜索引擎和社交網(wǎng)絡(luò)這些網(wǎng)站所使用的網(wǎng)絡(luò)存儲器都來自國產(chǎn)。然而，問題是，在多數(shù)企業(yè)轉(zhuǎn)型向云計(jì)算和云存儲模式發(fā)展的大前提下，傳統(tǒng)數(shù)據(jù)中心是否也會朝這個(gè)方向發(fā)展，或者將被迫朝這個(gè)方向發(fā)展？云計(jì)算和云存儲云計(jì)算和傳統(tǒng)的網(wǎng)絡(luò)計(jì)算的不同之處在于，傳統(tǒng)網(wǎng)絡(luò)計(jì)算是用戶通過租賃IT設(shè)備商的網(wǎng)絡(luò)設(shè)備，以及向設(shè)備商支付運(yùn)營成本(如設(shè)備制冷、設(shè)備能耗等)的方式，而云計(jì)算則是用戶自己根據(jù)其使用需求設(shè)計(jì)、購買、安裝、運(yùn)維IT設(shè)備以及軟件，當(dāng)然包括運(yùn)營成本(如設(shè)備制冷、設(shè)備能耗等)。進(jìn)而，用戶還控制其設(shè)備的使用周期、設(shè)備升級以及設(shè)備的停運(yùn)等運(yùn)營項(xiàng)目。云計(jì)算和傳統(tǒng)網(wǎng)絡(luò)計(jì)算的最大不同點(diǎn)在于，在傳統(tǒng)網(wǎng)絡(luò)計(jì)算中，用戶必須向IT設(shè)備商提供其最大網(wǎng)絡(luò)數(shù)據(jù)源以及最高的網(wǎng)絡(luò)流量，而最高的網(wǎng)絡(luò)流量是很難估算的，因?yàn)楣久刻於荚谙蚯鞍l(fā)展，不斷升級與變化。鑒于此，多家公司合租一大型網(wǎng)絡(luò)服務(wù)器是最好的解決方案，這樣既減輕了租用公司的經(jīng)濟(jì)壓力，也提高了服務(wù)器的使用率，也讓IT設(shè)備租賃公司賺取更多的利潤。云存儲也采用了同樣的多家公司合租服務(wù)器的商業(yè)運(yùn)營模式。當(dāng)谷歌對外提供7Gbs的超大容量，免費(fèi)郵箱時(shí)，這個(gè)7Gbs聽起來的確是超大容量，但絕大多數(shù)個(gè)人電子郵箱用戶的使用率均低于1GB。同時(shí)，其他的云存儲商業(yè)運(yùn)營模式將為某些企業(yè)專門量身定制合理的網(wǎng)絡(luò)存儲器(如：采用光纖信道存儲的1000GBs超大容量郵箱)，當(dāng)然在技術(shù)層面來講，這也對谷歌要求非常嚴(yán)格，因?yàn)榇笃髽I(yè)耗費(fèi)巨資使用Gmail郵件業(yè)務(wù)，谷歌必須對其網(wǎng)絡(luò)數(shù)據(jù)安全負(fù)責(zé)。同時(shí)，這也是一種大型企業(yè)獨(dú)享的網(wǎng)絡(luò)業(yè)務(wù)。云架構(gòu)與商業(yè)模式：誰控制數(shù)據(jù)？用戶是否會批量向云計(jì)算遷移的關(guān)鍵因素在于數(shù)據(jù)存儲在哪里，誰控制所存儲的數(shù)據(jù)，存儲數(shù)據(jù)的安全性如何？通過服務(wù)器合租的運(yùn)營模式，云架構(gòu)已經(jīng)得以成功優(yōu)化。在虛擬主機(jī)里的多數(shù)網(wǎng)絡(luò)應(yīng)用允許用戶共享同一臺服務(wù)器，操作系統(tǒng)和應(yīng)用軟件，構(gòu)成一完整的共享存儲器資源體系。如果其中一家主要公司的運(yùn)營和數(shù)據(jù)安全失控時(shí)，那么所有共享的公司也將受到威脅。許多用戶，特別是早期的用戶，更傾向于選用私有云，因?yàn)樗接性频倪\(yùn)營模式是其服務(wù)器等硬件設(shè)施和軟件設(shè)施均安置在自己IT機(jī)房內(nèi)，但采用私有云的成本相對較高。在一家公司采用云架構(gòu)的方式實(shí)現(xiàn)服務(wù)器合租，這也需要服務(wù)器租用公司自己控制其網(wǎng)絡(luò)數(shù)據(jù)。如果公有云設(shè)備商或公司諸如Amazon、Rackspace、微軟以及新加入云計(jì)算大家庭的HP公司提供的云計(jì)算服務(wù)在價(jià)格和用戶網(wǎng)絡(luò)數(shù)據(jù)安全這兩方面的競爭逐日變得激烈的話，將會有更多的企業(yè)選擇使用云計(jì)算，向云計(jì)算遷移。這將對用戶在選用云計(jì)算、云存儲、網(wǎng)絡(luò)傳輸、數(shù)據(jù)庫等的網(wǎng)絡(luò)供應(yīng)商時(shí)提供更多的選擇，同時(shí)也會減少用戶對名牌云計(jì)算企業(yè)和存儲設(shè)備供應(yīng)商的需求量，但也會讓用戶在琳瑯滿目的云計(jì)算領(lǐng)域失去方向。事實(shí)上，在2011年4月7日，F(xiàn)acebook推出了一款公開計(jì)算工程，其聲稱為開源網(wǎng)絡(luò)架構(gòu)的服務(wù)器是目前業(yè)內(nèi)數(shù)據(jù)中心中最高等級的網(wǎng)絡(luò)服務(wù)器?？梢哉f，在該網(wǎng)絡(luò)架構(gòu)中，沒有名牌硬件設(shè)備，存儲設(shè)備或者網(wǎng)絡(luò)。在公有云和存儲引領(lǐng)IT網(wǎng)絡(luò)領(lǐng)域之前，云計(jì)算的市場依舊很小。為啥會有影響？光纖信道逐日萎靡，以太網(wǎng)需要更高帶寬網(wǎng)絡(luò)存儲數(shù)據(jù)將不斷發(fā)展。我們希望在隨著越來越多的數(shù)據(jù)上傳到網(wǎng)絡(luò)，以及通過微軟的SharePoint工具上傳到企業(yè)內(nèi)部網(wǎng)的數(shù)據(jù)，非架構(gòu)數(shù)據(jù)能增長更快些。光纖信道的成本較高并且其只能用于結(jié)構(gòu)數(shù)據(jù)。知道現(xiàn)在為止，谷歌也沒有采用10GbE網(wǎng)絡(luò)連接器服務(wù)器和存儲器。在谷歌的運(yùn)營模式中，兩臺SATA驅(qū)動器也未能掙脫1GbE的束縛。這個(gè)變革就類似于應(yīng)用廣泛的FLASH和應(yīng)用在服務(wù)器里的超高速緩存一樣，或許每個(gè)服務(wù)器處理4~12GBs指令。FLASH緩存區(qū)將為交換機(jī)設(shè)備從當(dāng)前的1GbE升級到采用40Gb或者100Gb交換機(jī)提供更高上行速率的10GbE網(wǎng)絡(luò)時(shí)提供更快、延時(shí)更低的網(wǎng)絡(luò)連接。公有云設(shè)備供應(yīng)商將會面臨這種現(xiàn)象。隨著全球互聯(lián)網(wǎng)的逐漸升級，將會生成越來越多的結(jié)構(gòu)數(shù)據(jù)，這將造就光纖信道繼續(xù)廣泛應(yīng)用于結(jié)構(gòu)數(shù)據(jù)領(lǐng)域。隨著業(yè)內(nèi)逐漸過渡到40Gb和100Gb網(wǎng)絡(luò)通信時(shí)代，特別是對于在單模光纖上能傳輸1公里的光收發(fā)模塊，以及FCoE(OFweek通信國際注：FCoE：FibreChanneloverEthernet，以太網(wǎng)光纖通道)和iSCSI(OFweek通信國際注：iSCSI：Internet小型計(jì)算機(jī)系統(tǒng)接口InternetSmallComputerSystemInterface)變得更加成熟，許多當(dāng)前應(yīng)用于結(jié)構(gòu)數(shù)據(jù)中的新型應(yīng)用將逐漸過渡到以太網(wǎng)連接。進(jìn)而，據(jù)我們分析，SFP+光收發(fā)模塊以及成為10GbE的首選。上周，思科宣布其首臺架頂式服務(wù)器以及10GbELOM選擇接口都采用SFP+產(chǎn)品。隨著10GBASE-T逐漸發(fā)展，到2014年，SFP+將以標(biāo)準(zhǔn)的服務(wù)器連接產(chǎn)品的身份進(jìn)入數(shù)據(jù)中心網(wǎng)絡(luò)連接領(lǐng)域。這周在斯坦福據(jù)悉的OIDA(OFweek通信國際注：OpticalelectronicsIndustryDevelopmentAssociation，光電子產(chǎn)業(yè)發(fā)展協(xié)會)會議上，來自Facebook的DonnLee表示，目前升級為10GbE的最廉價(jià)方式是采用SFP+DA線纜，并且應(yīng)用于谷