計(jì)算機(jī)應(yīng)用技術(shù)的發(fā)展

計(jì)算機(jī)應(yīng)用技術(shù)的發(fā)展

幾十年來(lái)，計(jì)算機(jī)和計(jì)算機(jī)科學(xué)的快速發(fā)展可以概括為四個(gè)主要步驟：第一階段是基于網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的時(shí)代，所有程序和數(shù)據(jù)都集中在同一臺(tái)機(jī)器上。第二階段是網(wǎng)絡(luò)計(jì)算機(jī)系統(tǒng)的時(shí)代。由于網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的發(fā)展，數(shù)據(jù)存儲(chǔ)和應(yīng)用程序分離。典型的系統(tǒng)是基于c-s和b/s的系統(tǒng)。此系統(tǒng)由客戶端和服務(wù)器組成?？蛻舳丝梢酝ㄟ^(guò)網(wǎng)絡(luò)遠(yuǎn)程讀取數(shù)據(jù)庫(kù)服務(wù)器中的數(shù)據(jù)。在第三階段，web服務(wù)和網(wǎng)絡(luò)化。隨著web服務(wù)和網(wǎng)格技術(shù)的發(fā)展，網(wǎng)絡(luò)系統(tǒng)可以在不同的地方分布。目前，許多制造商提供了web服務(wù)，并且可以撥打不同的語(yǔ)言呼叫web服務(wù)。例如，google提供用于搜索的web服務(wù)。第四階段是云計(jì)算時(shí)代。云計(jì)算是分布式處理（云計(jì)算）和網(wǎng)格計(jì)算（高裁剪計(jì)算）技術(shù)的進(jìn)一步發(fā)展，是一種新興的共享基層結(jié)構(gòu)。1云計(jì)算系統(tǒng)簡(jiǎn)介云計(jì)算是將互聯(lián)網(wǎng)當(dāng)作一個(gè)超級(jí)計(jì)算機(jī).對(duì)于終端客戶端來(lái)說(shuō),他們不需要關(guān)心自己的數(shù)據(jù)存儲(chǔ)在什么地方,也不需要擔(dān)心自己的計(jì)算能力,他們的數(shù)據(jù)存儲(chǔ)與計(jì)算能力都由遠(yuǎn)程(即云端)提供.在云計(jì)算中,幾乎所有的IT資源,如應(yīng)用程序、計(jì)算能力、存儲(chǔ)容量、編程工具,以及通信服務(wù)和協(xié)作工具等都可以作為云服務(wù)來(lái)提供.因此,云計(jì)算就是將計(jì)算能力分布在大量的分布式計(jì)算機(jī)上,而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中.如企業(yè)數(shù)據(jù)存儲(chǔ)在企業(yè)數(shù)據(jù)中心,這個(gè)中心由一個(gè)云計(jì)算提供商提供,企業(yè)可以通過(guò)一些應(yīng)用程序或云提供商提供編程API編寫應(yīng)用來(lái)管理自己的數(shù)據(jù).企業(yè)按照自己實(shí)際需求從云計(jì)算提供商中預(yù)定或購(gòu)買一些服務(wù).云計(jì)算系統(tǒng)如圖1所示.云計(jì)算具有以下5個(gè)特點(diǎn).(1)虛擬化由于用戶數(shù)據(jù)存儲(chǔ)以及計(jì)算等服務(wù)都由云提供商提供,所以用戶可以在任何位置通過(guò)各種終端如電腦、手機(jī)等獲取云服務(wù).(2)云存儲(chǔ)設(shè)備的可靠性很高一般云提供商使用數(shù)據(jù)存儲(chǔ)鏡像快照技術(shù)以及多副本容錯(cuò)等措施來(lái)保障服務(wù)的高可靠性,從某種意義上說(shuō),使用云計(jì)算比使用本地計(jì)算機(jī)更可靠.(3)可擴(kuò)展性強(qiáng)隨著計(jì)算技術(shù)的發(fā)展,可以根據(jù)實(shí)際需求開(kāi)發(fā)出不同的云服務(wù),滿足不同用戶的各種需求.(4)服務(wù)可根據(jù)需要進(jìn)行調(diào)整云提供商不是對(duì)某個(gè)單一用戶開(kāi)發(fā)云服務(wù).用戶可以根據(jù)需求定制云服務(wù)并且按照不同服務(wù)進(jìn)行付費(fèi).(5)云計(jì)算技術(shù)100萬(wàn)臺(tái)服務(wù)器,侃俄羅斯,清分布“云”具有相當(dāng)?shù)囊?guī)模,如Google云計(jì)算已經(jīng)擁有100多萬(wàn)臺(tái)服務(wù)器,Amazon,IBM,微軟,Yahoo等的云均擁有幾十萬(wàn)臺(tái)服務(wù)器.企業(yè)私有云一般擁有數(shù)百上千臺(tái)服務(wù)器.云能賦予用戶前所未有的計(jì)算能力.2云數(shù)據(jù)的存儲(chǔ)設(shè)備2.1基于5gfs的云存儲(chǔ)技術(shù)云計(jì)算的一個(gè)關(guān)鍵問(wèn)題就是數(shù)據(jù)如何存儲(chǔ)在云端.為保證數(shù)據(jù)的可用性,必須同時(shí)保存幾個(gè)數(shù)據(jù)副本.云存儲(chǔ)系統(tǒng)就是通過(guò)集群技術(shù)或分布式文件系統(tǒng)等,將網(wǎng)絡(luò)中大量不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能.目前云存儲(chǔ)實(shí)現(xiàn)系統(tǒng)有2個(gè):一是GFS(GoogleFileSystem),由Google開(kāi)發(fā)并實(shí)際應(yīng)用于Google的云服務(wù)中;二是HDFS(HadoopDistributedFileSystem),由Hadoop團(tuán)隊(duì)使用Java實(shí)現(xiàn)了GFS的分布式的文件系統(tǒng),一些IT廠商已采用了HDFS的數(shù)據(jù)存儲(chǔ)技術(shù).本文以GFS為例討論云存儲(chǔ)技術(shù),其系統(tǒng)架構(gòu)如圖2所示.GFS提供了一個(gè)類似傳統(tǒng)文件系統(tǒng)的接口,文件在目錄中按照層次組織,用路徑名來(lái)標(biāo)識(shí).該系統(tǒng)由一個(gè)主服務(wù)器和大量塊服務(wù)器構(gòu)成.主服務(wù)器存放文件系統(tǒng)的所有元數(shù)據(jù),包括文件和塊的命名空間、文件到塊的映射,以及每個(gè)塊副本的位置等.所有元數(shù)據(jù)都保存在主服務(wù)器的內(nèi)存里.主服務(wù)器還管理文件系統(tǒng),如塊的分配與回收以及塊的移動(dòng)等.文件以塊的形式保存,每個(gè)塊的大小為64MB.在每個(gè)塊創(chuàng)建的時(shí)候,服務(wù)器分配一個(gè)不變的、唯一的64位的塊句柄對(duì)其進(jìn)行標(biāo)識(shí).塊服務(wù)器將塊作為L(zhǎng)inux文件保存在硬盤上,并根據(jù)塊句柄讀寫塊數(shù)據(jù).為保證可靠性,每個(gè)塊都保存了3個(gè)副本.客戶端利用Google提供的API如GoogleAppEngine對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行讀寫.讀數(shù)據(jù)時(shí)首先讀取主服務(wù)器上的元數(shù)據(jù)獲取數(shù)據(jù)塊的位置,從而在塊服務(wù)器上讀取數(shù)據(jù).這樣一來(lái)可以避免因大量讀操作對(duì)主服務(wù)器帶來(lái)的擁擠.向GFS寫數(shù)據(jù)時(shí),GFS將數(shù)據(jù)流與控制流分開(kāi)的過(guò)程如下.(1)客戶端向主服務(wù)器請(qǐng)求塊服務(wù)器用于新增或修改數(shù)據(jù),如果是新增數(shù)據(jù),由主服務(wù)器分配塊服務(wù)器;如果是修改數(shù)據(jù),則需查找其租約的塊服務(wù)器.(2)主服務(wù)器向客戶端回復(fù)主塊的標(biāo)識(shí)符和其他副本的位置.(3)客戶機(jī)得到主服務(wù)器授權(quán)后將數(shù)據(jù)推送到所有的副本上.其推送順序可以是任意的,每個(gè)塊服務(wù)器會(huì)把這些數(shù)據(jù)保存在其內(nèi)部的LRU緩沖器內(nèi).(4)客戶端在所有數(shù)據(jù)推送結(jié)束后向主服務(wù)器發(fā)送寫主塊請(qǐng)求.主服務(wù)器將數(shù)據(jù)寫入二級(jí)副本.(5)所有二級(jí)副本在寫入數(shù)據(jù)結(jié)束后回復(fù)主塊.(6)主塊回復(fù)客戶端寫入已完成.在此過(guò)程中,產(chǎn)生的任何錯(cuò)誤都會(huì)報(bào)告給客戶端,客戶端收到失敗信息后從(3)到(6)嘗試進(jìn)行再次寫數(shù)據(jù).2.2云管理數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)云數(shù)據(jù)是海量數(shù)據(jù),如何對(duì)海量數(shù)據(jù)進(jìn)行管理,向應(yīng)用程序提供高效的服務(wù)是云計(jì)算數(shù)據(jù)管理系統(tǒng)必須解決的問(wèn)題.一般來(lái)說(shuō),數(shù)據(jù)的讀操作頻率遠(yuǎn)大于數(shù)據(jù)的寫操作頻率,所以云數(shù)據(jù)管理都傾向使用讀優(yōu)化技術(shù).我們以云數(shù)據(jù)管理系統(tǒng)Bigtable為例來(lái)說(shuō)明云管理技術(shù).Bigtable是一種為管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲(chǔ)系統(tǒng),本質(zhì)上是一個(gè)有序稀疏支持持久化存儲(chǔ)的多維度映射表.其存儲(chǔ)結(jié)構(gòu)由行、列,以及時(shí)間戳來(lái)表示,如圖3所示.其數(shù)據(jù)模型為(row:string,column:string,time:int64)->string.(1)生成表執(zhí)行記錄板Bigtable通過(guò)行關(guān)鍵字的字典序來(lái)維護(hù)數(shù)據(jù).行表中的行關(guān)鍵字可以是任意字符串.一張表可以動(dòng)態(tài)劃分成多個(gè)連續(xù)行.這些連續(xù)行的集合我們稱之為“記錄板”,即tablet.(2)列簇下的讀取數(shù)據(jù)存放一組列關(guān)鍵字組成了“列簇”,列簇是若干列的集合,同一列簇下存放的所有數(shù)據(jù)通常都是同一類型.列簇創(chuàng)建后,在其中的列關(guān)鍵字下存放數(shù)據(jù).Bigtable中的存取權(quán)限控制在列簇的粒度中進(jìn)行.(3)chabby數(shù)據(jù)位置信息結(jié)構(gòu)64位整型數(shù)字,Bigtable表中每一個(gè)表項(xiàng)都可以包含同一數(shù)據(jù)的多個(gè)版本,不同版本的表項(xiàng)內(nèi)容按時(shí)間戳倒序排列,即最新的排在前面.Bigtable依賴一個(gè)高度可用的、存儲(chǔ)的分布式數(shù)據(jù)鎖服務(wù)器Chubby來(lái)讀寫數(shù)據(jù),Chubby提供了一個(gè)名字空間,其中包括目錄和文件.每個(gè)目錄或文件可以當(dāng)成一個(gè)鎖來(lái)用,讀寫文件操作都是原子性的,即讀寫過(guò)程中出現(xiàn)異常中斷立即回滾.Chubby文件中包含根記錄板的位置,根記錄板僅有一個(gè),包含所有元數(shù)據(jù)記錄板集合的位置信息,每個(gè)元數(shù)據(jù)記錄板集合包含大量用戶表的位置信息.當(dāng)客戶端讀取數(shù)據(jù)時(shí),首先從Chubby鎖服務(wù)器文件中獲取根記錄板的位置,并從中讀取相應(yīng)的位置信息,接著從元數(shù)據(jù)記錄板中讀取包含目標(biāo)數(shù)據(jù)位置信息的用戶表的位置,然后從該用戶表中讀取目標(biāo)數(shù)據(jù)的位置信息項(xiàng),最后再根據(jù)此信息到服務(wù)器中特定位置讀取數(shù)據(jù).Bigtable數(shù)據(jù)位置信息結(jié)構(gòu)見(jiàn)圖4.3云計(jì)算中的安全問(wèn)題云計(jì)算被視為科技界的下一次革命,它將帶來(lái)工作方式和商業(yè)模式的根本性改變.云計(jì)算降低了資本支出和數(shù)據(jù)中心的運(yùn)營(yíng)成本,提高了基礎(chǔ)設(shè)施的利用率,簡(jiǎn)化了資源管理等.但云存儲(chǔ)也存在很多問(wèn)題.其中最突出的就是安全問(wèn)題.(1)第二,對(duì)數(shù)據(jù)的存儲(chǔ)地防范異常在云提供商中,用戶不知道實(shí)際數(shù)據(jù)的存儲(chǔ)位置,這一點(diǎn)會(huì)造成用戶對(duì)于數(shù)據(jù)存儲(chǔ)地的擔(dān)心.另外還有對(duì)敏感數(shù)據(jù)的訪問(wèn)問(wèn)題,如果云存儲(chǔ)管理出現(xiàn)異常,可能導(dǎo)致用戶不能掌控自己數(shù)據(jù)的訪問(wèn)權(quán)限.(2)數(shù)據(jù)過(guò)載云存儲(chǔ)存儲(chǔ)了大量的客戶數(shù)據(jù),這些數(shù)據(jù)本身是應(yīng)該隔離的,云提供商需要保證私有數(shù)據(jù)不能被其他無(wú)授權(quán)的用戶訪問(wèn).(3)數(shù)據(jù)恢復(fù)問(wèn)題一旦云端數(shù)據(jù)出現(xiàn)全部或部分?jǐn)?shù)據(jù)破壞時(shí),提供商是否有能力進(jìn)行全面恢復(fù),需要多少時(shí)間才能完成恢復(fù),都具有不確定性.(4)用戶數(shù)據(jù)遷移不確定性當(dāng)用戶需求擴(kuò)大時(shí),云提供商現(xiàn)有的云服務(wù)不能滿足用戶需求,用戶需要轉(zhuǎn)移