計算機應(yīng)用技術(shù)的發(fā)展

計算機應(yīng)用技術(shù)的發(fā)展

幾十年來，計算機和計算機科學(xué)的快速發(fā)展可以概括為四個主要步驟：第一階段是基于網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫技術(shù)的時代，所有程序和數(shù)據(jù)都集中在同一臺機器上。第二階段是網(wǎng)絡(luò)計算機系統(tǒng)的時代。由于網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫技術(shù)的發(fā)展，數(shù)據(jù)存儲和應(yīng)用程序分離。典型的系統(tǒng)是基于c-s和b/s的系統(tǒng)。此系統(tǒng)由客戶端和服務(wù)器組成。客戶端可以通過網(wǎng)絡(luò)遠程讀取數(shù)據(jù)庫服務(wù)器中的數(shù)據(jù)。在第三階段，web服務(wù)和網(wǎng)絡(luò)化。隨著web服務(wù)和網(wǎng)格技術(shù)的發(fā)展，網(wǎng)絡(luò)系統(tǒng)可以在不同的地方分布。目前，許多制造商提供了web服務(wù)，并且可以撥打不同的語言呼叫web服務(wù)。例如，google提供用于搜索的web服務(wù)。第四階段是云計算時代。云計算是分布式處理（云計算）和網(wǎng)格計算（高裁剪計算）技術(shù)的進一步發(fā)展，是一種新興的共享基層結(jié)構(gòu)。1云計算系統(tǒng)簡介云計算是將互聯(lián)網(wǎng)當(dāng)作一個超級計算機.對于終端客戶端來說,他們不需要關(guān)心自己的數(shù)據(jù)存儲在什么地方,也不需要擔(dān)心自己的計算能力,他們的數(shù)據(jù)存儲與計算能力都由遠程(即云端)提供.在云計算中,幾乎所有的IT資源,如應(yīng)用程序、計算能力、存儲容量、編程工具,以及通信服務(wù)和協(xié)作工具等都可以作為云服務(wù)來提供.因此,云計算就是將計算能力分布在大量的分布式計算機上,而非本地計算機或遠程服務(wù)器中.如企業(yè)數(shù)據(jù)存儲在企業(yè)數(shù)據(jù)中心,這個中心由一個云計算提供商提供,企業(yè)可以通過一些應(yīng)用程序或云提供商提供編程API編寫應(yīng)用來管理自己的數(shù)據(jù).企業(yè)按照自己實際需求從云計算提供商中預(yù)定或購買一些服務(wù).云計算系統(tǒng)如圖1所示.云計算具有以下5個特點.(1)虛擬化由于用戶數(shù)據(jù)存儲以及計算等服務(wù)都由云提供商提供,所以用戶可以在任何位置通過各種終端如電腦、手機等獲取云服務(wù).(2)云存儲設(shè)備的可靠性很高一般云提供商使用數(shù)據(jù)存儲鏡像快照技術(shù)以及多副本容錯等措施來保障服務(wù)的高可靠性,從某種意義上說,使用云計算比使用本地計算機更可靠.(3)可擴展性強隨著計算技術(shù)的發(fā)展,可以根據(jù)實際需求開發(fā)出不同的云服務(wù),滿足不同用戶的各種需求.(4)服務(wù)可根據(jù)需要進行調(diào)整云提供商不是對某個單一用戶開發(fā)云服務(wù).用戶可以根據(jù)需求定制云服務(wù)并且按照不同服務(wù)進行付費.(5)云計算技術(shù)100萬臺服務(wù)器,侃俄羅斯,清分布“云”具有相當(dāng)?shù)囊?guī)模,如Google云計算已經(jīng)擁有100多萬臺服務(wù)器,Amazon,IBM,微軟,Yahoo等的云均擁有幾十萬臺服務(wù)器.企業(yè)私有云一般擁有數(shù)百上千臺服務(wù)器.云能賦予用戶前所未有的計算能力.2云數(shù)據(jù)的存儲設(shè)備2.1基于5gfs的云存儲技術(shù)云計算的一個關(guān)鍵問題就是數(shù)據(jù)如何存儲在云端.為保證數(shù)據(jù)的可用性,必須同時保存幾個數(shù)據(jù)副本.云存儲系統(tǒng)就是通過集群技術(shù)或分布式文件系統(tǒng)等,將網(wǎng)絡(luò)中大量不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能.目前云存儲實現(xiàn)系統(tǒng)有2個:一是GFS(GoogleFileSystem),由Google開發(fā)并實際應(yīng)用于Google的云服務(wù)中;二是HDFS(HadoopDistributedFileSystem),由Hadoop團隊使用Java實現(xiàn)了GFS的分布式的文件系統(tǒng),一些IT廠商已采用了HDFS的數(shù)據(jù)存儲技術(shù).本文以GFS為例討論云存儲技術(shù),其系統(tǒng)架構(gòu)如圖2所示.GFS提供了一個類似傳統(tǒng)文件系統(tǒng)的接口,文件在目錄中按照層次組織,用路徑名來標(biāo)識.該系統(tǒng)由一個主服務(wù)器和大量塊服務(wù)器構(gòu)成.主服務(wù)器存放文件系統(tǒng)的所有元數(shù)據(jù),包括文件和塊的命名空間、文件到塊的映射,以及每個塊副本的位置等.所有元數(shù)據(jù)都保存在主服務(wù)器的內(nèi)存里.主服務(wù)器還管理文件系統(tǒng),如塊的分配與回收以及塊的移動等.文件以塊的形式保存,每個塊的大小為64MB.在每個塊創(chuàng)建的時候,服務(wù)器分配一個不變的、唯一的64位的塊句柄對其進行標(biāo)識.塊服務(wù)器將塊作為Linux文件保存在硬盤上,并根據(jù)塊句柄讀寫塊數(shù)據(jù).為保證可靠性,每個塊都保存了3個副本.客戶端利用Google提供的API如GoogleAppEngine對存儲數(shù)據(jù)進行讀寫.讀數(shù)據(jù)時首先讀取主服務(wù)器上的元數(shù)據(jù)獲取數(shù)據(jù)塊的位置,從而在塊服務(wù)器上讀取數(shù)據(jù).這樣一來可以避免因大量讀操作對主服務(wù)器帶來的擁擠.向GFS寫數(shù)據(jù)時,GFS將數(shù)據(jù)流與控制流分開的過程如下.(1)客戶端向主服務(wù)器請求塊服務(wù)器用于新增或修改數(shù)據(jù),如果是新增數(shù)據(jù),由主服務(wù)器分配塊服務(wù)器;如果是修改數(shù)據(jù),則需查找其租約的塊服務(wù)器.(2)主服務(wù)器向客戶端回復(fù)主塊的標(biāo)識符和其他副本的位置.(3)客戶機得到主服務(wù)器授權(quán)后將數(shù)據(jù)推送到所有的副本上.其推送順序可以是任意的,每個塊服務(wù)器會把這些數(shù)據(jù)保存在其內(nèi)部的LRU緩沖器內(nèi).(4)客戶端在所有數(shù)據(jù)推送結(jié)束后向主服務(wù)器發(fā)送寫主塊請求.主服務(wù)器將數(shù)據(jù)寫入二級副本.(5)所有二級副本在寫入數(shù)據(jù)結(jié)束后回復(fù)主塊.(6)主塊回復(fù)客戶端寫入已完成.在此過程中,產(chǎn)生的任何錯誤都會報告給客戶端,客戶端收到失敗信息后從(3)到(6)嘗試進行再次寫數(shù)據(jù).2.2云管理數(shù)據(jù)的存儲結(jié)構(gòu)云數(shù)據(jù)是海量數(shù)據(jù),如何對海量數(shù)據(jù)進行管理,向應(yīng)用程序提供高效的服務(wù)是云計算數(shù)據(jù)管理系統(tǒng)必須解決的問題.一般來說,數(shù)據(jù)的讀操作頻率遠大于數(shù)據(jù)的寫操作頻率,所以云數(shù)據(jù)管理都傾向使用讀優(yōu)化技術(shù).我們以云數(shù)據(jù)管理系統(tǒng)Bigtable為例來說明云管理技術(shù).Bigtable是一種為管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計的分布式存儲系統(tǒng),本質(zhì)上是一個有序稀疏支持持久化存儲的多維度映射表.其存儲結(jié)構(gòu)由行、列,以及時間戳來表示,如圖3所示.其數(shù)據(jù)模型為(row:string,column:string,time:int64)->string.(1)生成表執(zhí)行記錄板Bigtable通過行關(guān)鍵字的字典序來維護數(shù)據(jù).行表中的行關(guān)鍵字可以是任意字符串.一張表可以動態(tài)劃分成多個連續(xù)行.這些連續(xù)行的集合我們稱之為“記錄板”,即tablet.(2)列簇下的讀取數(shù)據(jù)存放一組列關(guān)鍵字組成了“列簇”,列簇是若干列的集合,同一列簇下存放的所有數(shù)據(jù)通常都是同一類型.列簇創(chuàng)建后,在其中的列關(guān)鍵字下存放數(shù)據(jù).Bigtable中的存取權(quán)限控制在列簇的粒度中進行.(3)chabby數(shù)據(jù)位置信息結(jié)構(gòu)64位整型數(shù)字,Bigtable表中每一個表項都可以包含同一數(shù)據(jù)的多個版本,不同版本的表項內(nèi)容按時間戳倒序排列,即最新的排在前面.Bigtable依賴一個高度可用的、存儲的分布式數(shù)據(jù)鎖服務(wù)器Chubby來讀寫數(shù)據(jù),Chubby提供了一個名字空間,其中包括目錄和文件.每個目錄或文件可以當(dāng)成一個鎖來用,讀寫文件操作都是原子性的,即讀寫過程中出現(xiàn)異常中斷立即回滾.Chubby文件中包含根記錄板的位置,根記錄板僅有一個,包含所有元數(shù)據(jù)記錄板集合的位置信息,每個元數(shù)據(jù)記錄板集合包含大量用戶表的位置信息.當(dāng)客戶端讀取數(shù)據(jù)時,首先從Chubby鎖服務(wù)器文件中獲取根記錄板的位置,并從中讀取相應(yīng)的位置信息,接著從元數(shù)據(jù)記錄板中讀取包含目標(biāo)數(shù)據(jù)位置信息的用戶表的位置,然后從該用戶表中讀取目標(biāo)數(shù)據(jù)的位置信息項,最后再根據(jù)此信息到服務(wù)器中特定位置讀取數(shù)據(jù).Bigtable數(shù)據(jù)位置信息結(jié)構(gòu)見圖4.3云計算中的安全問題云計算被視為科技界的下一次革命,它將帶來工作方式和商業(yè)模式的根本性改變.云計算降低了資本支出和數(shù)據(jù)中心的運營成本,提高了基礎(chǔ)設(shè)施的利用率,簡化了資源管理等.但云存儲也存在很多問題.其中最突出的就是安全問題.(1)第二,對數(shù)據(jù)的存儲地防范異常在云提供商中,用戶不知道實際數(shù)據(jù)的存儲位置,這一點會造成用戶對于數(shù)據(jù)存儲地的擔(dān)心.另外還有對敏感數(shù)據(jù)的訪問問題,如果云存儲管理出現(xiàn)異常,可能導(dǎo)致用戶不能掌控自己數(shù)據(jù)的訪問權(quán)限.(2)數(shù)據(jù)過載云存儲存儲了大量的客戶數(shù)據(jù),這些數(shù)據(jù)本身是應(yīng)該隔離的,云提供商需要保證私有數(shù)據(jù)不能被其他無授權(quán)的用戶訪問.(3)數(shù)據(jù)恢復(fù)問題一旦云端數(shù)據(jù)出現(xiàn)全部或部分數(shù)據(jù)破壞時,提供商是否有能力進行全面恢復(fù),需要多少時間才能完成恢復(fù),都具有不確定性.(4)用戶數(shù)據(jù)遷移不確定性當(dāng)用戶需求擴大時,云提供商現(xiàn)有的云服務(wù)不能滿足用戶需求,用戶需要轉(zhuǎn)移