最有價值的云計算

1、云計算云計算鄧玉輝鄧玉輝暨南大學，信息學院計算機系概要n背景n云體系結構云體系結構n云計算云計算n云存儲云存儲n云傳輸云傳輸n討論討論阿喀琉斯之踵n古希臘神話中的阿喀琉斯是海神之子，荷馬史詩中的英雄，傳說他的母親曾把他浸在冥河里使其能刀槍不入。但因冥河水流 湍急，母親捏著他的腳后跟不敢松手，所以其腳踵是最脆弱的地方。n在特洛伊戰(zhàn)爭中，阿喀琉斯殺死了特洛伊王子赫克托耳，因而惹怒了赫克托耳的保護神阿波羅，于是太陽神用毒箭射中了阿喀琉斯的腳踵，送了這位勇士的命。 數(shù)據量n數(shù)據爆炸性增漲(2006,161 EB;2011,1800 EB;年增長率達到60%. IDC報告)。n數(shù)據中的絕大部分將存儲在世

2、界各地的大型數(shù)據中心。GB-TB-PB-EBn2005年,美國新建立的數(shù)據中心需要消耗的能量=加利福尼亞州所消耗能量的10%（大約5GW），約40億美金。n英國的1500個數(shù)據中心每年消耗的能量和英國第十大城市萊卡斯特所需要的能量相當。n2010年，英國單個數(shù)據中心每年在能量上的花費達到大約740萬英鎊。n計算機集群系統(tǒng)由于采用商用化部件，其能耗問題更為突出。 IT基礎設施能耗熱密度熱密度Google數(shù)據中心nGoogle數(shù)據中心以集裝箱為單位，每個集裝箱有1160臺服務器，每個數(shù)據 中心有眾多集裝箱。nGoogle一次搜索查詢的能耗能點亮100瓦的燈泡11秒鐘。比利時的圣吉蘭（Saint G

3、hislain）數(shù)據中心完全依靠數(shù)據中心外面的空氣來冷卻系統(tǒng)。Dalles數(shù)據中心位于俄勒岡州的哥倫比亞河旁，河上的Dalles大壩為數(shù)據中心提供電力。數(shù)據中心有2座4層樓高的冷卻塔。nWhat matters most to the computer designers at Google is not speed but power low power, because data centers can consume as much electricity as a city. -Eric Schmidt, CEO, GoogleMicrosoft數(shù)據中心美國華盛頓州Grand Coul

4、ee水壩是世界第三大混合電力水壩，供電量是650萬千瓦。Microsoft在水壩邊上建一個有10個沃爾瑪商店那么大的數(shù)據中心。微軟在美國芝加哥的數(shù)據中心.總面積為70萬平方英尺。即使只啟用半數(shù)服務器,能耗也達到30兆瓦。機遇n大部分企業(yè)IT基礎設施的利用率只有35%. 還有許多企業(yè)的IT資源利用率不到15%（IDC報告）.nGoogle的數(shù)據表明其絕大部分服務器的利用率在10%到50%之間。nWhy? ? 突發(fā)性的數(shù)據訪問行為 。推動力n摩爾定律。商用化的組件組成的電腦其性能已足以支持多個操作系統(tǒng)的并行運行。n虛擬機技術的復蘇（出現(xiàn)在上世紀70年代，并主要用在IBM 360的大型機中）n利用商

5、用化的計算機組件來構造云環(huán)境n利用虛擬機技術來實現(xiàn)計算資源的按需分配。殺手級的應用n任何一項新技術或者新的服務模式的成功，往往是因為其出現(xiàn)在恰當?shù)臅r間，并且有合適的外因和內因來推動。n殺手級的應用（WWW互聯(lián)網）。n云計算之歷史淵源：n元計算（Metacomputing）、普適計算（pervasive computing）、n按需計算（On demand computing）、效用計算（Utility computing）、n自主計算（Autonomic computing）、網格計算（Grid computing）等等。 什么是云計算n一種新的服務模式。按服務類型大致可分：n將基礎設施作為服

6、務（Infrastructure as a Service, IaaS）、n將平臺作為服務（Platform as a service, PaaS）n將軟件作為服務（Software as a service, SaaS）。 服務模式n根據實際需要通過定制或租用的方式使用基于Web的軟件來完成所需的工作。n將應用和計算機資源包括硬件和系統(tǒng)軟件包裝成服務，通過按需付費（pay-as-you-go）的方式，穿越Internet來滿足用戶各種不同的需求。n用戶可以不再需要購買昂貴的計算機系統(tǒng)，不再因為需要短時間使用某個軟件而不得不購買該軟件的使用版權。n云計算通過虛擬化技術，通過資源整合，實現(xiàn)按需資

7、源分配。提高資源利用率，同時降低用戶的設備投入和使用成本。 云體系結構云體系結構n一條雙向可無限延長的、被分成一個個方格的磁帶, 格里寫有符號n一個有限狀態(tài)控制器n一個讀寫磁頭圖靈機圖靈機這個裝置就是根據程序的命令以及它的內部狀態(tài)進行磁帶的讀寫、移動。 圖靈機的動作由五元組確定：圖靈機的動作由五元組確定：其中，其中，q和和q為控制器的當前狀態(tài)和下一狀態(tài)；為控制器的當前狀態(tài)和下一狀態(tài)；b和和a為方格中的原有符號為方格中的原有符號和修改后的符號，和修改后的符號，m指示磁頭移動方向，或左或右或停。指示磁頭移動方向，或左或右或停。由狀態(tài)和符號確定的工作過程稱圖靈機程序。由狀態(tài)和符號確定的工作過程稱圖靈

8、機程序。圖靈論題：圖靈論題：凡是可計算的函數(shù)都可以用圖靈機計算。凡是可計算的函數(shù)都可以用圖靈機計算。馮馮諾伊曼架構諾伊曼架構l計算機由控制器、運算器、存儲器、輸入設備和輸出設備五大部分組成。l基本原理：存儲程序（stored program）并按地址順序執(zhí)行。l控制器按照程序順序，逐條把指令和數(shù)據從存儲器中取出并加以執(zhí)行，自動完成由程序所描述的處理工作。l以計算為中心云環(huán)境架構服務器存儲系統(tǒng)網絡設備虛擬化技術虛擬化技術應用/計算傳輸數(shù)據云環(huán)境架構與用戶視圖n云架構的特點：將地理上分布、大規(guī)模、異構的資源進行虛擬化，并能夠對用戶提供按需服務。n云的成功在很大程度上決定于云的規(guī)模效應。n同時，云環(huán)

9、境下非常重要的問題之一就是如何合適地安排計算、存儲和傳輸，使得其規(guī)模和性能能夠同步擴展。 云計算:虛擬機n虛擬機通過軟件來模擬具有完整硬件系統(tǒng)功能的、運行在一個完全隔離環(huán)境中的完整計算機系統(tǒng)。n優(yōu)點：n提高資源的利用率。多個操作系統(tǒng)可以同時存在和運行于同一個物理平臺上（在單個服務器上有可能同時運行數(shù)百個虛擬機器）。n有效隔離操作系統(tǒng)和資源。虛擬機中的操作系統(tǒng)崩潰后恢復比較容易，并不會對同一個物理平臺上的其它操作系統(tǒng)造成影響，而且比較容易實現(xiàn)操作系統(tǒng)的數(shù)據重放和回滾。 一個典型的虛擬機環(huán)境虛擬機技術的問題n虛擬機技術最初使用在IBM 360的大型機中。大型機中往往采用專門的通道來來保證外部設備的

10、訪問和性能。n將該技術移植到基于商用組件的X86環(huán)境下，由于缺乏專用的通道和通道處理機來應對I/O訪問，虛擬機環(huán)境下的I/O問題已經成為當前虛擬機系統(tǒng)中面臨的最大問題。n虛擬機環(huán)境下：第二個域的應用通過系統(tǒng)調用產生異步I/O，進入管理程序（Hypervisor），該管理程序將該I/O操作轉給第零個域，然后返回到第二個域的操作系統(tǒng)（異步I/O）和上層應用程序。此時第零個域的操作系統(tǒng)將進行實際的I/O操作。待I/O完成后，會產生一個虛擬中斷給第零個域的操作系統(tǒng)，該操作系統(tǒng)給虛擬化軟件發(fā)出相應的虛擬中斷。待虛擬化軟件完成I/O后，會給第零個域的操作系統(tǒng)返回一個系統(tǒng)調用來喚醒第二個域的操作系統(tǒng)，然后虛

11、擬機管理程序將I/O完成的中斷交給第二個域的操作系統(tǒng)，最后將I/O操作產生的數(shù)據交給第二個域中的應用程序。傳統(tǒng)的計算機系統(tǒng)中：應用程序通過系統(tǒng)調用產生異步I/O操作后直接返回。待I/O操作完成后會產生中斷給操作系統(tǒng)，并將I/O操作產生的數(shù)據交給應用程序。云存儲:磁盤驅動器磁盤是一種機電混合設備。在過去的十多年中，磁盤的區(qū)域密度、軌密度和線密度分別獲得了100%, 50% 和 30% 的增長。磁記錄技術存儲的角色演變n數(shù)據的增漲導致了以“計算”為中心到以“數(shù)據存儲”為中心的的觀念革新。n存儲領域的兩個重要轉折點：n并行存儲。比如磁盤陣列技術（RAID）。n網絡存儲。NAS,SAN 新型存儲體系結

12、構n將網絡引入存儲系統(tǒng)，改變主機與外部存儲節(jié)點間的連接模式，產生了若干新型存儲體系結構：n直接聯(lián)網存儲（ Direct attached storage , DAS ）n附網存儲（network attached storage , NAS）n存儲區(qū)域網(storage area network , SAN)。n存儲系統(tǒng)必須要從少數(shù)的存儲引擎向連在網絡上的成千上萬的商用化存儲設備進行轉變。三種典型的存儲系統(tǒng)附網存儲附網存儲存儲區(qū)域網存儲區(qū)域網直連存儲直連存儲存儲需求科學計算科學計算航空航空航天航天生物醫(yī)學生物醫(yī)學石油勘探石油勘探 n在過去的十多年中集群網絡的重要進展之一是可以將成千上萬的節(jié)點連

13、起來，同時保證高可擴展性和相對較低的通訊開銷。n采用商用化的技術來構造可擴展的集群是云存儲的基本組件。n搭積木的形式來聚合存儲組件。云存儲理想架構挑戰(zhàn)1：名字空間n存儲器空間的組織和分配，數(shù)據的存儲、保護和檢索都依賴于文件系統(tǒng)。n文件系統(tǒng)由文件和目錄構成文件系統(tǒng)的樹形層次化結構。包括集群文件系統(tǒng)。n當數(shù)據的訪問從樹根走向樹葉的時候，訪問的延遲會響應的增加。如果不知道文件保存位置，必須遍歷整個目錄。n還有兩個重要的因素導致樹形架構不適合于云存儲環(huán)境：n（1）樹根本身就是一個單一失效點，而且很容易形成系統(tǒng)的瓶頸。n（2）樹形架構很難在Internet上擴展到地理上分布的規(guī)模。n云存儲只有采用非集中

14、式的名字空間來避免潛在的性能瓶頸和單點失效。挑戰(zhàn)2：元數(shù)據n元數(shù)據是描述數(shù)據的數(shù)據，主要用來反映地址信息和控制信息，通常包括文件名、文件大小、時間戳、文件屬性等等。n在文件系統(tǒng)的操作中，超過50%的操作是針對元數(shù)據的. 另有研究指出，使用NFS 3.0時，其客戶端和服務器端交互的信息中65%的信息是和元數(shù)據相關的。n元數(shù)據是小的隨機請求。n和存儲容量的增長不同，機械組件所帶來的延遲，磁盤的平均訪問時間每年的降低不足8%。n小的隨機請求,尋道時間是磁盤訪問延遲中最組要的部分。這是由于磁頭的穩(wěn)定時間主導著磁盤的尋道時間，而且磁頭的穩(wěn)定時間數(shù)年來基本上沒有太大的變化。n因此，對于大規(guī)模系統(tǒng)來講，元數(shù)

15、據的訪問往往成為制約整個系統(tǒng)性能的瓶頸。云傳輸：廣域網性能云傳輸：廣域網性能nNielsen 法則：終端用戶的網絡帶寬以每年50%的速度增長。n廣域網：n一條T1線路的帶寬只相當于千兆網的千分之一，許多幀中繼線路的帶寬只有256Kbits/秒。nGarfinkel 通過測量發(fā)現(xiàn)從美國伯克利大學到西雅圖的平均網絡寫帶寬大約是5 to 18 Mbits/秒。n我們的測量數(shù)據：在格林尼治標準時間下午7點到10點，從英國劍橋大學到中國北京的平均網絡帶寬大約是1.8 Mbits每秒。n由于廣域網物理距離的原因，不可避免的時延也會對帶寬造成影響。例如，一個T3鏈路（44.736 Mbits/秒），當時延超

16、過40ms時，其帶寬很快就下降到與T1鏈路（1.544 Mbits/秒）相當。簡單計算n基于以上的測試數(shù)據，如果假設網絡帶寬為20 Mbits/秒，從美國伯克利大學傳輸10TB數(shù)據到西雅圖需要45天的時間n如果通過亞馬遜（S3）來進行該數(shù)據傳輸，需要另外向亞馬遜支付1000美金的網絡傳輸費用。云傳輸可能的解決方案n云環(huán)境必須是地理上分布的，因為云的成功在很大程度上決定于其規(guī)模效應。n計算和存儲相對便宜，然而，由于廣域網環(huán)境下的低帶寬、高延遲和較高的丟包率，使得廣域網成為云環(huán)境下那塊最短的木板。n圖靈獎獲得者Jim Gray 在2006年就指出在廣域網上處理大數(shù)據集時，應該將程序傳給數(shù)據，而不是

17、將數(shù)據傳給程序。n另外，通過數(shù)據壓縮、數(shù)據的去重等方法來減少網域網上的數(shù)據傳輸流量，降低對網絡帶寬的需求。采用動態(tài)緩存、IP流量管理以及QoS等方法來降低廣域網的延遲。n但是，這些方法只能在一定程度上來緩解網絡瓶頸問題，不能從根本上解決問題。因此，在設計云架構時，必須要考慮廣域網的帶寬、延遲和包丟失率所帶來的影響。云環(huán)境下的傳輸協(xié)議n目前廣泛使用的TCP/IP協(xié)議是在實驗室低速網絡環(huán)境下誕生的，在設計初期只是為了保證數(shù)據在鏈路上的可靠傳輸。因此，它并不是為廣域網而設計的網絡傳輸協(xié)議。nTCP/IP協(xié)議的滑動窗口，重傳和恢復等機制使得廣域網的傳輸效率急劇下降。nTCP的窗口尺寸、慢啟動等機制也無法充分利用已有的網絡帶寬。n我們需要重新審視在大規(guī)模數(shù)據傳輸?shù)那闆r下廣域網的性能優(yōu)化相關