云計算與并行計算復習.

1、云計算與分布式系統(tǒng)期末復習1. 云計算的概念，來源以及與并行計算的關系 云計算的概念從 集群、網格和效用計算 發(fā)展而來。 云是虛擬計算機資源池。 云可以處理各種不同的負載， 包括 批處 理式后端作業(yè) 和 交互式用戶界面應用 。云通過迅速提供虛擬機或 物理機允許負載被快速配置和劃分。云支持 冗余, 自恢復 ，高可 擴展編程模型，以允許負載從許多不可避免的硬件 / 軟件錯誤中 恢復。最終， 云計算系統(tǒng)可以通過 實時監(jiān)視資源 來確保分配在需 要時平衡。來源：數據爆炸促發(fā)了云計算的思想。 集群和網格計算并行使用大量計算機可以解決任何規(guī)模的問題。 效用計算 和（ a ）將計算資源 作為服務進行按需付費。

2、云計 算利用動態(tài)資源 為終端用戶傳遞大量服務。云計算是一種 高吞吐量計算范式 ，它通過大的 數據中心 或 服 務器群 提供服務。云計算模型使得用戶可以隨時隨地通過他們的 互連設備訪問共享資源。 云計算避免了大量的數據移動，可以帶來更好的網絡帶寬利用 率。而且，機器虛擬化進一步提高了資源利用率，增加了應用程 序靈活性降 低了使用虛擬化數據中心資源的總體成本。 云計算使用虛擬化平臺， 通過按需動態(tài)配置硬件、 軟件和數據集， 將彈性資源放在一起， 主要思想 是使用 數據中心中的服務器集群 和大規(guī)模數據庫 ，將桌面計算移向基于服務的平臺， 利用其對提 供商和用戶的低成本和簡單性。云應用的所有計算任務被

3、分配到 數據中心的服務器 上。這些服務 器主要是虛擬集群的虛擬機，由數據中心資源產生出來。云平臺是通過虛擬化分布的系統(tǒng)。公有云和私有云都是在 互聯網 上開發(fā)的。 公有云構建在互聯網之上，任何已付費的用戶都可以訪問。公有云屬于 服務提供商 ，用戶通過訂閱即可訪問。私有云構建在 局域網內部 ，屬于一個獨立的組織。由客戶管 理，而且其可訪問范圍限制在所屬客戶及其合作者之中。 混合云由公有云和私有云共同構成 公有云促進了標準化， 節(jié)約了資金投入， 為應用程序提供了很好 的靈活性；私有云嘗試進行定制化，可以提供更高的有效性、彈 性、安全性和隱私性；混合云則處于兩者中間，在資源共享方面 進行了折中。云的核

4、心是 服務器集群 （或虛擬機集群） 。集群節(jié)點用作計算 節(jié)點，少量的控制節(jié)點用于管理和監(jiān)視云活動。 用戶作業(yè)的調度 需要為用戶創(chuàng)建的虛擬集群分配任務。數據中心和超級計算機在網絡需求方面也不相同。超級計算機使用客戶設計的高帶寬網絡，如胖樹或3D環(huán)形網絡；數據中 心網絡 主要是 基于的商業(yè)網絡云平臺設計目標 : 可擴展性 、虛擬化 、有效性 和可靠性2. 云平臺提供的服務類型6 層的云服務，范圍從硬件、網絡和配置到基礎設施、平臺和軟 件應用上三層（基礎設施即服務） （平臺即服務） （軟件即服務） 硬件即服務（） 網絡即服務（ ） 位置即服務（配置即服務） （）。數據中心的虛擬化資源形成互聯網云，

5、向付費用戶提供硬件， 軟 件，存儲，網絡和服務以運行他們的應用。云計算提供了一個虛擬化的按需動態(tài)供應硬件， 軟件和數據集的 彈性資源平臺 . 基礎設施即服務（）:這個模型將用戶需要的基礎設施（即服務器，存儲，網絡和數據中心構造 ） 組合在一起。用戶可以在使 用客戶機操作系統(tǒng)的多個虛擬機上配置和運行指定的應用。 平臺即服務 （）: 這個模型使用戶能夠在一個虛擬的平臺上配 置用戶制定的應用。包括中間件，數據庫，開發(fā)工具和一些運行 時支持 （ 如 2.0 和） 。3. 軟件即服務 （）: 這是指面向數千付費云用戶的初始瀏覽器的 應用軟件。模型應用于業(yè)務流程，工業(yè)應用，客戶關系管理，企 業(yè)資源計劃，人

6、力資源和合作應用。3.的核心技術（包括默認文件？大?。┕雀璧脑朴嬎銘贸绦?的構成要素包括 存儲大量數據的 、為應用 程序開發(fā)者提供的 編程框架 、用于分布式應用程序鎖服務的和為 訪問結構化或半結構化數據的 存儲服務。（：對一組數據元素進行某種重復式的處理 : 對中間結果進行某 種進一步的結果整理） （把 與 分開了）（設計思想 ）上升到架構 :統(tǒng)一架構， 為程序員 隱藏系統(tǒng)層細節(jié)。是一個基于分布式集群的大型分布式文件系統(tǒng) , 為計算框 架提供底層數據存儲和數據可靠性支撐。上保存了文件系統(tǒng)的 三種元數據 : 命名空間 , 即整個分布式文件系統(tǒng)的目錄結構。 與文件名的映射表3副本的位置信息， 每

7、個 默認有 3 個副本。中 每個數據塊劃分缺省為 64。每個數據塊會分別在 3 個不同的 地方復制副本；每一個數據塊，僅當 3 個副本都成功時，才認為 數據保存成功。每個數據塊再劃分為 64 的子塊，每個子塊有一 個 32 位的校驗和。：是一個文件系統(tǒng)， 難以提供對結構化數據的存儲和訪問管理。 為此在之上又設計了一個結構化數據存儲和訪問管理系統(tǒng) , 為應 用程序提供比單純文件系統(tǒng)更方便，更高層的數據操作能力。 對存儲在表中的數據不做任何解釋， 一律視為字符串， 具體數據 結構的實現由用戶自行定義。查詢模型 （64）-> 結果數據字符串。支持查詢，插入和刪除操作。4. 怎樣分析與計算系統(tǒng)的

8、可用性可用性表示系統(tǒng)對用戶可用的時間百分比， 即系統(tǒng)正常運行的時 間百分比?？捎眯苑治觯?)是所有集群，網絡，P2P網絡和云計算系統(tǒng)所期望的。如果 系統(tǒng)有一個長的平均故障時間 ( ) 和短的修復時間 ( ), 那么 這個系統(tǒng)就是高度可用的。系統(tǒng)可用性形式化定義如下 :系統(tǒng)可用性 () (大多數集群通過轉移故障節(jié)點來達到高可用性 的目的)。5. 虛擬化的基本概念，硬件虛擬化的基本類型，虛擬化軟件， 目前市場上開源的版本所支持的指令集虛擬化： 虛擬化是一種計算機體系結構技術，其中，多個虛擬機共享同 一臺物理硬件機器。 虛擬化的思想是分離軟硬件以產生更好的系 統(tǒng)性能。虛擬化技術通過在同一個硬件主機上

9、多路復用虛擬機的方式來 共享昂貴的硬件資源硬件虛擬化 :硬件虛擬化分為 : 全虛擬化和基于主機的虛擬化。全虛擬化 不需要修改主機操作系統(tǒng)。 它依賴于二進制翻譯來陷入 和虛擬化一些敏感， 不可虛擬化的指令執(zhí)行。 客戶操作系統(tǒng)和他 們的應用由非臨界和臨界指令構成。在基于主機的系統(tǒng)虛擬化中， 主機操作系統(tǒng)和客戶操作系統(tǒng)同時存在，虛擬化軟件層處于兩者之間。 主機操作系統(tǒng)仍舊負責管理 硬件?？蛻舨僮飨到y(tǒng)安裝并運行在虛擬化層之上。特定的應用可運行在虛擬機中。半虛擬化：半虛擬化需要修改客戶操作系統(tǒng)。半虛擬化虛擬機在用戶程序 中提供了特殊的，要求真正修改操作系統(tǒng)。完全虛擬化：的完全虛擬化與半虛擬化的區(qū)別是，

10、完全虛擬化需要支持硬件虛 擬化，而半虛擬化不需要支持硬件虛擬化。也就是，支持了硬件虛擬化，配置完成后就是完全虛擬化， 不支 持就是半虛擬化。三種實現技術：1、模擬軟件 通過模擬器模擬所有的指令，不 通知虛擬化出來的操作系統(tǒng) 它的運行環(huán)境。2、虛擬化一部分特權指令或者使用二進制日志轉換技術。3、讓支持硬件虛擬化。被虛擬化出來的操作系統(tǒng)上執(zhí)行的指令，會運行在被虛擬化出來的硬件上，就是完全虛擬化。，內存和設備的虛擬化（虛擬機監(jiān)視器）,它負責管理計算機系統(tǒng)的硬件資源。每次應用程序訪問硬件時，都會捕獲該訪問請求、內存和設備的虛擬化為支持虛擬化，處理器利用硬件輔助虛擬化， 引入一種特殊的運行模式和指令，使

11、得 和客戶操作系統(tǒng)可運行在不同模式中，客 戶操作系統(tǒng)及其應用程序的所有敏感指令會陷入到中。虛擬化的硬件支持現代操作系統(tǒng)和處理器允許多個進程同時運行。如果處理器中沒有保護機制，那么不同進程的所有指令都可以直接訪問硬件，很容易導致系統(tǒng)崩潰。因此，所有處理器都至少需要兩種模式（用 戶模式和管理模式）來確保對臨界區(qū)硬件的受控訪問。運行在管 理模式的指令稱為特權指令，其他指令為非特權指令。虛擬化虛擬機的非特權指令直接在物理主機中運行關鍵指令可以分為三類：特權指令、控制敏感指令 和行為敏感指 令。特權指令需要在特權模式中執(zhí)行，當在特權模式之外執(zhí)行特 權指令時會發(fā)生陷入。 控制敏感指令 嘗試改變使用資源的配

12、置。 行為敏感指令 根據資源的配置情況會有不同的行為， 包括在虛擬 內存中進行的負載和存儲操作。運行在管理模式時，支持在用戶模式運行虛擬機的特權指令和非特權指令，則該體系結構是可虛擬化的。 的所有控制敏感指令和 行為敏感指令都是特權指令的體系結構是天然可虛擬化的。 內存虛擬化客戶操作系統(tǒng)和分別維護從虛擬內存到物理內存的映射和從物理內存到機器內存的映射，共兩級映射。客戶操作系統(tǒng)仍舊負責 從虛擬地址到虛擬機的物理內存地址的映射， 負責將客戶物理內 存映射到實際的機器內存上 虛擬化虛擬化包括 管理虛擬設備 和共享的物理硬件 之間請求的路由選 擇。實現虛擬化有三種方式 :全設備模擬 : 一個設備的所有

13、功能或總線結構（如設備枚舉、 識別、中斷和）都可以在軟件中復制。半虛擬化 : 是所采用的方法，是廣為熟知的分離式驅動模型， 由前端驅動和后端驅動兩部分構成。前端驅動運行在 U 中，而 后端驅動運行在 0 中，它們通過一塊共享內存交互。直接虛擬化 : 讓虛擬機直接訪問設備硬件。它能獲得近乎本地 的性能，并且開銷不高。6. 實現原理（怎樣實現硬件虛擬化的監(jiān)控） ，內存虛擬化的基本 機制，虛擬化實現方式的實現原理 :是一個基于的半虛擬化系統(tǒng)，是 2.6.20 內核的一部分。內存管 理和調度由存在的內核執(zhí)行， 則負責其余部分， 這使得比其他需 要控制整個機器的簡單許多。 是一個基于硬件輔助的半虛擬化工

14、 具，對性能進行了改進，且支持未修改的客戶操作系統(tǒng)，如和其 他變種。，內存和設備的虛擬化（ 虛擬機監(jiān)視器 ）, 它負責管理計算機系統(tǒng)的硬件資源。每次應用程序訪問硬件時，都會捕獲該訪問請求、內存和設備的虛擬化為支持虛擬化，處理器利用硬件輔助虛擬化， 引入一種特殊的運 行模式和指令，使得 和客戶操作系統(tǒng)可運行在不同模式中，客戶操作系統(tǒng)及其應用程序的所有敏感指令會陷入到中。虛擬化的硬件支持現代操作系統(tǒng)和處理器允許多個進程同時運行。如果處理器中沒有保護機制，那么不同進程的所有指令都可以直接訪問硬件，很容易導致系統(tǒng)崩潰。因此，所有處理器都至少需要兩種模式（用 戶模式和管理模式）來確保對臨界區(qū)硬件的受控訪

15、問。運行在管 理模式的指令稱為特權指令，其他指令為非特權指令。虛擬化虛擬機的非特權指令直接在物理主機中運行關鍵指令可以分為三類：特權指令、控制敏感指令 和行為敏感指 令。特權指令需要在特權模式中執(zhí)行，當在特權模式之外執(zhí)行特 權指令時會發(fā)生陷入。 控制敏感指令 嘗試改變使用資源的配置。 行為敏感指令 根據資源的配置情況會有不同的行為， 包括在虛擬 內存中進行的負載和存儲操作。運行在管理模式時，支持在用戶模式運行虛擬機的特權指令和非 特權指令，則該體系結構是可虛擬化的。 的所有控制敏感指令和 行為敏感指令都是特權指令的體系結構是天然可虛擬化的。虛擬化虛擬化包括 管理虛擬設備 和共享的物理硬件 之間

16、請求的路由選 擇。內存虛擬化 客戶操作系統(tǒng)和分別維護從虛擬內存到物理內存的映射和從物 理內存到機器內存的映射， 共兩級映射。 客戶操作系統(tǒng)仍舊負責 從虛擬地址到虛擬機的物理內存地址的映射， 負責將客戶物理內 存映射到實際的機器內存上內存虛擬化機制 客戶操作系統(tǒng)和分別維護從虛擬內存到物理內存的映射和從物 理內存到機器內存的映射，共兩級映射。進一步，也應該支持虛 擬化，并且對客戶操作系統(tǒng)透明， 客戶操作系統(tǒng)仍舊負責從虛擬 地址到虛擬機的物理內存地址的映射， 但是客戶操作系統(tǒng)并不能 直接訪問實際硬件內存， 負責將客戶物理內存映射到實際的機器 內存上。8、虛擬化實現方式虛擬化包括管理虛擬設備和共享的物

17、理硬件之間請求的路由 選擇。實現虛擬化有三種方式：全設備模擬 : 一個設備的所有功能或總線結構（如設備枚 舉、識別、中斷和）都可以在軟件中復制。半虛擬化 : 是所采用的方法，是廣為熟知的分離式驅動模 型，由前端驅動和后端驅動兩部分構成。 前端驅動運行在 U 中， 而后端驅動運行在 0 中，它們通過一塊共享內存交互。直接虛擬化 : 讓虛擬機直接訪問設備硬件。 它能獲得近乎本 地的性能，并且開銷不高。內存虛擬化的頁表機制由于客戶操作系統(tǒng)的每個頁表在中都有一個獨立頁表與之對 應，中的頁表稱為影子頁表。 嵌套的頁表在虛擬內存系統(tǒng)中額外 增加了一層映射。 負責由操作系統(tǒng)定義的虛擬地址到物理地址的 轉換。

18、然后，使用定義的其他頁表將物理內存地址轉換為機器地 址。使用影子頁表進行虛擬內存到機器內存的地址轉換。 當客戶 操作系統(tǒng)修改了虛擬內存到物理內存的映射時， 會及時更新影子 頁表。4. 內存遷移的實現功能內存的遷移實現的功能 內存遷移在虛擬機遷移時很重要，因此內存遷移一個重要的 功能是實現虛擬機的遷移， 可以將虛擬機的內存實例從一個物理 節(jié)點遷移至另一個物理節(jié)點5. 云平臺處理的應用類型6. 互聯網配置云系統(tǒng)的方式（私有云，） 公有云、私有云、混合云7. 單一系統(tǒng)鏡像包括哪些內容（1）單系統(tǒng)鏡像特征 : 單一系統(tǒng) 、單一控制、對稱性、位置透 明性（2）單系統(tǒng)鏡像（）包括單一入口、單文件層次、單一

19、空間、 單一網絡機制、 單一控制點、 單一作業(yè)管理系統(tǒng)、 單一內存空間 和單一進程空間。（3）額外特征：單一作業(yè)管理系統(tǒng) 所有集群作業(yè)能夠由任意節(jié)點提交到單 一作業(yè)管理系統(tǒng)。單一用戶接口 用戶通過單一圖形界面使用集群。 單一進程空間 各節(jié)點的所有用戶進程形成單一進程空間， 并 且共享統(tǒng)一進程認證機制。集群化的中間件 在集群應用的三個層次上， 中間件支持各種 特征。管理級 該級處理用戶應用程序，并且提供 作業(yè)管理系統(tǒng)。編程級 該級提供單一文件層次（、 、）和分布式共享內存實現級 該級支持單一進程空間、檢查點機 制、進程遷移和單一空間。8. 虛擬化軟件層的基本功能虛擬化實現的層次引入虛擬化后， 不

20、同用戶應用程序由自身的操作系統(tǒng) （即客戶操 作系統(tǒng)） 管理，并且那些客戶操作系統(tǒng)可以獨立于主機操作系統(tǒng) 同時運行在同一個硬件上， 這通常是通過新添加一個稱為虛擬化層的軟件來完成，該 虛擬化層 稱為或虛擬機監(jiān)視器（ ，）指令集體系結構級 ：代碼解釋和動態(tài)二進制翻譯硬件抽象級 ：虛擬化一個計算機硬件資源操作系統(tǒng)級 ：在單一物理服務器上創(chuàng)建隔離的容器和操作系統(tǒng)實 例庫支持級 ：庫接口的虛擬化應用程序級 ：進程級虛擬化、高級語言（ ，）虛擬機虛擬化軟件層的主要功能是將一個主機的物理硬件虛擬化為 可被各虛擬機互斥使用的虛擬資源。 （這可以在不同的操作層實 現） 虛擬化軟件通過在計算機系統(tǒng)的不同層插入虛擬化層來創(chuàng)建虛 擬機抽象。通常的虛擬化層包括指令集體系結構（ ）級、硬件 抽象級、操作系統(tǒng)級、庫支持級和應用程序級編程題傳統(tǒng)串行處理方式沒有讀取文件/* , |*/*/( ) ;();( 0