云計算課堂討論題

1、 如何理解分布式系統(tǒng)中的CAP定理？（一致性、可用性、分區(qū)容錯性）CAP原則又稱CAP定理，指的是在一個分布式系統(tǒng)中，Consistency^一致性）、Availability（可用性）、Partitiontolerance（分區(qū)容錯性），三者不可得兼。一致性（C）：在分布式系統(tǒng)中的所有數(shù)據(jù)備份，在同一時刻是否同樣的值。（等同于所有節(jié)點訪問同一份最新的數(shù)據(jù)副本），換句話就是說，任何時刻，所用的應用程序都能訪問得到相同的數(shù)據(jù)?？捎眯裕ˋ）：在集群中一部分節(jié)點故障后，集群整體是否還能響應客戶端的讀寫請求。（對數(shù)據(jù)更新具備高可用性），換句話就是說，任何時候，任何應用程序都可以讀寫數(shù)據(jù)。分區(qū)容錯性（P）：以實際效果而言，分區(qū)相當于對通信的時限要求。系統(tǒng)如果不能在時限內(nèi)達成數(shù)據(jù)一致性，就意味著發(fā)生了分區(qū)的情況，必須就當前操作在C和A之間做出選擇，換句話說，系統(tǒng)可以跨網(wǎng)絡分區(qū)線性的伸縮和擴展。2、 云計算平臺（系統(tǒng)）的核心技術是虛擬化技術、服務計算（功能服務化、按需服務、按需收費）、分布式技術（分布式存儲、分布式計算一分而治之）。如何理解？虛擬化是云計算最重要的核心技術之一，它為云計算服務提供基礎架構層面的支撐，是ICT服務快速走向云計算的最主要驅動力。從技術上講，虛擬化是一種在軟件中仿真計算機硬件，以虛擬資源為用戶提供服務的計算形式。旨在合理調(diào)配計算機資源，使其更高效地提供服務。它把應用系統(tǒng)各硬件間的物理劃分打破，從而實現(xiàn)架構的動態(tài)化，實現(xiàn)物理資源的集中管理和使用。虛擬化的最大好處是增強系統(tǒng)的彈性和靈活性，降低成本、改進服務、提高資源利用效率。服務計算（ServiceComputing）泛指以服務及其組合為基礎構造應用這一新開發(fā)范型相關的方法、技術、規(guī)范、理論和支撐環(huán)境分布式網(wǎng)絡存儲系統(tǒng)采用可擴展的系統(tǒng)結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴展。3、 Hadoop是開源（opensource）的云計算實現(xiàn)系統(tǒng)。你如何認識開源產(chǎn)品和閉源產(chǎn)品？開源是一種生產(chǎn)軟件和發(fā)布軟件的方法。它只是一個執(zhí)行的范例。開源意味著沒有使用費用；只要在幾個規(guī)則下，你就可以隨意使用，其中包括的發(fā)布規(guī)則在開源使用說明中已有描述。與閉源代碼產(chǎn)品（如Oracle公司或尤其是微軟公司）不同，其使用許可并不復雜。使用真正的開源代碼，你可以得到使用許可證移動性，這意味著云計算使用許可中的一切。4、 Hadoop系統(tǒng)主要有哪四大模塊?相互關系如何?作為計算機類專業(yè)人士，如何利用好Hadoop提供的編程接口進行Hadoop平臺上的二次開發(fā)？Hadoop架包括以下四個模塊:（p182）HadoopCommon這些是其他Hadoop模塊所需的Java庫和實用程序。這些庫提供文件系統(tǒng)和操作系統(tǒng)級抽象。井包含啟動Hadoop所需的Java文件和腳本。HadoopYARN這是一個用于作業(yè)調(diào)度和集群資源管理的框架。HadoopDistributedFileSystem（HDFS）分布式文件系統(tǒng)，提供時應用程序數(shù)據(jù)的高吞吐量訪間。HadoopMapReduce這是基于YARN的用于并行處理大數(shù)據(jù)集的系統(tǒng)。編程接口：（p202）2018.5.241、Hadoop2.0主要有哪些主要組件?記住主要的六個組件的功能。HDFS:如果您希望有4000多臺電腦處理您的數(shù)據(jù)，那么最好將您的數(shù)據(jù)分發(fā)給4000多臺電腦。HDFS可以幫助您做到這一點。HDFS有幾個可以移動的部件。Datanodes存儲數(shù)據(jù)，Namenode跟蹤存儲的位置。還有其他部件，但這些已經(jīng)足以使您開始了。MapReduce:這是一個面向Hadoop的編程模型。有兩個階段，毫不意外，它們分別被稱為Map和Reduce。如果希望給您的朋友留下深刻的印象，那么告訴他們，Map和Reduce階段之間有一個隨機排序。JobTracker管理您的MapReduce作業(yè)的4000多個組件。TaskTracker從JobTracker接受訂單。如果您喜歡Java，那么用Java編寫代碼。如果您喜歡SQL或Java以外的其他語言，您的運氣仍然不錯，您可以使用一個名為HadoopStreaming的實用程序。Hive和Hue:如果您喜歡SQL，您會很高興聽到您可以編寫SQL，并使用Hive將其轉換為一個MapReduce作業(yè)。不，您不會得到一個完整的ANSI-SQL環(huán)境，但您的確得到了4000個注釋和多PB級的可擴展性。Hue為您提供了一個基于瀏覽器的圖形界面，可以完成您的Hive工作。Pig:一個執(zhí)行MapReduce編碼的更高層次的編程環(huán)境。Pig語言被稱為PigLatin。您可能會發(fā)現(xiàn)其命名約定有點不合常規(guī)，但是您會得到令人難以置信的性價比和高可用性。Oozie:管理Hadoop工作流。這并不能取代您的調(diào)度程序或BPM工具，但它在您的Hadoop作業(yè)中提供if-then-else分支和控制。HBase:一個超級可擴展的鍵值存儲。它的工作原理非常像持久的散列映射（對于Python愛好者，可以認為是詞典）。盡管其名稱是HBase，但它并不是一個關系數(shù)據(jù)庫。Zookeeper:用于管理集群的同步性。2、 Hadoop部署版分為社區(qū)版和商用版（穩(wěn)定版），有何區(qū)別?主要是商用版有哪些?社區(qū)版Hadoop：Apache發(fā)布的一款支持數(shù)據(jù)密集型分布式應用并以Apache2.0許可協(xié)議發(fā)布的開源軟件框架。它支持在商品硬件構建的大型集群上運行的應用程序;商用版Hadoop：第三方公司在社區(qū)版Hadoop基礎上進行了一些修改、整合以及各個服務組件兼容性測試；當前hadoop的發(fā)行版本除了Apache的開元版本之外，華為發(fā)行版、Intel發(fā)行版以及Cloudera發(fā)行版等。免費的發(fā)行版則主要是國外的，比如Apache的發(fā)行版、Cloudera發(fā)行版等。3、 Zookeeper組件功能如何?工作原理如何？（p223）4、 Zooleeper、Hbase、Hive組件都提供了常用的兩種實驗方法：Shell接口和編程接口。請舉例說明。（p225,p230,p237）在計算機中，虛擬化（Virtualization）是一種資源管理技術，是將計算機的各種實體資源，如服務器、網(wǎng)絡、內(nèi)存及存儲等，予以抽象、轉換后呈現(xiàn)出來，打破實體結構間的不可切割的障礙，使用戶可以比原本的組態(tài)更好的方式來應用這些資源。這些資源的新虛擬部份是不受現(xiàn)有資源的架設方式，地域或物理組態(tài)所限制。一般所指的虛擬化資源包括計算能力和資料存儲。在實際的生產(chǎn)環(huán)境中，虛擬化技術主要用來解決高性能的物理硬件產(chǎn)能過剩和老的舊的硬件產(chǎn)能過低的重組重用，透明化底層物理硬件，從而最大化的利用物理硬件。1、 比較VMware、Xen等虛擬化產(chǎn)品的關鍵技術，以及對云計算技術提供的支持。Xen是一個開放源代碼虛擬機監(jiān)視器，由劍橋大學開發(fā)。Xen的缺點是操作系統(tǒng)必須進行顯式地修改（“移植”）以在Xen上運行（但是提供對用戶應用的兼容性），所以比較麻煩。使得Xen無需特殊硬件支持，就能達到高性能的虛擬化。Linux的官方內(nèi)核在較早之前已經(jīng)去掉了對Xen的支持。VMWare（VirtualMachineware）是一個“虛擬PC”虛擬機管理管理軟件。它的產(chǎn)品可以使你在一臺機器上同時運行二個或更多Windows>DOS、LINUX系統(tǒng)。與“多啟動”系統(tǒng)相比，VMWare采用了完全不同的概念。多啟動系統(tǒng)在一個時刻只能運行一個系統(tǒng)，在系統(tǒng)切換時需要重新啟動機器。VMWare是真正“同時”運行，多個操作系統(tǒng)在主系統(tǒng)的平臺上，就象標準Windows應用程序那樣切換。而且每個操作系統(tǒng)你都可以進行虛擬的分區(qū)、配置而不影響真實硬盤的數(shù)據(jù)，你甚至可以通過網(wǎng)卡將幾臺虛擬機用網(wǎng)卡連接為一個局域網(wǎng)，極其方便。安裝在VMware操作系統(tǒng)性能上比直接安裝在硬盤上的系統(tǒng)低不少，因此，比較適合學習和測試。是否開源是否免費性能優(yōu)點缺點XEN是是高 1.性能較好。2.開源、免費 操作復雜，維護成本較高，目前已被RedHat拋棄VMWare否否一般相對比較成熟的商業(yè)軟件，市場占有率較大 不開源，需要付費2、 服務器虛擬化有哪些主要底層實現(xiàn)技術？（p252）3、虛擬機遷移的作用？ 簡述虛擬機遷移的主要步驟。（p253）4、 主要的開源虛擬化平臺有哪些？你準備選擇哪一個作為重點學習和構建云計算平臺？AbiCloud企業(yè)級開源云計算平臺、Eucalyptus開源云計算平臺、10genMongoDB開源高性能存儲平臺、.Enomalism彈性計算平臺、云計算平臺Nimbus、OpenStack開源虛擬化平臺（p269）1、 Openstack是什么？（p269）OpenStack是一個開源的云計算管理平臺項目，由幾個主要的組件組合起來完成具體工作。OpenStack支持幾乎所有類型的云環(huán)境，項目目標是提供實施簡單、可大規(guī)模擴展、豐富、標準統(tǒng)一的云計算管理平臺。OpenStack通過各種互補的服務提供了基礎設施即服務（IaaS）的解決方案，每個服務提供API以進行集成。2、Nova、Swift、Glance三者各是什么？有什么關系？（p272、p282、p291）關系：（P291）3、什么是分布式系統(tǒng)中的CAP定理？數(shù)據(jù)一致性模型有幾大類？如何實現(xiàn)最終一致性？一致性（C）：在分布式系統(tǒng)中的所有數(shù)據(jù)備份，在同一時刻是否同樣的值。（等同于所有節(jié)點訪問同一份最新的數(shù)據(jù)副本），換句話就是說，任何時刻，所用的應用程序都能訪問得到相同的數(shù)據(jù)。可用性（A）:在集群中一部分節(jié)點故障后，集群整體是否還能響應客戶端的讀寫請求。（對數(shù)據(jù)更新具備高可用性），換句話就是說，任何時候，任何應用程序都可以讀寫數(shù)據(jù)。分區(qū)容錯性（P）：以實際效果而言，分區(qū)相當于對通信的時限要求。系統(tǒng)如果不能在時限內(nèi)達成數(shù)據(jù)一致性，就意味著發(fā)生了分區(qū)的情況，必須就當前操作在C和A之間做出選擇，換句話說，系統(tǒng)可以跨網(wǎng)絡分區(qū)線性的伸縮和擴展。常用的一致性模型有：a、嚴格一致性b、順序一致性c、因果一致性d、管道一致性e、弱一致性f、釋放一致性g、最終一致性h、deltaconsistency最終一致性的幾種具體實現(xiàn)：1、讀不舊于寫一致性2、會話一致性（3、單讀一致性4、單寫一致性5、寫不舊于讀一致性4、 什么叫守護進程（daemon）?什么叫Hypervisor?守護進程（daemon）介紹守護進程，也稱為精靈進程，是一種運行在后臺的特殊進程，它不存在控制終端，并周期性地執(zhí)行某項任務或等待處理某項任務。Hypervisor是一種運行在物理服務器和操作系統(tǒng)之間的中間軟件層，可允許多個操作系統(tǒng)和應用共享一套基礎物理硬件，因此也可以看作是虛擬環(huán)境中的“元”操作系統(tǒng)，它可以協(xié)調(diào)訪問服務器上的所有物理設備和虛擬機，也叫虛擬機監(jiān)視器（VirtualMachineMonitor）。Hypervisor是所有虛擬化技術的核心。非中斷地支持多工作負載遷移的能力是Hypervisor的基本功能。當服務器啟動并執(zhí)行Hypervisor時，它會給每一臺虛擬機分配適量的內(nèi)存、CPU、網(wǎng)絡和磁盤，并加載所有虛擬機的客戶操作系統(tǒng)。相比于行存儲，列存儲有哪些特點優(yōu)點是針對某個列中的值進行簡單查詢的速度非?？?，需要的內(nèi)部存儲資源最少。這表示對某個列中特定值的搜索可以直接進入該列的存儲區(qū)，而不需要掃描整行的數(shù)據(jù)。這樣也使得數(shù)據(jù)壓縮變得更容易，因為一個列中的數(shù)據(jù)通常具有相同的數(shù)據(jù)類型。這種體系結構在處理數(shù)據(jù)倉庫使用的海量數(shù)據(jù)時沒有問題，但不適合需要進行大量以行的方式進行訪問和更新操作的聯(lián)機事物處理。就是這種數(shù)據(jù)庫之一。在由一萬億行組成的測試數(shù)據(jù)集中，輸入數(shù)據(jù)共很明顯，這是一種適合數(shù)據(jù)倉庫的技術。這種技術雖然在壓縮和快速訪問方面有優(yōu)勢，但也存在插入操作復雜的缺點。公有地址：由InterNIC（InternetNetworkInformationCenter因特網(wǎng)信息中心）負責。這些IP地址分配給注冊并向InterNIC提出申請的組織機構。通過它直接訪問因特網(wǎng)。私有地址：屬于非注冊地址，專門為組織機構內(nèi)部使用。彈《生ip：在EC2啟動實例時，自動地為每個實例分配一個私有IP地址和一個公共IP地址。地理區(qū)域：按照實際的地理位置劃分的可用區(qū)域：根據(jù)是否有獨立的供電系統(tǒng)和冷卻系統(tǒng)等從架構上分析hadoop優(yōu)缺點HDFS缺點：1、 不能做到低延遲：由于hadoop針對高數(shù)據(jù)吞吐量做了優(yōu)化，犧牲了獲取數(shù)據(jù)的延遲，所以對于低延遲數(shù)據(jù)訪問，不適合hadoop，對于低延遲的訪問需求，HBase是更好的選擇，2、 不適合大量的小文件存儲：由于namenode將文件系統(tǒng)的元數(shù)據(jù)存儲在內(nèi)存中，因此該文件系統(tǒng)所能存儲的文件總數(shù)受限于namenode的內(nèi)存容量，根據(jù)經(jīng)驗，每個文件、目錄和數(shù)據(jù)塊的存儲信息大約占150字節(jié)。3、 不適合多用戶寫入文件，修改文件：Hadoop2.0雖然支持文件的追加功能，但是還是不建議對HDFS上的文件進行修改，因為效率低。4、 對于上傳到HDFS上的文件，不支持修改文件，HDFS適合一次寫入，多次讀取的場景。5、 HDFS不支持多用戶同時執(zhí)行寫操作，即同一時間，只能有一個用戶執(zhí)行寫操作。二、HDFS優(yōu)點：1、 高可靠生。Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。2、 高擴展性。Hadoop是在可用