集群和分布式課件

1、集群和分布式一、區(qū)別分布式是以縮短單個任務的執(zhí)行時間來提升效率的，而集群則是通過提高單位時間內執(zhí)行的任務數(shù)來提升效率。 如果一個任務由10個子任務組成，每個子任務單獨執(zhí)行需1小時，則在一臺服務器上執(zhí)行改任務需10小時。采用分布式方案，提供10臺服務器，每臺服務器只負責處理一個子任務，不考慮子任務間的依賴關系，執(zhí)行完這個任務只需一個小時。(這種工作模式的一個典型代表就是Hadoop的Map/Reduce分布式計算模型）而采用集群方案，同樣提供10臺服務器，每臺服務器都能獨立處理這個任務。假設有10個任務同時到達，10個服務器將同時工作，10小時，10個任務同時完成，這樣，整身來看，還是平均1小時

2、完成一個任務?。ㄗ⒁膺@里的任務和子任務的區(qū)別） Ps1：分布式：一個業(yè)務分拆多個子業(yè)務，部署在不同的服務器上 集群：同一個業(yè)務，部署在多個服務器上 Ps2: 集群是個物理形態(tài)，分布式是個工作方式二、集群概念1.兩大關鍵特性 集群是一組協(xié)同工作的服務實體，用以提供比單一服務實體更具擴展性與可用性的服務平臺。在客戶端看來，一個集群就象是一個服務實體，但事實上集群由一組服務實體組成。與單一服務實體相比較，集群提供了以下兩個關鍵特性：可擴展性集群的性能不限于單一的服務實體，新的服務實體可以動態(tài)地加入到集群，從而增強集群的性能。高可用性集群通過服務實體冗余使客戶端免于輕易遇到out of service

3、的警告。在集群中，同樣的服務可以由多個服務實體提供。如果一個服務實體失敗了，另一個服務實體會接管失敗的服務實體。集群提供的從一個出 錯的服務實體恢復到另一個服務實體的功能增強了應用的可用性。二、集群概念2. 兩大能力 為了具有可擴展性和高可用性特點，集群的必須具備以下兩大能力：負載均衡負載均衡能把任務比較均衡地分布到集群環(huán)境下的計算和網(wǎng)絡資源。錯誤恢復由于某種原因，執(zhí)行某個任務的資源出現(xiàn)故障，另一服務實體中執(zhí)行同一任務的資源接著完成任務。這種由于一個實體中的資源不能工作，另一個實體中的資源透明的繼續(xù)完成任務的過程叫錯誤恢復。 負載均衡和錯誤恢復都要求各服務實體中有執(zhí)行同一任務的資源存在，而且對

4、于同一任務的各個資源來說，執(zhí)行任務所需的信息視圖（信息上下文）必須是一樣的。二、集群概念3.兩大技術集群地址集群由多個服務實體組成，集群客戶端通過訪問集群的集群地址獲取集群內部各服務實體的功能。具有單一集群地址（也叫單一影像）是集群的一個基 本特征。維護集群地址的設置被稱為負載均衡器。負載均衡器內部負責管理各個服務實體的加入和退出，外部負責集群地址向內部服務實體地址的轉換。有的負載均 衡器實現(xiàn)真正的負載均衡算法，有的只支持任務的轉換。只實現(xiàn)任務轉換的負載均衡器適用于支持ACTIVE-STANDBY的集群環(huán)境，在那里，集群中只有 一個服務實體工作，當正在工作的服務實體發(fā)生故障時，負載均衡器把后來

5、的任務轉向另外一個服務實體。內部通信為了能協(xié)同工作、實現(xiàn)負載均衡和錯誤恢復，集群各實體間必須時常通信，比如負載均衡器對服務實體心跳測試信息、服務實體間任務執(zhí)行上下文信息的通信。 具有同一個集群地址使得客戶端能訪問集群提供的計算服務，一個集群地址下隱藏了各個服務實體的內部地址，使得客戶要求的計算服務能在各個服務實體之間分布。內部通信是集群能正常運轉的基礎，它使得集群具有均衡負載和錯誤恢復的能力。三、集群分類Linux集群主要分成三大類( 高可用集群， 負載均衡集群，科學計算集群)高可用集群( High Availability Cluster)負載均衡集群(Load Balance Cluste

6、r)科學計算集群(High Performance Computing Cluster)三、集群分類具體包括：Linux High Availability 高可用集群 (普通兩節(jié)點雙機熱備，多節(jié)點HA集群，RAC, shared, share-nothing集群等)Linux Load Balance 負載均衡集群 (LVS等,F5硬件設備.)Linux High Performance Computing 高性能科學計算集群 (Beowulf 類集群.)分布式存儲其他類linux集群 (如Openmosix, rendering farm 等.)四、詳細介紹1. 高可用集群(High Av

7、ailability Cluster)常見的就是2個節(jié)點做成的HA集群，有很多通俗的不科學的名稱，比如雙機熱備, 雙機互備, 雙機.高可用集群解決的是保障用戶的應用程序持續(xù)對外提供服務的能力。 (請注意高可用集群既不是用來保護業(yè)務數(shù)據(jù)的，保護的是用戶的業(yè)務程序對外不間斷提供服務，把因軟件/硬件/人為造成的故障對業(yè)務的影響降低到最小程度)。四、詳細介紹2. 負載均衡集群(Load Balance Cluster)負載均衡系統(tǒng)：集群中所有的節(jié)點都處于活動狀態(tài)，它們分攤系統(tǒng)的工作負載。一般Web服務器集群、數(shù)據(jù)庫集群和應用服務器集群都屬于這種類型。負載均衡集群一般用于相應網(wǎng)絡請求的網(wǎng)頁服務器，數(shù)據(jù)庫

8、服務器。這種集群可以在接到請求時，檢查接受請求較少，不繁忙的服務器，并把請求轉到這些服務器上。從檢查其他服務器狀態(tài)這一點上看，負載均衡和容錯集群很接近，不同之處是數(shù)量上更多。四、詳細介紹3. 科學計算集群(High Performance Computing Cluster)高性能計算(High Perfermance Computing)集群，簡稱HPC集群。這類集群致力于提供單個計算機所不能提供的強大的計算能力。五、分布式（集群）與集群的聯(lián)系與區(qū)別分布式是指將不同的業(yè)務分布在不同的地方。而集群指的是將幾臺服務器集中在一起，實現(xiàn)同一業(yè)務。分布式中的每一個節(jié)點，都可以做集群。而集群并不一定就是

9、分布式的。 舉例：就比如新浪網(wǎng)，訪問的人多了，他可以做一個群集，前面放一個響應服務器，后面幾臺服務器完成同一業(yè)務，如果有業(yè)務訪問的時候，響應服務器看哪臺服務器的負載不是很重，就將給哪一臺去完成。 而分布式，從窄意上理解，也跟集群差不多， 但是它的組織比較松散，不像集群，有一個組織性，一臺服務器垮了，其它的服務器可以頂上來。 分布式的每一個節(jié)點，都完成不同的業(yè)務，一個節(jié)點垮了，哪這個業(yè)務就不可訪問了。六、nginx+tomcat集群配置七、注意：Nginx反向代理實現(xiàn)會話（session）保持的兩種方式一、ip_hash：ip_hash使用源地址哈希算法，將同一客戶端的請求總是發(fā)往同一個后端服務

10、器，除非該服務器不可用。ip_hash語法：upstream backend ip_hash; server ; server ; server down; server ; ip_hash簡單易用，但有如下問題：當后端服務器宕機后，session會丟失；來自同一局域網(wǎng)的客戶端會被轉發(fā)到同一個后端服務器，可能導致負載失衡；不適用于CDN網(wǎng)絡，不適用于前段還有代理的情況。注意：Nginx反向代理實現(xiàn)會話（session）保持的兩種方式二、sticky_cookie_insert：使用sticky_cookie_insert啟用會話親緣關系，這會導致來自同一客戶端的請求被傳遞到一組服務器在同一臺服

11、務器。與ip_hash不同之處在于，它不是基于IP來判斷客戶端的，而是基于cookie來判斷。因此可以避免上述ip_hash中來自同一局域網(wǎng)的客戶端和前段代理導致負載失衡的情況。語法：upstream backend server ; server ; sticky_cookie_insert srv_id expires=1h domain= path=/; 說明：expires：設置瀏覽器中保持cookie的時間domain：定義cookie的域path：為cookie定義路徑八、Tomcat+redis(web后端session保持)+nginx配置九、補充：Nginx負載均衡一些基礎知

12、識:nginx 的 upstream目前支持 4 種方式的分配1)、輪詢（默認） 每個請求按時間順序逐一分配到不同的后端服務器，如果后端服務器down掉，能自動剔除。2)、weight 指定輪詢幾率，weight和訪問比率成正比，用于后端服務器性能不均的情況。2)、ip_hash 每個請求按訪問ip的hash結果分配，這樣每個訪客固定訪問一個后端服務器，可以解決session的問題。3)、fair（第三方） 按后端服務器的響應時間來分配請求，響應時間短的優(yōu)先分配。4)、url_hash（第三方）九、補充：Nginx負載均衡一些基礎知識:在http節(jié)點里添加:#定義負載均衡設備的 Ip及設備狀態(tài)

13、upstream myServer server :9090 down; server :8080 weight=2; server :6060; server :7070 backup;在需要使用負載的Server節(jié)點下添加proxy_passhttp:/myServer;upstream 每個設備的狀態(tài):down 表示單前的server暫時不參與負載weight 默認為1.weight越大，負載的權重就越大。max_fails ：允許請求失敗的次數(shù)默認為1.當超過最大次數(shù)時，返回proxy_next_upstream 模塊定義的錯誤fail_timeout:max_fails 次失敗后，暫停的時間。backup： 其它所有的非backup機器down或者忙的時候，請求backup機器。所以這臺機器壓力會最輕。十、關于WEB集群中文件服務器的討論在WEB集群中一般都要上傳和刪除圖片。小規(guī)模的時候，圖片放在本地，再通過同步方式來保持一致。常見的文件服務器：samba+web，ftp+web，nfs+web,rsync單向同步，分布