亞馬遜的云計(jì)算平臺(tái)

亞馬遜的云計(jì)算平臺(tái)演示文稿現(xiàn)在是1頁(yè)\一共有36頁(yè)\編輯于星期六亞馬遜的云計(jì)算平臺(tái)現(xiàn)在是2頁(yè)\一共有36頁(yè)\編輯于星期六概述Amazon的云從哪里來(lái)Amazon提供的云計(jì)算服務(wù)AWS的應(yīng)用案例AWS的業(yè)務(wù)流程AWS的體系架構(gòu)及關(guān)鍵技術(shù)現(xiàn)在是3頁(yè)\一共有36頁(yè)\編輯于星期六Amazon的云從哪里來(lái)?一個(gè)簡(jiǎn)單的想法IaaS：將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用主要思想：虛擬優(yōu)勢(shì)：動(dòng)態(tài)申請(qǐng)，資源無(wú)限現(xiàn)在是4頁(yè)\一共有36頁(yè)\編輯于星期六Amazon提供的云計(jì)算服務(wù)彈性計(jì)算云EC2簡(jiǎn)單存儲(chǔ)服務(wù)S3簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù)SimpleDB簡(jiǎn)單隊(duì)列服務(wù)SQS彈性MapReduce服務(wù)內(nèi)容推送服務(wù)CloudFront電子商務(wù)服務(wù)DevPay靈活支付服務(wù)FPS現(xiàn)在是5頁(yè)\一共有36頁(yè)\編輯于星期六AWS的應(yīng)用案例——SmugMug為什么選擇AWSSmugMug是一家在線照片存儲(chǔ)共享網(wǎng)站，擁有數(shù)億照片資源和幾十萬(wàn)付費(fèi)用戶。業(yè)務(wù)量的急劇增長(zhǎng)導(dǎo)致該新興公司無(wú)法承受巨額的基礎(chǔ)設(shè)施開(kāi)銷，SmugMug選擇了Amazon的EC2服務(wù)和S3服務(wù)。應(yīng)用AWS后，僅需50人即可完成如此大的業(yè)務(wù)量。

現(xiàn)在是6頁(yè)\一共有36頁(yè)\編輯于星期六SmugMug的基本架構(gòu)現(xiàn)在是7頁(yè)\一共有36頁(yè)\編輯于星期六AWS的業(yè)務(wù)流程注冊(cè)賬戶資源申請(qǐng)創(chuàng)建虛擬節(jié)點(diǎn)將虛擬節(jié)點(diǎn)映射到物理節(jié)點(diǎn)分割算法數(shù)據(jù)處理數(shù)據(jù)同步現(xiàn)在是8頁(yè)\一共有36頁(yè)\編輯于星期六基礎(chǔ)存儲(chǔ)架構(gòu)DynamoDynamo在Amazon服務(wù)平臺(tái)中的地位Dynamo架構(gòu)的主要技術(shù)問(wèn)題采取的相關(guān)技術(shù)數(shù)據(jù)均衡分布改進(jìn)的一致性哈希算法，數(shù)據(jù)備份數(shù)據(jù)沖突處理向量時(shí)鐘（vectorclock）臨時(shí)故障處理Hintedhandoff（數(shù)據(jù)回傳機(jī)制），參數(shù)（W,R,N）可調(diào)的弱quorum機(jī)制永久故障后的恢復(fù)Merkle哈希樹(shù)成員資格以及錯(cuò)誤檢測(cè)基于gossip的成員資格協(xié)議和錯(cuò)誤檢測(cè)現(xiàn)在是9頁(yè)\一共有36頁(yè)\編輯于星期六數(shù)據(jù)均衡分布的問(wèn)題一致性哈希算法優(yōu)勢(shì)：--負(fù)載均衡--屏蔽節(jié)點(diǎn)處理能力差異現(xiàn)在是10頁(yè)\一共有36頁(yè)\編輯于星期六Dynamo的數(shù)據(jù)沖突處理最終一致性模型向量時(shí)鐘

（VectorClock）現(xiàn)在是11頁(yè)\一共有36頁(yè)\編輯于星期六Dynamo的臨時(shí)故障處理機(jī)制讀寫(xiě)參數(shù)W、R、N N：系統(tǒng)中每條記錄的副本數(shù) W：每次記錄成功寫(xiě)操作需要寫(xiě)入的副本數(shù) R：每次記錄讀請(qǐng)求最少需要讀取的副本數(shù)。滿足R+W>N，用戶即可自行配置R和W優(yōu)勢(shì)：實(shí)現(xiàn)可用性與容錯(cuò)性之間的平衡現(xiàn)在是12頁(yè)\一共有36頁(yè)\編輯于星期六Dynamo的永久性故障恢復(fù)Merkle哈希樹(shù)技術(shù) Dynamo中Merkle哈希樹(shù)的葉子節(jié)點(diǎn)是存儲(chǔ)數(shù)據(jù)所對(duì)應(yīng)的哈希值，父節(jié)點(diǎn)是其所有子節(jié)點(diǎn)的哈希值現(xiàn)在是13頁(yè)\一共有36頁(yè)\編輯于星期六成員資格及錯(cuò)誤檢測(cè)基于Gossip協(xié)議的成員檢測(cè)機(jī)制現(xiàn)在是14頁(yè)\一共有36頁(yè)\編輯于星期六彈性計(jì)算云EC2EC2是什么EC2的主要特性EC2基本架構(gòu)及主要概念EC2應(yīng)用實(shí)戰(zhàn)現(xiàn)在是15頁(yè)\一共有36頁(yè)\編輯于星期六EC2是什么EC2（ElasticComputeCloud）簡(jiǎn)言之，EC2就是一部具有無(wú)限采集能力的虛擬計(jì)算機(jī)，用戶能夠用來(lái)執(zhí)行一些處理任務(wù)。EC2的場(chǎng)景描述

現(xiàn)在是16頁(yè)\一共有36頁(yè)\編輯于星期六EC2的主要特性靈活性：可自行配置運(yùn)行的實(shí)例類型、數(shù)量，還可以選擇實(shí)例運(yùn)行的地理位置。可以根據(jù)用戶的需求隨時(shí)改變實(shí)例的使用數(shù)量。低成本：按小時(shí)計(jì)費(fèi)安全性：SSH、可配置的防火墻機(jī)制、監(jiān)控等易用性：用戶可以根據(jù)亞馬遜提供的模塊自由構(gòu)建自己的應(yīng)用程序，同時(shí)EC2還會(huì)對(duì)用戶的服務(wù)請(qǐng)求自動(dòng)進(jìn)行負(fù)載平衡容錯(cuò)性：彈性IP現(xiàn)在是17頁(yè)\一共有36頁(yè)\編輯于星期六EC2的幾個(gè)重要概念(1)Amazon機(jī)器映像AMI（AmazonMachineImage）

——由一個(gè)操作系統(tǒng)和當(dāng)虛擬機(jī)啟動(dòng)時(shí)你想要預(yù)先載入的任何的應(yīng)用程序組成。

——AMI是用戶整個(gè)云計(jì)算平臺(tái)運(yùn)行的基礎(chǔ)，用戶使用EC2服務(wù)的第一步就是要?jiǎng)?chuàng)建一個(gè)自己的AMI。

——公共AMI、私有AMI、付費(fèi)AMI、共享AMI現(xiàn)在是18頁(yè)\一共有36頁(yè)\編輯于星期六EC2的幾個(gè)重要概念(2)實(shí)例Instance：用戶創(chuàng)建好AMI后，實(shí)際運(yùn)行的系統(tǒng)資源SmallLargeExtraLargeHigh-CPUMediumHigh-CPUExtraLarge平臺(tái)32位64位64位32位64位CPU1ECU4ECU8ECU5ECU20ECU內(nèi)存1.7G7.5G15G1.7G7G存儲(chǔ)容量160G850G1690G350G1690G實(shí)例類型名m1.smallm1.largem1.xlargec1.mediumc1.xlarge現(xiàn)在是19頁(yè)\一共有36頁(yè)\編輯于星期六EC2的幾個(gè)重要概念(3)彈性塊存儲(chǔ)EBS（ElasticBlockStore）

——卷，每個(gè)EBS最多創(chuàng)建20個(gè)卷

——快照現(xiàn)在是20頁(yè)\一共有36頁(yè)\編輯于星期六EC2的幾個(gè)重要概念(4)區(qū)域現(xiàn)在是21頁(yè)\一共有36頁(yè)\編輯于星期六EC2的基本架構(gòu)現(xiàn)在是22頁(yè)\一共有36頁(yè)\編輯于星期六EC2應(yīng)用實(shí)戰(zhàn)注冊(cè)用戶，選擇支付方式使用EC2的幾個(gè)前提條件

JavaRuntimeEnvironment

AmazonEC2command-linetools

PuTTY&PuTTYgen配置工具運(yùn)行實(shí)例現(xiàn)在是23頁(yè)\一共有36頁(yè)\編輯于星期六簡(jiǎn)單存儲(chǔ)服務(wù)S3S3（SimpleStoreService）的設(shè)計(jì)思路數(shù)據(jù)一致性模型現(xiàn)在是24頁(yè)\一共有36頁(yè)\編輯于星期六S3的設(shè)計(jì)思路(1)S3為任意類型的文件提供臨時(shí)或永久的存儲(chǔ)服務(wù)非傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)模式——簡(jiǎn)單、高效

——存儲(chǔ)、讀取，非查詢現(xiàn)在是25頁(yè)\一共有36頁(yè)\編輯于星期六S3的設(shè)計(jì)思路(2)基本概念

——對(duì)象：S3的基本存儲(chǔ)單元（數(shù)據(jù)、元數(shù)據(jù)），數(shù)據(jù)類型任意

——鍵：對(duì)象的唯一標(biāo)識(shí)符

——桶：存儲(chǔ)對(duì)象的容器（不能嵌套、在S3中名稱唯一、每個(gè)用戶最多創(chuàng)建100個(gè)桶）現(xiàn)在是26頁(yè)\一共有36頁(yè)\編輯于星期六S3的設(shè)計(jì)思路(3)現(xiàn)在是27頁(yè)\一共有36頁(yè)\編輯于星期六S3的數(shù)據(jù)一致性模型冗余存儲(chǔ)最終一致性模型現(xiàn)在是28頁(yè)\一共有36頁(yè)\編輯于星期六簡(jiǎn)單隊(duì)列服務(wù)SQS(1)目標(biāo)：解決低耦合系統(tǒng)間的通信問(wèn)題，支持分布式計(jì)算機(jī)系統(tǒng)之間的工作流特點(diǎn)：簡(jiǎn)單、無(wú)處不在

——“在互聯(lián)網(wǎng)的所有計(jì)算機(jī)不用安裝任何軟件或特殊防火墻配置就可以增加或讀消息”處理端：EC2上的AMI現(xiàn)在是29頁(yè)\一共有36頁(yè)\編輯于星期六簡(jiǎn)單隊(duì)列服務(wù)SQS(2)機(jī)制：——冗余存儲(chǔ)，基于加權(quán)隨機(jī)分布的消息取樣

——并發(fā)管理和故障排除，消息的可見(jiàn)性超時(shí)值與生命周期現(xiàn)在是30頁(yè)\一共有36頁(yè)\編輯于星期六簡(jiǎn)單隊(duì)列服務(wù)SQS(3)現(xiàn)在是31頁(yè)\一共有36頁(yè)\編輯于星期六簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù)SimpleDBSDB與S3的區(qū)別SDB與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的區(qū)別SDB的基本結(jié)構(gòu)及主要概念現(xiàn)在是32頁(yè)\一共有36頁(yè)\編輯于星期六SDB與S3的區(qū)別S3是專為大型，非結(jié)構(gòu)化的數(shù)據(jù)塊設(shè)計(jì)的SimpleDB是為復(fù)雜的，結(jié)構(gòu)化數(shù)據(jù)建立的，支持?jǐn)?shù)據(jù)的查找、刪除、插入等操作

現(xiàn)在是33頁(yè)\一共有36頁(yè)\編輯于星期六SDB與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別(1)傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)——表結(jié)構(gòu)SDB樹(shù)狀結(jié)構(gòu)現(xiàn)在是34頁(yè)\一共有36頁(yè)\編輯于星期六SDB的基本結(jié)構(gòu)現(xiàn)在是35頁(yè)\一共有