亞馬遜云計(jì)算AWS(AmazonWebService)

1、亞馬遜云計(jì)算aws（amazon web service）概述 amazon的云從哪里來 amazon提供的云計(jì)算服務(wù) aws的應(yīng)用案例 aws的業(yè)務(wù)流程 aws的體系架構(gòu)及關(guān)鍵技術(shù)amazon的云從哪里來? 一個(gè)簡單的想法 iaas：將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用 主要思想：虛擬 優(yōu)勢：動(dòng)態(tài)申請(qǐng)，資源無限amazon提供的云計(jì)算服務(wù) 彈性計(jì)算云ec2 簡單存儲(chǔ)服務(wù)s3 簡單數(shù)據(jù)庫服務(wù)simple db 簡單隊(duì)列服務(wù)sqs 彈性mapreduce服務(wù) 內(nèi)容推送服務(wù)cloudfront 電子商務(wù)服務(wù)devpay 靈活支付服務(wù)fpsaws的應(yīng)用案例smugmug 為什么選擇aws smu

2、gmug是一家在線照片存儲(chǔ)共享網(wǎng)站，擁有數(shù)億照片資源和幾十萬付費(fèi)用戶。業(yè)務(wù)量的急劇增長導(dǎo)致該新興公司無法承受巨額的基礎(chǔ)設(shè)施開銷，smugmug選擇了amazon的ec2服務(wù)和s3服務(wù)。應(yīng)用aws后，僅需50人即可完成如此大的業(yè)務(wù)量。 smugmug的基本架構(gòu)aws的業(yè)務(wù)流程 注冊(cè)賬戶 資源申請(qǐng) 創(chuàng)建虛擬節(jié)點(diǎn) 將虛擬節(jié)點(diǎn)映射到物理節(jié)點(diǎn) 分割算法 數(shù)據(jù)處理 數(shù)據(jù)同步基礎(chǔ)存儲(chǔ)架構(gòu)dynamo dynamo在amazon服務(wù)平臺(tái)中的地位 dynamo架構(gòu)的主要技術(shù)問題問題采取的相關(guān)技術(shù)采取的相關(guān)技術(shù)數(shù)據(jù)均衡分布改進(jìn)的一致性哈希算法，數(shù)據(jù)備份數(shù)據(jù)沖突處理向量時(shí)鐘（vector clock）臨時(shí)故障處理h

3、inted handoff（數(shù)據(jù)回傳機(jī)制），參數(shù)（w,r,n）可調(diào)的弱quorum機(jī)制永久故障后的恢復(fù)merkle哈希樹成員資格以及錯(cuò)誤檢測基于gossip的成員資格協(xié)議和錯(cuò)誤檢測數(shù)據(jù)均衡分布的問題 一致性哈希算法 優(yōu)勢： -負(fù)載均衡 -屏蔽節(jié)點(diǎn)處理能力差異dynamo的數(shù)據(jù)沖突處理 最終一致性模型 向量時(shí)鐘 （vector clock）dynamo的臨時(shí)故障處理機(jī)制 讀寫參數(shù)w、r、nn：系統(tǒng)中每條記錄的副本數(shù)w：每次記錄成功寫操作需要寫入的副本數(shù)r：每次記錄讀請(qǐng)求最少需要讀取的副本數(shù)。 滿足r+wn，用戶即可自行配置r和w 優(yōu)勢：實(shí)現(xiàn)可用性與容錯(cuò)性之間的平衡dynamo的永久性故障恢復(fù) m

4、erkle哈希樹技術(shù)dynamo中merkle哈希樹的葉子節(jié)點(diǎn)是存儲(chǔ)數(shù)據(jù)所對(duì)應(yīng)的哈希值，父節(jié)點(diǎn)是其所有子節(jié)點(diǎn)的哈希值成員資格及錯(cuò)誤檢測 基于gossip協(xié)議的成員檢測機(jī)制彈性計(jì)算云ec2 ec2是什么 ec2的主要特性 ec2基本架構(gòu)及主要概念 ec2應(yīng)用實(shí)戰(zhàn)ec2是什么 ec2（elastic compute cloud） 簡言之，ec2就是一部具有無限采集能力的虛擬計(jì)算機(jī)，用戶能夠用來執(zhí)行一些處理任務(wù)。 ec2的場景描述 ec2的主要特性 靈活性：可自行配置運(yùn)行的實(shí)例類型、數(shù)量，還可以選擇實(shí)例運(yùn)行的地理位置?？梢愿鶕?jù)用戶的需求隨時(shí)改變實(shí)例的使用數(shù)量。 低成本：按小時(shí)計(jì)費(fèi) 安全性：ssh、可

5、配置的防火墻機(jī)制、監(jiān)控等 易用性：用戶可以根據(jù)亞馬遜提供的模塊自由構(gòu)建自己的應(yīng)用程序，同時(shí)ec2還會(huì)對(duì)用戶的服務(wù)請(qǐng)求自動(dòng)進(jìn)行負(fù)載平衡 容錯(cuò)性：彈性ip ec2的幾個(gè)重要概念(1) amazon機(jī)器映像ami（amazon machine image） 由一個(gè)操作系統(tǒng)和當(dāng)虛擬機(jī)啟動(dòng)時(shí)你想要預(yù)先載入的任何的應(yīng)用程序組成。 ami是用戶整個(gè)云計(jì)算平臺(tái)運(yùn)行的基礎(chǔ)，用戶使用ec2服務(wù)的第一步就是要?jiǎng)?chuàng)建一個(gè)自己的ami。 公共ami、私有ami、付費(fèi)ami、共享ami ec2的幾個(gè)重要概念(2) 實(shí)例instance：用戶創(chuàng)建好ami后，實(shí)際運(yùn)行的系統(tǒng)資源資源smalllargeextra largehi

6、gh-cpu mediumhigh-cpuextra large平臺(tái)平臺(tái)32位位64位位64位位32位位64位位cpu1ecu4ecu8ecu5ecu20ecu內(nèi)存內(nèi)存1.7g7.5g15g1.7g7g存儲(chǔ)容量存儲(chǔ)容量160g850g1690g350g1690g實(shí)例類型名實(shí)例類型名m1.smallm1.large m1.xlargec1.mediumc1.xlargeec2的幾個(gè)重要概念(3) 彈性塊存儲(chǔ)ebs（elastic block store） 卷，每個(gè)ebs最多創(chuàng)建20個(gè)卷 快照ec2的幾個(gè)重要概念(4) 區(qū)域ec2的基本架構(gòu)ec2應(yīng)用實(shí)戰(zhàn) 注冊(cè)用戶，選擇支付方式 使用ec2的幾個(gè)前

7、提條件 java runtime environment amazon ec2 command-line tools putty & puttygen 配置工具 運(yùn)行實(shí)例簡單存儲(chǔ)服務(wù)s3 s3（simple store service）的設(shè)計(jì)思路 數(shù)據(jù)一致性模型s3的設(shè)計(jì)思路(1) s3為任意類型的文件提供臨時(shí)或永久的存儲(chǔ)服務(wù) 非傳統(tǒng)關(guān)系數(shù)據(jù)庫存儲(chǔ)模式 簡單、高效 存儲(chǔ)、讀取，非查詢s3的設(shè)計(jì)思路(2) 基本概念 對(duì)象：s3的基本存儲(chǔ)單元（數(shù)據(jù)、元數(shù)據(jù)），數(shù)據(jù)類型任意 鍵：對(duì)象的唯一標(biāo)識(shí)符 桶：存儲(chǔ)對(duì)象的容器（不能嵌套、在s3中名稱唯一、每個(gè)用戶最多創(chuàng)建100個(gè)桶）s3的設(shè)計(jì)思路(3)桶對(duì)象對(duì)

8、象對(duì)象鍵數(shù)據(jù)元數(shù)據(jù)訪問控制s3的數(shù)據(jù)一致性模型 冗余存儲(chǔ) 最終一致性模型簡單隊(duì)列服務(wù)sqs(1) 目標(biāo)：解決低耦合系統(tǒng)間的通信問題，支持分布式計(jì)算機(jī)系統(tǒng)之間的工作流 特點(diǎn)：簡單、無處不在 “在互聯(lián)網(wǎng)的所有計(jì)算機(jī)不用安裝任何軟件或特殊防火墻配置就可以增加或讀消息” 處理端：ec2上的ami簡單隊(duì)列服務(wù)sqs(2) 機(jī)制： 冗余存儲(chǔ)，基于加權(quán)隨機(jī)分布的消息取樣 并發(fā)管理和故障排除，消息的可見性超時(shí)值與生命周期簡單隊(duì)列服務(wù)sqs(3)簡單數(shù)據(jù)庫服務(wù)simpledb sdb與s3的區(qū)別 sdb與傳統(tǒng)關(guān)系數(shù)據(jù)庫的區(qū)別 sdb的基本結(jié)構(gòu)及主要概念sdb與s3的區(qū)別 s3是專為大型，非結(jié)構(gòu)化的數(shù)據(jù)塊設(shè)計(jì)的 simpledb是為復(fù)雜的，結(jié)構(gòu)化數(shù)據(jù)建立的，支持?jǐn)?shù)據(jù)的查找、刪除、插入等操作 sdb與關(guān)系數(shù)據(jù)庫的區(qū)別(1) 傳統(tǒng)的關(guān)系數(shù)據(jù)庫表結(jié)構(gòu) sdb樹狀結(jié)構(gòu)sdb的