《云計算(第三版)》第3章-Amazon-云計算-AWS(三)

第3章Amazon云計算AWS(三)3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.5.1RDS的基本原理3.5.2RDS的使用4RDS的基本原理3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS網(wǎng)絡(luò)CPUCPUCPU內(nèi)存內(nèi)存內(nèi)存硬盤硬盤硬盤AmazonRDS將MySQL數(shù)據(jù)庫移植到集群中，在一定的范圍內(nèi)解決了關(guān)系數(shù)據(jù)庫的可擴展性問題。MySQL集群方式采用了Share-Nothing架構(gòu)。每臺數(shù)據(jù)庫服務(wù)器都是完全獨立的計算機系統(tǒng)，通過網(wǎng)絡(luò)相連，不共享任何資源。這是一個具有較高可擴展性的架構(gòu)，當(dāng)數(shù)據(jù)庫處理能力不足時，可以通過增加服務(wù)器數(shù)量來提高處理能力，同時多個服務(wù)器也增加了數(shù)據(jù)庫并發(fā)訪問的能力。53.5關(guān)系數(shù)據(jù)庫服務(wù)RDSRDS的基本原理集群MySQL小表1表單劃分Sharding小表2小表n存儲于數(shù)據(jù)庫服務(wù)器存儲于數(shù)據(jù)庫服務(wù)器存儲于數(shù)據(jù)庫服務(wù)器表單主要根據(jù)業(yè)務(wù)的需要進行針對性的劃分，對數(shù)據(jù)庫的管理人員提出了非常高的要求，如果劃分得不科學(xué)，則查詢經(jīng)常會跨表單和服務(wù)器，性能就會嚴(yán)重下降。6SlaveASlaveBSlaveCMasterBMasterA主從備份客戶端客戶端客戶端…………寫寫讀RDS的基本原理3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS集群MySQL通過主從備份和讀副本技術(shù)提高可靠性和數(shù)據(jù)處理能力。癱瘓升級并發(fā)處理3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.5.1RDS的基本原理3.5.2RDS的使用8RDS的使用3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS從用戶和開發(fā)者的角度來看，RDS和一個遠(yuǎn)程MySQL關(guān)系數(shù)據(jù)庫沒什么兩樣。Amazon將RDS中的MySQL服務(wù)器實例稱做DBInstance，通過基于Web的API進行創(chuàng)建和管理，其余的操作可以通過標(biāo)準(zhǔn)的MySQL通信協(xié)議完成。創(chuàng)建DBInstance時還需要定義可用的存儲，存儲范圍為5GB到1024GB，RDS數(shù)據(jù)庫中表最大可以達到1TB。可以通過兩種工具對RDS進行操作：命令行工具和兼容的MySQL客戶端程序命令行工具是Amazon提供的Javamazon網(wǎng)站下載。MySQL客戶端是可以與MySQL服務(wù)器進行通信的應(yīng)用程序3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)Amazon為解決云計算平臺之間不同組件的通信專門設(shè)計開發(fā)的簡單隊列服務(wù)SimpleQueueService，SQS3.6簡單隊列服務(wù)SQS3.6.1SQS的基本模型3.6.2SQS的消息12SQS的基本模型3.6簡單隊列服務(wù)SQS隊列消息1消息2消息3消息n……三個組成部分系統(tǒng)組件Component隊列Queue消息Message13SQS的基本模型3.6簡單隊列服務(wù)SQS隊列消息1消息2消息3消息n……系統(tǒng)組件Component系統(tǒng)組件是SQS的服務(wù)對象，而SQS則是組件之間溝通的橋梁既可以是消息的發(fā)送者，也可以是消息的接收者14SQS的基本模型3.6簡單隊列服務(wù)SQS隊列消息1消息2消息3消息n……消息Message消息是發(fā)送者創(chuàng)建的具有一定格式的文本數(shù)據(jù)，接收對象可以是一個或多個組件消息的大小是有限制的，但是消息的數(shù)量并未做限制在SQS中，消息和隊列是最重要的兩個概念。15SQS的基本模型3.6簡單隊列服務(wù)SQS隊列消息1消息2消息3消息n……隊列Queue隊列是存放消息的容器，類似于S3中的桶隊列的數(shù)目是任意的，創(chuàng)建隊列時用戶必須給其指定一個在SQS賬戶內(nèi)唯一的名稱隊列在傳遞消息時會盡可能“先進先出”16SQS的基本模型3.6簡單隊列服務(wù)SQS不過SQS允許用戶在消息中添加有關(guān)的序列數(shù)據(jù)，對于數(shù)據(jù)發(fā)送順序要求比較高的用戶可以在發(fā)送消息之前向其中加入相關(guān)信息。隊列消息1消息2消息3消息n……3.6簡單隊列服務(wù)SQS3.6.1SQS的基本模型3.6.2SQS的消息18SQS的消息3.6簡單隊列服務(wù)SQS消息IDMessageID接收句柄ReceiptHandle消息體Body消息體MD5摘要MD5ofBody由系統(tǒng)返回給用戶，用來標(biāo)識隊列中的不同消息。當(dāng)從隊列中接收消息時就會從消息那里得到一個接收句柄，這個句柄可以用來對消息進行刪除等操作。消息的正文部分，需要注意的是消息存放的是文本數(shù)據(jù)并且不能是URL編碼方式。消息體字符串的MD5校驗和。消息的格式19SQS的消息3.6簡單隊列服務(wù)SQS消息取樣隊列中的消息是被冗余存儲的，同一個消息會存放在系統(tǒng)的多個服務(wù)器上。其目的是為了保證系統(tǒng)的高可用性，但這會給用戶查詢隊列中的消息帶來麻煩。為了解決該問題，SQS采用了基于加權(quán)隨機分布（WeightedRandomDistribution）的消息取樣當(dāng)用戶發(fā)出查詢隊列中消息的命令后，系統(tǒng)在所有的服務(wù)器上使用基于加權(quán)隨機分布算法隨機地選出部分服務(wù)器，然后返回這些服務(wù)器上保存的所查詢的隊列消息副本。20發(fā)出查詢請求返回查詢結(jié)果ABC隊列ABCDAB服務(wù)器1DB服務(wù)器2CD服務(wù)器3AC服務(wù)器4SQS的消息3.6簡單隊列服務(wù)SQS當(dāng)消息數(shù)量較少時，SQS進行消息取樣時可能會出現(xiàn)返回結(jié)果不準(zhǔn)確的現(xiàn)象但由于消息采樣具有隨機性，只要用戶一直查詢下去，總會查詢到所有的消息。21SQS的消息3.6簡單隊列服務(wù)SQSSQS中，用戶執(zhí)行刪除操作后，系統(tǒng)認(rèn)為用戶已接收消息，將隊列中的消息徹底刪除若用戶為接收到數(shù)據(jù)或未執(zhí)行刪除操作，SQS在隊列中保留該消息。為了保證其他組件不會看到用戶的消息，SQS將該消息阻塞（加鎖），但這把鎖不會一直鎖住消息，因為系統(tǒng)保留消息的目的是給用戶重傳數(shù)據(jù)，為此SQS引入了一個可見性超時值。22不可見拓展重新計時可見消息生命周期結(jié)束超過4天接收消息未刪除終止計時時間到時間未到消息刪除未接收SQS的消息3.6簡單隊列服務(wù)SQS擴展操作就是將計時器按照新設(shè)定的值重新計時，終止就是將當(dāng)前的計時過程終止，直接將消息由不可見變?yōu)榭梢姟？梢娦员砻髟撓⒖梢员凰械慕M件查看，可見性超時值相當(dāng)于一個計時器，在設(shè)定好的時間內(nèi)，發(fā)給用戶的消息對于其他所有的組件是不可見的。在計時的過程中可以進行兩種操作：擴展和終止3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)基于Amazon云計算平臺實現(xiàn)的內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)。借助Amazon部署在世界各地的邊緣節(jié)點，用戶可以快速、高效地對由CloudFront提供服務(wù)的網(wǎng)站進行訪問。CloudFront3.7內(nèi)容推送服務(wù)CloudFront3.7.1CDN3.7.2CloudFront26傳統(tǒng)的網(wǎng)絡(luò)服務(wù)模式中，用戶和內(nèi)容提供商位于服務(wù)的兩端，網(wǎng)絡(luò)服務(wù)提供商將兩者聯(lián)系起來。在這種情況下，網(wǎng)絡(luò)服務(wù)提供商僅僅起“橋梁”作用。CDN3.7內(nèi)容推送服務(wù)CloudFront本地DNSDNS服務(wù)器網(wǎng)站服務(wù)器提交所訪問網(wǎng)站域名發(fā)出解析請求返回所訪問網(wǎng)站的IP返回所訪問網(wǎng)站的IP利用網(wǎng)站IP進行訪問1234527CDN3.7內(nèi)容推送服務(wù)CloudFront用戶在發(fā)出服務(wù)請求后，需要經(jīng)過DNS服務(wù)器進行域名解析后得到所訪問網(wǎng)站的真實IP，然后利用該IP訪問網(wǎng)站。在這種模式中，世界各地的訪問者都必須直接和網(wǎng)站服務(wù)器連接才可以訪問相關(guān)內(nèi)容，存在明顯的缺陷。首先其次最后網(wǎng)站服務(wù)器可以容納的訪問量是有限的這種模式中沒有考慮訪問者的地域問題使用不同網(wǎng)絡(luò)服務(wù)提供商服務(wù)的用戶之間的互訪速度也會受到限制CDN技術(shù)通過將網(wǎng)站內(nèi)容發(fā)布到靠近用戶的邊緣節(jié)點，使不同地域的用戶在訪問相同網(wǎng)頁時可以就近獲取。解決辦法28CDN3.7內(nèi)容推送服務(wù)CloudFront本地DNSDNS服務(wù)器智能DNS負(fù)載均衡系統(tǒng)邊緣節(jié)點網(wǎng)站服務(wù)器提交所訪問網(wǎng)站域名1發(fā)出解析請求2重定向3返回邊緣節(jié)點的IP4返回邊緣節(jié)點的IP5返回邊緣節(jié)點的IP6利用邊緣節(jié)點訪問7通過內(nèi)部DNS解析得到IP并向服務(wù)器發(fā)出請求8返回請求內(nèi)容9返回請求內(nèi)容10DNS在對域名進行解析時不再向用戶返回網(wǎng)站服務(wù)器的IP，而是返回了由智能CDN負(fù)載均衡系統(tǒng)選定的某個邊緣節(jié)點的IP。29CDN3.7內(nèi)容推送服務(wù)CloudFront這種訪問模式的好處主要有以下幾點：好處一好處二好處三將網(wǎng)站的服務(wù)流量以比較均勻的方式分散到邊緣節(jié)點中，減輕了網(wǎng)站源服務(wù)器的負(fù)擔(dān)。由于邊緣節(jié)點與訪問者的地理位置較近，訪問速度快。智能DNS負(fù)載均衡系統(tǒng)和各個邊緣節(jié)點之間始終保持著通信聯(lián)系，可以確保分配給用戶的邊緣節(jié)點始終可用且在允許的流量范圍之內(nèi)。30CDN3.7內(nèi)容推送服務(wù)CloudFrontCDN的實現(xiàn)需要多種網(wǎng)絡(luò)技術(shù)的支持，主要包括以下幾種：負(fù)載均衡技術(shù)分布式存儲緩存技術(shù)將流量均勻地分發(fā)到可以完成相同功能的若干個服務(wù)器上，在減輕服務(wù)器壓力的同時也避免了單一網(wǎng)絡(luò)通道的流量擁堵。網(wǎng)站內(nèi)容不再是單一地被保存在源服務(wù)器上，多個邊緣節(jié)點都可能保存相應(yīng)的副本通過將內(nèi)容存儲在本地或網(wǎng)絡(luò)服務(wù)提供商的服務(wù)器上來改善用戶的響應(yīng)時間。3.7內(nèi)容推送服務(wù)CloudFront3.7.1CDN3.7.2CloudFront32CloudFront3.7內(nèi)容推送服務(wù)CloudFrontCloudFront正是通過Amazon設(shè)在全球的邊緣節(jié)點來實現(xiàn)CDN的，但是較普通的CDN而言，它的優(yōu)勢無疑是巨大的。首先CloudFront的收費方式和Amazon的其他云計算收費方式一樣是按用戶實際使用的服務(wù)來收費，這尤其適合那些資金缺乏的中小企業(yè)。其次CloudFront的使用非常簡單，只要配合S3再加上幾個簡單的設(shè)置就可以完成CDN的部署33CloudFront3.7內(nèi)容推送服務(wù)CloudFront對象Object源服務(wù)器OriginServer分發(fā)Distribution利用CloudFront進行分發(fā)的任意一個文件存儲需要分發(fā)文件的位置作用是在CloudFront服務(wù)和源服務(wù)器之間建立一條通道別名指向CNAME邊緣節(jié)點位置EdgeLocation有效期Expiration系統(tǒng)分配給用戶域名的一個別名實際的邊緣節(jié)點服務(wù)器位置文件副本在邊緣節(jié)點上的存放時間34CloudFront3.7內(nèi)容推送服務(wù)CloudFrontCloudFront邊緣節(jié)點S3利用相關(guān)鏈接向服務(wù)器發(fā)出請求1給該訪問請求分配邊緣節(jié)點2邊緣節(jié)點上無請求內(nèi)容則向S3發(fā)出請求3返回請求內(nèi)容的副本4返回請求內(nèi)容5CloudFront在此處就相當(dāng)于CDN中的智能DNS負(fù)載均衡系統(tǒng)，用戶實際是和CloudFront進行服務(wù)交互而不是直接和S3中的原始文件進行交互。CloudFront與其他一些AWS不同的是，它只接受安全的HTTPS方式而不接受HTTP方式進行訪問，這又進一步提高了安全性。3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)快速應(yīng)用部署ElasticBeanstalk和服務(wù)模板CloudFormation

AWSElasticBeanstalk——一種簡化在AWS上部署和管理應(yīng)用程序的服務(wù)。用戶只需上傳自己的程序，系統(tǒng)會自動地進行需求分配、負(fù)載均衡、自動縮放、監(jiān)督檢測等一些具體部署細(xì)節(jié)ElasticBeanstalk虛擬機是一種運行ApacheWebServer、Tomcat和theEnterpriseEditionoftheJavaplatform的AMI虛擬機AWSCloudFormation——為開發(fā)者和系統(tǒng)管理員提供一個簡化的、可視的AWS資源調(diào)用方式。開發(fā)者可以直接利用CloudFormation提供的模板或自己創(chuàng)建的模板方便地建立自己的服務(wù)云中的DNS服務(wù)Router53

傳統(tǒng)DNS服務(wù)器存在問題：域名對應(yīng)IP地址變更傳播非常緩慢Router53——管理DNS、處理DNS請求的全新AWS。該服務(wù)運行在Amazon的云中，提供了DNS授權(quán)服務(wù)器的功能，可以通過RESTAPI進行訪問，API允許用戶創(chuàng)建管理區(qū)（Zone），并在區(qū)中保存DNS記錄為了提供高可用、低延遲的DNS服務(wù)，Amazon在全球分布了多臺服務(wù)器。Route53會把DNS請求路由到最近的服務(wù)器，以便快速地響應(yīng)用戶請求虛擬私有云VPC

Amazon虛擬私有云（VirtualPrivateCloud，VPC）——安全的、可靠的、可以無縫連接企業(yè)現(xiàn)有的基礎(chǔ)設(shè)施和Amazon云平臺的技術(shù)

簡單通知服務(wù)SNS和簡單郵件服務(wù)SESAmazon簡單通知服務(wù)（SimpleNotificationService，SNS）——一種Web服務(wù)，提供方便的信息發(fā)布平臺，具有高的可擴展性和成本優(yōu)勢例如，運行在EC2上應(yīng)用程序發(fā)布更新版本。在未來，Amazon的SNS將整合到如AmazonS3和SimpleDB的其他AWS服務(wù)中Amazon簡單郵件服務(wù)（SimpleEmailService，SES）——一個簡單的高擴展性和具有成本優(yōu)勢的電子郵件發(fā)送服務(wù)將高效率、低成本的優(yōu)勢轉(zhuǎn)移到用戶身上。同時SES采用了內(nèi)容過濾技術(shù)，有效地阻止垃圾郵件彈性MapReduce服務(wù)

通過在EC2上部署Hadoop實現(xiàn)了MapReduce的功能，Amazon將這項服務(wù)整合到AWS之中，為需要進行海量數(shù)據(jù)處理的用戶提供了極大便利彈性MapReduce的運行過程非常簡單，用戶根本不需要考慮計算中涉及的服務(wù)器部署、維護及軟件環(huán)境的配置

任務(wù)流——由一系列前后相關(guān)的處理過程組成的，可以與線性鏈表的結(jié)構(gòu)類比，除了第一個節(jié)點和最后一個節(jié)點，每個節(jié)點既是前一個節(jié)點的后繼也是后一個節(jié)點的前驅(qū)，Amazon的彈性MapReduce將數(shù)據(jù)的實際計算過程都看成是任務(wù)流中的某一個步驟電子商務(wù)服務(wù)DevPay、FPS和SimplePayDevPay——Amazon推出的主要針對開發(fā)者的軟件銷售及賬戶管理平臺開發(fā)者：將自己開發(fā)的付費AMI和基于S3的相關(guān)產(chǎn)品通過DevPay平臺進行發(fā)布用戶：通過DevPay瀏覽包括軟件功能和價格在內(nèi)的相關(guān)信息，購買并支付費用

DevPay和淘寶的簡單類比關(guān)系圖DevPay服務(wù)的基本架構(gòu)圖

電子商務(wù)服務(wù)DevPay、FPS和SimplePayDevPay允許開發(fā)者發(fā)布的產(chǎn)品付費AMI基于S3服務(wù)開發(fā)的產(chǎn)品計費

開發(fā)者向用戶收取的費用

DevPay向開發(fā)者收取的費用

一次性注冊費

服務(wù)使用費月租按時足額繳納使用費用（正常情況）AWS服務(wù)使用費另外計費方式電子商務(wù)服務(wù)DevPay、FPS和SimplePay靈活支付服務(wù)FPS允許用戶根據(jù)需要和實際情況對支付服務(wù)進行各種個性化的設(shè)置，使其和用戶的電子商務(wù)平臺更加契合

FPS服務(wù)中有三種身份的參與者Sender：消費者，是相關(guān)產(chǎn)品或服務(wù)費用的支付者Recipient：銷售者，它接受消費者支付的費用Caller：資金流動的中介者角色，作用是將資金從sender轉(zhuǎn)移到recipientFPS服務(wù)類型適合的交易類型AmazonFPSBasicQuickStart一次性的交易AmazonFPSAdvancedQuickStart買賣雙方多次或重復(fù)交易AmazonFPSMarketplaceQuickStart有中介參與的三方交易AmazonFPSAggregatedPaymentsQuickStart將數(shù)個小額交易集合成單個交易AmazonFPSAccountManagementQuickStart賬戶管理電子商務(wù)服務(wù)DevPay、FPS和SimplePay整個購買流程顧客商品網(wǎng)頁：顧客在該網(wǎng)頁上選購產(chǎn)品CBUI：聯(lián)合品牌標(biāo)志用戶界面（商家及AmazonPayments雙重品牌標(biāo)志）FPS顧客購買基本流程電子商務(wù)服務(wù)DevPay、FPS和SimplePay不同F(xiàn)PS服務(wù)返回的PaymentToken

支付信息中有一個稱為PaymentToken的ID（1）Single-use：一次性交易中所需的Token（2）Recurring-use：每隔固定的間隔時間就對購買進行確認(rèn)所需的Token（3）Multi-use：可以在多次交易中使用的Token（4）Prepaid：使用預(yù)付款方式進行交易中所需的Token（5）Postpaid：使用賒賬方式進行交易所需的Token（6）Editing：對已存在的Token修改時所需FPS服務(wù)的最主要區(qū)別:不同類型的FPS服務(wù)中會返回不同的PaymentTokenFPS還向開發(fā)者提供了一個沙盒測試，而且不會產(chǎn)生任何費用電子商務(wù)服務(wù)DevPay、FPS和SimplePay簡單支付服務(wù)（SimplePay）——是一種允許顧客使用其Amazon賬戶進行支付的服務(wù)，商家只需要在相應(yīng)的Web支付頁面放置合適的按鈕就可以使用戶利用其Amazon賬戶對商品進行支付

最大優(yōu)勢：簡單

按鈕類型功能StandardButton普通的一次性購物MarketplaceButton作為交易的中介者BasicDonationButton允許在美的通過美國國稅局認(rèn)證的非營利性機構(gòu)募集捐款Marketplace-EnabledDonationButton允許第三方機構(gòu)代表非營利性組織來募集捐款SubscriptionButton通過該按鈕可以收取類似訂閱費的重復(fù)性費用，還可以利用該按鈕對用戶提供免費試用服務(wù)或進行產(chǎn)品介紹Amazon執(zhí)行網(wǎng)絡(luò)服務(wù)

Amazon執(zhí)行網(wǎng)絡(luò)（FulfillmentWebService，F(xiàn)WS）——是一個非常有用的代理訂單執(zhí)行網(wǎng)絡(luò)服務(wù)，簡單來說它的作用就是產(chǎn)品存儲及銷售業(yè)務(wù)的托管，也可直接理解為Amazon替用戶銷售產(chǎn)品FWS服務(wù)分成兩個部分Inbound：對應(yīng)著用戶將自己的產(chǎn)品運送到Amazon的存儲中心的過程Outbound：對應(yīng)著顧客購買產(chǎn)品后的一系列流程

土耳其機器人

土耳其機器人——計算機擅長的是有著固定流程的程式化計算，而對于像寫作、翻譯等具有高度靈活性且無固定規(guī)律可循的任務(wù)則顯得無能為力。土耳其機器人的推出就是為了解決這個問題主要概念（1）Requester：任務(wù)的發(fā)布者（2）HIT：Requester發(fā)布的任務(wù)（3）Worker：任務(wù)的接受者（4）Assignment：可以用來監(jiān)督HIT的完成情況，對于每個Worker都會創(chuàng)建一個assignment。（5）Reward：Worker成功完成HIT后需要支付給其的獎勵土耳其機器人