云計算實際案例

云計算案例劉馳Outline(一)云計算案例案例一：AmazonWebService案例二：Yahoo!案例三：eBay案例四：Baidu案例五：Google(二)商業(yè)模式AmazonWebServiceAWS’scoreservicescomputestoragedatabaseMessagingAWS客戶廣泛，其中包括著名的互聯(lián)網(wǎng)公司和創(chuàng)業(yè)型公司2010年，AWS部門的收入已達5億美元，已經(jīng)成為Amazon收入的重要組成部分AWS-ComputeAmazonElasticComputingCloud(EC2)IaaS,providecomputeresourcesthroughvirtualizationUserscandynamicallyapply/stopresourcesbasedontheirneedsAmazonElasticMapReduceBasedonAmazonEC2andAmazonS3,buildHadoopframeworkAWS-StorageAmazonSimpleStorageService(S3)ExtendablestoragesizeOtherAWSservicescandirectlyaccessdataonS3AWS-DatabaseAmazonSimpleDBBaseonS3andEC2LightweightdatastoreandqueryservicesAmazonRelationalDatabaseService(RDS)ProvidefunctionalitiestowithMySQLSupportOracleDatabase11gAWS-MessagingAmazonSimpleQueueService(SQS)提供計算機之間傳遞和存儲消息服務(wù)AmazonSimpleNotificationService(SNS)在云中建立、操作和發(fā)送通知的Web服務(wù)AmazonSimpleEmailService(SES)提供高擴展的大量事務(wù)性郵件發(fā)送服務(wù)ExampleYahoo!CloudServices

Users

Applications

FunctionalCloud

Services

HorizontalCloud

Services

PhysicalLayer

Y!OS,BOSS,YQL,APT,Analytics,…Storage,Batch,EdgeServing,…Yahoo!CloudServices:

FocusonPaaSofferings

Users

Applications

FunctionalCloud

Services

HorizontalCloud

Services

PhysicalLayer

IaaSPaaSSaaSHorizontalCloud–Storage&HadoopAnalyzeextremelylargedatasets

FunctionalCloud–ContentOptimizationRatecontentitemsbasedonvariousparameters

Application–Yahoo’sFrontPageDisplay“highrating”itemstotherightusersBenefitconsumersandadvertisersandgrow

Yahoo!’srevenueProduct:FrontPageProduct:TheInquisitorHorizontalCloud–HadoopAnalyzelargesearch-indexdatasets

FunctionalCloud-BOSSExposethedatainastructured,open,

flexibleand“cloudlike”way

Applications-iPhoneTMInquisitorLeverageBOSStoprovideinnovativeconsumerexperienceBenefitconsumersandgrowYahoo!’srevenueHorizontalCloudServices

Users

Applications

FunctionalCloud

Services

HorizontalCloud

Services

PhysicalLayer

HorizontalCloudServicesOptimizedforYahoo!-scaleYahoo!-internalfocusDataprocessingandservingenvironmentsDrivefasterinnovationandagilityShorterproductdevelopmentcyclesReducelaborandcostsforinfrastructureMulti-yeareffortStrategicinvestmentacrossthecompanyHorizontalCloudServices:ConceptualViewCommonApproachestoQA,ProductionEngineering,PerformanceEngineering,DatacenterManagement,andOptimizationID&AccountManagementSharedInfrastructureProvisioning&Virtualization(Xen)SimpleAPI’sOperationalStorage

Structured,unstructuredBatchStorage&Processing

Hadoop,PIGEdgeContentServices

Caching,ProxiesOnline

Serving

Web,DataSecurityandAuthenticationMetering,BillingMonitoring&QoSHorizontalCloudServices:UseCasesAdsOptimizationContentOptimizationSearchIndexImage/VideoStorage&DeliveryMachineLearning

(e.g.Spamfilters)AttachmentStorageYahoo!runsalargeHadoopClusters25,000+nodesClustersofupto4,000nodes4TiersofclustersDevelopment&Testing,POCs,Science&Research,ProductionTerasortBenchmarks62secondstosortOneTerabyte(runon1,500nodes)16.25hourstosortOnePetabyte(runon3,700nodes)Webmapapplication~490TBshuffling~280TBoutputCaseStudy-SearchAssist?DatabaseforSearchAssist?isbuiltusingHadoop.3yearsoflog-data,20-stepsofmap-reduce

LeverageHadoop’sscalability,loadbalancingandresiliencySimplifiedaccess,flexibilityforrapidinnovation(fromC++toPython)BeforeHadoopAfterHadoopTime26days20minutesDevelopmentTime2-3weeks2-3days32FunctionalCloudServicesROI&Innovation

Users

Applications

FunctionalCloud

Services

HorizontalCloud

Services

PhysicalLayer

FunctionalCloudServicesProvidesfunctionalcapabilitiesforapplicationsHelpdeveloperstoaccomplishintegratedwebexperiencesinafasterandeasierwayProvidecommonsetoffunctional“buildingblocks”

“Poweredby”thehorizontalcloudservicesAbstractsinfrastructureservicesfromtheApplicatione.g.,Storage,Compute,Serving,RobustnessandScalabilitySelf-Served,Global,Managed,ElasticandMeteredFunctionalCloudServices:YQL&BOSS

Asingleendpointservicethatenablesdeveloperstoquery,filterandcombinedataacross

Yahoo!andbeyond

/yql/console/ProvidingYahoo!SearchinfrastructureandtechnologytodevelopersandcompaniestohelpthembuildtheirownsearchexperiencesBuildyourOwnSearchService/search/boss/Yahoo!QueryLanguageBuildyourOwnSearchService(BOSS)Yahoo!'sopensearchwebservicesplatformServinghundredsofmillionsofusersacrosstheWeb.Goal:fosterinnovationinthesearchindustryBuildandlaunchweb-scalesearchproductsthatutilizetheentireYahoo!Searchindex.AccesstoYahoo!'sinvestmentsincrawlingandindexing,rankingandrelevancyalgorithmsYahoo!QueryLanguage(YQL)Singleendpointservicetoquery,filterandcombinedataacrossYahoo!andbeyond“InternetAPI”SQL-likeSELECTsyntaxforgettingtherightdataQuicklydiscoveravailabledatasourcesandstructureCombineddatafromasinglewebbrowserEasy-to-useConsole/yql/console/Y!OSandCloud

Yahoo!OpenStagey(Y!OS):Goals3940Y!OSandCloudStrategyCLOUDSERVICESOpenCollaborationsaroundtheglobeM45-Yahoo!’ssupercomputingcluster4,000cores,3TBRAM,1.5PBdisks,27teraflops!OperationalsinceNovember2007,4majorUniversitiesFocusonhighlyparallelcomputing

OpenCirrus?withHP&IntelAglobal,multi-datacenter,opensourcetestbedTargettoadvancecloudcomputingresearch&educationSimulatesareal-life,Internet-scaleenvironment9Globalsites,morethan50researchprojectsCloudComputingateBayHadoop在百度的應(yīng)用在百度，Hadoop主要應(yīng)用于以下幾個方面：日志的存儲和統(tǒng)計網(wǎng)頁數(shù)據(jù)的分析和挖掘商業(yè)分析，如用戶的行為、廣告關(guān)注度在線數(shù)據(jù)的反饋，及時得到在線廣告的點擊情況用戶網(wǎng)頁的聚類，分析用戶的推薦度及用戶之間的關(guān)聯(lián)度框計算用戶在框中輸入服務(wù)需求系統(tǒng)識別用戶的需求基于服務(wù)提供商直接返回服務(wù)需求分析基于互聯(lián)網(wǎng)的一站式服務(wù)服務(wù)集成百度框計算確定用戶需求后會選擇哪個服務(wù)提供者為用戶提供服務(wù)百度的選擇甚至影響一些服務(wù)提供商的發(fā)展云計算帶來的影響不僅限于技術(shù)，任何互聯(lián)網(wǎng)公司都不能置身事外。Google云計算技術(shù)云計算產(chǎn)品Google云計算技術(shù)Google在云計算擁有著名的GFS、Bigtable、MapReduce三大技術(shù)GFS針對數(shù)據(jù)密集型應(yīng)用的分布式文件系統(tǒng)運行在廉價硬件環(huán)境上并擁有較高的容錯性Bigtable管理海量結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)提供簡單的數(shù)據(jù)模式動態(tài)地控制數(shù)據(jù)部署通過維護稀疏的多維排序映射表來檢索數(shù)據(jù)MapReduce編程模型利用輸入鍵/值對集輸出新的鍵/值對集將并行計算細節(jié)隱藏用戶只需實現(xiàn)map函數(shù)和reduce函數(shù)即可Google云計算產(chǎn)品GooglAppEngine一種架構(gòu)Web應(yīng)用程序的平臺提供SDK開發(fā)套件開發(fā)Web應(yīng)用程序，并將其上傳到平臺上Google負責應(yīng)用的管理和維護平臺還提供網(wǎng)頁抓取、圖像操作、郵件等多種服務(wù)云端應(yīng)用程序GoogleDocs基于Web的文檔處理程序支持在線編輯和多人協(xié)作GoogleCloudConnect可以直接將本地Microsoftoffice和云端的GoogleDocs連結(jié)起來文檔在本地保存的同時也保存在云中并通過鏈接向別人分享自己的文檔小結(jié)云計算的發(fā)展歷程:產(chǎn)品2006年至今，經(jīng)過10多年的發(fā)展，云計算技術(shù)不斷成熟起來，已經(jīng)被廣泛應(yīng)用到各個領(lǐng)域（企業(yè)、游戲、醫(yī)療、金融等），有效地解決了傳統(tǒng)IT技術(shù)面臨的投資成本過高、運維工作量大、操作不靈活和數(shù)據(jù)安全無法保障等問題。各種云平臺陸續(xù)產(chǎn)生。目前，90%以上的企業(yè)都在公共云、私有云或混合云環(huán)境中采用云計算技術(shù)。

代表性產(chǎn)品：阿里云2009年9月成立，目標是打造先進的、以數(shù)據(jù)為中心的云計算服務(wù)平臺計劃為阿里巴巴集團以及整個電子商務(wù)生態(tài)鏈提供強大和完整的互聯(lián)網(wǎng)計算服務(wù)：云計算基礎(chǔ)設(shè)施服務(wù)提供商互聯(lián)網(wǎng)數(shù)據(jù)分享平臺代表性產(chǎn)品：威邦桌面云威邦分布式桌面云是面向地理分布型的集團應(yīng)用，以實現(xiàn)統(tǒng)一的調(diào)度、管理、監(jiān)控和運維；物理設(shè)施（如服務(wù)器、交換機、存儲資源）異地化；有助于實現(xiàn)各分公司、基地之間人員差旅和集中培訓(xùn)等臨時性流動，可以在桌面云系統(tǒng)覆蓋的任何地理位置采用云終端登錄獲取自己的虛擬辦公桌面進行正常辦公，并使用自己常駐地的IT共享設(shè)施（如打印機等）。案例:雙十一場景電子商務(wù)(天貓雙十一全球嘉年華)2016年雙11零點開始的半個小時里，超過6千萬的用戶使用手機來同時參與了這次活動，在零點的流量高峰，創(chuàng)造了每秒交易峰值17.5萬筆，每秒支付峰值12萬筆的新紀錄。需求短時間響應(yīng)海量用戶需求99.99%的請求延遲可控關(guān)鍵技術(shù)

靈活的資源管理數(shù)以萬計的實時響應(yīng)請求案例:物聯(lián)網(wǎng)—無人機需求油氣探測環(huán)境預(yù)測并行處理數(shù)百萬實時高清視頻流關(guān)鍵技術(shù)高性能CPU和GPU：在線視頻處理海量數(shù)據(jù)分析：多維實時決策案例:物聯(lián)網(wǎng)—智能交通場景自動駕駛需求實時在線分析數(shù)據(jù)：路徑選擇、性能保證、擁塞控制等。關(guān)鍵技術(shù)實時作業(yè)調(diào)度實時監(jiān)控和計算延遲控制案例:物聯(lián)網(wǎng)—智能家居需求支持智能家居后端云環(huán)境：數(shù)據(jù)分析、存儲和推薦等。關(guān)鍵技術(shù)海量數(shù)據(jù)存儲推薦系統(tǒng)案例:物聯(lián)網(wǎng)—視頻監(jiān)控全城攝像頭實時交通信息

公共安全系統(tǒng)挑戰(zhàn)實時視頻分析高吞吐量案例:物聯(lián)網(wǎng)—農(nóng)業(yè)生產(chǎn)奶牛場500萬頭奶牛生產(chǎn)線故障分析系統(tǒng)挑戰(zhàn)實時分析高產(chǎn)量案例:物聯(lián)網(wǎng)—醫(yī)療應(yīng)用醫(yī)院健康數(shù)據(jù)分析精密醫(yī)療1000萬人系統(tǒng)挑戰(zhàn)連續(xù)訓(xùn)練機器學(xué)習(xí)模型處理大數(shù)據(jù)量小結(jié)互聯(lián)網(wǎng)公司云計算的主要提供者和使用者，也是云計算的重要推動者分析和處理海量數(shù)據(jù)新的商業(yè)模式普通用戶享受到高性能所帶來的服務(wù)和便利云計算的問題安全性在云中如何保護用戶的隱私并讓用戶放心？標準化各大IT公司又能否推出統(tǒng)一的標準？云計算商業(yè)模式商業(yè)模式介紹IT界商業(yè)模式案例探析社會計算商業(yè)模式案例探析云計算商業(yè)模式案例探析云計算商業(yè)模式什么是商業(yè)模式為實現(xiàn)客戶價值最大化，把能使企業(yè)運行的內(nèi)外各要素整合起來，形成一個完