云數(shù)據(jù)管理技術(shù)與挑戰(zhàn)

1、云數(shù)據(jù)管理技術(shù)與挑戰(zhàn)中國人民大學(xué)主要內(nèi)容2 云計(jì)算與云數(shù)據(jù)管理概述 各大公司的云數(shù)據(jù)管理技術(shù) 人民大學(xué)研究團(tuán)隊(duì)的工作 云數(shù)據(jù)管理的研究挑戰(zhàn)CLOUD COMPUTING云數(shù)據(jù)管理準(zhǔn)則 （1） Partition Everything and key-value storage 切分萬物以治之?dāng)?shù)據(jù)庫的第一范式無法滿足云數(shù)據(jù)管理準(zhǔn)則 （2） Embrace Inconsistency 容不同乃成大同數(shù)據(jù)庫的ACID的屬性無法滿足云數(shù)據(jù)管理準(zhǔn)則 （4） Scalable and high performance運(yùn)籌滄海量兼容 提供一個(gè)可伸縮的，處理和分析海量數(shù)據(jù)的平臺(tái)撥云見日切分萬物以治之容不同乃成

2、大同狡兔三窟方高枕運(yùn)籌滄海量兼容主要內(nèi)容11 云計(jì)算與云數(shù)據(jù)管理概述 各大公司的云數(shù)據(jù)管理技術(shù) 人民大學(xué)研究團(tuán)隊(duì)的工作 云數(shù)據(jù)管理的研究挑戰(zhàn)主要內(nèi)容Google 文件系統(tǒng)(GFS)適用于大規(guī)模數(shù)據(jù)密集型應(yīng)用程序的可擴(kuò)展分布式文件系統(tǒng)多個(gè)部署GFS的集群已經(jīng)建成目前最大的集群為：10000多個(gè)存儲(chǔ)節(jié)點(diǎn)300+PB的存儲(chǔ)容量可供不同機(jī)器上的上百用戶同時(shí)讀取介紹：觀察1控件的故障時(shí)常發(fā)生系統(tǒng)集成了實(shí)時(shí)監(jiān)控、錯(cuò)誤檢測、容錯(cuò)性和自動(dòng)恢復(fù)等功能超大文件（與普通文件相比）GB大小的文件很正常設(shè)計(jì)集群包含一個(gè)master和多個(gè)chunkservers，并且可供多個(gè)用戶讀取GAE Web應(yīng)用GAE Web服務(wù)基

3、礎(chǔ)設(shè)施分布式存儲(chǔ)服務(wù)應(yīng)用程序運(yùn)行時(shí)環(huán)境應(yīng)用開發(fā)套件管理控制臺(tái)Google App Engine應(yīng)用程序運(yùn)行時(shí)環(huán)境GAE的應(yīng)用程序運(yùn)行時(shí)環(huán)境是一個(gè)可伸縮的Web程序運(yùn)行平臺(tái)目前支持Python和Java可以使用Google提供的豐富的應(yīng)用服務(wù)，如分布式存儲(chǔ)服務(wù)、網(wǎng)頁抓取、郵件、圖像、Google賬戶等云端應(yīng)用Google Docs是基于Web的文字處理和電子表格程序，支持在線協(xié)作、文檔恢復(fù)、文檔檢索Gmail是有效的電子郵件工具，支持即時(shí)消息、視頻聊天、會(huì)話檢索等IBM EnsemblesIBM TSAMIBM WebSphere CloudBurstIBM LotusLiveIBM RC2云環(huán)

4、境管理解決方案IBM TSAMIBM Tivoli Service Automation Manager(TSAM)管理應(yīng)用服務(wù)生命周期的方案IBM WebSphere CloudBurstIBM WebSphere CloudBurst Application(WCA)幫助用戶創(chuàng)建和管理面向服務(wù)的私有云平臺(tái)有效整合了云基礎(chǔ)設(shè)施層和云平臺(tái)層Web控制臺(tái)基礎(chǔ)設(shè)施管理虛擬化解決方案部署用戶合格組管理虛擬器件鏡像模板管理監(jiān)控、審計(jì)和計(jì)費(fèi)腳本包管理數(shù)據(jù)中心資源管理CRM系統(tǒng)ERP系統(tǒng)網(wǎng)上銀行WebSphere Application ServerWebSphere ProcessServerWebSp

5、here PorialDB2數(shù)據(jù)中心管理員應(yīng)用系統(tǒng)SOA環(huán)境WebSphere Cloudburst ApplianceIBM LotusLive通過Web方式交付的服務(wù)會(huì)議服務(wù)LotusLive MeetingsLotusLive Events辦公協(xié)作服務(wù)LotusLive EngageLotusLive Connections電子郵件服務(wù)LotusLive NotesAmazon Web ServiceAmazon S3Amazon EC2Amazon SimpleDBAmazon SQSAmazon S3Amazon Simple Storage Service(S3)云計(jì)算平臺(tái)提供的可

6、靠的網(wǎng)絡(luò)存儲(chǔ)服務(wù)通過互聯(lián)網(wǎng)訪問和管理安全性賬戶認(rèn)證訪問控制列表查詢字符串認(rèn)證可靠性冗余備份的存儲(chǔ)機(jī)制Amazon EC2Amazon EC2是一種云基礎(chǔ)設(shè)施服務(wù)用戶根據(jù)業(yè)務(wù)的需求自由地申請或者終止資源使用優(yōu)勢可伸縮性節(jié)省成本使用靈活安全可靠容錯(cuò)基礎(chǔ)服務(wù)數(shù)據(jù)庫服務(wù)應(yīng)用開發(fā)服務(wù)應(yīng)用打包服務(wù)基礎(chǔ)服務(wù)F基礎(chǔ)服務(wù)為上層服務(wù)和應(yīng)用提供了安全、可靠的支撐環(huán)境三個(gè)關(guān)鍵技術(shù)多租戶元數(shù)據(jù)安全架構(gòu)數(shù)據(jù)庫服務(wù)F數(shù)據(jù)庫服務(wù)數(shù)據(jù)模型數(shù)據(jù)對象持久化采用關(guān)系屬性定義數(shù)據(jù)對象間的關(guān)系數(shù)據(jù)操作Web頁面接口編程接口訪問控制管理安全記錄安全Windows Azure.NET服務(wù)SQL AzureLive服務(wù)Microsoft Wi

7、ndows AzureAzure Fabric 控制器存儲(chǔ)服務(wù)計(jì)算服務(wù)開發(fā)環(huán)境Windows LiveOffice LiveExchangeOnlineSharePointOnlineDynamic CRMOnlineLive服務(wù).NET服務(wù)SQL服務(wù)SharePoint服務(wù)Dynamic CRM服務(wù)應(yīng)用Azure服務(wù)平臺(tái)Windows AzureMicrosoft SQL Azure云環(huán)境的數(shù)據(jù)管理系統(tǒng)不支持CLR、空間數(shù)據(jù)及一些系統(tǒng)管理功能（如啟動(dòng)、停止SQL Server）優(yōu)勢無需對數(shù)據(jù)庫進(jìn)行定期備份提供統(tǒng)一數(shù)據(jù)訪問接口提供更健壯的服務(wù)主要內(nèi)容36 云計(jì)算與云數(shù)據(jù)管理概述 各大公司的云數(shù)

8、據(jù)管理技術(shù) 人民大學(xué)研究團(tuán)隊(duì)的部分工作 云數(shù)據(jù)管理的研究挑戰(zhàn)人大阿里巴巴 云項(xiàng)目簡介：由人大多個(gè)學(xué)院和教授共同合作針對淘寶阿里巴巴海量的交易數(shù)據(jù)進(jìn)行分析和挖掘研究任務(wù)適合研究任務(wù)：宏觀經(jīng)濟(jì)指數(shù)分析-參照人大三大發(fā)布項(xiàng)目開發(fā)指數(shù)平臺(tái)，集成多種統(tǒng)計(jì)算法模型，提供橫向?qū)Ρ确治鲈O(shè)計(jì)周期性自動(dòng)指數(shù)計(jì)算系統(tǒng)，可以按月、周、天自動(dòng)計(jì)算指數(shù)，發(fā)布類似K線圖的動(dòng)態(tài)指數(shù)38人民大學(xué)新開的分布式系統(tǒng)與云計(jì)算課程 （2010年教育部IBM精品課程）39 分布式系統(tǒng)概述分布式云計(jì)算技術(shù)綜述分布式云計(jì)算平臺(tái)分布式云計(jì)算程序開發(fā)已編寫教材介紹分布式系統(tǒng)及云計(jì)算概論清華大學(xué)出版社Hadoop實(shí)戰(zhàn)機(jī)械工業(yè)出版社Coming s

9、oon課程網(wǎng)站網(wǎng)址：/xnh下載教學(xué)課件下載模擬試卷觀看課程視頻獲取課程內(nèi)容主要內(nèi)容42 云計(jì)算與云數(shù)據(jù)管理概述 各大公司的云數(shù)據(jù)管理技術(shù) 人民大學(xué)研究團(tuán)隊(duì)的工作 云數(shù)據(jù)管理的研究挑戰(zhàn)基于云上的數(shù)據(jù)管理的特點(diǎn)計(jì)算資源是可伸縮的數(shù)據(jù)具有備份數(shù)據(jù)存儲(chǔ)在大量分布的結(jié)點(diǎn)之上基于云上的數(shù)據(jù)管理的挑戰(zhàn)（一）數(shù)據(jù)的自我管理和自調(diào)優(yōu)基于云上的數(shù)據(jù)管理的挑戰(zhàn)（二）基于大量節(jié)點(diǎn)的查詢優(yōu)化算法基于大量節(jié)點(diǎn)的索引結(jié)構(gòu)基于云上的數(shù)據(jù)管理的挑戰(zhàn)（三）資源調(diào)度和負(fù)載均衡多租戶情況中總結(jié)47海量數(shù)據(jù)管理：新的挑戰(zhàn)和機(jī)遇； 企業(yè)和學(xué)術(shù)界共同面對的課題云數(shù)據(jù)管理技術(shù)方興未艾國產(chǎn)數(shù)據(jù)庫企業(yè)發(fā)展的一個(gè)新的機(jī)遇和挑戰(zhàn)Further R

10、eadingF. Chang et al. Bigtable: A distributed storage system for structured data. In OSDI, 2006. J. Dean and S. Ghemawat. MapReduce: Simplified data processing on large clusters. In OSDI, 2004. G. DeCandia et al. Dynamo: Amazons highly available key-value store. In SOSP, 2007. S. Ghemawat, H. Gobiof

11、f, and S.-T. Leung. The Google File System. In Proc. SOSP, 2003. D. Kossmann. The state of the art in distributed query processing. ACM Computing Surveys, 32(4):422469, 2000. Further ReadingEfficient Bulk Insertion into a Distributed Ordered Table (SIGMOD 2008)Adam Silberstein, Brian Cooper, Utkarsh

12、 Srivastava, Erik Vee, Ramana Yerneni, Raghu Ramakrishnan PNUTS: Yahoo!s Hosted Data Serving Platform (VLDB 2008)Brian Cooper, Raghu Ramakrishnan, Utkarsh Srivastava, Adam Silberstein, Phil Bohannon, Hans-Arno Jacobsen, Nick Puz, Daniel Weaver, Ramana YerneniAsynchronous View Maintenance for VLSD Da

13、tabases,Parag Agrawal, Adam Silberstein, Brian F. Cooper, Utkarsh Srivastava and Raghu RamakrishnanSIGMOD 2009 Cloud Storage Design in a PNUTShellBrian F. Cooper, Raghu Ramakrishnan, and Utkarsh SrivastavaBeautiful Data, OReilly Media, 2009 Further ReadingF. Chang et al. Bigtable: A distributed storage system for structured data. In OSDI, 2006. J. Dean and S. Ghemawat. MapReduce: Simplified data processing on large clusters. In OSDI, 2004. G. DeCandia et al. Dynamo: Amazons highly available key-value store.