關(guān)于云云數(shù)據(jù)管理與挑戰(zhàn)

1、云數(shù)據(jù)管理技術(shù)與挑戰(zhàn)中國人民大學(xué)中國人民大學(xué)主要內(nèi)容2 云計算與云數(shù)據(jù)管理概述云計算與云數(shù)據(jù)管理概述 各大公司的云數(shù)據(jù)管理技術(shù)各大公司的云數(shù)據(jù)管理技術(shù) 人民大學(xué)研究團(tuán)隊的工作人民大學(xué)研究團(tuán)隊的工作 云數(shù)據(jù)管理的研究挑戰(zhàn)云數(shù)據(jù)管理的研究挑戰(zhàn) 云數(shù)據(jù)管理的新思維云數(shù)據(jù)管理準(zhǔn)則 （1） Partition Everything and key-value storage 切分萬物以治之切分萬物以治之?dāng)?shù)據(jù)庫的第一范式無法滿足云數(shù)據(jù)管理準(zhǔn)則 （2） Embrace Inconsistency 容不同乃成大同容不同乃成大同數(shù)據(jù)庫的ACID的屬性無法滿足云數(shù)據(jù)管理準(zhǔn)則 （3） Backup everythi

2、ng with three copies 狡兔三窟方高枕狡兔三窟方高枕 每個數(shù)據(jù)都有三個備份，達(dá)到 99.999999%的保障度云數(shù)據(jù)管理準(zhǔn)則 （4） Scalable and high performance運籌滄海量兼容運籌滄海量兼容 提供一個可伸縮的，處理和分析海量數(shù)據(jù)的平臺撥云見日切分萬物以治之切分萬物以治之容不同乃成大同容不同乃成大同狡兔三窟方高枕狡兔三窟方高枕運籌滄海量兼容運籌滄海量兼容主要內(nèi)容11 云計算與云數(shù)據(jù)管理概述云計算與云數(shù)據(jù)管理概述 各大公司的云數(shù)據(jù)管理技術(shù)各大公司的云數(shù)據(jù)管理技術(shù) 人民大學(xué)研究團(tuán)隊的工作人民大學(xué)研究團(tuán)隊的工作 云數(shù)據(jù)管理的研究挑戰(zhàn)云數(shù)據(jù)管理的研究挑戰(zhàn)主

3、要內(nèi)容Google 文件系統(tǒng)(GFS) 適用于大規(guī)模數(shù)據(jù)密集型應(yīng)用程序的可擴展分布式文件系統(tǒng) 多個部署GFS的集群已經(jīng)建成 目前最大的集群為： 10000多個存儲節(jié)點 300+PB的存儲容量 可供不同機器上的上百用戶同時讀取介紹：觀察1 控件的故障時常發(fā)生 系統(tǒng)集成了實時監(jiān)控、錯誤檢測、容錯性和自動恢復(fù)等功能 超大文件（與普通文件相比） GB大小的文件很正常介紹：觀察2 大部分文件修改都是添加新的內(nèi)容 需要考慮優(yōu)化性能和保證原子性 協(xié)同設(shè)計應(yīng)用程序和API有利于增加整個系統(tǒng)的靈活性設(shè)計 集群包含一個master和多個chunkservers，并且可供多個用戶讀取GAE Web應(yīng)用GAE Web

4、服務(wù)基礎(chǔ)設(shè)施分布式存儲服務(wù)應(yīng)用程序運行時環(huán)境應(yīng)用開發(fā)套件管理控制臺Google App Engine分布式存儲服務(wù) GAE提供的分布式存儲服務(wù)基于BigTable技術(shù) 通過Java JDO/JPA接口或Python數(shù)據(jù)庫標(biāo)準(zhǔn)接口訪問和操作數(shù)據(jù)庫 優(yōu)勢：成本低、支持伸縮、并發(fā)性好、易管理 采用樂觀的并發(fā)控制應(yīng)用程序運行時環(huán)境 GAE的應(yīng)用程序運行時環(huán)境是一個可伸縮的Web程序運行平臺 目前支持Python和Java 可以使用Google提供的豐富的應(yīng)用服務(wù)，如分布式存儲服務(wù)、網(wǎng)頁抓取、郵件、圖像、Google賬戶等云端應(yīng)用 Google Docs是基于Web的文字處理和電子表格程序，支持在線協(xié)作

5、、文檔恢復(fù)、文檔檢索 Gmail是有效的電子郵件工具，支持即時消息、視頻聊天、會話檢索等IBM EnsemblesIBM TSAMIBM WebSphere CloudBurstIBM LotusLiveIBM RC2云環(huán)境管理解決方案IBM TSAMIBM Tivoli Service Automation Manager(TSAM)管理應(yīng)用服務(wù)生命周期的方案IBM WebSphere CloudBurstIBM WebSphere CloudBurst Application(WCA)幫助用戶創(chuàng)建和管理面向服務(wù)的私有云平臺有效整合了云基礎(chǔ)設(shè)施層和云平臺層Web控制臺基礎(chǔ)設(shè)施管理虛擬化解決方

6、案部署用戶合格組管理虛擬器件鏡像模板管理監(jiān)控、審計和計費腳本包管理數(shù)據(jù)中心資源管理CRM系統(tǒng)ERP系統(tǒng)網(wǎng)上銀行WebSphere Application ServerWebSphere ProcessServerWebSphere PorialDB2數(shù)據(jù)中心管理員應(yīng)用系統(tǒng)SOA環(huán)境WebSphere Cloudburst ApplianceIBM LotusLive 通過Web方式交付的服務(wù) 會議服務(wù) LotusLive Meetings LotusLive Events 辦公協(xié)作服務(wù) LotusLive Engage LotusLive Connections 電子郵件服務(wù) LotusLiv

7、e NotesIBM RC2 IBM Research Compute Cloud東京北京新德里海法蘇黎世紐約奧斯丁阿爾瑪?shù)茿mazon Web ServiceAmazon S3Amazon EC2Amazon SimpleDBAmazon SQSAmazon S3 Amazon Simple Storage Service(S3) 云計算平臺提供的可靠的網(wǎng)絡(luò)存儲服務(wù) 通過互聯(lián)網(wǎng)訪問和管理 安全性 賬戶認(rèn)證 訪問控制列表 查詢字符串認(rèn)證 可靠性 冗余備份的存儲機制Amazon SimpleDB Amazon SimpleDB是一種支持結(jié)構(gòu)化數(shù)據(jù)存儲和查詢操作的輕量級數(shù)據(jù)庫服務(wù) 存儲模型：域(D

8、omain)、項(Item)、屬性(Attribute) 現(xiàn)有不足 延遲較大 不能保證順序執(zhí)行用戶更新 與關(guān)系型數(shù)據(jù)庫兼容有限Amazon EC2 Amazon EC2是一種云基礎(chǔ)設(shè)施服務(wù) 用戶根據(jù)業(yè)務(wù)的需求自由地申請或者終止資源使用 優(yōu)勢 可伸縮性 節(jié)省成本 使用靈活 安全可靠 容錯基礎(chǔ)服務(wù)數(shù)據(jù)庫服務(wù)應(yīng)用開發(fā)服務(wù)應(yīng)用打包服務(wù)基礎(chǔ)服務(wù) F基礎(chǔ)服務(wù)為上層服務(wù)和應(yīng)用提供了安全、可靠的支撐環(huán)境 三個關(guān)鍵技術(shù) 多租戶 元數(shù)據(jù) 安全架構(gòu)數(shù)據(jù)庫服務(wù) F數(shù)據(jù)庫服務(wù) 數(shù)據(jù)模型 數(shù)據(jù)對象持久化 采用關(guān)系屬性定義數(shù)據(jù)對象間的關(guān)系 數(shù)據(jù)操作 Web頁面接口 編程接口 訪問控制 管理安全 記錄安全Windows Az

9、ure.NET服務(wù)SQL AzureLive服務(wù)Microsoft Windows AzureAzure Fabric 控制器存儲服務(wù)計算服務(wù)開發(fā)環(huán)境Windows LiveOffice LiveExchangeOnlineSharePointOnlineDynamic CRMOnlineLive服務(wù).NET服務(wù)SQL服務(wù)SharePoint服務(wù)Dynamic CRM服務(wù)應(yīng)用Azure服務(wù)平臺Windows AzureMicrosoft SQL Azure 云環(huán)境的數(shù)據(jù)管理系統(tǒng) 不支持CLR、空間數(shù)據(jù)及一些系統(tǒng)管理功能（如啟動、停止SQL Server） 優(yōu)勢 無需對數(shù)據(jù)庫進(jìn)行定期備份 提供統(tǒng)

10、一數(shù)據(jù)訪問接口 提供更健壯的服務(wù)主要內(nèi)容36 云計算與云數(shù)據(jù)管理概述云計算與云數(shù)據(jù)管理概述 各大公司的云數(shù)據(jù)管理技術(shù)各大公司的云數(shù)據(jù)管理技術(shù) 人民大學(xué)研究團(tuán)隊的部分工作人民大學(xué)研究團(tuán)隊的部分工作 云數(shù)據(jù)管理的研究挑戰(zhàn)云數(shù)據(jù)管理的研究挑戰(zhàn)人大阿里巴巴 云 項目簡介： 由人大多個學(xué)院和教授共同合作 針對淘寶阿里巴巴海量的交易數(shù)據(jù)進(jìn)行分析和挖掘研究任務(wù) 適合研究任務(wù)： 宏觀經(jīng)濟(jì)指數(shù)分析-參照人大三大發(fā)布項目 開發(fā)指數(shù)平臺，集成多種統(tǒng)計算法模型，提供橫向?qū)Ρ确治?設(shè)計周期性自動指數(shù)計算系統(tǒng)，可以按月、周、天自動計算指數(shù)，發(fā)布類似K線圖的動態(tài)指數(shù)38人民大學(xué)新開的分布式系統(tǒng)與云計算課程 （2010年教育

11、部IBM精品課程）39 分布式系統(tǒng)概述分布式系統(tǒng)概述分布式云計算技術(shù)綜述分布式云計算技術(shù)綜述分布式云計算平臺分布式云計算平臺分布式云計算程序開發(fā)分布式云計算程序開發(fā)已編寫教材介紹分布式系統(tǒng)及云計算概論清華大學(xué)出版社Hadoop實戰(zhàn)機械工業(yè)出版社Coming soon課程網(wǎng)站 網(wǎng)址： 云計算與云數(shù)據(jù)管理概述云計算與云數(shù)據(jù)管理概述 各大公司的云數(shù)據(jù)管理技術(shù)各大公司的云數(shù)據(jù)管理技術(shù) 人民大學(xué)研究團(tuán)隊的工作人民大學(xué)研究團(tuán)隊的工作 云數(shù)據(jù)管理的研究挑戰(zhàn)云數(shù)據(jù)管理的研究挑戰(zhàn)基于云上的數(shù)據(jù)管理的特點 計算資源是可伸縮的 數(shù)據(jù)具有備份 數(shù)據(jù)存儲在大量分布的結(jié)點之上基于云上的數(shù)據(jù)管理的挑戰(zhàn)（一） 數(shù)據(jù)的自我管理

12、和自調(diào)優(yōu)基于云上的數(shù)據(jù)管理的挑戰(zhàn)（二） 基于大量節(jié)點的查詢優(yōu)化算法 基于大量節(jié)點的索引結(jié)構(gòu)基于云上的數(shù)據(jù)管理的挑戰(zhàn)（三） 資源調(diào)度和負(fù)載均衡 多租戶情況中總結(jié)47海量數(shù)據(jù)管理：新的挑戰(zhàn)和機遇；海量數(shù)據(jù)管理：新的挑戰(zhàn)和機遇； 企業(yè)和學(xué)企業(yè)和學(xué)術(shù)界共同面對的課題術(shù)界共同面對的課題云數(shù)據(jù)管理技術(shù)方興未艾云數(shù)據(jù)管理技術(shù)方興未艾國產(chǎn)數(shù)據(jù)庫企業(yè)發(fā)展的一個新的機遇和挑戰(zhàn)國產(chǎn)數(shù)據(jù)庫企業(yè)發(fā)展的一個新的機遇和挑戰(zhàn)Further ReadingF. Chang et al. Bigtable: A distributed storage system for structured data. In OSDI, 20

13、06. J. Dean and S. Ghemawat. MapReduce: Simplified data processing on large clusters. In OSDI, 2004. G. DeCandia et al. Dynamo: Amazons highly available key-value store. In SOSP, 2007. S. Ghemawat, H. Gobioff, and S.-T. Leung. The Google File System. In Proc. SOSP, 2003. D. Kossmann. The state of th

14、e art in distributed query processing. ACM Computing Surveys, 32(4):422469, 2000. Further ReadingEfficient Bulk Insertion into a Distributed Ordered Table (SIGMOD 2008)Adam Silberstein, Brian Cooper, Utkarsh Srivastava, Erik Vee, Ramana Yerneni, Raghu Ramakrishnan PNUTS: Yahoo!s Hosted Data Serving

15、Platform (VLDB 2008)Brian Cooper, Raghu Ramakrishnan, Utkarsh Srivastava, Adam Silberstein, Phil Bohannon, Hans-Arno Jacobsen, Nick Puz, Daniel Weaver, Ramana YerneniAsynchronous View Maintenance for VLSD Databases,Parag Agrawal, Adam Silberstein, Brian F. Cooper, Utkarsh Srivastava and Raghu Ramakr

16、ishnanSIGMOD 2009 Cloud Storage Design in a PNUTShellBrian F. Cooper, Raghu Ramakrishnan, and Utkarsh SrivastavaBeautiful Data, OReilly Media, 2009 Further ReadingF. Chang et al. Bigtable: A distributed storage system for structured data. In OSDI, 2006. J. Dean and S. Ghemawat. MapReduce: Simplified data processing on large clusters. In OSDI, 2004. G. DeCandia et al. Dynamo: A