關(guān)于云-云數(shù)據(jù)管理與挑戰(zhàn)@淘寶商學(xué)院

云數(shù)據(jù)管理技術(shù)與挑戰(zhàn) 中國人民大學(xué) 主要內(nèi)容 2 云計算與云數(shù)據(jù)管理概述 各大公司的云數(shù)據(jù)管理技術(shù) 人民大學(xué)研究團隊的工作 云數(shù)據(jù)管理的研究挑戰(zhàn) 云數(shù)據(jù)管理的新思維 云數(shù)據(jù)管理準則 （ 1） Partition Everything and key-value storage 切分萬物以治之 數(shù)據(jù)庫的第一范式無法滿足 云數(shù)據(jù)管理準則 （ 2） Embrace Inconsistency 容不同乃成大同 數(shù)據(jù)庫的 ACID的屬性無法滿足 云數(shù)據(jù)管理準則 （ 3） Backup everything with three copies 狡兔三窟方高枕 每個數(shù)據(jù)都有三個備份，達到 99.999999%的保障度 云數(shù)據(jù)管理準則 （ 4） Scalable and high performance 運籌滄海量兼容 提供一個可伸縮的，處理和分析海量數(shù)據(jù)的平臺 撥云見日 切分萬物以治之 容不同乃成大同 狡兔三窟方高枕 運籌滄海量兼容 主要內(nèi)容 11 云計算與云數(shù)據(jù)管理概述 各大公司的云數(shù)據(jù)管理技術(shù) 人民大學(xué)研究團隊的工作 云數(shù)據(jù)管理的研究挑戰(zhàn) 主要內(nèi)容 Google 文件系統(tǒng) (GFS) 適用于大規(guī)模數(shù)據(jù)密集型應(yīng)用程序的可擴展分布式文件系統(tǒng) 多個部署 GFS的集群已經(jīng)建成 目前最大的集群為： 10000多個存儲節(jié)點 300+PB的存儲容量 可供不同機器上的上百用戶同時讀取 介紹：觀察 1 控件的故障時常發(fā)生 系統(tǒng)集成了實時監(jiān)控、錯誤檢測、容錯性和自動恢復(fù)等功能 超大文件（與普通文件相比） GB大小的文件很正常 介紹：觀察 2 大部分文件修改都是添加新的內(nèi)容 需要考慮優(yōu)化性能和保證原子性 協(xié)同設(shè)計應(yīng)用程序和 API有利于增加整個系統(tǒng)的靈活性 設(shè)計 集群包含一個 master和多個 chunkservers，并且可供多個用戶讀取 GAE Web應(yīng)用 GAE Web服務(wù)基礎(chǔ)設(shè)施 分布式存儲服務(wù) 應(yīng)用程序運行時 環(huán)境 應(yīng)用開發(fā)套件 管理控制臺 Google App Engine 分布式存儲服務(wù) GAE提供的分布式存儲服務(wù)基于 BigTable技術(shù) 通過 Java JDO/JPA接口或 Python數(shù)據(jù)庫標準接口訪問和操作數(shù)據(jù)庫 優(yōu)勢：成本低、支持伸縮、并發(fā)性好、易管理 采用樂觀的并發(fā)控制 應(yīng)用程序運行時環(huán)境 GAE的應(yīng)用程序運行時環(huán)境是一個可伸縮的Web程序運行平臺 目前支持 Python和 Java 可以使用 Google提供的豐富的應(yīng)用服務(wù)，如分布式存儲服務(wù)、網(wǎng)頁抓取、郵件、圖像、 Google賬戶等 云端應(yīng)用 Google Docs是基于 Web的文字處理和電子表格程序，支持在線協(xié)作、文檔恢復(fù)、文檔檢索 Gmail是有效的電子郵件工具，支持即時消息、視頻聊天、會話檢索等 IBM Ensembles IBM TSAM IBM WebSphere CloudBurst IBM LotusLive IBM RC2 云環(huán)境管理解決方案 IBM TSAM IBM Tivoli Service Automation Manager(TSAM) 管理應(yīng)用服務(wù)生命周期的方案 IBM WebSphere CloudBurst IBM WebSphere CloudBurst Application(WCA) 幫助用戶創(chuàng)建和管理面向服務(wù)的私有云平臺 有效整合了云基礎(chǔ)設(shè)施層和云平臺層 Web控制臺 基礎(chǔ)設(shè)施管理 虛擬化解決方案部署 用戶合格組管理 虛擬器件鏡像模板管理 監(jiān)控、審計和計費 腳本包管理 數(shù)據(jù)中心資源 管理 CRM系統(tǒng) ERP系統(tǒng) 網(wǎng)上銀行 WebSphere Application Server WebSphere Process Server WebSphere Porial DB2 數(shù)據(jù)中心管理員 應(yīng)用系統(tǒng) SOA環(huán)境 WebSphere Cloudburst Appliance IBM LotusLive 通過 Web方式交付的服務(wù) 會議服務(wù) LotusLive Meetings LotusLive Events 辦公協(xié)作服務(wù) LotusLive Engage LotusLive Connections 電子郵件服務(wù) LotusLive Notes IBM RC2 IBM Research Compute Cloud 東京 北京 新德里 海法 蘇黎世 紐約 奧斯丁 阿爾瑪?shù)?Amazon Web Service Amazon S3 Amazon EC2 Amazon SimpleDB Amazon SQS Amazon S3 Amazon Simple Storage Service(S3) 云計算平臺提供的可靠的網(wǎng)絡(luò)存儲服務(wù) 通過互聯(lián)網(wǎng)訪問和管理 安全性 賬戶認證 訪問控制列表 查詢字符串認證 可靠性 冗余備份的存儲機制 Amazon SimpleDB Amazon SimpleDB是一種支持結(jié)構(gòu)化數(shù)據(jù)存儲和查詢操作的輕量級數(shù)據(jù)庫服務(wù) 存儲模型：域 (Domain)、項 (Item)、屬性(Attribute) 現(xiàn)有不足 延遲較大 不能保證順序執(zhí)行用戶更新 與關(guān)系型數(shù)據(jù)庫兼容有限 Amazon EC2 Amazon EC2是一種云基礎(chǔ)設(shè)施服務(wù) 用戶根據(jù)業(yè)務(wù)的需求自由地申請或者終止資源使用 優(yōu)勢 可伸縮性 節(jié)省成本 使用靈活 安全可靠 容錯 基礎(chǔ)服務(wù) 數(shù)據(jù)庫服務(wù) 應(yīng)用開發(fā)服務(wù) 應(yīng)用打包服務(wù) 基礎(chǔ)服務(wù) F基礎(chǔ)服務(wù)為上層服務(wù)和應(yīng)用提供了安全、可靠的支撐環(huán)境 三個關(guān)鍵技術(shù) 多租戶 元數(shù)據(jù) 安全架構(gòu) 數(shù)據(jù)庫服務(wù) F數(shù)據(jù)庫服務(wù) 數(shù)據(jù)模型 數(shù)據(jù)對象持久化 采用關(guān)系屬性定義數(shù)據(jù)對象間的關(guān)系 數(shù)據(jù)操作 Web頁面接口 編程接口 訪問控制 管理安全 記錄安全 Windows Azure .NET服務(wù) SQL Azure Live服務(wù) Microsoft Windows Azure Azure Fabric 控制器 存儲服務(wù) 計算服務(wù) 開發(fā)環(huán)境 Windows Live Office Live Exchange Online SharePoint Online Dynamic CRM Online Live服務(wù) .NET服務(wù) SQL服務(wù) SharePoint服務(wù) Dynamic CRM 服務(wù) 應(yīng)用 Azure服務(wù)平臺 Windows Azure Microsoft SQL Azure 云環(huán)境的數(shù)據(jù)管理系統(tǒng) 不支持 CLR、空間數(shù)據(jù)及一些系統(tǒng)管理功能（如啟動、停止 SQL Server） 優(yōu)勢 無需對數(shù)據(jù)庫進行定期備份 提供統(tǒng)一數(shù)據(jù)訪問接口 提供更健壯的服務(wù) 主要內(nèi)容 36 云計算與云數(shù)據(jù)管理概述 各大公司的云數(shù)據(jù)管理技術(shù) 人民大學(xué)研究團隊的部分工作 云數(shù)據(jù)管理的研究挑戰(zhàn) 人大 阿里巴巴 云 項目簡介： 由人大多個學(xué)院和教授共同合作 針對淘寶 阿里巴巴 海量的交易 數(shù)據(jù)進行分析和挖掘 研究任務(wù) 適合研究任務(wù)： 宏觀經(jīng)濟指數(shù)分析 -參照人大三大發(fā)布項目 開發(fā)指數(shù)平臺，集成多種統(tǒng)計算法模型，提供橫向?qū)Ρ确治?設(shè)計周期性自動指數(shù)計算系統(tǒng)，可以按月、周、天自動計算指數(shù)，發(fā)布類似 K線圖的動態(tài)指數(shù) 38 人民大學(xué)新開的 分布式系統(tǒng)與云計算 課程 （ 2010年教育部 IBM精品課程） 39 分布式系統(tǒng)概述 分布式云計算技術(shù)綜述 分布式云計算平臺 分布式云計算程序開發(fā) 已編寫教材介紹 分布式系統(tǒng)及云計算概論 清華大學(xué)出版社 Hadoop實戰(zhàn) 機械工業(yè)出版社 Coming soon 課程網(wǎng)站 網(wǎng)址： /xnh 下載教學(xué)課件 下載模擬試卷 觀看課程 視頻 獲取課程內(nèi)容 主要內(nèi)容 42 云計算與云數(shù)據(jù)管理概述 各大公司的云數(shù)據(jù)管理技術(shù) 人民大學(xué)研究團隊的工作 云數(shù)據(jù)管理的研究挑戰(zhàn) 基于云上的數(shù)據(jù)管理的特點 計算資源是可伸縮的 數(shù)據(jù)具有備份 數(shù)據(jù)存儲在大量分布的結(jié)點之上 基于云上的數(shù)據(jù)管理的挑戰(zhàn)（一） 數(shù)據(jù)的自我管理和自調(diào)優(yōu) 基于云上的數(shù)據(jù)管理的挑戰(zhàn)（二） 基于大量節(jié)點的查詢優(yōu)化算法 基于大量節(jié)點的索引結(jié)構(gòu) 基于云上的數(shù)據(jù)管理的挑戰(zhàn)（三） 資源調(diào)度和負載均衡 多租戶情況中 總結(jié) 47 海量數(shù)據(jù)管理：新的挑戰(zhàn)和機遇； 企業(yè)和學(xué)術(shù)界共同面對的課題 云數(shù)據(jù)管理技術(shù)方興未艾 國產(chǎn)數(shù)據(jù)庫企業(yè)發(fā)展的一個新的機遇和挑戰(zhàn) Further Reading F. Chang et al. Bigtable: A distributed storage system for structured data. In OSDI, 2006. J. Dean and S. Ghemawat. MapReduce: Simplified data processing on large clusters. In OSDI, 2004. G. DeCandia et al. Dynamo: Amazons highly available key-value store. In SOSP, 2007. S. Ghemawat, H. Gobioff, and S.-T. Leung. The Google File System. In Proc. SOSP, 2003. D. Kossmann. The state of the art in distributed query processing. ACM Computing Surveys, 32(4):422469, 2000. Further Reading Efficient Bulk Insertion into a Distributed Ordered Table (SIGMOD 2008) Adam Silberstein, Brian Cooper, Utkarsh Srivastava, Erik Vee, Ramana Yerneni, Raghu Ramakrishnan PNUTS: Yahoo!s Hosted Data Serving Platform (VLDB 2008) Brian Cooper, Raghu Ramakrishnan, Utkarsh Srivastava, Adam Silberstein, Phil Bohannon, Hans-Arno Jacobsen, Nick Puz, Daniel Weaver, Ramana Yerneni Asynchronous View Maintenance for VLSD Databases, Parag Agrawal, Adam Silberstein, Brian F. Cooper, Utkarsh Srivastava and Raghu Ramakrishnan SIGMOD 2009 Cloud Storage Design in a PNUTShell Brian F. Cooper, Raghu Ramakrishnan, and Utkarsh Srivastava Beautiful Data, OReilly Media, 2009 Further Reading F. Chang et al. Bigtable: A distributed storage system for structured data. In OSDI, 2006. J. Dean and S. Ghemawat. MapReduce: Simplified data processing on large clusters. In OSDI, 2004. G. DeCandia et al. Dynamo: Amaz