基于云平臺的新型數(shù)據(jù)中心課件

1、戴艷 Principle Solution Architect Oracle China,構(gòu)建基于云平臺的 下一代數(shù)據(jù)中心,基于云平臺的新型數(shù)據(jù)中心,提綱,1、云數(shù)據(jù)中心概念的提出 2、云計算與數(shù)據(jù)中心的關(guān)系 3、云數(shù)據(jù)中心的應(yīng)用場景 4、云數(shù)據(jù)中心的數(shù)據(jù)管理,基于云平臺的新型數(shù)據(jù)中心,傳統(tǒng)的數(shù)據(jù)中心,煙囪式架構(gòu) 異構(gòu)的技術(shù) 多種操作系統(tǒng)平臺 支撐高峰時的容量 被動的響應(yīng)式管理,龐大的應(yīng)用體系 靜態(tài)地部署 多種軟件組合 點對點集成 獨立的應(yīng)用數(shù)據(jù),Mainframe,DAS,Custom Application,Big server,DAS,ERP Application,Sales Appl

2、ication,Cluster,Database,Data Warehouse,NAS/SAN,NAS/SAN,Files,Database,Database,Small server,基于云平臺的新型數(shù)據(jù)中心,數(shù)據(jù)中心的利用率和效率不高,很少的一部分客戶開始監(jiān)控數(shù)據(jù)中心服務(wù)器的利用率，然而，非常少的客戶會注意數(shù)據(jù)中心的效率,* Sample size 45 data centers Source:Uptime Institute,Peak daily utilization (percent),基于云平臺的新型數(shù)據(jù)中心,下一代云數(shù)據(jù)中心概念的提出,整合的,基于云平臺的新型數(shù)據(jù)中心,整合架構(gòu)-

3、動態(tài)負載管理,煙囪式架構(gòu)-低效的資源管理,整合的要求提升服務(wù)器的利用水平,5% - 10% (Gartner),60% - 70% (Oracle大學網(wǎng)格),基于云平臺的新型數(shù)據(jù)中心,敏捷的要求,敏捷地適應(yīng)應(yīng)用變化情況 根據(jù)負載隨需擴展 高彈性，動態(tài)伸縮，self service，配置更多的實例 在初始投資成本和獲得良好的效率之間作出平衡（減少Capex 和Opex） 實時地獲取業(yè)務(wù)變化，并以此作出響應(yīng),基于云平臺的新型數(shù)據(jù)中心,聯(lián)邦式云數(shù)據(jù)中心,Austin, TX,Colorado Springs, CO,Salt Lake City, UT,基于云平臺的新型數(shù)據(jù)中心,根據(jù)應(yīng)用要求進行資源

4、分配,Austin, TX,Colorado Springs, CO,Salt Lake City, UT,基于云平臺的新型數(shù)據(jù)中心,高性能的要求,基于云平臺的新型數(shù)據(jù)中心,高性能的要求分布式處理能力,集中處理層,問題：昨天的客戶發(fā)展量如何？,分布式處理層,匯總、合并結(jié)果,Select sum(sales) where Date=24-Sept ,多個服務(wù)器并行處理查詢請求,構(gòu)建并發(fā)Smart Scan請求,各服務(wù)器返回結(jié)果,基于云平臺的新型數(shù)據(jù)中心,數(shù)據(jù)復(fù)制 完全激活 故障切換到備點,數(shù)據(jù)的備份和恢復(fù) 低成本高性能 數(shù)據(jù)保護 & 歸檔,集群技術(shù)保證容錯和 服務(wù)器水平擴展,高可用性的要求,自動

5、存儲管理保證容錯和 存儲水平擴展,保證業(yè)務(wù)不被中斷 - 每個都是可以水平擴展的, 完全激活的, 以數(shù)據(jù)為中心的,要求達到最高可用性和最低的成本,在線升級 硬件和軟件,基于云平臺的新型數(shù)據(jù)中心,提綱,1、云數(shù)據(jù)中心概念的提出 2、云計算與數(shù)據(jù)中心的關(guān)系 3、云數(shù)據(jù)中心的應(yīng)用場景 4、云數(shù)據(jù)中心的數(shù)據(jù)管理,基于云平臺的新型數(shù)據(jù)中心,云計算模式能以按需方式，通過網(wǎng)絡(luò)，方便的訪問云系統(tǒng)的可配置計算資源共享池(比如：網(wǎng)絡(luò)，服務(wù)器，存儲，應(yīng)用程序和服務(wù)) 。同時它以最少的管理開銷及最少的與供應(yīng)商的交互，迅速配置提供或釋放資源。,* Source: NIST,云計算 NIST定義,基于云平臺的新型數(shù)據(jù)中心,

6、云計算的5個基本特征,基于云平臺的新型數(shù)據(jù)中心,為什么采用“云”,煙囪式的系統(tǒng)建設(shè)，IT成本居高不下（硬件/能耗/管理） 按峰值規(guī)模建設(shè)，資源平均利用率低 缺乏彈性的系統(tǒng)設(shè)計，應(yīng)對業(yè)務(wù)突發(fā)情況差 建設(shè)周期漫長，無法快速提供與部署 業(yè)務(wù)需求的快速增長，設(shè)備更替快，不利投資保護,集中資源池的共享,虛擬化、分時/區(qū)共享,動態(tài)調(diào)配、彈性伸縮,自動化、自服務(wù),低成本、標準化硬件,云計算,云數(shù)據(jù)中心,技術(shù)標準化 能力服務(wù)化 提供快速化 資源彈性化 管理自動化 管控集中化,傳統(tǒng)模式,基于云平臺的新型數(shù)據(jù)中心,提綱,1、云數(shù)據(jù)中心概念的提出 2、云計算與數(shù)據(jù)中心的關(guān)系 3、云數(shù)據(jù)中心的應(yīng)用場景 4、云數(shù)據(jù)中心

7、的數(shù)據(jù)管理,基于云平臺的新型數(shù)據(jù)中心,眾多分散的小數(shù)據(jù)庫需要整合，尤其是OSS域及MSS域，分散的數(shù)據(jù)庫帶來很多問題： 分散的管理與運維 DB的多版本 數(shù)據(jù)分散帶來的數(shù)據(jù)一致性問題 系統(tǒng)擴展能力的限制，即，缺乏彈性能力（突發(fā)性業(yè)務(wù)需求的支撐能力難以滿足） 數(shù)據(jù)安全問題，無統(tǒng)一標準和流程 數(shù)據(jù)質(zhì)量問題，無統(tǒng)一標準和流程 數(shù)據(jù)全生命周期管理缺失 維護人員分散利用率不高的問題 分散數(shù)據(jù)庫帶來的License冗余問題（集中的數(shù)據(jù)庫基于共享可以帶來License成本的降低） 分散帶來的數(shù)據(jù)分析與數(shù)據(jù)挖掘的困難 低信息密度的現(xiàn)狀導致的存儲空間的浪費問題（缺乏高性能壓縮能力） 整合符合綠色計算的發(fā)展趨勢 通

8、過標準化及自動化管理的采用有效降低運維成本 有效提升數(shù)據(jù)安全并降低數(shù)據(jù)分發(fā)的難度 滿足全企業(yè)內(nèi)集中的、標準化的數(shù)據(jù)管理要求 整合與共享可以帶來數(shù)據(jù)服務(wù)能力的持續(xù)可用 集中化、標準化是IT演進大趨勢的要求,分散數(shù)據(jù)庫的整合,集中化的災(zāi)備中心,大集中SaaS應(yīng)用的數(shù)據(jù)庫支撐,新一代IDC/ADC的數(shù)據(jù)庫提供與運營,電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實需求,分散數(shù)據(jù)庫的整合- 現(xiàn)狀及需求,1,基于云平臺的新型數(shù)據(jù)中心,目前的災(zāi)備中心多為基于現(xiàn)有應(yīng)用進行一對一的匹配建設(shè)（Silo），硬件投資巨大 目前的災(zāi)備中心多為冷備中心（Active-Standby），日常災(zāi)備中心的資源只能空閑無法利用，資源的有效利用

9、率很低 需要建設(shè)雙活的災(zāi)備中心（Active-Active），有效提升資源利用率 需要基于資源共享（Share Pool）及動態(tài)調(diào)整能力，有效節(jié)約硬件投資 異構(gòu)數(shù)據(jù)管理變?yōu)榻y(tǒng)一的同構(gòu)數(shù)據(jù)管理，提升可管理性 通過集中化的災(zāi)備中心建設(shè)，促進IT系統(tǒng)的管控集中化、技術(shù)標準化的演進,分散數(shù)據(jù)庫的整合,集中化的災(zāi)備中心,大集中SaaS應(yīng)用的數(shù)據(jù)庫支撐,新一代IDC/ADC的數(shù)據(jù)庫提供與運營,電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實需求,集中化的災(zāi)備中心- 現(xiàn)狀及需求,3,基于云平臺的新型數(shù)據(jù)中心,伴隨電信市場競爭的加劇，電信企業(yè)的產(chǎn)品的同質(zhì)化及全網(wǎng)一體化趨勢越發(fā)明顯，這使得電信企業(yè)的業(yè)務(wù)標準化程度越來越高；這些

10、趨勢直接導致了全網(wǎng)大集中的SaaS應(yīng)用需求的產(chǎn)生 SaaS應(yīng)用基于統(tǒng)一的業(yè)務(wù)流程、數(shù)據(jù)模型、客戶體驗等為全網(wǎng)的所有使用者提供IT應(yīng)用能力，帶來更高要求的數(shù)據(jù)庫服務(wù)提供能力需求： 滿足大集中的高性能需求（數(shù)億用戶的OLTP） 滿足大集中帶來的PB級海量數(shù)據(jù)管理能力 滿足大集中帶來的高可用性要求 滿足數(shù)據(jù)的生命周期管理能力 滿足業(yè)務(wù)增長帶來的動態(tài)擴展性需求 滿足SaaS應(yīng)用需要的數(shù)據(jù)一致性保障能力 滿足SaaS應(yīng)用需要的關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)管理與數(shù)據(jù)提供能力要求 全國大集中的SaaS應(yīng)用對高性能、高可用性、數(shù)據(jù)嚴格一致性等方面的數(shù)據(jù)庫需求，在BSS領(lǐng)域核心支撐系統(tǒng)的全國大集中項目中顯得尤為突出,分散

11、數(shù)據(jù)庫的整合,集中化的災(zāi)備中心,大集中SaaS應(yīng)用的數(shù)據(jù)庫支撐,新一代IDC/ADC的數(shù)據(jù)庫提供與運營,電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實需求,大集中SaaS應(yīng)用的數(shù)據(jù)庫支撐- 現(xiàn)狀及需求,3,基于云平臺的新型數(shù)據(jù)中心,適合大型企業(yè)的大型關(guān)系型數(shù)據(jù)庫的提供或托管 高性能 海量數(shù)據(jù)的可管理性 數(shù)據(jù)生命周期管理 擴展性 服務(wù)使用的度量 數(shù)據(jù)安全 適合中小企業(yè)的小型關(guān)系型數(shù)據(jù)庫的提供或托管 DB Instance的快速自服務(wù)創(chuàng)建與釋放 計算能力及存儲容量的彈性能力 自動化管理能力 服務(wù)使用的度量 數(shù)據(jù)安全,分散數(shù)據(jù)庫的整合,集中化的災(zāi)備中心,大集中SaaS應(yīng)用的數(shù)據(jù)庫支撐,新一代IDC/ADC的數(shù)據(jù)庫

12、提供與運營,電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實需求,新一代IDC/ADC的數(shù)據(jù)庫提供與運營 - 現(xiàn)狀及需求,4,基于云平臺的新型數(shù)據(jù)中心,眾多分散的小數(shù)據(jù)庫的整合，尤其是OSS域及MSS域 基于整合平臺提升數(shù)據(jù)生命周期管理能力及數(shù)據(jù)質(zhì)量 通過標準化及自動化管理的采用有效降低運維成本 有效提升數(shù)據(jù)安全并降低數(shù)據(jù)分發(fā)的難度 全企業(yè)內(nèi)集中的、標準化的數(shù)據(jù)管理要求,建設(shè)雙活的災(zāi)備中心，有效提升資源利用率 基于資源共享及動態(tài)調(diào)整能力，有效節(jié)約硬件投資 通過集中化的災(zāi)備中心建設(shè)，促進IT系統(tǒng)的管控集中化、技術(shù)標準化的演進,全國大集中的SaaS應(yīng)用帶來高性能數(shù)據(jù)庫集群的需求，尤其是BSS領(lǐng)域核心支撐系統(tǒng)全國大

13、集中的OLTP需求 海量數(shù)據(jù)管理能力及動態(tài)擴展能力 SaaS應(yīng)用所需的數(shù)據(jù)一致性保障及關(guān)系數(shù)據(jù)管理能力,適合大型企業(yè)的大型關(guān)系型數(shù)據(jù)庫的提供或托管 高性能、海量數(shù)據(jù)管理、擴展性 適合中小企業(yè)的小型關(guān)系型數(shù)據(jù)庫的提供或托管 DB實例的快速提供、彈性能力、自動化,分散數(shù)據(jù)庫的整合,集中化的災(zāi)備中心,大集中SaaS應(yīng)用的數(shù)據(jù)庫支撐,新一代IDC/ADC的數(shù)據(jù)庫提供與運營,電信企業(yè)在云化架構(gòu)的數(shù)據(jù)庫平臺層的潛在現(xiàn)實需求,云數(shù)據(jù)中心的需求總結(jié),業(yè)務(wù)目標：降低成本、提高效率、改善服務(wù)、拓展業(yè)務(wù)！,基于云平臺的新型數(shù)據(jù)中心,提綱,1、云數(shù)據(jù)中心概念的提出 2、云計算與數(shù)據(jù)中心的關(guān)系 3、云數(shù)據(jù)中心的應(yīng)用場景

14、 4、云數(shù)據(jù)中心的數(shù)據(jù)管理,基于云平臺的新型數(shù)據(jù)中心,云數(shù)據(jù)中心的技術(shù)要求,數(shù)據(jù)仍然是云中心最重要的信息資產(chǎn)！,海量分布式存儲和處理 高并發(fā)讀寫 高性能獲取 負載均衡 資源共享 在線擴展遷移 足夠的安全 簡單的管理 標準的訪問接口,云存儲+分布式云數(shù)據(jù)庫,基于云平臺的新型數(shù)據(jù)中心,如何實現(xiàn)云數(shù)據(jù)中心兩種云中的分布式數(shù)據(jù)庫,基于key/value的鍵值非關(guān)系型并行數(shù)據(jù)庫 云服務(wù)提供商：Google BigTable,Amazon SimpleDB,MS SDS 開源/獨立：Hadoop Hbase, oldemort,Cassandra,關(guān)系型數(shù)據(jù)庫/數(shù)據(jù)倉庫分布式解決方案 OLTP&DW:Or

15、acle,DB2,SQL server,Sybase DW:Teradata,Netezza,Greenplum 開源：Hadoop CloudBase,?,基于云平臺的新型數(shù)據(jù)中心,兩種云中的分布式數(shù)據(jù)庫 Cont.,很小的應(yīng)用領(lǐng)域，缺乏成熟的商業(yè)產(chǎn)品。,產(chǎn)品成熟，但要在性能和伸縮性上進一步增強,VS,更適合企業(yè)私有云數(shù)據(jù)中心的建設(shè),基于云平臺的新型數(shù)據(jù)中心,云數(shù)據(jù)中心可能的問題,云環(huán)境下需要一個更加強大的分布式數(shù)據(jù)庫解決方案！,基于云平臺的新型數(shù)據(jù)中心,Oracle云數(shù)據(jù)中心解決方案Exadata,完美解決超大型分布式數(shù)據(jù)庫/數(shù)據(jù)倉庫面臨的挑戰(zhàn)！,Extreme Performance 為

16、數(shù)據(jù)倉庫應(yīng)用帶來10-100倍的性能提升；OLTP應(yīng)用帶來20倍的性能提升； Linear Scalability 適應(yīng)海量數(shù)據(jù)迅速增長的線性性能擴展，消除瓶頸 Availability 預(yù)配置的軟硬件提供企業(yè)級的支撐能力，最大可用性、安全性、容災(zāi)等。 Distributed 基于網(wǎng)格的智能分布式存儲，解決海量數(shù)據(jù)的存儲和處理，保證強大的I/O吞吐能力。,更低的總體擁有成本！更高的性能！,基于云平臺的新型數(shù)據(jù)中心,資源的分割與整合 Instance Caging,Instance caging允許管理員限制每個例程使用的CPU資源 可以防止運行在一個例程中的失控進程影響到運行在服務(wù)器上的其它例

17、程 當數(shù)據(jù)庫運行時可以動態(tài)調(diào)整. 參數(shù)cpu_count 支持分割方式和過度配置 與Resource Manager一起工作,基于云平臺的新型數(shù)據(jù)中心 30 ,分布式智能處理,分布式處理，解決計算能力問題：每個服務(wù)器包括存儲、CPU及相應(yīng)的軟件, 處理SQL 及壓縮，恒定的計算能力與存儲的比值。 橫向并發(fā)計算，解決帶寬和可靠性問題：分布式處理單元橫向部署，ASM提供鏡像保護，處理能力與數(shù)據(jù)量同比擴展。 廉價標準化，解決價格及更新問題：完全標準的PC服務(wù)器硬件，智能存儲單元數(shù)量不受限，極大降低成本，并隨著PC技術(shù)的發(fā)展而發(fā)展。,InfiniBand Switch/Network,集群數(shù)據(jù)庫或單實

18、例數(shù)據(jù)庫,Exadata Cell,分布式處理層,集中處理層,超高速、并發(fā)網(wǎng)絡(luò)層,基于云平臺的新型數(shù)據(jù)中心 31 ,云中存儲的高可用性通過自動存儲技術(shù)(ASM)避免磁盤或存儲節(jié)點的單點故障,自動存儲管理保證數(shù)據(jù)的冗余和條帶化 保證數(shù)據(jù)的分布是均勻的 保證存儲的動態(tài)添加和刪除 保證熱點數(shù)據(jù)獲得更好的性能,Exadata Cell,Exadata Cell,ASM Disk Group,基于云平臺的新型數(shù)據(jù)中心,案例介紹,基于云平臺的新型數(shù)據(jù)中心,Oracle奧斯丁數(shù)據(jù)中心,奧斯丁數(shù)據(jù)中心: 超過 20,000 服務(wù)器 全世界最大的 Dell/Linux 數(shù)據(jù)中心 每星期增加100服務(wù)器 超過 5,000 TB 數(shù)據(jù) 全世界最大的 NetApp 數(shù)據(jù)中心 每月增加 60TBs 數(shù)據(jù) 支持超過 400 其他客戶的關(guān)鍵應(yīng)用 為超過65000甲骨文員工服務(wù) 超過7000平方米,基于云平臺的新型數(shù)據(jù)中心,Oracle的應(yīng)用架構(gòu)整合,基于云平臺的新型數(shù)據(jù)中心,結(jié)果: 持續(xù)發(fā)展和收益增長,Note: All figures after FY2004 are provided on a non-GAAP basis.GAAP to non-GAAP reconciliation