




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
4.1.1數(shù)據(jù)中心的概念
《云計(jì)算寶典一技術(shù)與實(shí)踐》第4章新??代綠色數(shù)據(jù)中心,本章將揭開數(shù)據(jù)中心的神秘面紗,
向讀者介紹數(shù)據(jù)中心的基本概念、核心功能、管理和維護(hù)工作,以及新一代數(shù)據(jù)中心的需求
和挑戰(zhàn)。本節(jié)為大家介紹數(shù)據(jù)中心的概念。
第4章新一代綠色數(shù)據(jù)中心
4.1數(shù)據(jù)中心概述
4.2數(shù)據(jù)中心的設(shè)計(jì)和構(gòu)建
4.3數(shù)據(jù)中心的管理和維護(hù)
4.4新一代數(shù)據(jù)中心的需求
4.5綠色數(shù)據(jù)中心
4.6小結(jié)
對(duì)于大多數(shù)人來說,“數(shù)據(jù)中心”是個(gè)略帶神秘色彩的地方,沒有窗戶的高墻,恒定的
溫度和濕度,排列整齊的機(jī)架,跳躍閃爍的指示燈,海量的數(shù)據(jù)在這里穿梭,關(guān)鍵的業(yè)務(wù)在
這里運(yùn)行,這一切都充滿科幻的色彩。但實(shí)際上,數(shù)據(jù)中心離我們每個(gè)普通人并沒有那么遙
遠(yuǎn),甚至可以說是緊密相連的。當(dāng)你在銀行辦理業(yè)務(wù)時(shí),整個(gè)交易的流程都在銀行的數(shù)據(jù)中
心中完成。當(dāng)你在互聯(lián)網(wǎng)上沖浪搜索信息時(shí),請(qǐng)求都被搜索引擎的數(shù)據(jù)中心接收、處理和返
回。如果說信息是血液,網(wǎng)絡(luò)是血管,那么數(shù)據(jù)中心就是最關(guān)鍵的心臟,是信息世界的核心
所在。
本章將揭開數(shù)據(jù)中心的神秘面紗,向讀者介紹數(shù)據(jù)中心的基本概念、核心功能、管理和
維護(hù)工作,以及新一代數(shù)據(jù)中心的需求和挑戰(zhàn)。
4.1數(shù)據(jù)中心概述
4.1.1數(shù)據(jù)中心的概念
數(shù)據(jù)中心是信息系統(tǒng)的中心,通過網(wǎng)絡(luò)向企業(yè)或公眾提供信息服務(wù)。具體來說,數(shù)據(jù)中
心是在一幢建筑物內(nèi),以特定的業(yè)務(wù)應(yīng)用中的各類數(shù)據(jù)為核心,依托IT技術(shù),按照統(tǒng)一的
標(biāo)準(zhǔn),建立數(shù)據(jù)處理、存儲(chǔ)、傳輸、綜合分析的?體化數(shù)據(jù)信息管理體系。信息系統(tǒng)為企業(yè)
帶來了業(yè)務(wù)流程的標(biāo)準(zhǔn)化和運(yùn)營(yíng)效率的提升,數(shù)據(jù)中心則為信息系統(tǒng)提供穩(wěn)定、可靠的基礎(chǔ)
設(shè)施和運(yùn)行環(huán)境,并保證可以方便地維護(hù)和管理信息系統(tǒng)。
圖4.1展示了數(shù)據(jù)中心的邏輯示意圖。一個(gè)完整的數(shù)據(jù)中心在其建筑之中,由支撐系統(tǒng)、
計(jì)算設(shè)備和業(yè)務(wù)信息系統(tǒng)這三個(gè)邏輯部分組成。支撐系統(tǒng)主要包括建筑、電力設(shè)備、環(huán)境調(diào)
節(jié)設(shè)備、照明設(shè)備和監(jiān)控設(shè)備,這些系統(tǒng)是保證上層計(jì)算機(jī)設(shè)備正常、安全運(yùn)轉(zhuǎn)的必要條件。
計(jì)算設(shè)備主要包括服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備、通信設(shè)備等,這些設(shè)施支撐著上層的業(yè)務(wù)
信息系統(tǒng)。業(yè)務(wù)信息系統(tǒng)是為企業(yè)或公眾提供特定信息服務(wù)的軟件系統(tǒng),信息服務(wù)的質(zhì)量依
賴于底層支撐系統(tǒng)和計(jì)算機(jī)設(shè)備的服務(wù)能力。只有整體統(tǒng)籌兼顧,才能保證數(shù)據(jù)中心的良好
運(yùn)行,為用戶提供高質(zhì)量、可信賴的服務(wù)。
(點(diǎn)擊查看大圖)圖4.1數(shù)據(jù)中心邏輯示意圖
可見,數(shù)據(jù)中心的概念既包括物理的范疇,也包括數(shù)據(jù)和應(yīng)用的范疇。數(shù)據(jù)中心容納了支撐
業(yè)務(wù)系統(tǒng)運(yùn)行的基礎(chǔ)設(shè)施,為其中的所有業(yè)務(wù)系統(tǒng)提供運(yùn)營(yíng)環(huán)境,并具有一套完整的運(yùn)行、
維護(hù)體系以保證業(yè)務(wù)系統(tǒng)高效、穩(wěn)定、不間斷地運(yùn)行。
4.1.2數(shù)據(jù)中心的發(fā)展過程
早期的數(shù)據(jù)中心可以追溯到20世紀(jì)50年代,數(shù)據(jù)中心是存放大型主機(jī)的機(jī)房。當(dāng)時(shí)的
大型主機(jī)主要用于科學(xué)研究機(jī)構(gòu)或國(guó)防軍事領(lǐng)域,這些大型主機(jī)的主要器件以晶體管和電子
管為主,占地面積大,價(jià)格也十分昂貴。為了充分利用大型主機(jī)的資源,多個(gè)用戶通過終端
和網(wǎng)絡(luò)連接到主機(jī)上來共享計(jì)算資源。
20世紀(jì)70年代以后,隨著大規(guī)模集成電路的快速發(fā)展,計(jì)算機(jī)價(jià)格迅速下降,性能也
飛速提升。發(fā)展到20世紀(jì)80年代,計(jì)算機(jī)向微型機(jī)的方向不斷演進(jìn),只要購買一臺(tái)廉價(jià)的
個(gè)人計(jì)算機(jī),即可完成很多計(jì)算任務(wù)。在這一階段,計(jì)算機(jī)的發(fā)展由集中走向分布,小型機(jī)
房得到了快速的發(fā)展。
進(jìn)入到20世紀(jì)90年代,客戶端/服務(wù)器的計(jì)算模式得到了廣泛應(yīng)用,用戶安裝客戶端
軟件后,通過互聯(lián)網(wǎng)或局域網(wǎng)與服務(wù)器相互配合完成計(jì)算任務(wù)。在這種計(jì)算模式中,數(shù)據(jù)中
心存放服務(wù)器(個(gè)人計(jì)算機(jī)所占的比重超過了大型機(jī))并提供服務(wù)?;ヂ?lián)網(wǎng)將全球的計(jì)算機(jī)
整合在?起,使得數(shù)據(jù)中心的發(fā)展又從分布逐漸走向了集中?;ヂ?lián)網(wǎng)的蓬勃發(fā)展掀起了建設(shè)
數(shù)據(jù)中心的高潮,不但政府機(jī)構(gòu)和金融電信等大型企業(yè)擴(kuò)建自己的數(shù)據(jù)中心,中小企業(yè)也紛
紛構(gòu)建數(shù)據(jù)中心,提供協(xié)同辦公、客戶關(guān)系管理等信息服務(wù)系統(tǒng)以支持業(yè)務(wù)的發(fā)展。
最近幾年,網(wǎng)上銀行、網(wǎng)上證券和娛樂資訊等網(wǎng)絡(luò)服務(wù)逐漸普及,網(wǎng)絡(luò)用戶數(shù)量的不斷
攀升也促進(jìn)了各種規(guī)模數(shù)據(jù)中心的涌現(xiàn),數(shù)據(jù)中心的發(fā)展進(jìn)入了鼎盛時(shí)期,數(shù)據(jù)中心的建設(shè)
規(guī)模和服務(wù)器數(shù)量每年都在以驚人的速度增長(zhǎng)。
如今,飛速發(fā)展的信息服務(wù)和對(duì)IT系統(tǒng)的要求給數(shù)據(jù)中心帶來了新的挑戰(zhàn)。以往的企
業(yè)數(shù)據(jù)中心往往只簡(jiǎn)單地追求計(jì)算力與性能,而當(dāng)前的經(jīng)濟(jì)環(huán)境讓企業(yè)更加注重?cái)?shù)據(jù)中心的
成本,綠色、節(jié)能、低碳的概念也逐漸深入人心。新一代的綠色數(shù)據(jù)中心通過自動(dòng)化的管理
方式、虛擬化的資源整合方式,結(jié)合新的能源管理技術(shù),來解決數(shù)據(jù)中心日益突出的管理復(fù)
雜、能耗嚴(yán)重、成本增加及信息安全等方面的挑戰(zhàn),實(shí)現(xiàn)高效、節(jié)能、環(huán)保、易于管理的數(shù)
據(jù)中心。
4.1.3數(shù)據(jù)中心的分類與分級(jí)
依據(jù)業(yè)務(wù)應(yīng)用系統(tǒng)在規(guī)模類型,服務(wù)的對(duì)象,服務(wù)質(zhì)量的要求等各方面的不同,數(shù)據(jù)中
心的規(guī)模、配置也有很大的不同。
數(shù)據(jù)中心按照服務(wù)的對(duì)象來分,可以分為企業(yè)數(shù)據(jù)中心和互聯(lián)網(wǎng)數(shù)據(jù)中心。企業(yè)數(shù)據(jù)中
心指山企業(yè)或機(jī)構(gòu)構(gòu)建并所有,服務(wù)于企業(yè)或機(jī)構(gòu)自身業(yè)務(wù)的數(shù)據(jù)中心,它為企業(yè)、客戶及
合作伙伴提供數(shù)據(jù)處理、數(shù)據(jù)訪問等信息服務(wù)。企業(yè)數(shù)據(jù)中心的服務(wù)器可以自己購買,也可
以從電信級(jí)機(jī)房中租用,運(yùn)營(yíng)維護(hù)的方式也很自由,既可以由企業(yè)內(nèi)部的IT部門負(fù)責(zé)運(yùn)營(yíng)
維護(hù),也可外包給專業(yè)的IT公司運(yùn)營(yíng)維護(hù)?;ヂ?lián)網(wǎng)數(shù)據(jù)中心山服務(wù)提供商所有,通過互聯(lián)
網(wǎng)向客戶提供有償信息服務(wù)。相對(duì)于企業(yè)數(shù)據(jù)中心來講,互聯(lián)網(wǎng)數(shù)據(jù)中心的服務(wù)對(duì)象更廣,
規(guī)模更大,設(shè)備與管理更為專業(yè)。
長(zhǎng)期以來,業(yè)界采用等級(jí)劃分的方式來規(guī)劃和評(píng)估數(shù)據(jù)中心的可用性和整體性能。采用
這種方法可以明確設(shè)計(jì)者的設(shè)計(jì)意圖,幫助決策者理解投資效果。美國(guó)UptimeInstitute
提出的等級(jí)分類系統(tǒng)已經(jīng)被廣泛采用,成為設(shè)計(jì)人員在規(guī)劃數(shù)據(jù)中心時(shí)的重要參考依據(jù)。在
該系統(tǒng)中,數(shù)據(jù)中心按照其可用性的不同,被分為四個(gè)等級(jí)(Tier)?
第二等級(jí)(TierII)被稱為“具冗余設(shè)備級(jí)”(RedundantCapacityComponents
Siteinfrastructure),該級(jí)別數(shù)據(jù)中心具有冗余設(shè)備,但是所有設(shè)備仍由一套線路系統(tǒng)相
連通。
第三等級(jí)(TierIII)被稱為"可并行維護(hù)級(jí)"(ConcurrentlyMaintainable
Siteinfrastructure),該級(jí)別數(shù)據(jù)中心具有冗余設(shè)備,所有計(jì)算機(jī)設(shè)備都具備雙電源并按
照數(shù)據(jù)中心的建筑結(jié)構(gòu)合理安裝。此外,TierIH要求數(shù)據(jù)中心擁有多套線路系統(tǒng),任何
時(shí)刻只有一套線路被使用。
第四等級(jí)(TierIV)被稱為"容錯(cuò)級(jí)"(FaultTolerantSiteInfrastructure),
該級(jí)別數(shù)據(jù)中心具有多重的、獨(dú)立的、物理上相互分隔的冗余設(shè)備,所有計(jì)算機(jī)設(shè)備都具備
雙電源并按照數(shù)據(jù)中心的建筑結(jié)構(gòu)合理安裝。此外,TierIV要求數(shù)據(jù)中心擁有動(dòng)態(tài)分布的
多套線路系統(tǒng)來同時(shí)連通計(jì)算機(jī)設(shè)備。
可見,隨著等級(jí)的提高,數(shù)據(jù)中心具有了更強(qiáng)的可用性和整體性能。目前,已落成的數(shù)
據(jù)中心在進(jìn)行升級(jí)改造時(shí)都在力爭(zhēng)達(dá)到TierTV的要求。而面向云計(jì)算的下一代數(shù)據(jù)中心在
設(shè)計(jì)時(shí)更是以TierIV作為建設(shè)的標(biāo)準(zhǔn)。
4.2數(shù)據(jù)中心的設(shè)計(jì)和構(gòu)建
數(shù)據(jù)中心的設(shè)計(jì)和構(gòu)建是一項(xiàng)系統(tǒng)工程,相關(guān)人員需要相互協(xié)作來完成總體設(shè)計(jì)、建筑
和基礎(chǔ)設(shè)施的構(gòu)建,以及軟硬件的采購和上線。本節(jié)將為讀者介紹這些工作和相關(guān)的流程。
4.2.1總體設(shè)計(jì)
數(shù)據(jù)中心的設(shè)計(jì)是一個(gè)系統(tǒng)、復(fù)雜、迭代的過程。數(shù)據(jù)中心設(shè)計(jì)者要在特定預(yù)算的情況
下,讓數(shù)據(jù)中心能夠滿足公司現(xiàn)有及將來不斷增長(zhǎng)的業(yè)務(wù)需求。數(shù)據(jù)中心的設(shè)計(jì)過程需要各
類參與者不斷地協(xié)商,平衡多方面的因素,比如在預(yù)算的限制和數(shù)據(jù)中心的性能間進(jìn)行平衡。
通常情況下,設(shè)計(jì)階段決定了落成后數(shù)據(jù)中心的質(zhì)量。合理的評(píng)估規(guī)劃、全面周詳?shù)脑O(shè)計(jì)是
構(gòu)建數(shù)據(jù)中心關(guān)鍵的第一步。
從20世紀(jì)60年代初開始,世界各地的工程人員在構(gòu)建數(shù)據(jù)中心的過程中不斷總結(jié),形成了
系統(tǒng)的數(shù)據(jù)中心建設(shè)標(biāo)準(zhǔn),如我國(guó)的國(guó)家標(biāo)準(zhǔn)《電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范》(GB50174-2008)
和美國(guó)的《數(shù)據(jù)中心電信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)》(T1A-942)。這些標(biāo)準(zhǔn)為數(shù)據(jù)中心的設(shè)計(jì),尤其
是建筑、機(jī)電、通風(fēng)等基礎(chǔ)設(shè)施的規(guī)劃提供了基本的依據(jù)。除了有標(biāo)準(zhǔn)可以依據(jù),設(shè)計(jì)人員
還可以參考以往工程中積累下來的實(shí)踐經(jīng)驗(yàn),以現(xiàn)實(shí)需求為基礎(chǔ),合理運(yùn)用新技術(shù),提高數(shù)
據(jù)中心的管理效率和整體性能。
建設(shè)數(shù)據(jù)中心的目標(biāo)是為了滿足企業(yè)信息化建設(shè)中的各項(xiàng)信息服務(wù)的需求,為它們提供
高性能、高可用、高可擴(kuò)展的安全的基礎(chǔ)設(shè)施及軟件平臺(tái)。建設(shè)數(shù)據(jù)中心包括建設(shè)機(jī)房環(huán)境,
為數(shù)據(jù)中心提供可靠、易用的電力、環(huán)境控制、消防等輔助配套設(shè)施,提供高效的網(wǎng)絡(luò)環(huán)境,
構(gòu)建高效、穩(wěn)定的服務(wù)器系統(tǒng),存儲(chǔ)系統(tǒng),并建立安全體系和災(zāi)備系統(tǒng)。
構(gòu)建數(shù)據(jù)中心需要遵守一些核心設(shè)計(jì)理念,遵守這些理念可以使得數(shù)據(jù)中心的設(shè)計(jì)清晰、
高效、有條理。簡(jiǎn)單的理念要求設(shè)計(jì)容易被理解和驗(yàn)證;靈活的理念保證數(shù)據(jù)中心能不斷適
應(yīng)新的需求;可擴(kuò)展的理念使數(shù)據(jù)中心系統(tǒng)機(jī)構(gòu)和設(shè)備易于擴(kuò)展,能夠隨著業(yè)務(wù)的增長(zhǎng)而擴(kuò)
大;模塊化的理念是將復(fù)雜的工程分解為若干個(gè)小規(guī)模任務(wù),使設(shè)計(jì)工作可控而易管理;標(biāo)
準(zhǔn)化的理念要求采用先進(jìn)成熟的技術(shù)和設(shè)計(jì)規(guī)范,保證能夠適應(yīng)信息技術(shù)的發(fā)展趨勢(shì);經(jīng)濟(jì)
性的理念要求選用性價(jià)比高的設(shè)備,系統(tǒng)可以方便地升級(jí),充分利用原有投資。
4.2.2建筑的設(shè)計(jì)與構(gòu)建
構(gòu)建?個(gè)數(shù)據(jù)中心有多種方式,究竟采用什么方式取決于企業(yè)的發(fā)展戰(zhàn)略和預(yù)算。租用
機(jī)房對(duì)于資金較少的公司是一個(gè)不錯(cuò)的選擇,這樣可以節(jié)省建設(shè)機(jī)房及管理維護(hù)數(shù)據(jù)中心的
成本。對(duì)于需要擁有獨(dú)立數(shù)據(jù)中心的企業(yè),可以選擇利用現(xiàn)有的建筑構(gòu)建數(shù)據(jù)中心或者設(shè)計(jì)
修建一個(gè)新的建筑作為數(shù)據(jù)中心。數(shù)據(jù)中心的建筑在安全、高度和承重方面都有嚴(yán)格的標(biāo)準(zhǔn),
無論是利用現(xiàn)有的建筑還是修建新的建筑都需要考慮數(shù)據(jù)中心構(gòu)建標(biāo)準(zhǔn)。
構(gòu)建數(shù)據(jù)中心,面臨的第一個(gè)問題就是選址。選址要綜合考慮多種因素,包括公司發(fā)展
戰(zhàn)略、預(yù)算、運(yùn)營(yíng)成本和安全等諸多因素,其中通信、電力和地理位置是選址的三個(gè)主要考
慮因素。光纖通信技術(shù)的發(fā)展解決了信息的長(zhǎng)距離、高帶寬快速傳遞的問題,因此,數(shù)據(jù)中
心的選址不存在服務(wù)半徑的問題,只要能夠方便地接入主干通信網(wǎng),即可向全球提供服務(wù)。
電力供應(yīng)是構(gòu)建數(shù)據(jù)中心需要考慮的另個(gè)因素,數(shù)據(jù)中心所在位置必須能夠提供充足、穩(wěn)
定的電力供應(yīng),并且電力成本足夠低,因?yàn)殡娏κ菙?shù)據(jù)中心長(zhǎng)期運(yùn)營(yíng)成本中的一大筆開銷。
為了提供可靠、穩(wěn)定的服務(wù),數(shù)據(jù)中心對(duì)可靠性和可用性都有嚴(yán)格的要求,所以選擇地理位
置的時(shí)候,安全是必須考慮的因素,應(yīng)該盡量遠(yuǎn)離核電站、化工廠、飛機(jī)場(chǎng)、通信基站、軍
事目標(biāo)和自然災(zāi)害頻發(fā)的地帶。
其次,構(gòu)建數(shù)據(jù)中心需要考慮建筑要求,包括建筑的規(guī)模、布局、高度、地板的承重能
力和室內(nèi)布局等。數(shù)據(jù)中心可以小到一個(gè)房間,大到一層樓甚至是整幢樓房。數(shù)據(jù)中心的規(guī)
模取決于企業(yè)的需求和預(yù)算,這直接關(guān)系到能承載多少服務(wù)器,以及將來可以擴(kuò)展到多大的
規(guī)模。從土建角度來講,數(shù)據(jù)中心樓板的承重要求高于普通建筑,因?yàn)閿?shù)據(jù)中心的服務(wù)器?
般比較密集,大型機(jī)柜、網(wǎng)絡(luò)設(shè)備的重量大于普通的家具和辦公設(shè)備。因此在設(shè)計(jì)建筑的承
重能力時(shí)需要綜合考慮數(shù)據(jù)中心的容量,包括服務(wù)器的數(shù)量、制冷設(shè)備等相關(guān)輔助設(shè)備的數(shù)
量。
數(shù)據(jù)中心對(duì)樓層的高度也有要求,設(shè)計(jì)時(shí)需要計(jì)算鋪設(shè)地板和安裝吊頂以后的凈高。因
為一般數(shù)據(jù)中心都采用下進(jìn)線方式,地板F要覆設(shè)走線槽和通風(fēng)通道,所以地板凈高至少需
要30?50厘米;而房頂?shù)蹴斨幸糇銦艟吆拖涝O(shè)備暗埋高度,這樣房間的凈高至少累計(jì)
減少70?80厘米,普通樓房的高度在機(jī)房裝修后會(huì)顯得較低,也不利于設(shè)備的安裝。所以
數(shù)據(jù)中心的房間凈高度最好在3.3米以匕布局的設(shè)計(jì)要考慮到各個(gè)房間的大小、分布、面
積和功能等,比如要考慮如何設(shè)置配線間、服務(wù)器存放區(qū)域和管理員房間等。良好的布局能
夠提高制冷效率,降低制冷成本。此外,數(shù)據(jù)中心對(duì)室內(nèi)環(huán)境要求較高,許多設(shè)備對(duì)溫度、
濕度和灰塵都有特定的要求,通常要避免室內(nèi)設(shè)有窗戶,要在屋頂布置照明、防火、安全監(jiān)
控等設(shè)施。
數(shù)據(jù)中心設(shè)計(jì)完成后,就進(jìn)入了施工階段,也就是根據(jù)設(shè)計(jì)實(shí)現(xiàn)數(shù)據(jù)中心的階段。與建
造其他建筑類似,施工階段有許多煩瑣的工作需要處理。為了保證工程質(zhì)量,需要有專門的
監(jiān)管部門控制施工進(jìn)度,并根據(jù)設(shè)定的標(biāo)準(zhǔn)進(jìn)行階段性驗(yàn)收,項(xiàng)目完成后還需要進(jìn)行全面驗(yàn)
收才能交付。
為了確保設(shè)備的正常運(yùn)行,網(wǎng)絡(luò)、電力和環(huán)境控制設(shè)施等基礎(chǔ)設(shè)施是必不可少的。如圖
4.2所示,電力是數(shù)據(jù)中心運(yùn)行的動(dòng)力,網(wǎng)絡(luò)保證了服務(wù)器及存儲(chǔ)的互聯(lián)和訪問,環(huán)境控制
設(shè)施為設(shè)備運(yùn)行提供了合適的溫度、濕度等環(huán)境條件?;A(chǔ)設(shè)施的設(shè)計(jì)同IT設(shè)備的規(guī)模是
緊密相關(guān)的。比如服務(wù)器的數(shù)量直接影響所需要的電量;服務(wù)器數(shù)量越多,釋放出來的熱量
會(huì)隨之增長(zhǎng),制冷設(shè)備也需要相應(yīng)增加。為了使IT設(shè)備相互連接,網(wǎng)絡(luò)設(shè)施的設(shè)計(jì)建造同
樣是至關(guān)重要的。下面詳細(xì)介紹上面三種基礎(chǔ)設(shè)施的設(shè)計(jì)和構(gòu)建。
服
服
存
電/務(wù)
務(wù)
線儲(chǔ)
患
量
架
服
看
務(wù)
機(jī)
器
架
賈
(點(diǎn)擊查看大圖)圖4.2數(shù)據(jù)中心基礎(chǔ)設(shè)施示意圖
電力系統(tǒng)的設(shè)計(jì)是數(shù)據(jù)中心基礎(chǔ)設(shè)施設(shè)計(jì)中最為關(guān)鍵的部分,關(guān)系到數(shù)據(jù)中心能否持續(xù)、
穩(wěn)定地運(yùn)行。電力系統(tǒng)的設(shè)計(jì)需要考慮數(shù)據(jù)中心的電力負(fù)荷限制、電力公司和冗余配備、電
力設(shè)施的布局。數(shù)據(jù)中心內(nèi)的電力負(fù)載主要有照明用電、消防應(yīng)急系統(tǒng)用電、計(jì)算機(jī)設(shè)備用
電和制冷設(shè)備用電。由于業(yè)務(wù)的重要性,以上各項(xiàng)電力負(fù)載均需要冗余來保證其可用性。在
電力負(fù)荷確定后,數(shù)據(jù)中心的規(guī)劃等級(jí)決定了電力冗余設(shè)備的配置。
舉例來說,TierIV數(shù)據(jù)中心的電力系統(tǒng)可靠性需要達(dá)到99.99%,意味著平均每5年才
會(huì)發(fā)生一次電力事故,平均每年電力事故引起的宕機(jī)時(shí)間為0.8小時(shí)。應(yīng)對(duì)這樣的可用性要
求,數(shù)據(jù)中心需要采用市電雙路供電,設(shè)置雙總線UPS(UninterruptiblePowerSupply,
不間斷電源)冗余,延時(shí)15分鐘,同時(shí)配備柴油發(fā)電機(jī)作為第二重備份,在市電仍未恢復(fù)
且UPS耗盡前及時(shí)接入。在數(shù)據(jù)中心的設(shè)計(jì)中,電力線路和插座的布局也是很重要的。數(shù)據(jù)
中心內(nèi)部IT系統(tǒng)和環(huán)境控制設(shè)備等基礎(chǔ)設(shè)施(比如服務(wù)器、交換機(jī)及空調(diào)等)的分布直接
影響電力線路的布局。設(shè)計(jì)線路布局還需要考慮將來擴(kuò)展的需求及支持設(shè)備的類型,不同國(guó)
家的設(shè)備對(duì)電壓、電流的要求也是有差異的。此外,數(shù)據(jù)中心的電力系統(tǒng)還需要進(jìn)行機(jī)房接
地系統(tǒng)和防雷接地系統(tǒng)的設(shè)計(jì),保證數(shù)據(jù)中心的電力安全。
環(huán)境控制設(shè)施保證了數(shù)據(jù)中心的設(shè)備有一個(gè)適宜的運(yùn)行環(huán)境,包括溫度、濕度及灰塵的
控制。設(shè)計(jì)環(huán)境控制設(shè)施需要考慮IT設(shè)施的規(guī)模、服務(wù)器的類型和數(shù)量等。溫度控制作為
環(huán)境控制中最為重要的問題已經(jīng)被廣泛研究,現(xiàn)在數(shù)據(jù)中心常采用的制冷方式有:風(fēng)冷、水
冷和機(jī)架內(nèi)利用空氣一水熱交換制冷等。依據(jù)TierIV標(biāo)準(zhǔn),數(shù)據(jù)中心要求具有雙路冷源和
雙冗余管路系統(tǒng)。如圖4.3所示,為了布線方便,一般都將機(jī)房地板架空,利用這個(gè)空間鋪
設(shè)網(wǎng)絡(luò)線路、電力線路,以及將冷氣分發(fā)到數(shù)據(jù)中心的每個(gè)角落。精密空調(diào)通過循環(huán)吸收熱
空氣,制造冷氣。在機(jī)架的前方,通過鏤空的地板,將冷氣送入機(jī)架,冷氣流經(jīng)機(jī)架帶走服
務(wù)器的熱量,轉(zhuǎn)換成熱空氣從機(jī)架后面重新流入制冷裝置的進(jìn)風(fēng)口。
風(fēng)冷的設(shè)計(jì)有兩個(gè)關(guān)鍵點(diǎn):一是熱通道和冷通道的設(shè)計(jì),要避免熱空氣流入服務(wù)器機(jī)架
中;二是單位時(shí)間送給每個(gè)機(jī)架的冷氣必須能夠滿足整個(gè)機(jī)架的需求,否則機(jī)架下層的服務(wù)
器排出的熱空氣就可能向上流動(dòng),使機(jī)架上層的服務(wù)器不能獲得良好的制冷效果。風(fēng)冷的一
個(gè)主要問題是制冷能力有限,所以機(jī)架內(nèi)服務(wù)器的密度不能太大。機(jī)架內(nèi)空氣一水交換制冷
能有效提高機(jī)架內(nèi)機(jī)器密度。隨著綠色數(shù)據(jù)中心概念的推廣,節(jié)能已經(jīng)是數(shù)據(jù)中心設(shè)計(jì)的?
個(gè)重:要目標(biāo),水冷在節(jié)能和制冷效果方面都具有明顯的優(yōu)勢(shì),正被越來越多的數(shù)據(jù)中心采用。
如果數(shù)據(jù)是血液,網(wǎng)絡(luò)就是血管。網(wǎng)絡(luò)系統(tǒng)是信息的高速公路,在數(shù)據(jù)中心內(nèi)及數(shù)據(jù)中心之
間起著至關(guān)重要的作用。網(wǎng)絡(luò)基礎(chǔ)設(shè)施的設(shè)計(jì)與電力系統(tǒng)的設(shè)計(jì)類似,需要與企業(yè)的業(yè)務(wù)需
求緊密結(jié)合,主要包括網(wǎng)絡(luò)供應(yīng)商的選擇和內(nèi)部網(wǎng)絡(luò)拓?fù)涞脑O(shè)計(jì)?,F(xiàn)在多數(shù)業(yè)務(wù)都支持通過
互聯(lián)網(wǎng)進(jìn)行訪問,所以業(yè)務(wù)的可用性和服務(wù)質(zhì)量在一定程度上取決于網(wǎng)絡(luò)供應(yīng)商的服務(wù)質(zhì)量。
如果業(yè)務(wù)對(duì)網(wǎng)絡(luò)服務(wù)質(zhì)量的要求比較高(比如銀行ATM服務(wù)),則需要考慮多家網(wǎng)絡(luò)供應(yīng)商
接入。一般數(shù)據(jù)中心的網(wǎng)絡(luò)包含至少三級(jí)結(jié)構(gòu):網(wǎng)絡(luò)供應(yīng)商的網(wǎng)絡(luò)接入連接到數(shù)據(jù)中心的核
心交換機(jī):二級(jí)交換機(jī)向上連接到核心交換機(jī),向下同數(shù)據(jù)中心的機(jī)架互連:機(jī)架內(nèi)部的服
務(wù)器則通過機(jī)架內(nèi)置的網(wǎng)絡(luò)交換模塊同二級(jí)交換機(jī)連接。每級(jí)交換機(jī)的性能和出口、入口的
帶寬選擇都與數(shù)據(jù)中心內(nèi)部的負(fù)載分布密切相關(guān)。
數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)備主要有交換機(jī)和路由器。交換機(jī)是一種基于MAC地址識(shí)別的封裝轉(zhuǎn)
發(fā)數(shù)據(jù)包功能的網(wǎng)絡(luò)設(shè)備。與集線器共享帶寬的廣播方式不同,交換機(jī)可以識(shí)別數(shù)據(jù)幀的發(fā)
送者和目標(biāo)接收者,使數(shù)據(jù)幀直接從源地址到達(dá)目的地址。通過交換機(jī)的過濾和轉(zhuǎn)發(fā),可以
有效地解決廣播風(fēng)暴問題,減少誤包和錯(cuò)包的出現(xiàn),避免共享沖突。
從傳輸速度上來分,局域網(wǎng)交換機(jī)可以分為以太網(wǎng)交換機(jī)、快速以太網(wǎng)交換機(jī)、千兆以
太網(wǎng)交換機(jī)等。插槽與擴(kuò)展槽數(shù)、支持網(wǎng)絡(luò)類型、背板吞吐量、最大可堆疊數(shù)等是選取以太
網(wǎng)交換機(jī)的主要參數(shù)。路由器用于連接多個(gè)邏輯上分開的網(wǎng)絡(luò),當(dāng)收到數(shù)據(jù)時(shí),通過路由規(guī)
則判斷網(wǎng)絡(luò)地址并選擇路徑,完成數(shù)據(jù)在多個(gè)子網(wǎng)間的傳輸。路由器的主要工作目標(biāo)是盡可
能選擇通常快捷的網(wǎng)絡(luò)路徑,提高通信速度,減輕網(wǎng)絡(luò)系統(tǒng)通信負(fù)荷,節(jié)約網(wǎng)絡(luò)資源,提高
網(wǎng)絡(luò)暢通率,從而讓網(wǎng)絡(luò)發(fā)揮出更大的效益。選購路由器時(shí),應(yīng)重點(diǎn)考慮路由器所支持的路
由協(xié)議類型、吞吐量、轉(zhuǎn)發(fā)延時(shí)、路山表的容量,以及路山器的穩(wěn)定性等因素。
4.2.4數(shù)據(jù)中心上線
數(shù)據(jù)中心上線包括以下幾個(gè)步驟:選擇服務(wù)器、選擇軟件、機(jī)器上架及軟件部署和測(cè)試。
下面將分別介紹這些步驟。
選擇服務(wù)器需要綜合考慮多方面因素,比如數(shù)據(jù)中心支持的服務(wù)器數(shù)量及數(shù)據(jù)中心將來
要達(dá)到的規(guī)模和服務(wù)器的性能等。由于服務(wù)器是主要的耗電設(shè)備,所以節(jié)能也是個(gè)重要的
考慮因素。數(shù)據(jù)中心的服務(wù)器按照類型可以分為塔式服務(wù)器、機(jī)架式服務(wù)器和刀片服務(wù)器這
三大類。下面將分別介紹這三種最常見的服務(wù)器。
塔式服務(wù)器的外觀與個(gè)人計(jì)算機(jī)的主機(jī)差不多,如圖4.4所示。與普通PC相比,塔式
服務(wù)器的主板可擴(kuò)展性較強(qiáng),接口和插槽比普通PC多一些,機(jī)箱的尺寸比普通PC稍大。塔
式服務(wù)器成本較低,能夠靈活地定制,可以滿足入門級(jí)服務(wù)器的需求,所以應(yīng)用范圍非常廣
泛。不過塔式服務(wù)器也有其局限性:山于擴(kuò)展性有限,塔式服務(wù)器很難滿足規(guī)模較大的并行
處理應(yīng)用的要求;另外,由于占用空間較大,不便于挪動(dòng)和管理。
圖4.4塔式服務(wù)器
機(jī)架式服務(wù)器是一種外觀按照統(tǒng)一標(biāo)準(zhǔn)設(shè)計(jì)的、配合機(jī)柜使用的服務(wù)器,如圖4.5所示。
由于采用統(tǒng)一的機(jī)架式結(jié)構(gòu),服務(wù)器可以方便地與其他網(wǎng)絡(luò)設(shè)備連接,簡(jiǎn)化了機(jī)房的布線和
管理。機(jī)架式服務(wù)器的尺寸有統(tǒng)一的標(biāo)準(zhǔn):服務(wù)器的寬度為19英寸,高度以U為單位(U
是表示服務(wù)器外部高度的單位,是Unit的簡(jiǎn)稱,1U=1.75英寸,由美國(guó)電子工業(yè)協(xié)會(huì)確定)。
通常標(biāo)準(zhǔn)的服務(wù)器高度在1U至7U之間,機(jī)柜的高度從22U至42U不等。
圖4.5描繪了從1U到4U四種不同尺寸的機(jī)架式服務(wù)器。與塔式服務(wù)器相比,機(jī)架式服
務(wù)器的優(yōu)點(diǎn)是占用空間較小,單位空間可放置更多的服務(wù)器,且管理方便。機(jī)架式服務(wù)器的
不足是對(duì)制冷要求較高。機(jī)架式服務(wù)器廣泛適用于服務(wù)器第三方托管(如電信托管)的企業(yè),
因?yàn)檫@種托管的費(fèi)用常常是按照機(jī)器的空間收取的。另外,由于占用空間小,機(jī)架式服務(wù)器
適用于服務(wù)器數(shù)量較大或者空間有限的數(shù)據(jù)中心。
(點(diǎn)擊查看大圖)圖4.5機(jī)架式服務(wù)器
刀片服務(wù)器是在標(biāo)準(zhǔn)高度的機(jī)箱上插裝多個(gè)卡式的服務(wù)器單元,由于這些服務(wù)器單元的
外觀很薄,故得名刀片服務(wù)器,如圖4.6所示。實(shí)際上,每一塊“刀片”都是一個(gè)獨(dú)立的服
務(wù)器,包括系統(tǒng)主板、硬盤、內(nèi)存等設(shè)備,可以通過板載硬盤啟動(dòng)操作系統(tǒng)。若干刀片服務(wù)
器連接起來,就形成了一個(gè)集群服務(wù)器,由所在的機(jī)箱提供高速的網(wǎng)絡(luò)環(huán)境,同時(shí)共享機(jī)箱
中的其他資源,協(xié)同完成計(jì)算任務(wù)。
刀片服務(wù)器支持熱插拔,這大大降低了系統(tǒng)維護(hù)的成本。刀片服務(wù)器比機(jī)架式服務(wù)器更
加節(jié)省空間,光驅(qū)、顯示器和制冷裝置都是共享的,在一定程度上降低了成本。刀片服務(wù)器
一般應(yīng)用于大型數(shù)據(jù)中心或者計(jì)算密集的領(lǐng)域,如電信、金融行業(yè)和互聯(lián)網(wǎng)數(shù)據(jù)中心等。對(duì)
于企業(yè)和互聯(lián)網(wǎng)服務(wù)提供商來說,隨著業(yè)務(wù)的發(fā)展和對(duì)服務(wù)器需求的增長(zhǎng),刀片服務(wù)器在節(jié)
約空間、便于管理、可擴(kuò)展性方面擁有顯著的優(yōu)勢(shì),將成為未來服務(wù)器的主流產(chǎn)品。
圖4.6刀片服務(wù)器
數(shù)據(jù)中心的軟件主要包括操作系統(tǒng)、數(shù)據(jù)中心管理監(jiān)控軟件和與業(yè)務(wù)相關(guān)的軟件(中間件、
郵件管理系統(tǒng)、客戶關(guān)系管理系統(tǒng)等軟件)。
目前數(shù)據(jù)中心服務(wù)器操作系統(tǒng)主要有三大類:UNIX系統(tǒng)、Windows系統(tǒng)和Linux系統(tǒng)。
數(shù)據(jù)中心要根據(jù)具體的業(yè)務(wù)需求選擇適合的操作系統(tǒng)。
UNIX是一種技術(shù)成熟、可靠性高、安全性高的多任務(wù)分時(shí)操作系統(tǒng)。UNIX可滿足政府
機(jī)構(gòu)和各行業(yè)大型企業(yè)的需求,適合運(yùn)行企業(yè)的重要業(yè)務(wù),是主流的企業(yè)IT操作平臺(tái)。UNIX
系統(tǒng)最早的雛形在1969年誕生于ATaT貝爾實(shí)驗(yàn)室,當(dāng)時(shí)UNIX的所有者AT&T公司發(fā)布了
UNIX的源碼,許多機(jī)構(gòu)在這個(gè)UNIX雛形的基礎(chǔ)上進(jìn)行了改進(jìn),產(chǎn)生了若干個(gè)UNIX的變種
版本,如AIX、Solaris等。UNIX系統(tǒng)常常與硬件配套,比如采購了IBM的小型機(jī)就應(yīng)選用
AIX系統(tǒng),從而達(dá)到最佳的系統(tǒng)性能。
Linux是一套可以免費(fèi)使用和自由傳播的、開源的類UNIX操作系統(tǒng),由世界各地成千
上萬的程序員設(shè)計(jì)和實(shí)現(xiàn)。Linux系統(tǒng)在x86架構(gòu)上實(shí)現(xiàn)了UNIX的主要特性,因而得到眾
多愛好者的廣泛采用。Linux的發(fā)行版眾多,常見的發(fā)行版有Ubuntu、SUSE和Redhat等。
Windows是Microsoft公司開發(fā)的操作系統(tǒng),用于服務(wù)器的操作系統(tǒng)有Windows
Server2003和WindowsServer2008等。
數(shù)據(jù)中心大多以Web的形式向外提供服務(wù),Web服務(wù)一般采用三層架構(gòu),從前端到后端
依次為表現(xiàn)層、業(yè)務(wù)邏輯層和數(shù)據(jù)訪問層。三層架構(gòu)目前均有相關(guān)中間件的支持,如表現(xiàn)層
的HTTP服務(wù)器,業(yè)務(wù)邏輯層的Web應(yīng)用服務(wù)器,數(shù)據(jù)訪問層的數(shù)據(jù)庫服務(wù)器。主要產(chǎn)品有
IBM公司的WebSphere(HTTP服務(wù)器,Web應(yīng)用服務(wù)器)和DB2(數(shù)據(jù)庫服務(wù)器),開源的
產(chǎn)品有Apache(HTTP服務(wù)器)、Tomcat(Web應(yīng)用服務(wù)器)和MySQL(數(shù)據(jù)庫服務(wù)器)等。
數(shù)據(jù)中心的管理和監(jiān)控軟件種類繁多,功能涵蓋系統(tǒng)部署、軟件升級(jí)、系統(tǒng)、網(wǎng)絡(luò)、中
間件及應(yīng)用的監(jiān)控等。比如IBM的Tivoli系列產(chǎn)品和Cisco的網(wǎng)絡(luò)管理產(chǎn)品等,用戶可以
根據(jù)自己的需要進(jìn)行選擇。
機(jī)器上架和系統(tǒng)初始化階段主要完成服務(wù)器和系統(tǒng)的安裝和配置工作。苜先將機(jī)架按照
數(shù)據(jù)中心設(shè)計(jì)的拓?fù)浣Y(jié)構(gòu)進(jìn)行合理擺放,服務(wù)器組裝完成后進(jìn)行網(wǎng)絡(luò)連接,最后安裝和配置
操作系統(tǒng)、相應(yīng)的中間件和應(yīng)用軟件。這幾個(gè)階段都需要專業(yè)人員的參與,否則系統(tǒng)可能無
法發(fā)揮最大的性能,甚至不能正常工作。舉例來說,數(shù)據(jù)庫軟件安裝完成后,需要根據(jù)服務(wù)
器的硬件配置及應(yīng)用的需求進(jìn)行性能調(diào)優(yōu),這樣才能最大程度地發(fā)揮數(shù)據(jù)庫系統(tǒng)的性能。目
前已經(jīng)有了一些系統(tǒng)管理方案,支持自動(dòng)地進(jìn)行系統(tǒng)部署、安裝和配置,這在一定程度上減
少了技術(shù)人員的工作復(fù)雜度,簡(jiǎn)化了系統(tǒng)初始化的流程,提高了系統(tǒng)部署的效率。
服務(wù)器和軟件安裝配置完成后,就要開始對(duì)整個(gè)系統(tǒng)進(jìn)行聯(lián)合測(cè)試,檢驗(yàn)軟件是否正常
運(yùn)行、網(wǎng)絡(luò)帶寬是否足夠,以及應(yīng)用性能是否達(dá)到預(yù)期等。這個(gè)階段需要參照設(shè)計(jì)階段的文
檔逐條驗(yàn)證,測(cè)試系統(tǒng)是否滿足設(shè)計(jì)要求。
4.3數(shù)據(jù)中心的管理和維護(hù)
數(shù)據(jù)中心的管理和維護(hù)包含很多工作,涉及多種角色,包括系統(tǒng)管理員、應(yīng)用管理員、
硬件管理員、機(jī)房管理員、數(shù)據(jù)管理員和網(wǎng)絡(luò)管理員等,每個(gè)角色都不可或缺。在中小規(guī)模
的數(shù)據(jù)中心里,經(jīng)常一人身兼若干角色。本節(jié)將介紹數(shù)據(jù)中心管理和維護(hù)的主要工作。
4.3.1硬件的管理和維護(hù)
硬件的管理和維護(hù)包括對(duì)硬件的升級(jí)、定期維護(hù)和更新等。業(yè)務(wù)規(guī)模的增長(zhǎng)和系統(tǒng)負(fù)載
的增加要求對(duì)服務(wù)器進(jìn)行升級(jí)以適應(yīng)業(yè)務(wù)發(fā)展的需要。系統(tǒng)運(yùn)行一段時(shí)間后要定期對(duì)硬件進(jìn)
行檢查和維護(hù),保證硬件的穩(wěn)定運(yùn)行。當(dāng)服務(wù)器發(fā)生硬件故障時(shí),需要及時(shí)檢測(cè)和定位故障,
更換發(fā)生故障的部件。
升級(jí)或者更換部件時(shí),不但要考慮服務(wù)器內(nèi)各種部件的兼容性,還要協(xié)調(diào)這些部件的性
能,消除性能瓶頸。服務(wù)器的CPU頻率、內(nèi)存大小、磁盤容量、I/O性能、網(wǎng)絡(luò)帶寬和電源
供給能力等要達(dá)到均衡和協(xié)調(diào),才能避免浪費(fèi)并且使系統(tǒng)整體性能達(dá)到最優(yōu)。在選取組件時(shí),
應(yīng)盡量選取同一品牌和型號(hào)的組件,這樣做一方面可以提高不同服務(wù)器組件之間的可替換性
和兼容性,另一方面可以減少由于組件型號(hào)不同而對(duì)系統(tǒng)性能產(chǎn)生的影響。
灰塵是導(dǎo)致服務(wù)器故障的?個(gè)重要因素,服務(wù)器的散熱風(fēng)扇在運(yùn)轉(zhuǎn)時(shí)容易將塵土帶入機(jī)
箱,塵土中夾帶的水分和腐蝕性物質(zhì)附著在電子元件上,會(huì)影響散熱或產(chǎn)生短路,增加系統(tǒng)
的不穩(wěn)定性。因此,定期清理除塵是必不可少的。
4.3.2軟件的管理和維護(hù)
數(shù)據(jù)中心的常見軟件包括操作系統(tǒng)、中間件、業(yè)務(wù)軟件和相關(guān)的一些輔助軟件,其管理
和維護(hù)工作包括軟件的安裝、配置、升級(jí)和監(jiān)控等。
操作系統(tǒng)的安裝主要有兩種方式:通過系統(tǒng)安裝文件安裝和克隆安裝。安裝文件的優(yōu)勢(shì)
是支持多種安裝環(huán)境和機(jī)器類型,但是安裝中大多需要人工干預(yù),容易出錯(cuò),而且效率較低。
對(duì)同一類服務(wù)器,則可以采用鏡像克隆方式安裝,避免手動(dòng)安裝引入的錯(cuò)誤,減少人為原因
引起的配置差異,提高部署效率。系統(tǒng)升級(jí)需要遵守嚴(yán)格的流程,包括新補(bǔ)丁的測(cè)試、驗(yàn)證
及最后在整個(gè)數(shù)據(jù)中心進(jìn)行規(guī)模分發(fā)和安裝。補(bǔ)丁的分發(fā)有兩種方式:一種是“推”方式,
由中央服務(wù)器將軟件包分發(fā)到目標(biāo)機(jī)器上,然后通過遠(yuǎn)程命令或者腳本安裝;另一種是“拉”
方式,在目標(biāo)機(jī)器上安裝一個(gè)代理,定期從服務(wù)器上獲取更新。
安全性是操作系統(tǒng)管理和維護(hù)的重要內(nèi)容,常見的措施包括安裝補(bǔ)丁、設(shè)置防火墻、安
裝殺毒軟件、設(shè)置賬號(hào)密碼保護(hù)和檢測(cè)系統(tǒng)日志等。遵循穩(wěn)定優(yōu)先的原則,服務(wù)器一旦運(yùn)行
在穩(wěn)定的狀態(tài),應(yīng)避免不必要的升級(jí),以免引入諸如軟件和系統(tǒng)不兼容等問題。中間件和其
他軟件的管理和維護(hù)工作與操作系統(tǒng)類似,包括軟件的安裝、配置、維護(hù)和定期升級(jí)等。虛
擬化技術(shù)的發(fā)展簡(jiǎn)化了軟件的安裝和配置工作,這部分內(nèi)容將在后面的章節(jié)中進(jìn)行詳細(xì)介紹。
4.3.3數(shù)據(jù)的管理和維護(hù)
數(shù)據(jù)是信息系統(tǒng)最重要的資產(chǎn)。事實(shí)上,構(gòu)建信息系統(tǒng)的目標(biāo)就是對(duì)數(shù)據(jù)的管理,保證
數(shù)據(jù)安全、有效和可用。采用有效的數(shù)據(jù)備份和恢復(fù)策略能保證企業(yè)數(shù)據(jù)的安全,即使在災(zāi)
難發(fā)生后,也能快速地恢復(fù)數(shù)據(jù)。數(shù)據(jù)中常常包含企業(yè)的商'業(yè)機(jī)密,因此數(shù)據(jù)維護(hù)是數(shù)據(jù)中
心維護(hù)工作的重中之重。隨著信息技術(shù)的快速發(fā)展,數(shù)據(jù)量正在呈指數(shù)級(jí)增長(zhǎng)。2003年全
球人均數(shù)據(jù)量?jī)H為0.8GB,2006年即上漲至24GB,并將在2010年突破300GB,如此快速的
增長(zhǎng)趨勢(shì)給數(shù)據(jù)維護(hù)帶來了更大的挑戰(zhàn)。
數(shù)據(jù)管理和維護(hù)主要包括數(shù)據(jù)備份與恢復(fù)、數(shù)據(jù)整合、數(shù)據(jù)存檔和數(shù)據(jù)挖掘等,下面將
逐一介紹這些內(nèi)容。
數(shù)據(jù)備份是指創(chuàng)建數(shù)據(jù)的副本,在系統(tǒng)失效或數(shù)據(jù)丟失時(shí)通過副本恢復(fù)原有數(shù)據(jù)。數(shù)據(jù)
備份的種類包括文件系統(tǒng)備份、應(yīng)用系統(tǒng)備份、數(shù)據(jù)庫備份和操作系統(tǒng)備份等。數(shù)據(jù)庫備份
應(yīng)用最為廣泛,主流的數(shù)據(jù)庫產(chǎn)品都提供數(shù)據(jù)備份和恢復(fù)功能,支持不同策略的數(shù)據(jù)備份機(jī)
制,并在需要時(shí)將系統(tǒng)數(shù)據(jù)恢復(fù)到備份時(shí)刻。目前數(shù)據(jù)庫技術(shù)已經(jīng)相當(dāng)成熟,商業(yè)數(shù)據(jù)庫軟
件的功能也很強(qiáng)大,管理員可在數(shù)據(jù)庫中設(shè)置定時(shí)備份,也可以通過某種事件觸發(fā)備份或者
手動(dòng)備份,使用起來很方便。例如,IBMDB2數(shù)據(jù)庫支持完全備份和增量備份兩種策略,實(shí)
際使用中兩者可以結(jié)合使用。為了保證數(shù)據(jù)安全,備份數(shù)據(jù)應(yīng)存儲(chǔ)在和原數(shù)據(jù)不同的物理介
質(zhì)上,以規(guī)避物理介質(zhì)損壞所產(chǎn)生的風(fēng)險(xiǎn)。
數(shù)據(jù)整合通過將?種格式的數(shù)據(jù)轉(zhuǎn)換成另一種格式,達(dá)到在多個(gè)系統(tǒng)之間共享數(shù)據(jù)和消
除冗余的目的。一些企業(yè)由于歷史原因擁有多個(gè)信息系統(tǒng),各個(gè)系統(tǒng)承擔(dān)不同的功能,在某
種程度上又和其他系統(tǒng)有交叉,數(shù)據(jù)整合可以滿足這些系統(tǒng)間的數(shù)據(jù)共享需求。數(shù)據(jù)歸檔是
指將長(zhǎng)期不用的數(shù)據(jù)提取出來保存到其他數(shù)據(jù)庫的過程。數(shù)據(jù)挖掘是從歸檔數(shù)據(jù)庫中分析尋
找有價(jià)值的信息的過程。在業(yè)務(wù)系統(tǒng)運(yùn)行過程中,會(huì)時(shí)刻產(chǎn)生新的業(yè)務(wù)數(shù)據(jù),隨著數(shù)據(jù)量的
不斷增大,數(shù)據(jù)庫的規(guī)模越來越龐大,如果不能有效地處理這些數(shù)據(jù),數(shù)據(jù)庫的訪問效率就
會(huì)變差,進(jìn)而影響業(yè)務(wù)系統(tǒng)的性能。歸檔的數(shù)據(jù)庫也被稱為數(shù)據(jù)倉庫,可以為企業(yè)經(jīng)營(yíng)決策
提供數(shù)據(jù)依據(jù)。保存在數(shù)據(jù)倉庫中的數(shù)據(jù)一般只能被添加和查找,不能被修改和刪除。歸檔
時(shí)可按需對(duì)數(shù)據(jù)進(jìn)行一些處理:首先清洗數(shù)據(jù),去除錯(cuò)誤或無效的數(shù)據(jù);其次精簡(jiǎn)數(shù)據(jù),將
數(shù)據(jù)中可用于統(tǒng)計(jì)分析的信息抽取出來,將無用的信息刪除,從而減少存檔數(shù)據(jù)量,數(shù)據(jù)精
簡(jiǎn)往往需要進(jìn)行數(shù)據(jù)格式的轉(zhuǎn)換。
4.3.4資源管理
負(fù)載均衡是資源管理的重要內(nèi)容,數(shù)據(jù)中心管理和維護(hù)時(shí)應(yīng)做到負(fù)載均衡,以避免資源
浪費(fèi)或形成系統(tǒng)瓶頸。系統(tǒng)負(fù)我不均衡主要體現(xiàn)在以下幾個(gè)方面。
(1)同一服務(wù)器內(nèi)不同類型的資源使用不均衡,例如內(nèi)存已經(jīng)嚴(yán)重不足,但CPU利用
率僅為10機(jī)這種問題的出現(xiàn)多是由于在購買和升級(jí)服務(wù)器時(shí)沒有很好地分析應(yīng)用對(duì)資源的
需求。對(duì)于計(jì)算密集型應(yīng)用,應(yīng)為服務(wù)器配置高主頻CPU;對(duì)于I/O密集型應(yīng)用,應(yīng)配置高
速大容量磁盤;對(duì)于網(wǎng)絡(luò)密集型應(yīng)用,應(yīng)配置高速網(wǎng)絡(luò)。
(2)同一應(yīng)用不同服務(wù)器間的負(fù)載不均衡。Web應(yīng)用往往采用表現(xiàn)層、應(yīng)用層和數(shù)據(jù)
層的三層架構(gòu),三層協(xié)同工作處理用戶請(qǐng)求。同樣的請(qǐng)求對(duì)這三層的壓力往往是不同的,因
此要根據(jù)業(yè)務(wù)請(qǐng)求的壓力分配情況決定服務(wù)器的配置。如果應(yīng)用層壓力較大而其他兩層壓力
較小,則要為應(yīng)用層提供較高的配置;如果仍然不能滿足需求,可以搭建應(yīng)用層集群環(huán)境,
使用多個(gè)服務(wù)器平衡負(fù)載。
(3)不同應(yīng)用之間的資源分配不均衡。數(shù)據(jù)中心往往運(yùn)行著多個(gè)應(yīng)用,每個(gè)應(yīng)用對(duì)資
源的需求是不同的,應(yīng)按照應(yīng)用的具體要求來分配系統(tǒng)資源。
(4)時(shí)間不均衡。用戶對(duì)業(yè)務(wù)的使用存在高峰期和低谷期,這種不均衡具有一定的規(guī)
律,例如對(duì)于在線游戲來說,晚上的負(fù)載大于白天,白天的負(fù)載大于深夜,周末和節(jié)假II的
負(fù)載大于工作日。此外,從長(zhǎng)期來看,隨著企業(yè)的發(fā)展,亞務(wù)系統(tǒng)的負(fù)載往往呈上升趨勢(shì)。
與前述其他情況相比,時(shí)間不均衡有其特殊性:時(shí)間不均衡不能通過靜態(tài)配置的方式解決,
只能通過動(dòng)態(tài)調(diào)整資源來解決,這給系統(tǒng)的管理和維護(hù)工作提出了更高的要求。
總之,有效的資源管理方式能提高資源利用率,合理的資源分配能夠有效地均衡負(fù)載,
減少資源浪費(fèi),避免系統(tǒng)瓶頸的出現(xiàn),保障業(yè)務(wù)系統(tǒng)的正常運(yùn)行。
4.3.5安全管理
作為企業(yè)信息系統(tǒng)的心臟,數(shù)據(jù)中心的安全問題尤為重要。數(shù)據(jù)中心的安全包括物理安
全和系統(tǒng)安全。為了保證物理安全,數(shù)據(jù)中心需要配備完善的安保系統(tǒng),該系統(tǒng)應(yīng)實(shí)現(xiàn)7X
24小時(shí)實(shí)時(shí)監(jiān)控和錄像、人員出入控制、人員遠(yuǎn)距離定位和聯(lián)網(wǎng)報(bào)警功能。管理人員和授
權(quán)用戶可以隨時(shí)隨地接入系統(tǒng)獲得相應(yīng)的監(jiān)控信息和回放資料。
系統(tǒng)安全主要是防止惡意用戶攻擊系統(tǒng)或竊取數(shù)據(jù)。系統(tǒng)攻擊大致分為兩類:一類以擾
亂服務(wù)器正常工作為目的,如拒絕服務(wù)攻擊等;另一類以入侵或破壞服務(wù)器為目的,如竊取
服務(wù)器機(jī)密數(shù)據(jù)、修改服務(wù)器網(wǎng)頁等,這一類攻擊的影響更為嚴(yán)重。數(shù)據(jù)中心需要采取安全
措施,有效地避免這兩類攻擊,常見的安全措施有以下幾種。
(1)給服務(wù)器的賬號(hào)設(shè)定安全的密碼。賬號(hào)和密碼是保護(hù)服務(wù)器的最重要的一道防線,
設(shè)定的密碼要有足夠的長(zhǎng)度和強(qiáng)度,最好是數(shù)字、字母和符號(hào)的混合、大寫和小寫字母的混
合,避免使用名字、生日等容易被猜中的密碼,并且定期更換。
(2)采用安全防御系統(tǒng),包括防火墻、入侵檢測(cè)系統(tǒng)等。防火墻可以防止黑客的非法
訪問和流量攻擊,將惡意的網(wǎng)絡(luò)連接擋在防火墻之外。入侵檢測(cè)系統(tǒng)可以監(jiān)視服務(wù)器的出入
口,通過與常見的黑客攻擊模式匹配,識(shí)別并過濾入侵性質(zhì)的訪問。此外,網(wǎng)絡(luò)管理員與安
全防御系統(tǒng)配合可以進(jìn)一步提高安全系數(shù)。管理員需要熟悉路由器、交換機(jī)和服務(wù)器等各種
設(shè)備的網(wǎng)絡(luò)配置,包括IP地址、網(wǎng)關(guān)、子網(wǎng)掩碼、端口、代理服務(wù)器等,了解網(wǎng)絡(luò)拓?fù)浣Y(jié)
構(gòu),在發(fā)現(xiàn)問題后迅速定位。網(wǎng)絡(luò)管理員還要根據(jù)不同1P和端口的訪問流量統(tǒng)計(jì),識(shí)別出
非正常使用的情況并加以封禁。
(3)定時(shí)升級(jí),及時(shí)給系統(tǒng)打補(bǔ)丁。不存在沒有漏洞的系統(tǒng),系統(tǒng)中的漏洞很多都隱
藏在深處,不易被發(fā)現(xiàn)。?旦某個(gè)系統(tǒng)漏洞被黑客發(fā)現(xiàn),就會(huì)對(duì)此類系統(tǒng)進(jìn)行攻擊或開發(fā)針
對(duì)此類系統(tǒng)的病毒。與此同時(shí),系統(tǒng)的開發(fā)者也會(huì)盡快發(fā)布補(bǔ)丁。攻擊與防御,是一場(chǎng)速度
的比拼。系統(tǒng)使用者要爭(zhēng)取在第一時(shí)間安裝系統(tǒng)補(bǔ)丁,不給黑客和病毒可乘之機(jī)。
(4)關(guān)閉不必要的系統(tǒng)服務(wù)。黑客可能通過有漏洞的服務(wù)攻擊系統(tǒng),即使無法通過這
些服務(wù)攻擊,開啟的服務(wù)也可以給黑客提供信息,因此應(yīng)該關(guān)閉不必要的服務(wù)。
(5)保留服務(wù)器的日志。雖然保留日志無法直接防止黑客入侵,但管理員可以根據(jù)日
志分析出黑客利用了哪些系統(tǒng)漏洞、在系統(tǒng)中安裝了哪些木馬程序,以便快速定位和解決問
題。
4.4新一代數(shù)據(jù)中心的需求
數(shù)據(jù)中心為信息服務(wù)提供運(yùn)行平臺(tái),對(duì)新一代數(shù)據(jù)中心的需求從根本上源于對(duì)新一代信
息服務(wù)的需求。隨著信息服務(wù)在數(shù)量和種類上的快速增長(zhǎng),企業(yè)紛紛把核心業(yè)務(wù)和數(shù)據(jù)放到
IT系統(tǒng)中運(yùn)營(yíng)。與此同時(shí),用戶數(shù)量也在不斷攀升,用戶對(duì)信息服務(wù)的依賴越來越強(qiáng),企
業(yè)和個(gè)人都需要更安全可靠、易于管理、成本低廉的信息服務(wù)。對(duì)信息服務(wù)的更高要求指明
了新?代數(shù)據(jù)中心的發(fā)展方向,下面將從合理規(guī)劃、流程化、可管理性、可伸縮性、可靠性
這幾個(gè)方面分別討論。
4.4.1合理規(guī)劃
數(shù)據(jù)中心的建設(shè)是一項(xiàng)系統(tǒng)工程,從規(guī)劃到設(shè)計(jì),從選址到建設(shè),從計(jì)算機(jī)設(shè)備到制冷
系統(tǒng),從網(wǎng)絡(luò)安全到災(zāi)難防備,無--不需要合理規(guī)劃。一個(gè)數(shù)據(jù)中心通??梢赃\(yùn)行三十年左
右,要使得數(shù)據(jù)中心在這三十年的時(shí)間內(nèi)始終保持經(jīng)濟(jì)的運(yùn)行狀態(tài),有很多復(fù)雜的因素需要
考慮。比如需要考慮各種設(shè)備的更新?lián)Q代,計(jì)算機(jī)設(shè)備通常以五年為更換周期,制冷系統(tǒng)的
壽命可達(dá)十年以上,更新時(shí)需要合理選擇設(shè)備,使用過度超前的設(shè)備或遲遲不更新都不能達(dá)
到最經(jīng)濟(jì)的效果。再比如需要考慮設(shè)備冗余量,設(shè)備冗余可以提升系統(tǒng)的可用性,保證個(gè)別
設(shè)備出現(xiàn)故障時(shí)整個(gè)系統(tǒng)仍能正常運(yùn)轉(zhuǎn)。但是過多冗余會(huì)導(dǎo)致設(shè)備長(zhǎng)期閑置、資源浪費(fèi),因
此規(guī)劃時(shí)需要具體分析,保證增加的冗余設(shè)備可以切實(shí)提高系統(tǒng)的可用性。
然而,由于企、也難以預(yù)測(cè)IT系統(tǒng)的需求變化,有一些問題不能在設(shè)計(jì)數(shù)據(jù)中心時(shí)做出
準(zhǔn)確的規(guī)劃。一方面,企業(yè)的整體運(yùn)營(yíng)越來越依賴于IT平臺(tái),而這些IT系統(tǒng)的負(fù)載并非長(zhǎng)
期不變,往往隨著業(yè)務(wù)的發(fā)展而快速增長(zhǎng)。有些企業(yè)甚至難以預(yù)見一年以后業(yè)務(wù)發(fā)展會(huì)帶來
怎樣的系統(tǒng)負(fù)載變化。另一方面,IT系統(tǒng)的觸角正逐漸伸展到企業(yè)業(yè)務(wù)和管理的各個(gè)角落,
新上線的系統(tǒng)層出不窮,很難預(yù)測(cè)舊的管理方式和系統(tǒng)何時(shí)會(huì)被新系統(tǒng)取代。此外,IT系
統(tǒng)本身越來越復(fù)雜,不可預(yù)見性也變得越來越強(qiáng)。這些變化的發(fā)生難以預(yù)測(cè),一旦發(fā)生,數(shù)
據(jù)中心的IT基礎(chǔ)架構(gòu)將無法支撐,急需擴(kuò)容。同樣,為難以預(yù)測(cè)的負(fù)載準(zhǔn)備大量冗余也是
不可取的。
綜上所述,搭建數(shù)據(jù)中心需要合理規(guī)劃各個(gè)環(huán)節(jié),以保證數(shù)據(jù)中心在較為經(jīng)濟(jì)的狀態(tài)下
運(yùn)營(yíng)。同時(shí),業(yè)務(wù)的動(dòng)態(tài)性和不確定性會(huì)給數(shù)據(jù)中心的準(zhǔn)確規(guī)劃帶來挑戰(zhàn)。
4.4.2流程化
通過合理規(guī)劃和系統(tǒng)構(gòu)建,落成后的數(shù)據(jù)中心需要為信息服務(wù)提供高效、可靠、穩(wěn)定的
運(yùn)行環(huán)境和平臺(tái)。因?yàn)樾畔⒎?wù)的質(zhì)量和成本是客戶最關(guān)注的問題,信息服務(wù)管理自然成為
數(shù)據(jù)中心的一項(xiàng)基本工作,其重要性不言而喻。信息服務(wù)管理的含義是以信息服務(wù)的形式為
客戶創(chuàng)造價(jià)值的套組織能力,這種能力以流程的形式貫穿信息服務(wù)的整個(gè)生命周期。信息
服務(wù)管理的核心是通過信息流程的標(biāo)準(zhǔn)化,幫助企業(yè)根據(jù)業(yè)務(wù)目標(biāo)實(shí)現(xiàn)創(chuàng)新的、可視的、自
動(dòng)的、可控的信息服務(wù),提高企業(yè)的運(yùn)行效率和服務(wù)質(zhì)量,為用戶創(chuàng)造最大價(jià)值。
20世紀(jì)80年代,英國(guó)政府認(rèn)為行政機(jī)構(gòu)的信息服務(wù)質(zhì)量有待提高,于是任命英國(guó)中央
計(jì)算機(jī)與電信局(CentralComputerandTelecommunicationsAgency,CCTA)制定一套指
導(dǎo)行政機(jī)構(gòu)使用信息資源的方法。CCTA將英國(guó)各行業(yè)在信息管理方面的最佳實(shí)踐總結(jié)歸納
起來,制定了信息技術(shù)基礎(chǔ)構(gòu)架庫(InformationTechnologyInfrastructure
Library,ITIL)。這套信息服務(wù)管理流程庫在英國(guó)各行'業(yè)中得到了廣泛認(rèn)可和應(yīng)用,并逐步
延仰到全球。
ITIL從出現(xiàn)起至今經(jīng)歷了三個(gè)版本:最初版本ITILVI總結(jié)了系列關(guān)于信息資源使
用的實(shí)踐,形成了一套標(biāo)準(zhǔn)化、可計(jì)量的信息資源使用指導(dǎo)規(guī)范;ITILV2在ITILVI的基
礎(chǔ)上進(jìn)行了重新組織和完善擴(kuò)充,形成了一套清晰的信息實(shí)踐指導(dǎo)流程;ITILV3是目前最
新的版本,是對(duì)ITILVI和ITILV2的重構(gòu)和豐富,融入了新的時(shí)代元素,突出了服務(wù)的核
心地位。ITILV3由三大部分組成:核心組件、補(bǔ)充組件和網(wǎng)絡(luò)組件。核心組件涵蓋了服務(wù)
從創(chuàng)建到下線每個(gè)階段的任務(wù)、目標(biāo)及流程,由它們構(gòu)成了通用的最佳實(shí)踐。補(bǔ)充組件對(duì)不
同行業(yè)領(lǐng)域的具體狀況進(jìn)行了深入探討和剖析,并給出了專業(yè)的指導(dǎo)。網(wǎng)絡(luò)組件是對(duì)前兩個(gè)
組件的擴(kuò)充,提供了?個(gè)供用戶學(xué)習(xí)、交流和發(fā)布信息的在線平臺(tái)。
ITILV3以服務(wù)為核心,覆蓋了服務(wù)管理的整個(gè)生命周期,包括服務(wù)戰(zhàn)略、服務(wù)設(shè)計(jì)、
服務(wù)轉(zhuǎn)換、服務(wù)運(yùn)營(yíng)和服務(wù)改進(jìn)五個(gè)階段,形成了富有生命活力的信息服務(wù)管理實(shí)踐框架。
下面將分別介紹這五個(gè)階段的主要任務(wù)和目標(biāo)。
服務(wù)戰(zhàn)略的任務(wù)是了解現(xiàn)狀、認(rèn)清目標(biāo)和設(shè)定規(guī)劃。首先需要的是獲取公司的資產(chǎn)、業(yè)
務(wù)發(fā)展計(jì)劃、職能部門和流程、市場(chǎng)和人員等信息,通過分析這些信息得到可以滿足客戶需
求、為客戶創(chuàng)造價(jià)值的服務(wù)目標(biāo),然后對(duì)貫穿整個(gè)服務(wù)生命周期的策略、指南和流程進(jìn)行整
體規(guī)劃。
服務(wù)設(shè)計(jì)是對(duì)服務(wù)戰(zhàn)略的實(shí)現(xiàn),該實(shí)現(xiàn)依據(jù)的是服務(wù)戰(zhàn)略中對(duì)服務(wù)設(shè)計(jì)和開發(fā)的描述,
以及相關(guān)服務(wù)管理的流程定義,包括服務(wù)組合管理、服務(wù)級(jí)別管理、服務(wù)連續(xù)性和可用性管
理等方面。服務(wù)轉(zhuǎn)換指的是采用有效的、低風(fēng)險(xiǎn)的方式將服務(wù)投入到運(yùn)行環(huán)境中,還包括了
對(duì)服務(wù)的變更、配置、測(cè)試、發(fā)布和評(píng)價(jià)等管理,同時(shí)將對(duì)整個(gè)過程中積累下來的知識(shí)進(jìn)行
組織和管理。
服務(wù)運(yùn)營(yíng)將最終實(shí)現(xiàn)服務(wù)戰(zhàn)略的目標(biāo),服務(wù)運(yùn)營(yíng)需要保證服務(wù)交付的效果和支持和效率,
從而實(shí)現(xiàn)客戶和服務(wù)供應(yīng)商的價(jià)值。這個(gè)階段要保證服務(wù)的穩(wěn)定性和可靠性,能滿足服務(wù)設(shè)
計(jì)變更及業(yè)務(wù)不斷發(fā)展的需求。
持續(xù)的服務(wù)改進(jìn)則是推動(dòng)服務(wù)生命周期運(yùn)轉(zhuǎn)的源動(dòng)力,通過在服務(wù)戰(zhàn)略、設(shè)計(jì)、轉(zhuǎn)換和
運(yùn)營(yíng)方面進(jìn)行改革創(chuàng)新,為客戶提供更高質(zhì)量的服務(wù),在保證服務(wù)質(zhì)量的前提下降低運(yùn)營(yíng)商
的運(yùn)營(yíng)成本,從而達(dá)到客戶和運(yùn)營(yíng)商雙方的利益最大化。服務(wù)改進(jìn)還涉及怎樣將服務(wù)戰(zhàn)略、
服務(wù)設(shè)計(jì)、服務(wù)轉(zhuǎn)換及服務(wù)運(yùn)營(yíng)同服務(wù)改進(jìn)的效果有效關(guān)聯(lián),從而形成一個(gè)良性循環(huán)系統(tǒng)。
ITILV3生命周期的核心框架是以服務(wù)戰(zhàn)略為指導(dǎo),以服務(wù)改進(jìn)為原動(dòng)力,來推進(jìn)設(shè)計(jì)、
轉(zhuǎn)換、運(yùn)營(yíng)三個(gè)階段的迭代和螺旋上升,從而促進(jìn)信息服務(wù)管理的改進(jìn),滿足業(yè)務(wù)不斷發(fā)展
的需求。服務(wù)和業(yè)務(wù)在這種框架中結(jié)合得更為緊密,充分體現(xiàn)了以創(chuàng)造客戶價(jià)值和降低運(yùn)營(yíng)
成本為目標(biāo)的理念,形成了一個(gè)不斷發(fā)展、優(yōu)化的信息服務(wù)管理生態(tài)系統(tǒng)。
ITIL作為信息服務(wù)管理標(biāo)準(zhǔn)化的最佳實(shí)踐,有效保證了信息服務(wù)質(zhì)量。由于在信息服
務(wù)管理方面的優(yōu)勢(shì),它被廣泛應(yīng)用于世界各地的數(shù)據(jù)中心。實(shí)施ITIL有助于規(guī)范企業(yè)的流
程,明確不同部門的角色和職責(zé),增進(jìn)業(yè)務(wù)部門與IT部門的溝通,提高信息服務(wù)的可靠性、
可用性和靈活性,降低信息服務(wù)管理的風(fēng)險(xiǎn),從而降低企業(yè)的管理成本。對(duì)用戶而言,ITIL
貫徹了以用戶為中心的理念,規(guī)范了明晰的服務(wù)標(biāo)準(zhǔn)和'業(yè)務(wù)流程,不僅有利于保證服務(wù)質(zhì)量,
而且方便了用戶使用信息服務(wù),提高了用戶的滿意度。
4.4.3可管理性
可管理性(Manageability)是指一個(gè)系統(tǒng)能夠滿足管理需求的能力及管理該系統(tǒng)的便
利程度。系統(tǒng)管理是一個(gè)非常廣泛的概念,包括全面深入地了解系統(tǒng)的運(yùn)行狀況、定期做系
統(tǒng)維護(hù)以降低系統(tǒng)故障率、發(fā)現(xiàn)故障或系統(tǒng)瓶頸并及時(shí)修復(fù)、根據(jù)'業(yè)務(wù)需求調(diào)整系統(tǒng)運(yùn)行方
式、根據(jù)業(yè)務(wù)負(fù)載增減資源,以及保證系統(tǒng)關(guān)鍵數(shù)據(jù)的安全等。大多數(shù)系統(tǒng)管理任務(wù)由系統(tǒng)
管理員通過使用一系列管理工具來完成,少數(shù)管理任務(wù)需要領(lǐng)域?qū)<业膮⑴c,另外?些任務(wù)
可由管理系統(tǒng)自動(dòng)完成。令人遺憾的是,很多數(shù)據(jù)中心由于沒有管理工具而導(dǎo)致管理功能的
缺失,還有一些管理系統(tǒng)或工具存在設(shè)計(jì)缺陷,導(dǎo)致系統(tǒng)的管理復(fù)雜煩瑣。具體來說,數(shù)據(jù)
中心的可管理性需求包含以下幾個(gè)方面。
完備性保障了數(shù)據(jù)中心可以提供完整的管理功能集。數(shù)據(jù)中心包含種類繁多的軟件和硬
件設(shè)備,每個(gè)設(shè)備都要有相應(yīng)的工具提供全面的管理支持,例如網(wǎng)絡(luò)流量監(jiān)控、數(shù)據(jù)庫軟件
的參數(shù)配置、服務(wù)器所處環(huán)境溫度監(jiān)測(cè)等。
遠(yuǎn)程管理是指在遠(yuǎn)程控制臺(tái)上通過網(wǎng)絡(luò)對(duì)設(shè)備進(jìn)行管理,免去了到設(shè)備現(xiàn)場(chǎng)進(jìn)行管理的
煩惱。
集成控制臺(tái)將多個(gè)設(shè)備的管理功能集成起來,管理員可以在控制臺(tái)上定義集成化的任務(wù),
通過一個(gè)指令完成對(duì)若干設(shè)備的協(xié)調(diào)控制,這簡(jiǎn)化了管理員的操作。
快速響應(yīng)保障了發(fā)出的管理指令能夠被盡快執(zhí)行,即便執(zhí)行指令需要較長(zhǎng)的時(shí)間,也能
較準(zhǔn)確地把當(dāng)前狀態(tài)告知管理員,例如數(shù)據(jù)備份時(shí)需要顯示備份的進(jìn)度。
可追蹤性保障了管理操作歷史和重要的事務(wù)都能記錄在案,以備查找。這些記錄可以作
為故障診斷的依據(jù),幫助管理員或領(lǐng)域?qū)<壹皶r(shí)定位和解決問題。
方便性保障了管理功能對(duì)于管理員來說是真正可操作的,不會(huì)煩瑣到無法承受的地步。
這一方面要求將重復(fù)性的機(jī)械化的管理任務(wù)用工具替代而非手動(dòng)完成,另一方面需要提供統(tǒng)
一、簡(jiǎn)潔、直觀的界面,管理員可以容易地找到被管理對(duì)象并發(fā)出管理指令。
自動(dòng)化給可管理性提出了更高的要求,自動(dòng)化程度越高,管理員的負(fù)擔(dān)越小。自動(dòng)化一
般采用事件驅(qū)動(dòng)模式,即當(dāng)特定事件發(fā)生時(shí)采取特定的行動(dòng),若無法通過程序處理,則應(yīng)立
即發(fā)出警報(bào)通知管理員。很多管理系統(tǒng)都實(shí)現(xiàn)了一定程度的管理自動(dòng)化,例如自動(dòng)化故障診
斷、定期自動(dòng)檢查磁盤空間、超過臨界值時(shí)發(fā)出警報(bào)消息等。
4.4.4可伸縮性
可伸縮性(Scalability)是指一個(gè)系統(tǒng)適應(yīng)負(fù)載變化的能力,在負(fù)載變大的時(shí)候提高
自身的能力以適應(yīng)負(fù)載。例如,一個(gè)銀行的營(yíng)業(yè)廳可以在等候辦理業(yè)務(wù)人數(shù)較多的時(shí)候開啟
更多的服務(wù)窗口,而人少的時(shí)候僅開啟一兩個(gè)窗口。一個(gè)可伸縮的算法可以容易地適應(yīng)大規(guī)
模的問題,一個(gè)可伸縮的計(jì)算機(jī)系統(tǒng)可以很容易地通過增加硬件來提高吞吐量。
數(shù)據(jù)中心需要具備高可伸縮性的IT基礎(chǔ)架構(gòu),可伸縮性可以從“伸”和“縮”兩個(gè)角
度理解。“伸”在信息服務(wù)上線運(yùn)行或需要更多資源的時(shí)候及時(shí)、適量地給予資源分配,保
證業(yè)務(wù)的正常運(yùn)行不受影響?!翱s”在信息服務(wù)下線或資源需求減少的時(shí)候適時(shí)回收資源,
保證系統(tǒng)的資源高效利用,從而節(jié)省運(yùn)營(yíng)成本。
高可伸縮性的需求主要源于以下兒點(diǎn)。首先,用戶對(duì)服務(wù)的使用呈現(xiàn)規(guī)律性的高峰期和
低谷期,雖然這種規(guī)律一定程度上可以預(yù)測(cè),但仍然存在較大波動(dòng)。其次,突發(fā)事件會(huì)對(duì)信
息服務(wù)的負(fù)載造成難以預(yù)測(cè)的影響,例如一個(gè)網(wǎng)絡(luò)上流行的新聞、圖片或視頻,可以使相關(guān)
網(wǎng)站的負(fù)載達(dá)到平時(shí)的百倍甚至千倍以上。此外,信息服務(wù)的使用量會(huì)隨著業(yè)務(wù)的發(fā)展而增
長(zhǎng),長(zhǎng)期來看呈現(xiàn)上升的趨勢(shì)。最后,新的服務(wù)層出不窮,對(duì)資源的需求也難以預(yù)測(cè)。
新一代數(shù)據(jù)中心對(duì)高可伸縮性的要求是及時(shí)、適量、細(xì)粒度、自動(dòng)化和預(yù)動(dòng)性。及時(shí)講
求的是快速反應(yīng),?旦發(fā)出指令后能在較短時(shí)間完成伸縮;適量需要分配給信息服務(wù)合適的
資源;細(xì)粒度要求能以CPU、內(nèi)存、磁盤為單位分配資源,而不是以物理服務(wù)器為單位,細(xì)
粒度是適量分配的基礎(chǔ);自動(dòng)化是指可以在一個(gè)控制臺(tái)上,通過簡(jiǎn)單的操作完成為信息服務(wù)
增加資源或服務(wù)器等工作,不需要人工進(jìn)行準(zhǔn)備機(jī)器、連接電纜、安裝軟件等煩瑣的操作;
預(yù)動(dòng)性是指能有效預(yù)測(cè)出信息服務(wù)負(fù)載的變化趨勢(shì),并在負(fù)載增加之前就做好準(zhǔn)備,以防負(fù)
載變化后資源不足,對(duì)業(yè)務(wù)運(yùn)行造成影響。
4.4.5可靠性
可靠性(Reliability)是指一個(gè)組件或系統(tǒng)執(zhí)行其功能的能力,系統(tǒng)成功完成指定功
能的概率是衡量系統(tǒng)可靠性的常用指標(biāo)。系統(tǒng)的可靠性取決于組成系統(tǒng)的組件本身的可靠性
及組件之間的連接關(guān)系。組件之間常見的連接方式有串聯(lián)、并聯(lián)、K/N表決系統(tǒng)和混合連接,
這幾種連接方式構(gòu)成了可靠性分析的基本模型。如果系統(tǒng)以串聯(lián)方式連接,任意一個(gè)組件失
效則整個(gè)系統(tǒng)失效;如果系統(tǒng)以并聯(lián)方式連接,全部組件失效時(shí)整個(gè)系統(tǒng)才失效;K/N表決
系統(tǒng)包含N個(gè)組件,當(dāng)且僅當(dāng)不少于K個(gè)組件失效時(shí)整個(gè)系統(tǒng)失效:復(fù)雜系統(tǒng)一般以上述幾
種方式組合的形式連接。
可靠性對(duì)數(shù)據(jù)中心的重要性不言而喻,在設(shè)計(jì)數(shù)據(jù)中心時(shí)應(yīng)盡早考慮。從理論上講,數(shù)
據(jù)中心各層組件之間呈串聯(lián)關(guān)系,聯(lián)合起來為信息服務(wù)提供支撐,一旦某一層的組件失效,
就可能導(dǎo)致信息服務(wù)的失效。提高可靠性的主要方法有故障避免和故障容錯(cuò)。故障避免是指
提高單個(gè)組件的可靠性,減小其失效的概率。要做到故障避免需要研究組件失效的機(jī)理,如
壽命失效、設(shè)計(jì)失效等,并針對(duì)不同的失效機(jī)理分別應(yīng)對(duì)。故障容錯(cuò)是指增加冗余組件,利
用組件之間的并聯(lián)關(guān)系提升系統(tǒng)的可靠性,例如增加備份電源等手段。
目前數(shù)據(jù)中心可靠性分析出現(xiàn)了一些新的趨勢(shì),對(duì)可靠性的認(rèn)識(shí)也更加深刻。首先,將
可靠性與可維護(hù)性結(jié)合起來考慮,對(duì)于可維修或容易維修的故障,分析其修復(fù)率、平均修復(fù)
時(shí)間等指標(biāo)。一般來講,對(duì)容易修復(fù)的故障容忍程度要高于難修復(fù)或不可修復(fù)的故障。其次,
要重視對(duì)故障系統(tǒng)的管理,因?yàn)榘l(fā)生故障時(shí)信息服務(wù)停止運(yùn)行的總時(shí)間為等待維修時(shí)間與維
修時(shí)間之和,等待維修忖間則取決于故障管理水平,如果管理水平低下,停機(jī)時(shí)間將會(huì)大大
超過維修時(shí)間。再次,考慮故障的可容忍性時(shí)要對(duì)故障引發(fā)的后果的嚴(yán)重程度進(jìn)行綜合分析,
以區(qū)分致命故障、嚴(yán)重故障和輕度故障。最后,需要用多種指標(biāo)從不同維度來衡量可靠性,
例如目前普遍認(rèn)為使用無維修連續(xù)工作時(shí)間比單純用失效概率來衡量可靠性對(duì)數(shù)據(jù)中心的
管理人員更有實(shí)際意義。
4.5綠色數(shù)據(jù)中心
4.5.1經(jīng)濟(jì)型數(shù)據(jù)中心
企業(yè)在IT系統(tǒng)上的投入逐年增多,20世紀(jì)70年代,普通的美國(guó)公司大約用10%的資本
預(yù)算來購買信息技術(shù),而30年以后這比例已經(jīng)上升到45機(jī)許多企業(yè)因此不堪重負(fù),他
們普遍希望IT部門減少開支和提升效率,降低成本已經(jīng)成為當(dāng)前面臨的大問題。此外,IT
系統(tǒng)數(shù)量和規(guī)模的快速增長(zhǎng)也使數(shù)據(jù)中心成本問題顯得更為突出。
數(shù)據(jù)中心的成本構(gòu)成分為一次性成本和運(yùn)營(yíng)成本。詼性成本主要包括建筑成本、服務(wù)
器采購成本和其他設(shè)備采購成本;運(yùn)營(yíng)成本主要包括電力消耗和管理維護(hù)成本。服務(wù)器采購、
電力消耗和管理維護(hù)成本是最主要的三項(xiàng)開支。20世紀(jì)60年代,計(jì)算機(jī)是非常昂貴的設(shè)備,
一臺(tái)大型主機(jī)的月租金可達(dá)幾萬美金,相比之下,其他成本都顯得微不足道。隨著IT產(chǎn)業(yè)
的發(fā)展,尤其是x86處理器廣泛普及以后,計(jì)算機(jī)在幾十年之間變成了廉價(jià)的設(shè)備。隨著處
理器頻率的不斷提高,單處理器的能耗不斷增加,經(jīng)歷了時(shí)代的變遷,電力消耗和管理維護(hù)
的成本占數(shù)據(jù)中心成本的比例越來越高。圖4.7為數(shù)據(jù)中心的成本構(gòu)成及發(fā)展趨勢(shì)。一方面,
在過去幾年中,企業(yè)的服務(wù)器數(shù)量在快速增加。另一方面,雖然企業(yè)用于采購服務(wù)器的開銷
基本維持不變,但是數(shù)據(jù)中心裝機(jī)規(guī)模的增長(zhǎng)使得管理和維護(hù)工作的復(fù)雜度迅速增加,管理
成本和能耗也隨之增大。
(點(diǎn)擊查看大圖)圖4.7數(shù)據(jù)中心成本構(gòu)成及發(fā)展趨勢(shì)
降低服務(wù)器的采購成本需要合理規(guī)劃服務(wù)器更新?lián)Q代的周期。IT設(shè)備更新?lián)Q代很快,一旦
服務(wù)器閑置,就會(huì)造成無形折舊,增加數(shù)據(jù)中心成本。因此規(guī)劃時(shí)要結(jié)合業(yè)務(wù)需求,盡可能
保證服務(wù)器的高利用率。平均每個(gè)管理員可管理的服務(wù)器數(shù)量是評(píng)價(jià)數(shù)據(jù)中心管理維護(hù)是否
高效的重要標(biāo)準(zhǔn)。當(dāng)數(shù)據(jù)中心規(guī)模較小時(shí),少數(shù)管理員即可承擔(dān)管理維護(hù)任務(wù),對(duì)管理維護(hù)
水平的要求也相對(duì)較低。隨著數(shù)據(jù)中心規(guī)模的增大,這種人力密集型的管理手段難以應(yīng)付,
使用專業(yè)的數(shù)據(jù)中心管理軟件、工具和科學(xué)的方法可以大幅提升管理效率。
4.5.2數(shù)據(jù)中心能效分析
美國(guó)環(huán)境保護(hù)署在2007年8月提交的一份報(bào)告中指出,全美數(shù)據(jù)中心的能源消耗在
2006年占美國(guó)能耗的1.5%,預(yù)計(jì)到2011年將會(huì)增加一倍,節(jié)能環(huán)保已經(jīng)成為IT基礎(chǔ)設(shè)施
建設(shè)中日益重要的話題。從經(jīng)濟(jì)角度來看,國(guó)際能源商品價(jià)格長(zhǎng)期以來處于不斷上漲的趨勢(shì)
中,隨著企業(yè)對(duì)IT基礎(chǔ)設(shè)施建設(shè)的投入不斷加大,IT系統(tǒng)的能耗也隨之攀升,擺在企業(yè)CIO
們面前的一大問題是如何打造綠色數(shù)據(jù)中心,通過節(jié)能減少開支。從環(huán)境角度來看,環(huán)保是
每個(gè)企業(yè)的社會(huì)責(zé)任,企業(yè)需要通過減少耗電量來減少碳排放量,減緩全球變暖的步伐。
已經(jīng)有一些政府對(duì)達(dá)到綠色節(jié)能環(huán)保標(biāo)準(zhǔn)的數(shù)據(jù)中心給予政策性補(bǔ)貼。然而令人遺憾的是,
很多企業(yè)數(shù)據(jù)中心的耗電量、耗電結(jié)構(gòu)仍然是一筆糊涂賬,有的企業(yè)甚至將數(shù)據(jù)中心的電費(fèi)
賬單和辦公樓的電費(fèi)賬單混在一起,完全沒有節(jié)能環(huán)保方面的考慮。
數(shù)據(jù)中心總耗電量占比服務(wù)器耗電量占比
(點(diǎn)擊查看大圖)圖4.8數(shù)據(jù)中心耗電比例示意圖
圖4.8是一個(gè)典型的數(shù)據(jù)中心電力消耗的示意圖。據(jù)美國(guó)能源部統(tǒng)計(jì),電力輸送到數(shù)據(jù)
中心后,平均只有45%被IT設(shè)備使用,其他55%則用于冷卻系統(tǒng)等耗電設(shè)備。用于IT設(shè)備
的部分,只有30%被處理器所用,剩下的70%則用于電源、風(fēng)扇、內(nèi)存、磁盤等部件。處理
器的平均負(fù)載只有5%?20%,剩余部分都被浪費(fèi)了。
電能利用率(PowerUsageEffectiveness,PUE)是在分析數(shù)據(jù)中心電力消耗時(shí)用到的
重要概念,該標(biāo)準(zhǔn)山綠色網(wǎng)格聯(lián)盟提出,已經(jīng)成為國(guó)際上比較通行的衡量數(shù)據(jù)中心電力使用
效率的指標(biāo)。
51CT0.com
IT設(shè)備能耗技術(shù)成就夢(mèng)想
從PUE的定義可以看出,PUE是總能耗與IT設(shè)備能耗的比值,是一個(gè)大于L0的數(shù)值,
PUE值越接近于1.0說明其他設(shè)備的能耗越小,效率也就越高。從這個(gè)角度來看,要想降低
數(shù)據(jù)中心的總能耗,需要從降低IT設(shè)備能耗和降低PUE值兩方面入手。
首先來談?wù)勅绾谓档虸T設(shè)備的能耗。降低IT設(shè)備的能耗需要定期更新設(shè)備,人們普遍
存在這樣個(gè)誤區(qū),認(rèn)為增加服務(wù)器的使用年限可以降低數(shù)據(jù)中心的成本,于是仍然使用一
些早該淘汰的服務(wù)器。其實(shí)恰恰相反,落后的服務(wù)器能耗更高,占地面積更大,出現(xiàn)故障的
幾率也隨之增大。刀片服務(wù)器是當(dāng)前數(shù)據(jù)中心服務(wù)器發(fā)展的主流趨勢(shì)。刀片服務(wù)器體積小,
通常一個(gè)刀片服務(wù)器機(jī)架可以插入8~16個(gè)刀片服務(wù)器,這些刀片服務(wù)器共用一個(gè)系統(tǒng)背板
和冗余電源、風(fēng)扇、網(wǎng)絡(luò)端口和其他外部設(shè)備,通過這種共享方式,單個(gè)刀片服務(wù)器的能耗
大大降低,服務(wù)器電源的工作效率也得到提升。因此,刀片服務(wù)器與塔式服務(wù)器和機(jī)架式服
務(wù)器相比性能更高,僅從單位性能耗電量一項(xiàng)指標(biāo)考慮,改用刀片服務(wù)器節(jié)省的電能就可以
抵過購買刀片服務(wù)器所增加的成本。
提高服務(wù)器資源利用率是降低IT設(shè)備能耗的另一個(gè)方法。目前數(shù)據(jù)中心服務(wù)器的利用
率普遍很低,企業(yè)數(shù)據(jù)中心服務(wù)器資源平均利用率在10%?30%之間,很多Windows系統(tǒng)的
服務(wù)器利用率不足10%。無論如何這樣的數(shù)據(jù)都讓CIO們難以接受,他們不愿相信一半以上
的IT投資都在被浪費(fèi)。服務(wù)器的性能越來越強(qiáng),而被有效利用部分的比例卻越來越小。
要了解為什么提高服務(wù)器資源利用率可以省電,先來了解下服務(wù)器利用率和能耗的關(guān)
系。服務(wù)器的能耗通??梢苑譃閮刹糠郑阂徊糠质荂PU的能耗,這部分能耗和CPU的利用率
直接相關(guān),CPU的利用率越高則能耗越高;另一部分是主板、內(nèi)存、網(wǎng)絡(luò)等其他部件的能耗,
這一部分能耗基本為固定值,只與服務(wù)器是否開機(jī)有關(guān)。
舉一個(gè)簡(jiǎn)單的例子,假設(shè)有三臺(tái)服務(wù)器的CPU利用率都是10%,如果把上面的應(yīng)用遷移
到一臺(tái)服務(wù)器上,關(guān)掉剩下的兩臺(tái)就可以省下這兩臺(tái)服務(wù)器的固定能耗,而運(yùn)行的服務(wù)器的
CPU能耗也不會(huì)增加太多。電力使用效率是消耗單位電能可提供的計(jì)算力,大致是CPU頻率
和服務(wù)器功率的比值。虛擬化技術(shù)使得多個(gè)虛擬機(jī)可以共享同?臺(tái)物理機(jī),從而達(dá)到提升服
務(wù)器資源利用率的目的。虛擬化技術(shù)正在被越來越多的企業(yè)廣泛采納,已有很多成功案例。
如果將PUE公式中的總能耗分解,可得
總能耗
PUE
IT設(shè)備能耗
IT設(shè)備能耗+制冷設(shè)備能耗+供配電損耗+輔助系統(tǒng)能耗
IT設(shè)備能耗
=1-制冷能耗因子+供配電能耗因子+輔助系統(tǒng)能耗因子
IT設(shè)備的能耗取決于IT設(shè)備的性能和業(yè)務(wù)負(fù)載,在不更新IT設(shè)備的前提卜,其能耗
由業(yè)務(wù)負(fù)載直接決定,由于短期內(nèi)業(yè)務(wù)負(fù)載不會(huì)發(fā)生巨大改變,所以可以認(rèn)為短期內(nèi)IT設(shè)
備的能耗是一個(gè)固定值。于是,總能耗與PUE值成正比,而PUE值取決于數(shù)據(jù)中心基礎(chǔ)設(shè)施
的設(shè)計(jì)和建設(shè)水平及所處環(huán)境的氣候條件。據(jù)統(tǒng)計(jì),國(guó)外先進(jìn)的數(shù)據(jù)中心PUE值
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025-2030年中國(guó)硅膠及硅膠制品市場(chǎng)運(yùn)營(yíng)狀況及投資戰(zhàn)略研究報(bào)告
- 2025-2030年中國(guó)真空保溫杯行業(yè)運(yùn)行現(xiàn)狀及投資發(fā)展前景預(yù)測(cè)報(bào)告
- 2025年安徽省建筑安全員-A證考試題庫附答案
- 泰山科技學(xué)院《VI設(shè)計(jì)》2023-2024學(xué)年第二學(xué)期期末試卷
- 2021情報(bào)學(xué)情報(bào)檢索學(xué)試題
- 吉林城市職業(yè)技術(shù)學(xué)院《納米材料制備技術(shù)》2023-2024學(xué)年第二學(xué)期期末試卷
- 2024-2025學(xué)年天津市濱海新區(qū)田家炳中學(xué)高一上學(xué)期12月月考?xì)v史試卷
- 汝州職業(yè)技術(shù)學(xué)院《通信原理與通信技術(shù)》2023-2024學(xué)年第二學(xué)期期末試卷
- 2025青海省建筑安全員C證考試題庫
- 天津師范大學(xué)津沽學(xué)院《招聘與甄選》2023-2024學(xué)年第二學(xué)期期末試卷
- 《社區(qū)康復(fù)》課件-第四章 腦血管疾病患者的社區(qū)康復(fù)實(shí)踐
- 生活化教學(xué)在小學(xué)道德與法治課堂實(shí)踐 論文
- 2024年江蘇農(nóng)林職業(yè)技術(shù)學(xué)院高職單招(英語/數(shù)學(xué)/語文)筆試歷年參考題庫含答案解析
- 腰脊神經(jīng)后支痛課件
- 《商務(wù)數(shù)據(jù)分析》 課件 項(xiàng)目一 商務(wù)數(shù)據(jù)分析認(rèn)知
- 加強(qiáng)鍛煉預(yù)防疾病主題
- 心衰合并胸腔積液的護(hù)理Ppt
- 2023學(xué)年、2024學(xué)年臨平區(qū)公辦學(xué)校校方責(zé)任險(xiǎn)投保采購項(xiàng)目招標(biāo)文件
- 物流風(fēng)險(xiǎn)管理與應(yīng)對(duì)策略
- 2024家政行業(yè)現(xiàn)狀分析
- 英漢互譯單詞練習(xí)打印紙
評(píng)論
0/150
提交評(píng)論