智慧高校數(shù)字校園大數(shù)據(jù)中心及大數(shù)據(jù)平臺(tái)建設(shè)方案

智慧高校數(shù)字校園大數(shù)據(jù)中心及大數(shù)據(jù)平臺(tái)建設(shè)方案54/324智慧高校數(shù)字校園大數(shù)據(jù)中心及大數(shù)據(jù)平臺(tái)建設(shè)方案

項(xiàng)目概述1.1建設(shè)背景遍布全球的互聯(lián)網(wǎng)絡(luò)正在無(wú)時(shí)無(wú)刻、無(wú)所不在地滲透到人們工作、生活和學(xué)習(xí)中，成為推動(dòng)社會(huì)發(fā)展的強(qiáng)大動(dòng)力。在商業(yè)化的世界中，眾多企業(yè)正在把自己轉(zhuǎn)變成一種稱(chēng)為“數(shù)字神經(jīng)系統(tǒng)”的新型組織，讓企業(yè)能夠以數(shù)字神經(jīng)系統(tǒng)的方式對(duì)內(nèi)部業(yè)務(wù)流程、知識(shí)共享和網(wǎng)絡(luò)商務(wù)進(jìn)行整合，快速響應(yīng)全球化的競(jìng)爭(zhēng)。高校不僅承擔(dān)著人才培養(yǎng)的重任，還承擔(dān)了一些前沿科技和技術(shù)的研究。同樣，作為培養(yǎng)和造就新世紀(jì)人才的教育系統(tǒng)和學(xué)校，也面臨同樣的社會(huì)環(huán)境變化趨勢(shì)。然而，很多學(xué)校卻明顯落在了互聯(lián)網(wǎng)絡(luò)時(shí)代的后面，盡管學(xué)校已經(jīng)采用了一些先進(jìn)的設(shè)備和工具，但是還在沿用千百年來(lái)的傳統(tǒng)教學(xué)方法和管理模式。電化教學(xué)設(shè)備、電腦乃至校園網(wǎng)都變成了利用率很低的簡(jiǎn)單擺設(shè)，真正起決定性變化的管理和教學(xué)的方法和模式卻沒(méi)有隨著社會(huì)發(fā)展的大趨勢(shì)進(jìn)行相應(yīng)變革。面對(duì)知識(shí)全球化和民族素質(zhì)提高的教育要求，以及一系列的教育市場(chǎng)化競(jìng)爭(zhēng)的挑戰(zhàn)，“數(shù)字化校園”正在日臻成熟并發(fā)揮越來(lái)越重要的作用?！皵?shù)字化校園”的目標(biāo)就是為了使校園的使用者可以更有效的利用校園來(lái)開(kāi)展教學(xué)、科研活動(dòng)并更方便快捷地進(jìn)行學(xué)習(xí)、生活。因此校園的主人：學(xué)生——教師——管理人員就成為數(shù)字化校園的服務(wù)對(duì)象，他們的主要校園活動(dòng)：教學(xué)——科研——管理——生活就成為數(shù)字化校園的內(nèi)容主體?！皵?shù)字化校園”的目標(biāo)用一個(gè)詞來(lái)表示就是服務(wù)”，為學(xué)生、教師、管理人員提供更好的服務(wù)就是數(shù)字化校園的宗旨。目前云計(jì)算、互聯(lián)網(wǎng)+、大數(shù)據(jù)分析、移動(dòng)和物聯(lián)網(wǎng)發(fā)展迅猛，數(shù)以?xún)|計(jì)的用戶(hù)通過(guò)互聯(lián)網(wǎng)服務(wù)時(shí)時(shí)刻刻都產(chǎn)生大量的交互，這些交互通過(guò)手持設(shè)備、RFID、無(wú)線(xiàn)傳感器產(chǎn)生大量的數(shù)據(jù)，IDC預(yù)計(jì)到2020年全球數(shù)據(jù)將增加到35ZB（1ZB=1024EB、1EB=1024PB），是2009年的45倍，其中80%以上為非結(jié)構(gòu)化數(shù)據(jù)。這些需要處理的數(shù)據(jù)量越來(lái)越大、增長(zhǎng)迅猛，而業(yè)務(wù)需求和競(jìng)爭(zhēng)壓力對(duì)數(shù)據(jù)處理的實(shí)時(shí)性、有效性又提出來(lái)更高的要求，常規(guī)的數(shù)據(jù)庫(kù)技術(shù)手段根本無(wú)法應(yīng)付與處理。由此而生產(chǎn)了BigData技術(shù)來(lái)處理此類(lèi)問(wèn)題。大數(shù)據(jù)技術(shù)將是IT領(lǐng)域新一代的技術(shù)與架構(gòu)，他將幫助人類(lèi)從大量、復(fù)雜的數(shù)據(jù)中提取價(jià)值，它可以幫助決策者在儲(chǔ)存的海量信息中挖掘出需要的信息，并且對(duì)這些信息進(jìn)行分析研究，從而發(fā)現(xiàn)重要的趨勢(shì)信息。因此大數(shù)據(jù)的有效管理和挖掘?qū)⒊蔀槲磥?lái)競(jìng)爭(zhēng)和增長(zhǎng)的基礎(chǔ)，并日益成為企業(yè)的生產(chǎn)要素和戰(zhàn)略資產(chǎn)，預(yù)計(jì)也將帶來(lái)新一輪生產(chǎn)率的提升和消費(fèi)者體驗(yàn)改善，類(lèi)似工業(yè)革命的大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨，我們有理由相信未來(lái)大數(shù)據(jù)的產(chǎn)業(yè)規(guī)模將會(huì)至少以萬(wàn)億美元來(lái)進(jìn)行衡量。大數(shù)據(jù)將給IT行業(yè)開(kāi)拓一個(gè)新的黃金時(shí)代，作為成都重要的高校我們有義務(wù)在這些前沿科技上做出對(duì)人類(lèi)、社會(huì)、四川、成都有幫助的研究并造福人類(lèi)、造福四川和成都。云計(jì)算是一種新型的信息資源管理和計(jì)算服務(wù)模式，是繼大型計(jì)算機(jī)、個(gè)人電腦、互聯(lián)網(wǎng)之后信息產(chǎn)業(yè)的一次革命。云計(jì)算可將分散的計(jì)算、存儲(chǔ)、服務(wù)資源有機(jī)整合起來(lái)管理和服務(wù)，轉(zhuǎn)變了傳統(tǒng)IDC運(yùn)行管理理念，是未來(lái)計(jì)算的發(fā)展方向。云計(jì)算以其資源動(dòng)態(tài)分配、按需服務(wù)的設(shè)計(jì)理念，具有低成本解決海量信息處理的獨(dú)特魅力。云計(jì)算+大數(shù)據(jù)將會(huì)為現(xiàn)有的數(shù)據(jù)中心增加可用性特點(diǎn)能高效地、安全地運(yùn)營(yíng)；另一方面，并能降低數(shù)據(jù)中心的能源消耗和運(yùn)行成本；我們對(duì)云計(jì)算的理解是：云計(jì)算一種基于網(wǎng)絡(luò)的支持異構(gòu)設(shè)施和資源流轉(zhuǎn)的服務(wù)供給模型，它提供給客戶(hù)可自治的服務(wù)，實(shí)現(xiàn)資源的按需分配、按量計(jì)費(fèi)。云計(jì)算導(dǎo)致資源規(guī)?；?，促進(jìn)分工的專(zhuān)業(yè)化，使得資源供應(yīng)商和用戶(hù)都更加關(guān)注于自己的業(yè)務(wù)，有利于降低單位資源成本，促進(jìn)全社會(huì)的開(kāi)拓創(chuàng)新。XXX從事教育行業(yè)已經(jīng)有數(shù)十年經(jīng)驗(yàn)，致力于幫助教育用戶(hù)提供一體化的數(shù)字化校園解決方案，在教育行業(yè)有數(shù)量眾多的成功案例，XXX承諾站在用戶(hù)角度，尋求最為合理的解決方案，最大限度滿(mǎn)足客戶(hù)需求。1.2建設(shè)目標(biāo)本次建設(shè)目標(biāo)為：利用云計(jì)算技術(shù)打造XXX高校大數(shù)據(jù)分析、高性能應(yīng)用等高?？蒲谢A(chǔ)平臺(tái)。云計(jì)算資源中心建設(shè)后，將包括校園云計(jì)算虛擬化中心、大數(shù)據(jù)分析、和高性能計(jì)算中心，并為此三個(gè)中心提供統(tǒng)一管理平臺(tái)。通過(guò)云計(jì)算資源中心的建設(shè)，物理資源將被組織起來(lái)統(tǒng)一調(diào)配和供應(yīng)，提供給學(xué)校各學(xué)院、部門(mén)、教師及學(xué)生使用。并且通過(guò)云數(shù)據(jù)中心為學(xué)校提供大數(shù)據(jù)分析和高性能計(jì)算服務(wù)。通過(guò)資源集中化，資源的共享得以實(shí)現(xiàn)，應(yīng)用在資源之間的遷移也成為可能。當(dāng)資源集中后，對(duì)于相同資源進(jìn)行管理的代價(jià)將大幅度降低，而資源的使用率將成倍提升。從而解決數(shù)據(jù)中心當(dāng)前面臨的問(wèn)題，更有效的推動(dòng)信息化的發(fā)展?；谠朴?jì)算的大數(shù)據(jù)和高性能中心建設(shè)目標(biāo)主要有以下幾個(gè)方面：1、資源緯度集約化。通過(guò)虛擬化方式，為各學(xué)院、部門(mén)和師生提供基礎(chǔ)計(jì)算服務(wù)和數(shù)據(jù)存儲(chǔ)。2、數(shù)據(jù)緯度一體化。方便數(shù)據(jù)共享，為大規(guī)模數(shù)據(jù)整合和交換提供可能。3、管理緯度服務(wù)化。利用云計(jì)算方式，實(shí)現(xiàn)基礎(chǔ)軟硬件資源的統(tǒng)一管理、按需分配、綜合利用，降低各部門(mén)系統(tǒng)建設(shè)成本和日常運(yùn)行維護(hù)費(fèi)用。高校數(shù)字校園云計(jì)算平臺(tái)建設(shè)著重點(diǎn)為：提供IAAS服務(wù)的服務(wù)器虛擬化中心，提供校園師生教學(xué)辦公用的校園云盤(pán)中心和提供高性能計(jì)算服務(wù)的高性能計(jì)算中心。建設(shè)完成后的高校云計(jì)算平臺(tái)實(shí)現(xiàn)以下功能：1、建設(shè)服務(wù)器虛擬化中心；為學(xué)校各大業(yè)務(wù)平臺(tái)提供IAAS服務(wù)，以虛擬服務(wù)器的方式為校園各大業(yè)務(wù)平臺(tái)提供業(yè)務(wù)支撐服務(wù)；2、建設(shè)大數(shù)據(jù)分析；為前沿的大數(shù)據(jù)分析和研究提供服務(wù)，為部分在校學(xué)生課題提供服務(wù)；3、建設(shè)校園高性能計(jì)算中心；為學(xué)校一些需要進(jìn)行高性能計(jì)算的部門(mén)提供高性能計(jì)算基礎(chǔ)平臺(tái)，為業(yè)務(wù)部門(mén)高性能計(jì)算需求提供服務(wù)；4、建設(shè)云計(jì)算中心統(tǒng)一管理平臺(tái)；為校園云計(jì)算中心中的業(yè)務(wù)云平臺(tái)、大數(shù)據(jù)分析系統(tǒng)、高性能計(jì)算中心提供統(tǒng)一的管理平臺(tái)，為不同管理用戶(hù)和業(yè)務(wù)用戶(hù)提供統(tǒng)一入口；5、通過(guò)建設(shè)云計(jì)算平臺(tái)，學(xué)校實(shí)現(xiàn)對(duì)資源的大集中統(tǒng)一管理并提升整體計(jì)算能力；通過(guò)虛擬化技術(shù)提高資源利用率，避免重復(fù)建設(shè)，節(jié)約整體成本。1.3建設(shè)原則結(jié)合本項(xiàng)目的實(shí)際應(yīng)用和發(fā)展要求，在進(jìn)行云計(jì)算+大數(shù)據(jù)+高性能平臺(tái)方案設(shè)計(jì)過(guò)程中，應(yīng)始終堅(jiān)持以下原則：（1）可擴(kuò)展性原則為了保護(hù)已有的投資以及不斷增長(zhǎng)的業(yè)務(wù)需求，系統(tǒng)必須具有靈活的結(jié)構(gòu)并留有合理的擴(kuò)充余地，以便根據(jù)需要進(jìn)行適當(dāng)?shù)淖儎?dòng)和擴(kuò)充；主要業(yè)務(wù)平臺(tái)系統(tǒng)應(yīng)采用開(kāi)放的結(jié)構(gòu)，符合國(guó)際標(biāo)準(zhǔn)、工業(yè)標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)，適應(yīng)技術(shù)的發(fā)展和變化。（2）合理性原則在一定的資金條件下，以適當(dāng)?shù)耐度?，建立性能價(jià)格比高的、先進(jìn)的、完善的業(yè)務(wù)系統(tǒng)。所有軟硬件的選型和配置要堅(jiān)持性能價(jià)格比最優(yōu)原則，同時(shí)兼顧與已有設(shè)備和系統(tǒng)的互聯(lián)互通能力，以及與目前操作系統(tǒng)和應(yīng)用系統(tǒng)的兼容性。在滿(mǎn)足系統(tǒng)性能、功能以及考慮到在可預(yù)見(jiàn)的未來(lái)不失去先進(jìn)性的條件下，盡量取得整個(gè)系統(tǒng)的投入合理性，以構(gòu)成一個(gè)性能價(jià)格比優(yōu)化的應(yīng)用系統(tǒng)。系統(tǒng)架構(gòu)的設(shè)計(jì)應(yīng)盡可能地運(yùn)用虛擬化、云計(jì)算等新技術(shù)，以符合未來(lái)的技術(shù)發(fā)展方向。這種設(shè)計(jì)方法可以最大化地利用投資，并在利用率、管理、能源等各方面提高用戶(hù)投資的效率，降低總體擁有成本，減少浪費(fèi)的發(fā)生。結(jié)合新技術(shù)的運(yùn)用，也可以讓各應(yīng)用系統(tǒng)更好地融入未來(lái)整體IT建設(shè)規(guī)劃中，避免發(fā)生推到重建的現(xiàn)象，從而更好地保護(hù)學(xué)校在信息系統(tǒng)上的投入。（3）可靠性原則系統(tǒng)要具有高可靠性及強(qiáng)大的容錯(cuò)能力。該系統(tǒng)必須保證7×24全天候不間斷地工作，核心設(shè)備比如數(shù)據(jù)庫(kù)服務(wù)器和存儲(chǔ)設(shè)備具有全容錯(cuò)結(jié)構(gòu)，并具有熱插拔功能，可帶電修復(fù)有關(guān)故障而不影響整個(gè)系統(tǒng)的工作，設(shè)計(jì)應(yīng)保持一定數(shù)量的冗余以保證整體系統(tǒng)的高可靠性和高可用性。即便是在系統(tǒng)建設(shè)初期也要著重考慮系統(tǒng)可用性、可靠性問(wèn)題，防止出現(xiàn)系統(tǒng)停頓等問(wèn)題造成信息系統(tǒng)的中斷服務(wù)。通過(guò)結(jié)合云計(jì)算等新技術(shù)，可以更好地提高系統(tǒng)的可靠性和可用性。（4）可管理性原則選擇基于國(guó)際標(biāo)準(zhǔn)和開(kāi)放的技術(shù)，采用標(biāo)準(zhǔn)化、規(guī)范化設(shè)計(jì)；同時(shí)采用先進(jìn)的設(shè)備，易于日后擴(kuò)展，便于向更新技術(shù)的升級(jí)與銜接，實(shí)現(xiàn)系統(tǒng)較長(zhǎng)的生命力；保證在系統(tǒng)上進(jìn)行有效的開(kāi)發(fā)和使用，并為今后的發(fā)展提供一個(gè)良好的環(huán)境；在設(shè)計(jì)、組建中心機(jī)房系統(tǒng)時(shí)，采用先進(jìn)的、標(biāo)準(zhǔn)的設(shè)備；在選購(gòu)服務(wù)器、存儲(chǔ)和連接設(shè)備時(shí)，選用同一家公司的系列產(chǎn)品，確保系統(tǒng)部件間的嚴(yán)密配合和無(wú)縫聯(lián)接，并獲得良好的售后服務(wù)和技術(shù)支持；整個(gè)系統(tǒng)建成后按照整理一套完整的文檔資料，以便提高整個(gè)系統(tǒng)的可管理性與可維護(hù)性。1.4云平臺(tái)技術(shù)打造高校數(shù)字化校園優(yōu)勢(shì)通過(guò)建立云計(jì)算平臺(tái)，通過(guò)服務(wù)的方式交付對(duì)物理硬件的需求，代替?zhèn)鹘y(tǒng)硬件設(shè)備跟隨著應(yīng)有系統(tǒng)的增加而增加的模式，對(duì)現(xiàn)有應(yīng)用系統(tǒng)進(jìn)行整合，實(shí)現(xiàn)IT服務(wù)的快速交付，節(jié)能響應(yīng)國(guó)家號(hào)召，提升業(yè)務(wù)系統(tǒng)安全。整理制作郎豐利1、合理利用硬件資源，減少運(yùn)行消耗云計(jì)算平臺(tái)可將服務(wù)器物理資源轉(zhuǎn)換成池化的可動(dòng)態(tài)分配的計(jì)算單元，從學(xué)校業(yè)務(wù)具體需求出發(fā)，在資源池中劃分出適合具體業(yè)務(wù)需要的服務(wù)計(jì)算單元，不再受限于物理上的界限，從而提高資源的利用率，簡(jiǎn)化系統(tǒng)管理，讓信息化建設(shè)對(duì)學(xué)校業(yè)務(wù)工作的變化更具適應(yīng)力，從而構(gòu)建出信息系統(tǒng)平臺(tái)的基礎(chǔ)。云平臺(tái)建成后，可減少物理服務(wù)器數(shù)量至原有數(shù)量的一半以上，機(jī)房空間占用面積大大減少，機(jī)房相應(yīng)配套設(shè)施建設(shè)也可能夠相應(yīng)減少，在實(shí)際工作中預(yù)計(jì)可節(jié)省能源達(dá)到70%以上，響應(yīng)國(guó)家節(jié)能減排的要求。整理制作郎豐利2、增強(qiáng)業(yè)務(wù)部署速度，提高即時(shí)響應(yīng)能力云平臺(tái)能夠?qū)W(xué)校業(yè)務(wù)系統(tǒng)提出的建設(shè)需求做到快速響應(yīng)、快速部署，部署更新工作時(shí)間由原來(lái)數(shù)天或數(shù)星期縮短為只需幾分鐘即可完成。如果總資源池中的硬件計(jì)算資源告急，只需要添加相應(yīng)的物理服務(wù)器，簡(jiǎn)單的將新購(gòu)的服務(wù)器部署到資源池集群中，云平臺(tái)會(huì)根據(jù)整體資源池的動(dòng)態(tài)資源平衡來(lái)自動(dòng)分配新增加的計(jì)算資源給應(yīng)用程序，真正的實(shí)現(xiàn)新服務(wù)器的即插即用。3、完善應(yīng)急安全機(jī)制云平臺(tái)可以自動(dòng)監(jiān)控資源池中計(jì)算單元和應(yīng)用單元的可用性，檢測(cè)物理服務(wù)器故障，如果檢測(cè)到故障，可重新在資源池中其他物理服務(wù)器上重新啟動(dòng)相關(guān)業(yè)務(wù)，整個(gè)過(guò)程無(wú)需人工干預(yù)。通過(guò)專(zhuān)線(xiàn)光纖將同城異地的兩個(gè)云平臺(tái)連接起來(lái)，既可形成一個(gè)穩(wěn)定的基于云平臺(tái)技術(shù)的容災(zāi)系統(tǒng)?？梢詫?shí)現(xiàn)應(yīng)用級(jí)數(shù)據(jù)備份和業(yè)務(wù)系統(tǒng)的應(yīng)用級(jí)容災(zāi)，容災(zāi)系統(tǒng)切換時(shí)間可以實(shí)現(xiàn)分鐘級(jí)，并且能進(jìn)行容災(zāi)演練操作。4、提供便捷的管理運(yùn)維方式。云平臺(tái)可以通過(guò)一個(gè)統(tǒng)一的管理平臺(tái)，來(lái)進(jìn)行對(duì)平臺(tái)中運(yùn)行的各項(xiàng)業(yè)務(wù)設(shè)立不同權(quán)限的管理賬號(hào)，根據(jù)工作需要設(shè)置不同的管理權(quán)限，并可通過(guò)其管理日志追溯操作過(guò)程。還可以通過(guò)在平臺(tái)上安裝第三方安全軟件的方式，一次性解決平臺(tái)內(nèi)所有計(jì)算單元的病毒防護(hù)、木馬查殺、補(bǔ)丁升級(jí)等工作。

需求分析2.1現(xiàn)狀分析隨著信息技術(shù)的不斷發(fā)展，學(xué)校在信息化建設(shè)方面加大投入，各部門(mén)陸續(xù)購(gòu)置了相關(guān)業(yè)務(wù)軟件和服務(wù)器，越來(lái)越多的業(yè)務(wù)實(shí)現(xiàn)了信息化。學(xué)校目前使用的服務(wù)器多數(shù)為一路、兩路的小型PC架構(gòu)服務(wù)器，每臺(tái)服務(wù)器僅僅只能運(yùn)行單一操作系統(tǒng)和單個(gè)應(yīng)用程序，且服務(wù)器使用時(shí)間基本上都在5年以上。目前的平臺(tái)建設(shè)模式導(dǎo)致服務(wù)器數(shù)量越來(lái)越多，產(chǎn)生了如下問(wèn)題：1．服務(wù)器使用效率低。由于一臺(tái)物理服務(wù)器對(duì)應(yīng)一個(gè)應(yīng)用系統(tǒng)，服務(wù)器的計(jì)算、存儲(chǔ)等資源得不到充分利用。2．系統(tǒng)存在安全隱患。大多數(shù)服務(wù)器購(gòu)置于5、6年前，設(shè)備老化，可靠性下降；相當(dāng)一部分服務(wù)器管理權(quán)在學(xué)院或者部門(mén)，缺乏技術(shù)人員管理；除學(xué)校一卡通服務(wù)器采用雙機(jī)熱備模式以外，其余的應(yīng)用沒(méi)有做任何保護(hù)，每周需要做一次手工備份，數(shù)據(jù)丟失危險(xiǎn)時(shí)刻存在。3．機(jī)房空間緊張。4.電力系統(tǒng)告急，能耗增加，空調(diào)功率跟不上。5．系統(tǒng)不便管理，新業(yè)務(wù)部署時(shí)間長(zhǎng)。6.校園師生對(duì)云盤(pán)的應(yīng)用需求日益強(qiáng)烈，對(duì)移動(dòng)辦公、數(shù)據(jù)備份等需求明顯。7.一些院系有高性能計(jì)算的業(yè)務(wù)需求，自建高性能中心涉及重復(fù)投資且高性能計(jì)算中心維護(hù)復(fù)雜，分散維護(hù)困難。2.2總體建設(shè)現(xiàn)有應(yīng)用系統(tǒng)與底層硬件之間存在的“豎井式”結(jié)構(gòu)，需要根據(jù)海量數(shù)據(jù)處理、實(shí)現(xiàn)應(yīng)用彈性、構(gòu)建多活數(shù)據(jù)中心等關(guān)鍵技術(shù)的發(fā)展，漸進(jìn)式的對(duì)基礎(chǔ)架構(gòu)進(jìn)行全方位規(guī)劃?，F(xiàn)有的服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)、終端需要根據(jù)云計(jì)算平臺(tái)的發(fā)展需求，對(duì)硬件資源進(jìn)行動(dòng)態(tài)的統(tǒng)籌劃分，充分發(fā)揮了現(xiàn)有硬件的整體效能，以滿(mǎn)足云計(jì)算平臺(tái)的發(fā)展需要。通過(guò)云計(jì)算中心平臺(tái)建設(shè)，利用虛擬化技術(shù)、集中建設(shè)服務(wù)器虛擬化中心、大數(shù)據(jù)分析系統(tǒng)和高性能計(jì)算中心，為校園提供彈性，即時(shí)，可定制的云計(jì)算服務(wù)。節(jié)約建設(shè)成本，提升云計(jì)算服務(wù)質(zhì)量，為校園內(nèi)廣大師生和業(yè)務(wù)部門(mén)提供基于云計(jì)算的IAAS，云盤(pán)，高性能計(jì)算等業(yè)務(wù)支撐服務(wù)。2.2.1XXX高校數(shù)字化校園云平臺(tái)需求在信息化建設(shè)的不斷發(fā)展過(guò)程中，校園中業(yè)務(wù)不斷發(fā)展，對(duì)服務(wù)器數(shù)量需求不斷增加，同時(shí)各部門(mén)各院系分散申購(gòu)服務(wù)器，浪費(fèi)極大，維護(hù)不方便，集中部署服務(wù)器又造成機(jī)房空間壓力不斷增大，維護(hù)難度不斷增大，服務(wù)器數(shù)量不斷增加等一系列問(wèn)題?；诜?wù)器虛擬化技術(shù)為基礎(chǔ)的服務(wù)器虛擬化中心提供彈性、可擴(kuò)展、可定制的虛擬服務(wù)器系統(tǒng)，即IAAS服務(wù)。2.2.2XXX高校常見(jiàn)業(yè)務(wù)系統(tǒng)分析需求一卡通業(yè)務(wù)系統(tǒng)校園“一卡通”系統(tǒng)是指利用智能卡技術(shù)、網(wǎng)絡(luò)技術(shù)、數(shù)據(jù)存儲(chǔ)技術(shù)、數(shù)據(jù)加密技術(shù)、系統(tǒng)與網(wǎng)絡(luò)安全技術(shù)、計(jì)算機(jī)控制技術(shù)和軟件工程等技術(shù)；采用銀行卡社會(huì)金融功能與校園卡校務(wù)管理功能相結(jié)合的方式；遵循國(guó)家金融、技術(shù)標(biāo)準(zhǔn)和行業(yè)規(guī)范；在校園內(nèi)提供身份認(rèn)證和金融服務(wù)的管理信息系統(tǒng)。一卡通系統(tǒng)（以下簡(jiǎn)稱(chēng)“一卡通”）是數(shù)字化校園的基礎(chǔ)工程和重要的有機(jī)組成部分，旨在為廣大師生員工的教學(xué)、科研和生活提供方便、快捷的電子化服務(wù)，使其既可以代替學(xué)校目前使用的各種證件，又可以應(yīng)用于各個(gè)消費(fèi)場(chǎng)所，還可以應(yīng)用于需要身份認(rèn)證的場(chǎng)所，同時(shí)又可通過(guò)銀行轉(zhuǎn)帳系統(tǒng)與指定的銀行進(jìn)行轉(zhuǎn)帳、圈存，實(shí)現(xiàn)校園無(wú)現(xiàn)金流通，從根本上實(shí)現(xiàn)“一卡在手，走遍校園”的設(shè)想。給師生帶來(lái)一種全新方便的現(xiàn)代生活，從而有效提升工作效率，提高學(xué)校的現(xiàn)代化管理水平?！耙豢ㄍā毕到y(tǒng)是以軟件、硬件集成的綜合信息集成系統(tǒng)，構(gòu)建在數(shù)字化校園之上的統(tǒng)一身份認(rèn)證、數(shù)據(jù)中心平臺(tái)、統(tǒng)一信息門(mén)戶(hù)等基礎(chǔ)平臺(tái)，與學(xué)校其它業(yè)務(wù)管理信息系統(tǒng)緊密結(jié)合，實(shí)現(xiàn)數(shù)據(jù)共享和交換，組成數(shù)字化校園的重要信息采集網(wǎng)絡(luò)，為學(xué)校提供實(shí)時(shí)可靠的信息來(lái)源和決策依據(jù)。綜合信息服務(wù)系統(tǒng)綜合信息服務(wù)系統(tǒng)以學(xué)校數(shù)據(jù)中心為基礎(chǔ)，將分散在各部門(mén)的數(shù)據(jù)集中到一起，以師、生角色為主線(xiàn)，提供跨部門(mén)立體式的人事、教學(xué)、學(xué)工、科研、設(shè)備資產(chǎn)、財(cái)務(wù)經(jīng)費(fèi)等綜合查詢(xún)服務(wù)。查詢(xún)服務(wù)以學(xué)校基表（由教育部制定的，用以反映高等教育的各級(jí)各類(lèi)學(xué)?；厩闆r的基層統(tǒng)計(jì)報(bào)表）為基礎(chǔ)，支持面向主題的多維查詢(xún)。個(gè)人用戶(hù)也可以查詢(xún)自身相關(guān)基本情況（個(gè)人數(shù)字檔案）。同時(shí)通過(guò)全面的數(shù)據(jù)分析，給院系領(lǐng)導(dǎo)、校領(lǐng)導(dǎo)決策提供數(shù)據(jù)支持，可以對(duì)學(xué)校的基本情況有一個(gè)全面的了解，通過(guò)其掌握學(xué)校發(fā)展的宏觀情況。校園網(wǎng)站系統(tǒng)校園網(wǎng)站系統(tǒng)主要提供Web頁(yè)面的瀏覽服務(wù)。整個(gè)網(wǎng)站系統(tǒng)提供了對(duì)外及對(duì)外接口。對(duì)外訪問(wèn)接口提供了外界了解學(xué)校的途徑，展示學(xué)校形象以及師資力量，招生最新信息等。對(duì)內(nèi)接口的主要適用對(duì)象為校內(nèi)師生，為在校師生提供內(nèi)部信息展示，課程安排，最新活動(dòng)咨詢(xún)等相關(guān)信息。另外，目前Web、FTP、BBS三類(lèi)應(yīng)用有極大的相關(guān)性，方便教師和學(xué)生進(jìn)行課內(nèi)外交流和授課內(nèi)容、課外輔導(dǎo)資料等的下載等。同時(shí)，可以將圖書(shū)館供公開(kāi)使用的資料在Web服務(wù)器上公布，即整合圖書(shū)館信息系統(tǒng)和校園網(wǎng)系統(tǒng)。郵件系統(tǒng)E-Mail服務(wù)器是一套電子郵局系統(tǒng)和信件發(fā)送、接收系統(tǒng)，主要為校園廣大的教師及學(xué)生提供方便、及時(shí)的電子通信手段。郵件系統(tǒng)主要使用對(duì)象為校內(nèi)教師，如果應(yīng)用資源條件允許，可以考慮為學(xué)生開(kāi)設(shè)獨(dú)立的郵箱賬戶(hù)，方便師生溝通。辦公OA系統(tǒng)辦公自動(dòng)化服務(wù)器只為學(xué)校日常辦公服務(wù)，現(xiàn)在的OA技術(shù)能夠提供文字處理、表格制作、公文流轉(zhuǎn)、會(huì)議安排等等服務(wù)。教務(wù)系統(tǒng)主要承擔(dān)教務(wù)處日常新聞發(fā)布、學(xué)生沒(méi)學(xué)期課程安排和選課等應(yīng)用，考慮峰值同時(shí)選課學(xué)生在線(xiàn)人數(shù)。數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)是整個(gè)系統(tǒng)中的核心業(yè)務(wù)系統(tǒng)，推薦使用兩臺(tái)物理服務(wù)器做RAC部署，保證業(yè)務(wù)的連續(xù)穩(wěn)定以及性能的充足。數(shù)據(jù)庫(kù)主要存放師生注冊(cè)信息，一卡通消費(fèi)信息記錄，日常報(bào)表學(xué)生成績(jī)等校園核心信息，是整個(gè)系統(tǒng)最為關(guān)鍵的部分，推薦采用OracleRAC。2.2.3大數(shù)據(jù)分析需求當(dāng)前中國(guó)正面臨從粗放到可持續(xù)發(fā)展方式的轉(zhuǎn)變挑戰(zhàn)。大數(shù)據(jù)技術(shù)能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息和知識(shí)挖掘出來(lái)，為人類(lèi)的社會(huì)經(jīng)濟(jì)活動(dòng)提供依據(jù)，從而提高各個(gè)領(lǐng)域的運(yùn)行效率，大大提高整個(gè)社會(huì)經(jīng)濟(jì)的集約化程度。在我國(guó)，大數(shù)據(jù)將重點(diǎn)應(yīng)用于以下三大領(lǐng)域：商業(yè)智能商務(wù)智能可有效提高企業(yè)運(yùn)營(yíng)活動(dòng)的效率。如在零售行業(yè)，由于同類(lèi)產(chǎn)品的差異小，可替代性強(qiáng)的特點(diǎn)，零售企業(yè)銷(xiāo)售收入的提高離不開(kāi)出色的購(gòu)物體驗(yàn)和客戶(hù)服務(wù)。零售企業(yè)需要根據(jù)銷(xiāo)售有特色的本地化商品并增加流行款式和生命周期短的產(chǎn)品，零售企業(yè)需要運(yùn)用最先進(jìn)的計(jì)算機(jī)和各種通信技術(shù)對(duì)變化中的消費(fèi)需求迅速做出反應(yīng)。通過(guò)對(duì)大數(shù)據(jù)的挖掘，零售企業(yè)在選擇上架產(chǎn)品時(shí)，為確保提供式樣新穎的商品，需要對(duì)消費(fèi)者的消費(fèi)行為以及趨勢(shì)進(jìn)行分析；在制定定價(jià)、廣告等策略時(shí)，需進(jìn)行節(jié)假日、天氣等大數(shù)據(jù)分析；在穩(wěn)定收入源時(shí)，需要對(duì)消費(fèi)群體進(jìn)行大數(shù)據(jù)分析，零售企業(yè)可以利用電話(huà)、Web、電子郵件等所有聯(lián)絡(luò)渠道的客戶(hù)的數(shù)據(jù)進(jìn)行分析，并結(jié)合客戶(hù)的購(gòu)物習(xí)慣，提供一致的個(gè)性化購(gòu)物體驗(yàn)，以提高客戶(hù)忠誠(chéng)度。同時(shí)，從微博等社交媒體中挖掘?qū)崟r(shí)數(shù)據(jù)，再將它們同實(shí)際銷(xiāo)售信息進(jìn)行整合，能夠?yàn)槠髽I(yè)提供真正意義上的智能，了解市場(chǎng)發(fā)展趨勢(shì)、理解客戶(hù)的消費(fèi)行為并為將來(lái)制定更加有針對(duì)性的策略。政府決策通過(guò)對(duì)大數(shù)據(jù)的挖掘，可有效提高政府決策的科學(xué)性和時(shí)效性。如：日本大地震發(fā)生后僅9分鐘，美國(guó)國(guó)家海洋和大氣管理局（NOAA）就發(fā)布了詳細(xì)的海嘯預(yù)警。隨即，NOAA通過(guò)對(duì)海洋傳感器獲得的實(shí)時(shí)數(shù)據(jù)進(jìn)行計(jì)算機(jī)模擬，制定了詳細(xì)的應(yīng)急方案，并將制作的海嘯影響模型發(fā)布在YouTube等網(wǎng)站。公共服務(wù)一方面，政府利用大數(shù)據(jù)技術(shù)把積累的海量歷史數(shù)據(jù)進(jìn)行挖掘利用，可以提供更為廣深的公共服務(wù)，另一方面，政府可以通過(guò)對(duì)衛(wèi)生、環(huán)保等領(lǐng)域的大數(shù)據(jù)實(shí)時(shí)分析，提高危機(jī)的預(yù)判能力，為實(shí)現(xiàn)更好、更科學(xué)的危機(jī)響應(yīng)提供了技術(shù)基礎(chǔ)。如在交通系統(tǒng)，隨著汽車(chē)工業(yè)的發(fā)展，車(chē)輛保有量的不斷攀升，車(chē)與路，車(chē)與環(huán)境之間的矛盾日趨加劇，諸如交通堵塞、事故增多、能源浪費(fèi)和環(huán)境污染等問(wèn)題的惡化，需要通過(guò)對(duì)歷史以及現(xiàn)在的車(chē)輛情況、路網(wǎng)情況的實(shí)時(shí)大數(shù)據(jù)分析，制定更為優(yōu)化的系統(tǒng)方案，使車(chē)輛行駛在最佳路徑上，縮小行車(chē)時(shí)間、節(jié)省燃料、減少環(huán)境污染，提高路網(wǎng)通行能力和服務(wù)質(zhì)量。大數(shù)據(jù)雖然極具價(jià)值，但由于類(lèi)型復(fù)雜、規(guī)模巨大，不論傳統(tǒng)的OLAP數(shù)據(jù)倉(cāng)庫(kù)技術(shù)還是新興的分布式處理技術(shù)等單一方案都有特定的短板，不可能滿(mǎn)足所有的需求，因此，要真正釋放大數(shù)據(jù)的能量，推動(dòng)大數(shù)據(jù)應(yīng)用并非易事，主要面臨著以下問(wèn)題和挑戰(zhàn)。挑戰(zhàn)一：基礎(chǔ)設(shè)施的持續(xù)擴(kuò)展問(wèn)題IDC公司2012年發(fā)布的數(shù)據(jù)顯示，數(shù)據(jù)總量每?jī)赡曛辽僭鲩L(zhǎng)一倍，但是硬件基礎(chǔ)設(shè)施由于摩爾定律失效很難進(jìn)行無(wú)限制擴(kuò)展，即使是MapReduce等分布式技術(shù)的擴(kuò)展性比OLAP等技術(shù)有了重大的提高，但是仍存在擴(kuò)展上限，如OracleRAC最大支持100個(gè)節(jié)點(diǎn)，Hadoop集群技術(shù)理論支持4000個(gè)節(jié)點(diǎn)，并且其設(shè)計(jì)初衷是建立在大量廉價(jià)、低端服務(wù)器上的，在充分橫向擴(kuò)展架構(gòu)的同時(shí)也需要縱向擴(kuò)展才能進(jìn)一步提升整體性能。與此同時(shí)，基礎(chǔ)設(shè)施規(guī)模不斷增大也會(huì)帶來(lái)其他的問(wèn)題，首先是系統(tǒng)的可用性，因?yàn)榇笠?guī)模分布系統(tǒng)只要其中一個(gè)節(jié)點(diǎn)出現(xiàn)故障，就會(huì)引起整個(gè)系統(tǒng)的恢復(fù)，所以分布式系統(tǒng)應(yīng)該采取多副本、檢查點(diǎn)等容錯(cuò)技術(shù)。另外，隨著系統(tǒng)節(jié)點(diǎn)規(guī)模的擴(kuò)展，網(wǎng)絡(luò)流量的增加是指數(shù)級(jí)的，網(wǎng)絡(luò)瓶頸也會(huì)制約系統(tǒng)性能的提升，限制系統(tǒng)的可擴(kuò)展性。挑戰(zhàn)二：數(shù)據(jù)處理的個(gè)性化、一體化需求問(wèn)題大數(shù)據(jù)時(shí)代同時(shí)催生了多種數(shù)據(jù)類(lèi)型結(jié)構(gòu)，無(wú)論是結(jié)構(gòu)化、半結(jié)構(gòu)化還是非結(jié)構(gòu)化的數(shù)據(jù)，從采集到挖掘都需要精細(xì)劃分，形成準(zhǔn)結(jié)構(gòu)化數(shù)據(jù)，并在此基礎(chǔ)上進(jìn)行關(guān)聯(lián)性分析，最后呈現(xiàn)挖掘后的結(jié)果。在上述過(guò)程中，每一個(gè)環(huán)節(jié)對(duì)于數(shù)據(jù)、軟件和硬件的要求是不一樣的，用單一的軟硬件無(wú)法滿(mǎn)足所有類(lèi)型應(yīng)用。更為重要的是，作為大數(shù)據(jù)應(yīng)用的主體的行業(yè)用戶(hù)并非都是IT方面的專(zhuān)家，不可能獨(dú)立實(shí)現(xiàn)上述過(guò)程以及大數(shù)據(jù)相關(guān)技術(shù)方案的整合部署和應(yīng)用的移植、二次開(kāi)發(fā)，因此就需要一個(gè)涵蓋數(shù)據(jù)采集、歸類(lèi)、挖掘、呈現(xiàn)、部署和移植的一體化解決方案?？傊?，多類(lèi)型、多維度數(shù)據(jù)處理環(huán)節(jié)的復(fù)雜性決定了無(wú)法依靠單一類(lèi)型的設(shè)備完美處理，為不同的應(yīng)用類(lèi)型和數(shù)據(jù)處理階段提供針對(duì)性的軟硬件一體化方案也是大數(shù)據(jù)應(yīng)用面臨的挑戰(zhàn)。挑戰(zhàn)三：天價(jià)成本問(wèn)題目前數(shù)據(jù)存儲(chǔ)越來(lái)越頻繁，相對(duì)于存儲(chǔ)的低廉價(jià)格，大規(guī)模數(shù)據(jù)處理成本仍然較高，特別采用傳統(tǒng)的方法，比如構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)技術(shù)通常需花費(fèi)幾千萬(wàn)元，而能夠處理數(shù)據(jù)規(guī)模不過(guò)是TB級(jí)的，平均每TB的成本超過(guò)十萬(wàn)元。以此推算，若要處理PB級(jí)數(shù)據(jù)大概需100億元，這個(gè)成本對(duì)于很多用戶(hù)來(lái)說(shuō)無(wú)法接受。如何尋找低成本的方案幫助用戶(hù)實(shí)現(xiàn)大數(shù)據(jù)的處理技術(shù)，也將為大數(shù)據(jù)的應(yīng)用帶來(lái)挑戰(zhàn)。研究大數(shù)據(jù)領(lǐng)域?qū)ι鐣?huì)和人類(lèi)、還有學(xué)校都具有很大的意義，所以XXX高校建立大數(shù)據(jù)分析系統(tǒng)是很有必要性的。2.2.4高性能需求XXX高校作為人才培訓(xùn)和學(xué)術(shù)研究的重要機(jī)構(gòu)，學(xué)科主要研究方向有：“網(wǎng)絡(luò)與通信技術(shù)”研究新型網(wǎng)絡(luò)體系架構(gòu)，轉(zhuǎn)發(fā)與控制分離技術(shù)系列標(biāo)準(zhǔn)、關(guān)鍵設(shè)備、產(chǎn)業(yè)化應(yīng)用；“信息安全與量子通信”研究量子信息、密碼技術(shù)、網(wǎng)絡(luò)和系統(tǒng)安全；“系統(tǒng)建模和先進(jìn)控制”研究系統(tǒng)建模、智能檢測(cè)、綜合自動(dòng)化、非線(xiàn)性控制、Petri網(wǎng)；“信息傳輸與無(wú)線(xiàn)網(wǎng)絡(luò)”研究泛在網(wǎng)絡(luò)、計(jì)算機(jī)視覺(jué)、融合網(wǎng)絡(luò)；“信號(hào)檢測(cè)與智能信息處理”研究信號(hào)檢測(cè)、RFID、人工智能、模糊神經(jīng)系統(tǒng)等。隨著研究的加深和項(xiàng)目的增多，現(xiàn)有的設(shè)備無(wú)法滿(mǎn)足教學(xué)和研究的需求，有效提升了和增加設(shè)備迫在眉睫。郎豐利整理制作。

數(shù)據(jù)中心總體規(guī)劃云資源中心加大數(shù)據(jù)分析與高性能主要分為計(jì)算資源、內(nèi)存資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源，大數(shù)據(jù)分析系統(tǒng)，高性能作業(yè)調(diào)度系統(tǒng)，本項(xiàng)目在充分整合XXX高校數(shù)據(jù)中心資源的基礎(chǔ)上，配置必要軟硬件設(shè)備，為XXX高校信息系統(tǒng)提供統(tǒng)一的基礎(chǔ)設(shè)施服務(wù)，在IaaS層構(gòu)建較為完整的XXX高校云計(jì)算平臺(tái)。建設(shè)內(nèi)容包括以下幾部分：硬件設(shè)備：服務(wù)器、存儲(chǔ)、、SAN交換機(jī)、交換機(jī)、負(fù)載均衡、VPN網(wǎng)關(guān)。軟件設(shè)備：物理服務(wù)器和虛擬服務(wù)器的操作系統(tǒng)、虛擬化軟件、中間件、大型數(shù)據(jù)庫(kù)系統(tǒng)、云計(jì)算管理平臺(tái)、Hadoop組件、高性能管理軟件、高性能作業(yè)調(diào)度軟件、高性能集群存儲(chǔ)系統(tǒng)。安全系統(tǒng)：防火墻、入侵防御、防毒墻、網(wǎng)頁(yè)防篡改、身份認(rèn)證系統(tǒng)、運(yùn)維安全審計(jì)系統(tǒng)、數(shù)據(jù)庫(kù)安全審計(jì)系統(tǒng)、漏洞掃描系統(tǒng)。同時(shí)采購(gòu)專(zhuān)業(yè)機(jī)構(gòu)提供的云安全服務(wù)等。機(jī)房配套設(shè)備：UPS、精密空調(diào)、標(biāo)準(zhǔn)機(jī)架。如上圖，XXX高校云計(jì)算中心將建設(shè)三大塊業(yè)務(wù)中心，分別是云平臺(tái)虛擬化中心、大數(shù)據(jù)分析系統(tǒng)和高性能計(jì)算中心。并且通過(guò)統(tǒng)一管理平臺(tái)提供對(duì)整體云計(jì)算中心的統(tǒng)一軟硬件管理，為學(xué)校云平臺(tái)虛擬化應(yīng)用、大數(shù)據(jù)分析系統(tǒng)、高性能計(jì)算業(yè)務(wù)和管理提供統(tǒng)一界面入口，對(duì)服務(wù)器虛擬化中心軟硬件設(shè)施、大數(shù)據(jù)分析平臺(tái)硬件設(shè)施、高性能計(jì)算軟硬件設(shè)施以及三大業(yè)務(wù)中心的業(yè)務(wù)管理提供統(tǒng)一管理運(yùn)維平臺(tái)。為學(xué)校云計(jì)算用戶(hù)提供業(yè)務(wù)發(fā)布、業(yè)務(wù)使用、業(yè)務(wù)管理等功能。服務(wù)器虛擬化云中心：在校園云計(jì)算資源中心中利用服務(wù)器虛擬化技術(shù)、存儲(chǔ)虛擬化技術(shù)和網(wǎng)絡(luò)虛擬化技術(shù)等建設(shè)集中統(tǒng)一的服務(wù)器虛擬化中心，利用高性能云計(jì)算服務(wù)器組成虛擬化集群，為各院系提供數(shù)以百計(jì)，數(shù)以千計(jì)的彈性虛擬服務(wù)器架構(gòu)，并且提供虛擬服務(wù)器的生命周期管理、利用服務(wù)器虛擬化的高可用技術(shù)提供業(yè)務(wù)連續(xù)性保障。為各院系和校園各業(yè)務(wù)系統(tǒng)提供彈性可擴(kuò)展、快速可恢復(fù)、安全可靠的服務(wù)器基礎(chǔ)架構(gòu)。為舊業(yè)務(wù)的遷移、新業(yè)務(wù)的部署提供快速、安全、自動(dòng)化的業(yè)務(wù)部署模式。大數(shù)據(jù)分析系統(tǒng)：高校研究項(xiàng)目眾多，教師教學(xué)任務(wù)等很多都會(huì)用到大數(shù)據(jù)分析平臺(tái)，大數(shù)據(jù)將給IT行業(yè)開(kāi)拓一個(gè)新的黃金時(shí)代，作為成都重要的高校我們有義務(wù)在這些前沿科技上做出對(duì)人類(lèi)、社會(huì)、四川、成都有幫助的研究并造福人類(lèi)、造福四川和成都，為提高資源利用率所一建議建立統(tǒng)一的大數(shù)據(jù)分析平臺(tái)供學(xué)校各學(xué)科教學(xué)和個(gè)科研方向研究使用。高性能計(jì)算中心：高校有很多院系都存在需要進(jìn)行高性能計(jì)算的相關(guān)業(yè)務(wù)需求，比如水文分析、化學(xué)分子分析、機(jī)械模型分析、數(shù)據(jù)建模等都有高性能計(jì)算的需要。如果各院系都自己建設(shè)高性能計(jì)算平臺(tái)的話(huà)，會(huì)造資源的極大浪費(fèi)。通過(guò)在云數(shù)據(jù)中心建設(shè)一套統(tǒng)一的高性能平臺(tái)，在各院系需要進(jìn)行相關(guān)計(jì)算時(shí)，進(jìn)行對(duì)應(yīng)的軟件部署，并進(jìn)行相關(guān)業(yè)務(wù)運(yùn)算。即可以提高硬件的使用效率，又可以節(jié)約資源。本期方案將為學(xué)校在云數(shù)據(jù)中心建設(shè)一套高性能計(jì)算中心，以便為學(xué)校各院系服務(wù)。統(tǒng)一管理平臺(tái)：高校云計(jì)算資源中心包括服務(wù)器虛擬化中心、校園云盤(pán)系統(tǒng)、高性能計(jì)算中心等云計(jì)算系統(tǒng)，這些系統(tǒng)的維護(hù)均有自己的維護(hù)頁(yè)面，再加上云計(jì)算中心的硬件設(shè)施，維護(hù)會(huì)非常復(fù)雜，為了降低維護(hù)和使用難度，提供統(tǒng)一管理平臺(tái)，為各系統(tǒng)管理員提供統(tǒng)一管理的界面。對(duì)各系統(tǒng)進(jìn)行統(tǒng)一維護(hù)，且提供安全保障。在硬件上實(shí)現(xiàn)散熱、電源、管理功能等非IT資源的集中化和模塊化，并利用軟件虛擬化技術(shù)實(shí)現(xiàn)計(jì)算、存儲(chǔ)等IT資源的池化和集中管理；將非計(jì)算部分的存儲(chǔ)、網(wǎng)絡(luò)等IO設(shè)備進(jìn)行池化，機(jī)柜內(nèi)采用高速網(wǎng)絡(luò)互聯(lián)，并以軟件定義的計(jì)算、軟件定義的存儲(chǔ)和軟件定義的網(wǎng)絡(luò)來(lái)滿(mǎn)足業(yè)務(wù)需求，并實(shí)現(xiàn)完全的軟件定義；將CPU、內(nèi)存等所有的IT資源完全池化，從硬件上可實(shí)現(xiàn)任意組合，根據(jù)應(yīng)用需求智能地分配和組合相關(guān)資源，實(shí)現(xiàn)完全意義上業(yè)務(wù)驅(qū)動(dòng)的軟件定義數(shù)據(jù)中心，軟件上實(shí)現(xiàn)業(yè)務(wù)驅(qū)動(dòng)和應(yīng)用感知。

云數(shù)據(jù)中心建設(shè)規(guī)劃云計(jì)算平臺(tái)邏輯架構(gòu)圖云設(shè)施即服務(wù)(IaaS，CloudInfrastructureasaService)：系統(tǒng)供應(yīng)商可以向用戶(hù)提供同顆粒度的可度量的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和單機(jī)操作系統(tǒng)等基礎(chǔ)資源，用戶(hù)可以在之上部署或運(yùn)行各種軟件，包括客戶(hù)操作系統(tǒng)和應(yīng)用業(yè)務(wù)。云平臺(tái)即服務(wù)(PaaS，CloudPlatformasaService)：云計(jì)算平臺(tái)供應(yīng)商將業(yè)務(wù)軟件的開(kāi)發(fā)環(huán)境、運(yùn)行環(huán)境作為一種服務(wù)，通過(guò)互聯(lián)網(wǎng)提交給用戶(hù)。云平臺(tái)即服務(wù)，需要構(gòu)建在云基礎(chǔ)設(shè)施之上。用戶(hù)可以在云平臺(tái)供應(yīng)商提供的開(kāi)發(fā)環(huán)境下創(chuàng)建自己業(yè)務(wù)應(yīng)用，而且可以直接在云平臺(tái)的運(yùn)行環(huán)境中上運(yùn)營(yíng)自己的業(yè)務(wù)。云軟件即服務(wù)(SaaS，CloudSoftwareasaService)：運(yùn)營(yíng)商通過(guò)互聯(lián)網(wǎng)，向用戶(hù)提供軟件服務(wù)的一種軟件應(yīng)用模式。傳統(tǒng)的SaaS與云SaaS，在客戶(hù)體驗(yàn)上基本類(lèi)似，如新浪郵箱和Gmail郵箱，客戶(hù)感受是類(lèi)似的。但傳統(tǒng)的SaaS直接構(gòu)建在硬件設(shè)備之上，不能實(shí)現(xiàn)后臺(tái)資源的多租戶(hù)共享，也無(wú)法實(shí)現(xiàn)資源的動(dòng)態(tài)流轉(zhuǎn)，實(shí)際并不屬于云計(jì)算的范疇。云SaaS，要求這些軟件業(yè)務(wù)運(yùn)行在云平臺(tái)服務(wù)層或構(gòu)建在云基礎(chǔ)設(shè)施層之上。云SaaS的優(yōu)勢(shì)，體現(xiàn)在后臺(tái)資源的動(dòng)態(tài)伸縮和流轉(zhuǎn)上，資源可擴(kuò)展性更強(qiáng)，這一重大優(yōu)勢(shì)是傳統(tǒng)SaaS所不具備的。本方案中云計(jì)算平臺(tái)由資源池、虛擬化平臺(tái)、云管理平臺(tái)組成。資源池部分主要有物理設(shè)備組成，包括服務(wù)器，存儲(chǔ)和網(wǎng)絡(luò)等基礎(chǔ)架構(gòu)資源，通過(guò)虛擬化平臺(tái)對(duì)基礎(chǔ)架構(gòu)設(shè)備進(jìn)行池化，從而形成資源池；虛擬化平臺(tái)就是將物理資源進(jìn)行池化的軟件組合；云計(jì)算管理平臺(tái)就是對(duì)底層資源池和虛擬化軟件進(jìn)行管理，并且，針對(duì)管理和運(yùn)維需要，云計(jì)算管理平臺(tái)實(shí)現(xiàn)云計(jì)算服務(wù)的交付和云計(jì)算中心用戶(hù)和流程的管理以及數(shù)據(jù)中心的監(jiān)控。4.1資源池規(guī)劃什么是資源池云計(jì)算的核心特性是利用規(guī)?；?yīng)降低單位資源的管理成本和使用成本，而規(guī)?；囊粋€(gè)前提是資源的物理集中，因此被管理的資源最好集中在少數(shù)幾個(gè)中心，而不是分布在很多物理位置。云計(jì)算資源池是采用池化的辦法，把服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等資源按照不同的標(biāo)準(zhǔn)組織成不同的資源池。通過(guò)資源池的管理模式，云計(jì)算管理員無(wú)需去考慮具體的服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)配置。在一個(gè)資源池內(nèi)，通?？梢园ǚ?wù)器、存儲(chǔ)空間、網(wǎng)絡(luò)端口等，這樣，在一個(gè)資源池中我們就可以為某一個(gè)應(yīng)用系統(tǒng)提供它所需要的所有計(jì)算資源。通過(guò)云計(jì)算的自動(dòng)化功能，云計(jì)算平臺(tái)管理員可以方便、快速的在資源池中定制化的選擇應(yīng)用系統(tǒng)需要的計(jì)算資源數(shù)目,根據(jù)業(yè)務(wù)的應(yīng)用類(lèi)型進(jìn)行云計(jì)算平臺(tái)資源的分配。資源池的特征（1）多實(shí)例通過(guò)服務(wù)器虛擬化，在一個(gè)物理服務(wù)器上可以運(yùn)行多個(gè)虛擬服務(wù)器，即可以支持多個(gè)客戶(hù)操作系統(tǒng)。服務(wù)器虛擬化將服務(wù)器的邏輯整合到虛擬機(jī)中，而物理系統(tǒng)的資源，如CPU，內(nèi)存，硬盤(pán)和網(wǎng)絡(luò)等，是以可控方式分配給虛擬機(jī)的。（2）隔離性在多實(shí)例的服務(wù)器虛擬化中，一個(gè)虛擬機(jī)與其他虛擬機(jī)完全隔離。通過(guò)隔離機(jī)制，即便其中的一個(gè)或者多個(gè)虛擬機(jī)崩潰，其他的虛擬機(jī)也不會(huì)受到影響，虛擬機(jī)之間也不會(huì)泄露數(shù)據(jù)。如果多個(gè)虛擬機(jī)內(nèi)的進(jìn)程或者應(yīng)用程序之間想互相訪問(wèn)，只能通過(guò)所配置的網(wǎng)絡(luò)進(jìn)行通信，就如同采用虛擬化之前的幾個(gè)獨(dú)立的物理服務(wù)器之間需要通過(guò)網(wǎng)絡(luò)來(lái)訪問(wèn)一樣。（3）封裝性即相對(duì)硬件獨(dú)立性。在采用了服務(wù)器虛擬化智慧，一個(gè)完整的虛擬機(jī)環(huán)境對(duì)外表現(xiàn)為一個(gè)單一的實(shí)體（例如一個(gè)虛擬機(jī)文件、一個(gè)邏輯分區(qū)），這樣的實(shí)體非常便于再不同的硬件間備份、移動(dòng)和復(fù)制等。同時(shí)，服務(wù)器虛擬化將物理機(jī)的硬件封裝為標(biāo)準(zhǔn)化的虛擬硬件設(shè)備，提供給虛擬機(jī)內(nèi)的操作系統(tǒng)和應(yīng)用程序，保證了虛擬機(jī)的兼容性。（4）高性能與之間在物理機(jī)上運(yùn)行的系統(tǒng)相比，虛擬機(jī)與硬件之間多了一個(gè)虛擬化抽象層。虛擬化抽象層通過(guò)虛擬機(jī)監(jiān)視器VMM或者虛擬化平臺(tái)來(lái)實(shí)現(xiàn)，并會(huì)產(chǎn)生一定的開(kāi)銷(xiāo)。這些開(kāi)銷(xiāo)為服務(wù)器虛擬化的性能損耗。服務(wù)器虛擬化的高性能是指虛擬機(jī)監(jiān)視器VMM的開(kāi)銷(xiāo)要被控制在可承受的范圍之內(nèi)。（5）兼容性隨著技術(shù)的不斷推進(jìn)，新的服務(wù)器無(wú)法運(yùn)行原來(lái)比較古老的操作系統(tǒng)，例如，某客戶(hù)很久之前在某個(gè)服務(wù)器上安裝了win2000的操作系統(tǒng)，應(yīng)用的開(kāi)發(fā)團(tuán)隊(duì)因?yàn)槟承┰蚪馍⒘?，因而用?hù)失去了應(yīng)用升級(jí)的支持。隨著時(shí)間的發(fā)展，原來(lái)的服務(wù)器已經(jīng)損耗非常嚴(yán)重，用戶(hù)希望對(duì)服務(wù)器進(jìn)行升級(jí)。在沒(méi)有做相應(yīng)新的驅(qū)動(dòng)開(kāi)發(fā)的情況下，無(wú)法在新的服務(wù)器上安裝win2000。通過(guò)虛擬化技術(shù)可以虛擬出一個(gè)標(biāo)準(zhǔn)的虛擬硬件設(shè)備，兼容稍微陳舊的操作系統(tǒng)。這樣就能實(shí)現(xiàn)用戶(hù)應(yīng)用運(yùn)行在原有的系統(tǒng)環(huán)境中，但是支持用戶(hù)應(yīng)用系統(tǒng)是最新架構(gòu)的、性能強(qiáng)勁的新的服務(wù)器。資源池規(guī)劃要素（1）硬件類(lèi)型。應(yīng)該支持同樣的虛擬化引擎。例如X86服務(wù)器和Power服務(wù)器的虛擬化技術(shù)不同，它們不能劃入同一資源池。（2）性能差異。高端和低端服務(wù)器在性能上存在較大差異，如果劃入統(tǒng)一資源池，會(huì)導(dǎo)致上面的應(yīng)用體驗(yàn)到不同的性能指標(biāo)。因此，應(yīng)該采用統(tǒng)一檔次、統(tǒng)一類(lèi)型的服務(wù)器。（3）網(wǎng)絡(luò)分區(qū)。同一資源池應(yīng)該位于一個(gè)局域網(wǎng)，這樣可以避免大量數(shù)據(jù)的跨局域網(wǎng)傳輸。因此，對(duì)于多個(gè)數(shù)據(jù)中心的資源，推薦為每個(gè)數(shù)據(jù)中心獨(dú)立創(chuàng)建一個(gè)資源池。（4）靈活擴(kuò)展。能夠?qū)υ朴?jì)算平臺(tái)進(jìn)行設(shè)備的熱添加。在業(yè)務(wù)不中斷的情況下對(duì)資源池進(jìn)行擴(kuò)充、對(duì)業(yè)務(wù)進(jìn)行擴(kuò)展，確保云計(jì)算平臺(tái)資源池滿(mǎn)足當(dāng)下應(yīng)用及未來(lái)三至五年業(yè)務(wù)增長(zhǎng)的需求。（5）安全隔離。生產(chǎn)系統(tǒng)一般對(duì)應(yīng)用的安全性有很強(qiáng)的要求，因此對(duì)服務(wù)器及存儲(chǔ)資源進(jìn)行不同程度的隔離，如物理隔離、邏輯隔離（如VLAN）等。云計(jì)算的引入不能破壞現(xiàn)有的安全要求，因此資源池的組織也需要按照相應(yīng)的規(guī)則進(jìn)行。4.2資源池規(guī)劃內(nèi)容資源池建設(shè)硬件部分圍繞著計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)三個(gè)方面進(jìn)行，包括服務(wù)器、存儲(chǔ)空間、網(wǎng)絡(luò)端口等。資源池示意圖計(jì)算資源池建設(shè)規(guī)劃方案規(guī)劃為用戶(hù)云計(jì)算平臺(tái)建設(shè)一個(gè)高性能計(jì)算能力的虛擬機(jī)的云計(jì)算平臺(tái)，從而滿(mǎn)足用戶(hù)業(yè)務(wù)的IT需求。云計(jì)算平臺(tái)要求具備超高的擴(kuò)展性，動(dòng)態(tài)地對(duì)云計(jì)算平臺(tái)進(jìn)行擴(kuò)展，以滿(mǎn)足業(yè)務(wù)快速增長(zhǎng)的需求。方案采用虛擬化技術(shù)，在虛擬化技術(shù)中物理服務(wù)器計(jì)算能力影響著虛擬機(jī)性能。將單臺(tái)物理服務(wù)器的計(jì)算能力最大化，以便于進(jìn)行資源池資源動(dòng)態(tài)分配，有別于傳統(tǒng)的部門(mén)級(jí)和企業(yè)級(jí)服務(wù)器。云計(jì)算中心的數(shù)據(jù)庫(kù)較傳統(tǒng)模式更大，所處理的數(shù)據(jù)規(guī)模也將會(huì)十倍于、甚至百倍千倍于現(xiàn)在的系統(tǒng)，這些系統(tǒng)需要更大的集中式處理的服務(wù)器，而不是集群系統(tǒng)。因此對(duì)于底層的硬件資源我們應(yīng)該從更大規(guī)模和尺度去考慮，系統(tǒng)需要有更高的計(jì)算性能、更大的內(nèi)存、更好的可擴(kuò)展性，本方案中我們建議選擇性能更加強(qiáng)勁、擴(kuò)展性更好的x86八路服務(wù)器平臺(tái)。目前XXX4路服務(wù)器服務(wù)器，具備60個(gè)計(jì)算核心、120個(gè)邏輯核心，是傳統(tǒng)服務(wù)器計(jì)算能力的20倍以上。服務(wù)器整機(jī)采用模塊化設(shè)計(jì)，支持物理分區(qū)，具備高性能、高可靠、高擴(kuò)展、高可用等特性。在性能及可靠性等方面均可與IBM、HP、SUN等傳統(tǒng)UNIX小型機(jī)競(jìng)爭(zhēng)，填補(bǔ)了國(guó)產(chǎn)品牌的空白，是構(gòu)建云計(jì)算和物聯(lián)網(wǎng)的最佳選擇。存儲(chǔ)資源池建設(shè)規(guī)劃統(tǒng)一SAN存儲(chǔ)系統(tǒng)：成熟的SAN網(wǎng)絡(luò)技術(shù)，使用存儲(chǔ)虛擬化技術(shù)進(jìn)行不同SAN協(xié)議和網(wǎng)絡(luò)的融合，最終向云計(jì)算平臺(tái)提供統(tǒng)一的數(shù)據(jù)存放接口。目前主流采用8GbFC主機(jī)接口，提供海量存儲(chǔ)空間，適合于對(duì)于海量數(shù)據(jù)存放的性能和安全性有較高要求的高校業(yè)務(wù)應(yīng)用系統(tǒng)。業(yè)務(wù)高可用建設(shè)規(guī)劃業(yè)務(wù)高可用示意圖由上圖可以看出，系統(tǒng)采用多臺(tái)x86服務(wù)器，每臺(tái)服務(wù)器運(yùn)行多個(gè)業(yè)務(wù)系統(tǒng)，后端共同連接一個(gè)磁盤(pán)陣列。高可用方案能夠不間斷地監(jiān)控資源池中的所有服務(wù)器并監(jiān)測(cè)服務(wù)器故障。放置在每臺(tái)服務(wù)器上的代理會(huì)不斷向資源池中的其他服務(wù)器發(fā)送“心跳信號(hào)”，而心跳信號(hào)的中止會(huì)導(dǎo)致所有受影響的業(yè)務(wù)應(yīng)用在其他服務(wù)器上重新啟動(dòng)。高可用方案確保資源池中始終有充足的資源，以便能夠在出現(xiàn)服務(wù)器故障時(shí)在不同的物理服務(wù)器上重新啟動(dòng)業(yè)務(wù)應(yīng)用。當(dāng)服務(wù)器上的任意一個(gè)業(yè)務(wù)系統(tǒng)運(yùn)行出現(xiàn)故障的時(shí)候，通過(guò)高可用方案管理節(jié)點(diǎn)可以在其他兩臺(tái)服務(wù)器上按照資源利用情況，重啟一個(gè)故障的業(yè)務(wù)應(yīng)用環(huán)境，使業(yè)務(wù)繼續(xù)運(yùn)行下去。即使當(dāng)一臺(tái)服務(wù)器出現(xiàn)故障的時(shí)候，其他兩臺(tái)服務(wù)器仍然能夠根據(jù)資源利用的情況，通過(guò)高可用方案管理節(jié)點(diǎn)重啟已宕服務(wù)器上的所有業(yè)務(wù)應(yīng)用環(huán)境，這樣就使整個(gè)系統(tǒng)都處于一種HA狀態(tài)，進(jìn)而保證了整個(gè)系統(tǒng)業(yè)務(wù)運(yùn)行的連續(xù)性。同時(shí)減少了硬件投入數(shù)量和開(kāi)銷(xiāo)。4.3虛擬化軟件選型規(guī)劃虛擬化技術(shù)的誕生已經(jīng)有將近30年的歷史。它曾經(jīng)用于一些大規(guī)模的、預(yù)算充足的單位，而如今已經(jīng)應(yīng)用于計(jì)算機(jī)的方方面面，包括硬件、軟件、通信等等方面。在許多情況下，這項(xiàng)技術(shù)是免費(fèi)的、開(kāi)源的，或者是包含在一些收費(fèi)的產(chǎn)品中，例如操作系統(tǒng)或存儲(chǔ)硬件中。在應(yīng)用軟件和硬件之間加入了一層抽象的層。能夠降低IT設(shè)施的成本和復(fù)雜度。提供相互獨(dú)立的計(jì)算資源，從而增加穩(wěn)定性和安全性。提高服務(wù)層次以及服務(wù)質(zhì)量（QoS）。能夠使IT流程與單位目標(biāo)相一致。盡可能減少I(mǎi)T設(shè)施中的冗余，最大化IT設(shè)施的利用率。當(dāng)今最常見(jiàn)的虛擬化形式都聚焦于服務(wù)器硬件平臺(tái)的虛擬化，而這項(xiàng)技術(shù)的實(shí)現(xiàn)及其實(shí)現(xiàn)目標(biāo)其實(shí)對(duì)數(shù)據(jù)中心中關(guān)鍵而昂貴的組件也很有意義，例如存儲(chǔ)和網(wǎng)絡(luò)基礎(chǔ)設(shè)施。虛擬化技術(shù)能夠允許在一臺(tái)計(jì)算機(jī)上同時(shí)運(yùn)行多個(gè)操作系統(tǒng)實(shí)例。每個(gè)操作系統(tǒng)實(shí)例都共享了同一物理硬件上的一定量的資源，就像下圖所展示的那樣。一個(gè)稱(chēng)作虛擬機(jī)監(jiān)視器（VirtualMachineMonitor,VMM）的軟件控制著底層CPU、內(nèi)存、存儲(chǔ)和網(wǎng)絡(luò)資源的使用和許可。虛擬化示意圖作為中國(guó)領(lǐng)先的云計(jì)算服務(wù)提供商，和業(yè)界領(lǐng)先的云計(jì)算解決方案供應(yīng)商，XXX和vmware在2006年就開(kāi)始在云計(jì)算領(lǐng)域進(jìn)行深度合作，并于2008年與VMware公司正式簽訂戰(zhàn)略合作伙伴關(guān)系。與此同時(shí)，XXX近些年投入強(qiáng)大的研發(fā)科技力量著力進(jìn)行云計(jì)算軟件的開(kāi)發(fā)，目前已開(kāi)發(fā)出XXX云海平臺(tái)。其中iVirtual3.2是XXX云海虛擬化管理軟件。XXX虛擬化產(chǎn)品架構(gòu)圖XXX云海?服務(wù)器虛擬化系統(tǒng)是數(shù)據(jù)中心虛擬化基石，是業(yè)界最完善的虛擬化平臺(tái)。該產(chǎn)品不僅僅將IT硬件轉(zhuǎn)變?yōu)榭煽康脑朴?jì)算數(shù)據(jù)中心后臺(tái)，而且還能為用戶(hù)的應(yīng)用服務(wù)提供最高級(jí)別的可用性，安全性和擴(kuò)展性。XXX云?！し?wù)器虛擬化系統(tǒng)基于服務(wù)器，存儲(chǔ)和網(wǎng)絡(luò)設(shè)備構(gòu)建資源池，在資源池上通過(guò)資源的管理、調(diào)度和鏡像管理實(shí)現(xiàn)系統(tǒng)的各種高級(jí)功能，例如計(jì)算層面的系統(tǒng)負(fù)載均衡和虛擬機(jī)高可用，存儲(chǔ)層面的鏡像復(fù)制和冗余。系統(tǒng)支持以主機(jī)或者虛擬群集為單位管理資源，虛擬群集為一組共享存儲(chǔ)資源的物理主機(jī)。

XXX云?！し?wù)器虛擬化iVirtual3.2系統(tǒng)為B/S架構(gòu)，用戶(hù)可以通過(guò)瀏覽器訪問(wèn)并使用系統(tǒng)。具體系統(tǒng)使用功能包括：概覽、主機(jī)、虛擬機(jī)、集群、網(wǎng)絡(luò)、日志、系統(tǒng)拓?fù)涞鹊?。另外系統(tǒng)對(duì)外提供API，支持用戶(hù)進(jìn)行二次開(kāi)發(fā)。4.4云管理平臺(tái)建設(shè)規(guī)劃本方案中推薦采用XXX云計(jì)算操作系統(tǒng)云海OSV3.2作為云計(jì)算平臺(tái)的云管理平臺(tái)。XXX云海OSV3.2產(chǎn)品架構(gòu)圖XXX云海OSV3.2是云數(shù)據(jù)中心資源管理及資源交付軟件，兼容不同的虛擬化架構(gòu)，監(jiān)控、管理云資源和數(shù)據(jù)中心軟、硬件資源，實(shí)現(xiàn)基礎(chǔ)設(shè)施的服務(wù)化。平臺(tái)提供豐富的功能組件和API接口，幫助用戶(hù)快速部署企業(yè)服務(wù)，有效提升云數(shù)據(jù)中心管理運(yùn)維效率。XXX云海OSV3.2為用戶(hù)構(gòu)建一個(gè)資源共享、安全可控的云計(jì)算平臺(tái)，對(duì)云計(jì)算平臺(tái)內(nèi)異構(gòu)資源進(jìn)行統(tǒng)一管理。通過(guò)添加VMWarevCenter、iVirtualcenter，實(shí)現(xiàn)對(duì)異構(gòu)虛擬化資源池的集中管理，可橫向、動(dòng)態(tài)擴(kuò)展云資源規(guī)模和容量，以適應(yīng)未來(lái)發(fā)展的需求。XXX云海OSV3.2以模塊化的設(shè)計(jì)理念，涵蓋云數(shù)據(jù)中心的所有需求：云海OSV3.2涵蓋了服務(wù)提供所需各個(gè)環(huán)節(jié)的管理，可輕松實(shí)現(xiàn)用戶(hù)對(duì)數(shù)據(jù)中心各類(lèi)資源的統(tǒng)一管理，提供一站式運(yùn)維，便于用戶(hù)維護(hù)，降低維護(hù)成本；通過(guò)云資源管理主要實(shí)現(xiàn)對(duì)數(shù)據(jù)中心云資源的統(tǒng)一管理，包括虛擬控制中心管理、集群管理、存儲(chǔ)管理、虛擬數(shù)據(jù)中心管理、虛擬網(wǎng)絡(luò)管理及鏡像管理；通過(guò)云海OSV3.2平臺(tái)采用開(kāi)放、靈活的架構(gòu)設(shè)計(jì)和模塊化設(shè)計(jì)，客戶(hù)可以功能模塊按需組合，滿(mǎn)足不同層次用戶(hù)需求，便于擴(kuò)展及定制化開(kāi)發(fā)；云海OSV3.2具備大規(guī)模、細(xì)粒度、高精度的監(jiān)控系統(tǒng)，對(duì)資源進(jìn)行完善的監(jiān)控管理、故障報(bào)警、日志記錄等；系統(tǒng)支持自定義角色類(lèi)型，可定義擁有不同權(quán)限的角色，實(shí)現(xiàn)靈活而安全的系統(tǒng)權(quán)限管理，且擁有基于權(quán)限的用戶(hù)控制技術(shù)和組織網(wǎng)絡(luò)隔離技術(shù)，可以保持多租戶(hù)環(huán)境下的安全性和可靠性。針對(duì)用戶(hù)業(yè)務(wù)，云海OSV3.2提供靈活的業(yè)務(wù)審批流程，可自定義業(yè)務(wù)流程，實(shí)現(xiàn)業(yè)務(wù)申請(qǐng)審批流程的可視化、自動(dòng)化管理；精確的計(jì)費(fèi)管理，終端用戶(hù)可以通過(guò)Web界面在線(xiàn)自助申請(qǐng)所需的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源，實(shí)現(xiàn)資源的按需獲取并通過(guò)實(shí)時(shí)的資源使用情況統(tǒng)計(jì)，讓用戶(hù)精確掌控自身資源和費(fèi)用使用情況。

4.5數(shù)據(jù)中心統(tǒng)一管理平臺(tái)規(guī)劃計(jì)算資源中心包括硬件基礎(chǔ)設(shè)施、服務(wù)器虛擬化中心、大數(shù)據(jù)分析系統(tǒng)和高性能計(jì)算中心，采用統(tǒng)一管理平臺(tái)統(tǒng)一管理接口，保證統(tǒng)一管理平臺(tái)，實(shí)施基于ITIL的運(yùn)維流程非常重要，同時(shí)，云計(jì)算資源中心提供包括IAAS、PASS（高性能計(jì)算業(yè)務(wù)）和SAAS（云盤(pán)業(yè)務(wù)）等多種云業(yè)務(wù)，通過(guò)統(tǒng)一管理平臺(tái)提供業(yè)務(wù)發(fā)布平臺(tái)，所有的云業(yè)務(wù)均通過(guò)業(yè)務(wù)發(fā)布平臺(tái)進(jìn)行業(yè)務(wù)發(fā)布，為用戶(hù)提供統(tǒng)一訪問(wèn)入口，將為用戶(hù)提供極大的方便性。統(tǒng)一管理平臺(tái)方統(tǒng)一管理平臺(tái)基礎(chǔ)架構(gòu)如下：統(tǒng)一管理平臺(tái)通過(guò)配置數(shù)據(jù)庫(kù)，調(diào)用底層各應(yīng)用系統(tǒng)的API接口，和底層各應(yīng)用系統(tǒng)進(jìn)行對(duì)接。運(yùn)維人員通過(guò)統(tǒng)一界面對(duì)各業(yè)務(wù)系統(tǒng)進(jìn)行監(jiān)控和維護(hù)，調(diào)用各業(yè)務(wù)系統(tǒng)的功能，進(jìn)行相關(guān)業(yè)務(wù)發(fā)布。通過(guò)工作流引擎定義運(yùn)維流程和發(fā)布流程，為用戶(hù)提供云業(yè)務(wù)。云計(jì)算中心統(tǒng)一管理平臺(tái)提供了管理框架，通過(guò)此管理框架，可以集成多種不同的云業(yè)務(wù)，并通過(guò)集成工作流引擎，靈活配置管理和發(fā)布流程，和企業(yè)OA和ERP平臺(tái)進(jìn)行集成，提供符合公司企業(yè)業(yè)務(wù)流程的管理平臺(tái)。統(tǒng)一管理平臺(tái)基礎(chǔ)功能底層平臺(tái)多云配置及管理添加和管理平臺(tái)支持的多個(gè)云業(yè)務(wù)平臺(tái)，其中云業(yè)務(wù)平臺(tái)接口集成需要定制開(kāi)發(fā)；管理每個(gè)客戶(hù)項(xiàng)目需要的虛擬化平臺(tái)；Openstack接口集成集成Openstack的常規(guī)管理接口，封裝成可以直接被業(yè)務(wù)層調(diào)用的API。通過(guò)API調(diào)用具體云平臺(tái)業(yè)務(wù)。虛擬化層監(jiān)控組件監(jiān)控平臺(tái)計(jì)劃中包括物理層、虛擬化層和應(yīng)用層監(jiān)控，其中虛擬化層監(jiān)控的功能從底層平臺(tái)接入，物理層通過(guò)第三方廠商業(yè)務(wù)集成接入，應(yīng)用層通過(guò)業(yè)務(wù)定制組件集成接入。需要管理的監(jiān)控項(xiàng)通過(guò)虛擬化平臺(tái)接口集成實(shí)現(xiàn)客戶(hù)自服務(wù)中心云業(yè)務(wù)管理分?jǐn)?shù)據(jù)中心、分不同云業(yè)務(wù)類(lèi)型對(duì)云業(yè)務(wù)平臺(tái)進(jìn)行管理。對(duì)所有的云業(yè)務(wù)管理提供三個(gè)維度的標(biāo)簽管理，業(yè)務(wù)類(lèi)型、監(jiān)控優(yōu)先級(jí)管理功能分類(lèi)如下：日常運(yùn)維管理類(lèi)當(dāng)前用戶(hù)權(quán)限范圍內(nèi)的已有資源數(shù)量、使用情況、資源池總量和使用情況、報(bào)警信息、歷史記錄、操作日志網(wǎng)絡(luò)類(lèi)網(wǎng)絡(luò)相關(guān)的設(shè)置和管理，VPN、子網(wǎng)等配置資源變化類(lèi)資源池內(nèi)資源的新建、擴(kuò)容和銷(xiāo)毀。提供申請(qǐng)“資源擴(kuò)容”的入口，低級(jí)管理員向高級(jí)管理員申請(qǐng)，頂級(jí)管理員不提供功能入口物理層管理數(shù)據(jù)中心、機(jī)柜、服務(wù)器、交換機(jī)等物理資源的管理和關(guān)系建立。建立虛擬化平臺(tái)和物理層的關(guān)聯(lián)關(guān)系。監(jiān)控展現(xiàn)監(jiān)控工具的功能展現(xiàn)，包括①報(bào)警項(xiàng)列表及管理②分資源監(jiān)控頁(yè)面用戶(hù)及權(quán)限對(duì)應(yīng)到用戶(hù)、角色、權(quán)限組的管理，包括角色之間的層級(jí)關(guān)系。系統(tǒng)內(nèi)各功能權(quán)限的設(shè)定基于角色建立，資源池配額基于用戶(hù)建立。工單管理系統(tǒng)提供工單和工作流管理，為用戶(hù)發(fā)現(xiàn)問(wèn)題，提交問(wèn)題，云業(yè)務(wù)中心管理員解決問(wèn)題提供了跟蹤流程。為業(yè)務(wù)上線(xiàn)、業(yè)務(wù)發(fā)布、業(yè)務(wù)回收提供了完整的流程管理。配置管理系統(tǒng)管理員具備權(quán)限，設(shè)定系統(tǒng)內(nèi)可以操作的虛擬化資源配置模板以及非標(biāo)模板資源的關(guān)聯(lián)關(guān)系（CPU、內(nèi)存、硬盤(pán)等的限制條件）大數(shù)據(jù)建設(shè)規(guī)劃5.1大數(shù)據(jù)平臺(tái)規(guī)劃本次計(jì)劃將分散在網(wǎng)絡(luò)中的數(shù)據(jù)歸集起來(lái)，為分析機(jī)構(gòu)提供數(shù)據(jù)提取和查詢(xún)服務(wù)；本項(xiàng)目計(jì)劃實(shí)現(xiàn)網(wǎng)絡(luò)信息的綜合查詢(xún)與分析，實(shí)現(xiàn)綜統(tǒng)報(bào)表、監(jiān)管報(bào)表、業(yè)務(wù)日?qǐng)?bào)表、綜合報(bào)表的信息共享；信息預(yù)警系統(tǒng)，實(shí)現(xiàn)網(wǎng)絡(luò)信息的聯(lián)動(dòng)查詢(xún)統(tǒng)計(jì)。通過(guò)建立邏輯數(shù)據(jù)模型，并建立適合各類(lèi)專(zhuān)題分析需要的數(shù)據(jù)集市，形成企業(yè)級(jí)中央數(shù)據(jù)倉(cāng)庫(kù)，以中央數(shù)據(jù)倉(cāng)庫(kù)為紐帶完成業(yè)務(wù)數(shù)據(jù)向管理信息的過(guò)渡；大數(shù)據(jù)ETL和數(shù)據(jù)倉(cāng)庫(kù)隨著信息技術(shù)運(yùn)用的不斷深入，互聯(lián)網(wǎng)上積累了大量原始數(shù)據(jù)，而這些數(shù)據(jù)是按照關(guān)系型數(shù)據(jù)庫(kù)結(jié)構(gòu)存儲(chǔ)，在更新，刪除，有效存儲(chǔ)(少冗余數(shù)據(jù))方面表現(xiàn)出色，但在復(fù)雜查詢(xún)方面效率卻十分低下。為充分利用已有數(shù)據(jù)，提供復(fù)雜查詢(xún)，提供更好的決策支持，就需要采用數(shù)據(jù)倉(cāng)庫(kù)(DataWarehouse)技術(shù)。數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)(這里的數(shù)據(jù)庫(kù)指關(guān)系型數(shù)據(jù)庫(kù))的區(qū)別在于，數(shù)據(jù)倉(cāng)庫(kù)以方便查詢(xún)(或稱(chēng)為按主題查詢(xún))為目的，打破關(guān)系型數(shù)據(jù)庫(kù)理論中標(biāo)準(zhǔn)泛式的約束，將數(shù)據(jù)庫(kù)的數(shù)據(jù)重新組織和整理，為查詢(xún)，報(bào)表，聯(lián)機(jī)分析等提供數(shù)據(jù)支持。數(shù)據(jù)倉(cāng)庫(kù)建立起來(lái)后，定期的數(shù)據(jù)裝載(ETL)成為數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)一個(gè)主要的日常工作。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織是商業(yè)智能中最重要的課題，中央數(shù)據(jù)倉(cāng)庫(kù)不是各系統(tǒng)數(shù)據(jù)簡(jiǎn)單的堆積，而是業(yè)務(wù)數(shù)據(jù)的有組織的存儲(chǔ)，來(lái)支持異源異構(gòu)數(shù)據(jù)的聯(lián)動(dòng)分析和挖掘。它必須具有靈活性和可擴(kuò)展性，適應(yīng)將來(lái)的業(yè)務(wù)需求的增加和變動(dòng)。1、數(shù)據(jù)倉(cāng)庫(kù)的邏輯結(jié)構(gòu)在數(shù)據(jù)層前是數(shù)據(jù)源和轉(zhuǎn)換區(qū)，數(shù)據(jù)源是業(yè)務(wù)信息庫(kù)中的原始數(shù)據(jù)，轉(zhuǎn)換區(qū)用于存放從數(shù)據(jù)源抽取到的數(shù)據(jù)，并在轉(zhuǎn)換區(qū)進(jìn)行轉(zhuǎn)換，是ETL的工作區(qū)域。數(shù)據(jù)層負(fù)責(zé)所有數(shù)據(jù)的持久存儲(chǔ)，包含中央數(shù)據(jù)倉(cāng)庫(kù)（DW），數(shù)數(shù)據(jù)源據(jù)集市（DM）和多維模型OLAP(MDB)。中央數(shù)據(jù)倉(cāng)庫(kù)(DM)存放從各個(gè)數(shù)據(jù)源抽取的數(shù)據(jù)，是經(jīng)過(guò)轉(zhuǎn)換后的細(xì)節(jié)數(shù)據(jù)。數(shù)據(jù)集市（DM)存放的是面向業(yè)務(wù)應(yīng)用宏觀的匯總數(shù)據(jù),基于實(shí)用化和運(yùn)行效率的考慮，數(shù)據(jù)集市ETL采用數(shù)據(jù)庫(kù)存儲(chǔ)過(guò)程來(lái)實(shí)現(xiàn)。多維模型（MDB)是將數(shù)據(jù)數(shù)據(jù)集市中的數(shù)據(jù)加載到OLAPSERVER中,為多維分析提供數(shù)據(jù)。2、邏輯數(shù)據(jù)模型邏輯數(shù)據(jù)模型LDM是數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)的基礎(chǔ)。數(shù)據(jù)模型的設(shè)計(jì)既要滿(mǎn)足本項(xiàng)目的業(yè)務(wù)需求，同時(shí)要充分考慮未來(lái)業(yè)務(wù)發(fā)展的需要，也就是說(shuō)，數(shù)據(jù)模型應(yīng)具有較強(qiáng)的擴(kuò)展性；數(shù)據(jù)模型的設(shè)計(jì)應(yīng)充分考慮最終用戶(hù)的查詢(xún)/分析效率和數(shù)據(jù)抽取、轉(zhuǎn)換和加載的速度，保證系統(tǒng)具有較高的運(yùn)行效率；數(shù)據(jù)模型的設(shè)計(jì)應(yīng)充分考慮當(dāng)今數(shù)據(jù)庫(kù)技術(shù)和數(shù)據(jù)建模技術(shù)的發(fā)展動(dòng)態(tài)，保證數(shù)據(jù)模型的設(shè)計(jì)方法、設(shè)計(jì)過(guò)程、設(shè)計(jì)結(jié)果的科學(xué)性和先進(jìn)性；數(shù)據(jù)模型的設(shè)計(jì)應(yīng)具有較強(qiáng)的可讀性，數(shù)據(jù)模型應(yīng)便于業(yè)務(wù)人員和技術(shù)人員理解，項(xiàng)目投入運(yùn)行后，數(shù)據(jù)模型便于技術(shù)人員維護(hù)。中央數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)所有最詳細(xì)的業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)的組織方式依關(guān)系型數(shù)據(jù)庫(kù)的第三范式規(guī)則。數(shù)據(jù)倉(cāng)庫(kù)邏輯數(shù)據(jù)模型主要包括六個(gè)主題域：客戶(hù)、產(chǎn)品、帳戶(hù)、交易、渠道和機(jī)構(gòu)。3、數(shù)據(jù)集市模型根據(jù)業(yè)務(wù)需求將中央數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分類(lèi)成幾個(gè)不同的數(shù)據(jù)集市，每個(gè)數(shù)據(jù)集市完成不同的分析和查詢(xún)需求，數(shù)據(jù)集市中的數(shù)據(jù)通常由中央數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)聚合而來(lái)，根據(jù)數(shù)據(jù)聚合程度的不同包含輕度聚合、中度聚合和高度聚合三種不同的層次。匯總的方式將依據(jù)數(shù)據(jù)量的大小和使用頻率綜合考慮。4、ETL的設(shè)計(jì)ETL指源系統(tǒng)數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)抽取、轉(zhuǎn)換和加載處理進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)的整個(gè)過(guò)程。ETL流程主要包括以下主要步驟：數(shù)據(jù)抽取：數(shù)據(jù)抽取就是將數(shù)據(jù)倉(cāng)庫(kù)需要的業(yè)務(wù)數(shù)據(jù)抽取到數(shù)據(jù)轉(zhuǎn)換區(qū)的過(guò)程；數(shù)據(jù)檢查和出錯(cuò)處理：在數(shù)據(jù)轉(zhuǎn)換區(qū)中，對(duì)源系統(tǒng)數(shù)據(jù)質(zhì)量進(jìn)行檢查，形成檢查報(bào)告，并進(jìn)行相應(yīng)的出錯(cuò)處理，對(duì)于嚴(yán)重錯(cuò)誤，需要系統(tǒng)維護(hù)人員現(xiàn)場(chǎng)做出相應(yīng)的處理。數(shù)據(jù)轉(zhuǎn)換：數(shù)據(jù)轉(zhuǎn)換包括對(duì)源系統(tǒng)數(shù)據(jù)進(jìn)行整理、剔除、合并、驗(yàn)證等一系列轉(zhuǎn)換工作，最后形成數(shù)據(jù)倉(cāng)庫(kù)物理數(shù)據(jù)結(jié)構(gòu)所需的數(shù)據(jù)，存放在轉(zhuǎn)換區(qū)的數(shù)據(jù)表中。數(shù)據(jù)加載：數(shù)據(jù)加載將數(shù)據(jù)轉(zhuǎn)換的結(jié)果數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)，并形成數(shù)據(jù)加載情況的報(bào)告。ETL工具需包括下列模塊：EXTRACT模塊（數(shù)據(jù)抽?。?，TXTLOAD模塊（文本裝載），TRANSFER模塊（數(shù)據(jù)轉(zhuǎn)換），DWLOAD模塊（數(shù)據(jù)倉(cāng)庫(kù)裝載），QUALITY模塊(質(zhì)量檢查），CODEMANAGER模塊（標(biāo)準(zhǔn)代碼管理）和WADMIN模塊(總控）。從各個(gè)數(shù)據(jù)源到中央數(shù)據(jù)倉(cāng)庫(kù)的ETL可以由ETL工具實(shí)現(xiàn)。首先在各個(gè)源系統(tǒng)安裝extract模塊，將源數(shù)據(jù)抽取為文本數(shù)據(jù)，打包后通過(guò)ftp傳送到數(shù)據(jù)倉(cāng)庫(kù)主機(jī)上。在數(shù)據(jù)倉(cāng)庫(kù)主機(jī)上通過(guò)txtload將文本數(shù)據(jù)裝入交換區(qū)，然后通過(guò)在交換區(qū)內(nèi)通過(guò)Transfer模塊進(jìn)行數(shù)據(jù)轉(zhuǎn)換，最后將交換區(qū)的數(shù)據(jù)通過(guò)dwload裝入中央數(shù)據(jù)倉(cāng)庫(kù)。ETL每個(gè)模塊都是現(xiàn)了參數(shù)化配置，通過(guò)配置相應(yīng)的ini配置文件實(shí)現(xiàn)。從中央數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)集市的數(shù)據(jù)裝載利用存儲(chǔ)過(guò)程實(shí)現(xiàn)。在開(kāi)發(fā)過(guò)程中針對(duì)每個(gè)數(shù)據(jù)集市設(shè)計(jì)相應(yīng)的存儲(chǔ)過(guò)程，實(shí)現(xiàn)數(shù)據(jù)從中央數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)集市的裝載。BI體系構(gòu)建通過(guò)引入先進(jìn)的商業(yè)智能工具，提高數(shù)據(jù)挖掘水平，是迅速改變信息工作無(wú)法滿(mǎn)足業(yè)務(wù)發(fā)展需要的必由之路。數(shù)據(jù)挖掘系統(tǒng)將以原始數(shù)據(jù)為基礎(chǔ)，以先進(jìn)的數(shù)據(jù)建模理論對(duì)業(yè)務(wù)信息庫(kù)進(jìn)行重新規(guī)劃，建立信息管理的基礎(chǔ)數(shù)據(jù)支持平臺(tái)。隨著數(shù)據(jù)量的不斷擴(kuò)大以及新的應(yīng)用系統(tǒng)不斷上線(xiàn)，一期建設(shè)的大數(shù)據(jù)系統(tǒng)在不能滿(mǎn)足需求的情況下，需要對(duì)大數(shù)據(jù)系統(tǒng)進(jìn)行擴(kuò)容。XXX云海大數(shù)據(jù)一體機(jī)采用ShareNothing架構(gòu)，可以靈活擴(kuò)展，并且在擴(kuò)展的基礎(chǔ)上能夠保證性能的近線(xiàn)性提升。XXX目前支持兩種擴(kuò)容方式：一：增加節(jié)點(diǎn)實(shí)現(xiàn)擴(kuò)容，將節(jié)點(diǎn)添加到原有系統(tǒng)中，實(shí)現(xiàn)整個(gè)系統(tǒng)性能和存儲(chǔ)能力的提升。二：增加新的大數(shù)據(jù)一體機(jī)，與原有系統(tǒng)形成互相獨(dú)立的兩套大數(shù)據(jù)系統(tǒng)。方式一適用的場(chǎng)景：數(shù)據(jù)量增大，原有系統(tǒng)存儲(chǔ)量無(wú)法滿(mǎn)足要求。方式二適用的場(chǎng)景：客戶(hù)需要重新搭建一套大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)業(yè)務(wù)和數(shù)據(jù)的隔離。5.2大數(shù)據(jù)架構(gòu)介紹本次大數(shù)據(jù)平臺(tái)系統(tǒng)包括硬件、操作系統(tǒng)層和軟件層三部分。1）、硬件層大數(shù)據(jù)一體機(jī)硬件層分為計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)三個(gè)模塊，其主要特征包括：①適用于大數(shù)據(jù)處理的計(jì)算單元。針對(duì)視頻數(shù)據(jù)挖掘、在線(xiàn)交易這樣的應(yīng)用，由于這類(lèi)應(yīng)用對(duì)于計(jì)算量要求高，因此采用CPU多、內(nèi)存多的重載節(jié)點(diǎn)，并增加專(zhuān)用的加速芯片，針對(duì)對(duì)計(jì)算、存儲(chǔ)和IO均衡的應(yīng)用，采用通用數(shù)據(jù)單元，第三類(lèi)則是針對(duì)對(duì)數(shù)據(jù)處理快速響應(yīng)的應(yīng)用場(chǎng)景，提供輕量計(jì)算單元。②適用于大數(shù)據(jù)處理的存儲(chǔ)單元。采用整體一體解決方案，充分發(fā)揮新型存儲(chǔ)節(jié)制的作用，比如閃存盤(pán)的技術(shù)，將閃存盤(pán)放在整個(gè)計(jì)算緩存里面做高速緩存，針對(duì)不同應(yīng)用類(lèi)型，實(shí)現(xiàn)全局的算法，降低冗余率。③大數(shù)據(jù)互聯(lián)交換芯片?；ミB核心交換融合了數(shù)據(jù)通信與存儲(chǔ)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)系統(tǒng)級(jí)消息通信、數(shù)據(jù)交換、以及I/O操作的統(tǒng)一支持，提高系統(tǒng)通信性能和擴(kuò)展能力。④全局交換網(wǎng)絡(luò)?；ミB核心交換融合了數(shù)據(jù)通信與存儲(chǔ)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)系統(tǒng)級(jí)消息通信、數(shù)據(jù)交換、以及I/O操作的統(tǒng)一支持，提高系統(tǒng)通信性能和擴(kuò)展能力。2）、操作系統(tǒng)層大數(shù)據(jù)一體機(jī)采用專(zhuān)門(mén)面向關(guān)鍵應(yīng)用業(yè)務(wù)開(kāi)發(fā)的操作系統(tǒng)，不僅針對(duì)架構(gòu)進(jìn)行了專(zhuān)門(mén)的優(yōu)化，性能大幅提升，而且在安全性和容錯(cuò)性方面能力突出。3）、軟件層大數(shù)據(jù)一體機(jī)軟件層包括分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫(kù)HBase、并行數(shù)據(jù)處理引擎MapReduce，數(shù)據(jù)倉(cāng)庫(kù)Hive、數(shù)據(jù)分析、挖掘工具M(jìn)ahout和管理系統(tǒng)等幾個(gè)模塊。本次在開(kāi)源Hadoop之上開(kāi)發(fā)了管理和監(jiān)控工具，可簡(jiǎn)化Hadoop集群的安裝、部署、使用與管理，主要功能包括：①節(jié)點(diǎn)動(dòng)態(tài)增減②集群部署卸載③MapReduce作業(yè)管理④平臺(tái)配置與參數(shù)更改⑤集群監(jiān)控報(bào)警系統(tǒng)5.3新型分布式處理技術(shù)基礎(chǔ)XXX云海大數(shù)據(jù)一體機(jī)所采用的分布式處理技術(shù)核心基礎(chǔ)包含兩部分：1）是用于海量數(shù)據(jù)存儲(chǔ)與吞吐的分布式文件系統(tǒng)；2）是用于海量數(shù)據(jù)處理的分布式運(yùn)算框架。5.4分布式文件系統(tǒng)HDFS分布式文件系統(tǒng)是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上，能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS的特點(diǎn)主要包括：使用低成本存儲(chǔ)和服務(wù)器構(gòu)建，能夠存放PB以上級(jí)數(shù)據(jù)高可擴(kuò)展性，實(shí)際生產(chǎn)環(huán)境可擴(kuò)展至4000個(gè)節(jié)點(diǎn)高可靠性和容錯(cuò)性，數(shù)據(jù)自動(dòng)復(fù)制，可自我修復(fù)高帶寬，支持高并發(fā)I/O訪問(wèn)分布式文件系統(tǒng)HDFS運(yùn)行在使用低端通用服務(wù)器構(gòu)建的大規(guī)模集群之上，采用鍵值對(duì)（key/value）模型進(jìn)行數(shù)據(jù)存儲(chǔ)。整個(gè)HDFS系統(tǒng)采用元數(shù)據(jù)集中管理、數(shù)據(jù)塊分布存儲(chǔ)的架構(gòu)，包括一個(gè)主服務(wù)器和多個(gè)塊服務(wù)器，支持多個(gè)客戶(hù)端訪問(wèn)。大規(guī)模數(shù)據(jù)被分割成固定大小的塊（64MB或128MB），塊服務(wù)器將塊以文件形式保存至硬盤(pán)，并根據(jù)塊句柄和字節(jié)范圍讀寫(xiě)數(shù)據(jù)。為了實(shí)現(xiàn)容錯(cuò)以確?？煽啃?，每個(gè)塊被缺省的復(fù)制3個(gè)備份。主服務(wù)器采用B+樹(shù)管理文件系統(tǒng)的名字空間、文件映射、塊物理位置等元數(shù)據(jù)。此外，HDFS的設(shè)計(jì)充分考慮了互聯(lián)網(wǎng)應(yīng)用負(fù)載和環(huán)境特征，通過(guò)服務(wù)端與客戶(hù)端的聯(lián)合設(shè)計(jì)，使性能和可用性達(dá)到最優(yōu)，主要體現(xiàn)在四個(gè)方面：1)考慮到節(jié)點(diǎn)的失效問(wèn)題，以軟件方式實(shí)現(xiàn)系統(tǒng)故障恢復(fù)功能；2)采用特殊的文件系統(tǒng)參數(shù)，文件大小以GB計(jì)并支持大量小文件；3)適應(yīng)應(yīng)用特征，增加追加寫(xiě)文件操作以?xún)?yōu)化磁盤(pán)順序讀寫(xiě)速度；4)部分文件操作不再透明，由應(yīng)用程序完成。5.5MapReduce計(jì)算框架為滿(mǎn)足對(duì)海量數(shù)據(jù)的智能分析和深度挖掘需求，采用HadoopMapReduce并行計(jì)算框架對(duì)各類(lèi)結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行離線(xiàn)分析。Hadoop是一個(gè)利用key/value數(shù)據(jù)并行性進(jìn)行分布運(yùn)算而后匯總結(jié)果的計(jì)算框架，適合作用于具有可劃分屬性（時(shí)間、空間等）的數(shù)據(jù)集合的，利于線(xiàn)性擴(kuò)展；采用數(shù)據(jù)本地化處理優(yōu)化，通過(guò)移動(dòng)計(jì)算，而非移動(dòng)數(shù)據(jù)來(lái)實(shí)現(xiàn)高效數(shù)據(jù)處理；同時(shí)，Hadoop通過(guò)與HDFS配合使用和容錯(cuò)設(shè)計(jì)，具有高可靠性。為了簡(jiǎn)化集群環(huán)境下的并行編程負(fù)擔(dān)，Hadoop實(shí)現(xiàn)了MapReduce編程模型，使得程序員只需關(guān)注應(yīng)用處理邏輯，而由運(yùn)行環(huán)境負(fù)責(zé)集群應(yīng)用的任務(wù)調(diào)度、數(shù)據(jù)通信、可靠性和可伸縮性保障等底層處理細(xì)節(jié)。MapReduce把數(shù)據(jù)處理過(guò)程分解為Map階段和Reduce階段兩個(gè)階段，程序員只需編寫(xiě)map和reduce方法即可實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的并行處理。map方法處理key/value鍵值對(duì)數(shù)據(jù)生成一系列key/value中間結(jié)果，reduce方法合并具有相同鍵值的中間結(jié)果得到最終結(jié)果。MapReduce的執(zhí)行過(guò)程如圖1.6所示，首先對(duì)數(shù)據(jù)進(jìn)行分塊并分配給多個(gè)Map任務(wù)執(zhí)行map方法，然后根據(jù)某種規(guī)則對(duì)中間結(jié)果進(jìn)行劃分（partition）并寫(xiě)入本地硬盤(pán)；Map階段完成后進(jìn)入Reduce階段，具有相同key值的中間結(jié)果被從多個(gè)Map任務(wù)節(jié)點(diǎn)收集（shuffle）到Reduce節(jié)點(diǎn)進(jìn)行合并排序（sort），并執(zhí)行reduce方法，輸出結(jié)果寫(xiě)入分布式文件系統(tǒng)。MapReduce模型為Map:k1,v1List(k2,v2)Reduce:k2,List(v2)list(v2)其中，Map方法將key/value數(shù)據(jù)[k1,v1]轉(zhuǎn)換為[k2,v2]，Reduce方法針對(duì)每個(gè)k2的值列表List(v2)做list操作。此外，MapReduce模型中還包括partition、combine和sort等方法，可根據(jù)需要進(jìn)行定制。將已有智能分析和挖掘應(yīng)用MapReduce化的一般過(guò)程為：分析問(wèn)題并行性，即輸入數(shù)據(jù)集是否可被切分處理編寫(xiě)Map函數(shù)，在第一階段計(jì)算<Key,Value>對(duì)。Map方法可以完成選擇、投影等運(yùn)算編寫(xiě)Reduce函數(shù)，在第二階段用于匯總Map函數(shù)的結(jié)果，Reduce方法可以完成表中定義的其他key/value代數(shù)運(yùn)算5.6數(shù)據(jù)管理與分析為滿(mǎn)足海量數(shù)據(jù)的分布式計(jì)算和處理需求，采用基于無(wú)共享集群架構(gòu)的并行化數(shù)據(jù)處理方式完成海量數(shù)據(jù)的組織、檢索、傳輸?shù)裙ぷ?，提高業(yè)務(wù)效率。同時(shí)，建立標(biāo)準(zhǔn)統(tǒng)一的開(kāi)發(fā)平臺(tái)向編成人員屏蔽底層分布式計(jì)算細(xì)節(jié)，提高業(yè)務(wù)實(shí)現(xiàn)效率。5.7分布式數(shù)據(jù)庫(kù)HBase是一個(gè)分布式的、按列存儲(chǔ)的、多維表結(jié)構(gòu)的實(shí)時(shí)數(shù)據(jù)庫(kù),為高速在線(xiàn)數(shù)據(jù)服務(wù)而設(shè)計(jì)，HBase的特點(diǎn)主要包括：1）采用NoSQL數(shù)據(jù)庫(kù)結(jié)構(gòu)面向列存儲(chǔ)、可壓縮，有效降低磁盤(pán)I/O，提高利用率多維表結(jié)構(gòu)，在四個(gè)維度中三個(gè)維度可變，適合描述復(fù)雜嵌套關(guān)系靈活的表結(jié)構(gòu)，可動(dòng)態(tài)改變和增加（包括行、列和時(shí)間戳）支持單行的ACID事務(wù)處理2）基于分布式架構(gòu)高性能，支持高速并發(fā)寫(xiě)入和高并發(fā)查詢(xún)可擴(kuò)展，數(shù)據(jù)自動(dòng)切分和分布，可動(dòng)態(tài)擴(kuò)容，無(wú)需停機(jī)高可用性，建立在HDFS分布式文件系統(tǒng)之上為了支持互聯(lián)網(wǎng)應(yīng)用的格式化和半格式化數(shù)據(jù)，可構(gòu)建了弱一致性要求的大規(guī)模數(shù)據(jù)庫(kù)系統(tǒng)HBase。HBase數(shù)據(jù)模型包括行、列以及時(shí)間戳，多個(gè)行組成一個(gè)子表（Tablet），保存在子表服務(wù)器中。為使性能最大程度地適應(yīng)需求，HBase體系結(jié)構(gòu)也是基于客戶(hù)端和服務(wù)器架構(gòu)設(shè)計(jì)的（如圖-HBase體系結(jié)構(gòu)）。HBase依賴(lài)于集群任務(wù)調(diào)度器、HDFS文件系統(tǒng)以及分布式鎖服務(wù)ZooKeeper。HBase使用具有魯棒性的分布式鎖ZooKeeper來(lái)保存根元數(shù)據(jù)表的指針，客戶(hù)端應(yīng)用首先通過(guò)程序庫(kù)從ZooKeeper中獲得根表的位置，然后與主服務(wù)器進(jìn)行元數(shù)據(jù)通信，進(jìn)而與子表服務(wù)器進(jìn)行數(shù)據(jù)通信。HBase使用一臺(tái)服務(wù)器作為主服務(wù)器管理元數(shù)據(jù)，并對(duì)子表服務(wù)器進(jìn)行監(jiān)控、故障處理和負(fù)載調(diào)度。圖-HBase體系結(jié)構(gòu)5.8Hive數(shù)據(jù)倉(cāng)庫(kù)為支持進(jìn)一步開(kāi)發(fā)針對(duì)海量數(shù)據(jù)的智能分析和深度挖掘應(yīng)用，在HDFS/HBase之上建立數(shù)據(jù)倉(cāng)庫(kù)Hive。Hive是建立在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)構(gòu)架。它提供了一系列的工具，可以用來(lái)進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載（ETL），這是一種可以存儲(chǔ)、查詢(xún)和分析存儲(chǔ)在Hadoop中的大規(guī)模數(shù)據(jù)的機(jī)制。并提供完整的SQL查詢(xún)功能，可以將SQL語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。Hive的主要特點(diǎn)包括：采用HDFS進(jìn)行數(shù)據(jù)存儲(chǔ)，采用Map/Reduce進(jìn)行數(shù)據(jù)操作提供類(lèi)似于SQL的查詢(xún)語(yǔ)言高擴(kuò)展性(scale-out)，動(dòng)態(tài)擴(kuò)容無(wú)須停機(jī)針對(duì)海量數(shù)據(jù)的高性能查詢(xún)和分析系統(tǒng)提供靈活的語(yǔ)言擴(kuò)展，支持復(fù)雜數(shù)據(jù)類(lèi)型，擴(kuò)展函數(shù)和腳本等5.9大數(shù)據(jù)調(diào)優(yōu)服務(wù)在本次項(xiàng)目中需要具有軟硬一體化、專(zhuān)業(yè)化方面的優(yōu)勢(shì)，借鑒大量實(shí)際案例和生產(chǎn)實(shí)踐經(jīng)驗(yàn)，提供下列增值服務(wù)。1）、Hadoop調(diào)優(yōu)XXX在Hadoop發(fā)行版提供的平臺(tái)之外，還具備進(jìn)一步優(yōu)化的能力，具體包括硬件優(yōu)化、操作系統(tǒng)優(yōu)化、Hadoop配置優(yōu)化和應(yīng)用優(yōu)化。硬件優(yōu)化：采用硬件加速技術(shù)，包括采用FPGA卡將某些功能通過(guò)微碼的形式固化，直接與硬件交互，大大提高處理速度。還可以采用存儲(chǔ)加速技術(shù)，將某些頻繁使用、直接影響性能的操作進(jìn)行存儲(chǔ)加。操作系統(tǒng)優(yōu)化：采用內(nèi)核優(yōu)化，提高內(nèi)存訪問(wèn)速度，減少進(jìn)程切換和減少使用非本地內(nèi)存，以及緩存技術(shù)等進(jìn)行操作系統(tǒng)層面的優(yōu)化。Hadoop配置優(yōu)化：對(duì)Hadoop底層及應(yīng)用的精通幫助進(jìn)行Hadoop配置優(yōu)化，優(yōu)化方向包括操作系統(tǒng)參數(shù)優(yōu)化、網(wǎng)絡(luò)優(yōu)化、HDFS優(yōu)化、Map/Reduce優(yōu)化、HBase優(yōu)化等。在大的集群規(guī)模和數(shù)據(jù)量的實(shí)際場(chǎng)景下的優(yōu)化經(jīng)驗(yàn)是十分寶貴的，是實(shí)測(cè)得出的經(jīng)驗(yàn)。應(yīng)用優(yōu)化：包括數(shù)據(jù)模型優(yōu)化和應(yīng)用邏輯重構(gòu)，由于非常熟悉Hadoop技術(shù)的優(yōu)勢(shì)所在，將針Hadoop的特點(diǎn)對(duì)數(shù)據(jù)模型進(jìn)行優(yōu)化。另外的一個(gè)優(yōu)化方面是將針Hadoop的特點(diǎn)對(duì)應(yīng)用邏輯重構(gòu)，保障應(yīng)用邏輯正確的條件下，結(jié)合對(duì)銀行應(yīng)用的精確理解，進(jìn)行應(yīng)用邏輯重構(gòu)，優(yōu)化系統(tǒng)性能。2）、Hadoop數(shù)據(jù)導(dǎo)入工具從本地磁盤(pán)導(dǎo)入到Hadoop集群和HBase數(shù)據(jù)庫(kù)，是一個(gè)非常復(fù)雜的過(guò)程，如果沒(méi)有工具支持，很難保證性能，而且容易出錯(cuò)。根據(jù)過(guò)去的項(xiàng)目經(jīng)驗(yàn)，XXX開(kāi)發(fā)了Hadoop數(shù)據(jù)導(dǎo)入工具，實(shí)現(xiàn)高性能的數(shù)據(jù)導(dǎo)入。具體功能包括：任務(wù)調(diào)度：以pipe的方式，進(jìn)行任務(wù)調(diào)度。按批次導(dǎo)入的方法的缺點(diǎn)是系統(tǒng)利用率無(wú)法達(dá)到最優(yōu)，會(huì)出現(xiàn)資源浪費(fèi)。按pipe方式導(dǎo)入可以避免按批次導(dǎo)入的方法的缺點(diǎn)，最大限度利用資源。另外，通過(guò)對(duì)任務(wù)資源代價(jià)排序，可以實(shí)現(xiàn)集群資源的平衡使用。數(shù)據(jù)分發(fā)：根據(jù)各節(jié)點(diǎn)的資源列表，將數(shù)據(jù)平均分發(fā)到各節(jié)點(diǎn)。并發(fā)控制：以可配置方式，實(shí)現(xiàn)并發(fā)數(shù)的控制，提供并行執(zhí)行任務(wù)的能力。配置工具：提供參數(shù)配置，以參數(shù)形式控制導(dǎo)入的過(guò)程，避免硬編碼帶來(lái)的靈活性問(wèn)題。日志管理：提供豐富的日志信息，對(duì)于出錯(cuò)日志單獨(dú)記錄，便于分析問(wèn)題和采取糾正措施。3）、HBase開(kāi)發(fā)工具采用面向?qū)ο蟮脑O(shè)計(jì)和開(kāi)發(fā)方法，并采用分層模型，對(duì)HBase的操作進(jìn)行封裝，想HBase的復(fù)雜性對(duì)開(kāi)發(fā)者透明，并提高開(kāi)發(fā)效率，減少開(kāi)發(fā)中的BUG。具體特點(diǎn)包括：Java對(duì)象化將HBase的數(shù)據(jù)進(jìn)行Java對(duì)象化，開(kāi)發(fā)者只要定義JavaBean，并通過(guò)HBase開(kāi)發(fā)工具提供的簡(jiǎn)單接口就可以實(shí)現(xiàn)select,insert,update,delete.HBase底層抽象把HBase的會(huì)話(huà)連接，HTable操作，SCAN操作等進(jìn)行抽象，形成dbo類(lèi)和query類(lèi)，結(jié)合Java對(duì)象化實(shí)現(xiàn)優(yōu)雅地開(kāi)發(fā)HBase應(yīng)用程序。HBase表維護(hù)進(jìn)行HBase表創(chuàng)建、刪除等。特別是進(jìn)行HBaseRegion預(yù)分配等增值服務(wù)。其他工具類(lèi)如文件操作，日期操作等4）、Hadoop應(yīng)用開(kāi)發(fā)能力XXX利用多個(gè)項(xiàng)目的積累形成了很強(qiáng)的Hadoop的應(yīng)用開(kāi)發(fā)能力。體現(xiàn)如下：多個(gè)大型項(xiàng)目經(jīng)驗(yàn)：包括幾個(gè)大型國(guó)有銀行、省級(jí)交通局、公安局的大型項(xiàng)目，在海量數(shù)據(jù)量和集群規(guī)模上具備了實(shí)戰(zhàn)經(jīng)驗(yàn)，能完成大型客戶(hù)的復(fù)雜需求。開(kāi)發(fā)流程：積累和提煉出Hadoop應(yīng)用開(kāi)發(fā)，特別是HBase開(kāi)發(fā)的流程規(guī)范，形成一套方法論，對(duì)于指導(dǎo)未來(lái)的Hadoop應(yīng)用項(xiàng)目具有很好的指導(dǎo)作用。有經(jīng)驗(yàn)的開(kāi)發(fā)團(tuán)隊(duì)（規(guī)模）：XXX形成了一個(gè)具有相當(dāng)規(guī)模的有經(jīng)驗(yàn)的開(kāi)發(fā)團(tuán)隊(duì)，并且是本地開(kāi)發(fā)，具有人員的規(guī)模效應(yīng)和成本優(yōu)勢(shì)。

高性能建設(shè)規(guī)劃6.1高性能平臺(tái)建設(shè)內(nèi)容XXX集團(tuán)針對(duì)此次高性能項(xiàng)目需求，并結(jié)合多年來(lái)對(duì)科學(xué)計(jì)算領(lǐng)域高性能應(yīng)用的深刻理解，特別推出了基于22nm制程工藝的全新英特爾?微體系架構(gòu)（代碼IvyBridge）的英特爾?至強(qiáng)?E5-2600v3系列處理器的TS10000高性能集群系統(tǒng)，本集群具有計(jì)算性能優(yōu)越、功耗控制領(lǐng)先、監(jiān)控管理系統(tǒng)方便易用、系統(tǒng)開(kāi)放易于擴(kuò)展、服務(wù)體系完善等特點(diǎn)。除此之外，頗受廣大用戶(hù)認(rèn)可的XXX高性能集群培訓(xùn)服務(wù)體系，將為此次項(xiàng)目錦上添花，免除用戶(hù)的后顧之憂(yōu)。建設(shè)一下內(nèi)容：普通的計(jì)算機(jī)節(jié)點(diǎn)GPU的計(jì)算機(jī)節(jié)點(diǎn)具有強(qiáng)大性能的8路計(jì)算節(jié)點(diǎn)6.2高性能平臺(tái)總體性能要求此次建設(shè)規(guī)劃中，遵循業(yè)主方高校重點(diǎn)基礎(chǔ)設(shè)施實(shí)施建設(shè)，為XXX高校計(jì)算機(jī)學(xué)院日常教學(xué)、科研和承擔(dān)政府項(xiàng)目運(yùn)行支撐系統(tǒng)提供保障。其中XXX高校計(jì)算機(jī)學(xué)院高性能項(xiàng)目將采用云的方式進(jìn)行搭建，XXX高校計(jì)算機(jī)學(xué)院高性能項(xiàng)目將主要采用高性能機(jī)架式集群的方式進(jìn)行搭建。分別從云高性能平臺(tái)個(gè)模塊對(duì)XXX高校計(jì)算機(jī)學(xué)院支撐介紹。高性能總體要求:在采用“機(jī)架式計(jì)算節(jié)點(diǎn)”的架構(gòu)，浮點(diǎn)運(yùn)算能力的峰值計(jì)算需同時(shí)考慮CPU的核心數(shù)、核心主頻及時(shí)鐘頻率（按照浮點(diǎn)計(jì)算峰值＝核心數(shù)×核心主頻×?xí)r鐘周期的計(jì)算方式（此為單核的值，還需要乘以總核數(shù)量），因此，配置目前x86體系中計(jì)算速度最快的IntelXeonE52600v3（及以上）系列處理器，雙精度浮點(diǎn)計(jì)算能力達(dá)到12Tflops（11.9萬(wàn)億次/秒），Linpack測(cè)試不低于70%。針對(duì)跨網(wǎng)格及緊急任務(wù)的處理，配置了少量功能更強(qiáng)大的八路機(jī)架式計(jì)算節(jié)點(diǎn)，雙精度浮點(diǎn)計(jì)算能力達(dá)到7Tflops（7.06萬(wàn)億次/秒）。同時(shí)，配置GPU的雙精度浮點(diǎn)，雙精度浮點(diǎn)計(jì)算能力達(dá)到23Tflops（23.18萬(wàn)億次/秒），目前一張TESLAGPUK80理論峰值為2.91Tflops，所以我們需要配置8個(gè)K80的GPU計(jì)算機(jī)節(jié)點(diǎn)。同時(shí)，高性能內(nèi)部計(jì)算網(wǎng)絡(luò)采用全線(xiàn)速、無(wú)阻塞的56GbFDRInfiniband，是目前最先進(jìn)的通信網(wǎng)絡(luò)，能極大提升數(shù)值模式計(jì)算的速度和擴(kuò)展性。建成后的高性能計(jì)算系統(tǒng)將支持XXX高校的各科研教學(xué)的數(shù)值模型計(jì)算，滿(mǎn)足XXX高校分梯度的教學(xué)任務(wù)和科研項(xiàng)目，實(shí)現(xiàn)在小時(shí)級(jí)別內(nèi)計(jì)算出各位科研和教學(xué)的算法，并可展望未來(lái)幾年我們學(xué)校新設(shè)置的一些教學(xué)和科研項(xiàng)目。6.3節(jié)點(diǎn)配置詳解6.3.1計(jì)算節(jié)點(diǎn)（大數(shù)據(jù)DataNode節(jié)點(diǎn)）作為整套集群的主體結(jié)構(gòu)，計(jì)算節(jié)點(diǎn)是整套系統(tǒng)的基礎(chǔ)，其性能直接決定了整套系統(tǒng)的整體性能。為此，我們這次采用基于全新的IntelE5-2600V3處理器。其憑著架構(gòu)上的進(jìn)步，在相同的芯片大小下能容納更多的運(yùn)算核心，使得CPU具有八個(gè)或十個(gè)運(yùn)算核心；每個(gè)時(shí)鐘周期的浮點(diǎn)運(yùn)算次數(shù)有原來(lái)的8次提升為16次，從而使其浮點(diǎn)運(yùn)算性能翻倍提升；同時(shí)功耗表現(xiàn)亦得到改善。在高性能計(jì)算中，為了節(jié)省空間、降低能耗、簡(jiǎn)化管理，采用刀片服務(wù)器已經(jīng)是大勢(shì)所趨。而NF5280M4服務(wù)器是面向高性能計(jì)算（HighPerformanceComputing）而量身打造的高性能刀片服務(wù)器。計(jì)算刀片采用基于IntelE5-2600v3系列處理器，強(qiáng)勁性能無(wú)與倫比。每個(gè)計(jì)算節(jié)點(diǎn)都是一個(gè)完整的計(jì)算系統(tǒng)，離不開(kāi)各個(gè)部件的協(xié)同工作。所有的高性能計(jì)算，都需要CPU與內(nèi)存頻繁通信，超高性能的CPU只有匹配了相應(yīng)的內(nèi)存才可以發(fā)揮最佳的優(yōu)勢(shì)。在全新的架構(gòu)中，Intel集成的是DDR4內(nèi)存控制器，顯著地提高了內(nèi)存帶寬，降低了內(nèi)存延遲，提升了性能，從而為每個(gè)CPU提供了訪問(wèn)本地內(nèi)存資源的快速通道。GPU節(jié)點(diǎn)目前，使用GPU+CPU異構(gòu)系統(tǒng)來(lái)執(zhí)行通用科學(xué)與工程計(jì)算已經(jīng)成為一個(gè)比較熱門(mén)的研究方向，GPU（圖形處理器）計(jì)算模型在一個(gè)異構(gòu)計(jì)算模型中同時(shí)使用了CPU和GPU。應(yīng)用程序的順序部分在CPU上運(yùn)行，計(jì)算密集型部分在GPU上運(yùn)行。雖然應(yīng)用程序使用了GPU的卓越性能來(lái)提升運(yùn)行性能，但對(duì)用戶(hù)而言，他們所能感知到的將僅僅是運(yùn)行速度更快的應(yīng)用程序。NVDIAK80是新一代CUDA架構(gòu)，包含有專(zhuān)為科學(xué)應(yīng)用程序優(yōu)化的特性，如IEEE標(biāo)準(zhǔn)雙精度浮點(diǎn)硬件支持、以分布于GPU中的共享內(nèi)存形式存在的本地?cái)?shù)據(jù)高速緩存、以及結(jié)合內(nèi)存訪問(wèn)的P2P技術(shù)等。利用GPU做并行計(jì)算，可以大幅度提高計(jì)算效率，但是目前也存在著一些問(wèn)題，比如，這需要對(duì)客戶(hù)的CUDA編程能力有很高的要求，需要客戶(hù)對(duì)目前的軟件進(jìn)行移植，而這對(duì)于大多數(shù)的客戶(hù)要求還是比較高的。但是，不容否認(rèn)，CPU+GPU異構(gòu)計(jì)算，在未來(lái)會(huì)有一個(gè)比較快速的發(fā)展。NF5568M4服務(wù)器是面向高性能計(jì)算（HighPerformanceComputing）而量身打造的高性能服務(wù)器，其采用2顆IntelXeonE5-2620v3(2.4GHz/6c)/8GT/15ML3/1866處理器；64GB內(nèi)存，1張八通道高性能SASRAID卡（512M緩存），配置8塊900G2.5"10KrpmSAS硬盤(pán)，2口千兆網(wǎng)卡，配置1張雙端口10Gbps萬(wàn)兆卡含SFP+模塊，配置1張雙端口FC8GbpsHBA卡，配置配置單端口FDR56GbpsHCA卡，配置1張NvidiaK80GPU加速卡，配置2000W1+1冗余服務(wù)器電源。八路胖節(jié)點(diǎn)一套完善的高性能計(jì)算系統(tǒng)要考慮不同的應(yīng)用，針對(duì)不同的應(yīng)用來(lái)設(shè)計(jì)相應(yīng)的應(yīng)用平臺(tái)。通用計(jì)算節(jié)點(diǎn)是用來(lái)處理普通的計(jì)算任務(wù)，而對(duì)于計(jì)算化學(xué)類(lèi)的某些應(yīng)用，比如Gaussian、VASP，隨著計(jì)算規(guī)模的擴(kuò)大，內(nèi)存需求會(huì)隨基函數(shù)數(shù)量的平方而增加，特別是對(duì)于Gaussian而言，其支持Open-MP和TPC-Linda兩種并行方式，前者的并行效率要遠(yuǎn)遠(yuǎn)高于后者，另外Gaussian在選擇MP2計(jì)算方法時(shí)，會(huì)產(chǎn)生大量臨時(shí)文件常駐內(nèi)存，此時(shí)，通用計(jì)算節(jié)點(diǎn)就不能滿(mǎn)足要求。而胖節(jié)點(diǎn)的設(shè)計(jì)主要是用來(lái)處理此類(lèi)任務(wù)。此方案中的1臺(tái)胖節(jié)點(diǎn)采用XXXTS860八路服務(wù)器，能夠提供512GB的共享內(nèi)存來(lái)運(yùn)行Open-MP程序，從而大幅提高程序的運(yùn)行效率。我們?yōu)榕止?jié)點(diǎn)配置8U機(jī)架式服務(wù)器；配置8顆IntelXeonE7-8850v2(2.3GHz/12c)/7.2GT/24M3處理器；512GBDDR3內(nèi)存，1張八通道高性能SASRAID卡（1GB緩存），2口千兆網(wǎng)卡，配置1張雙端口10Gbps萬(wàn)兆卡含SFP+模塊，配置單端口FDR56GbpsHCA卡，配置1塊300G2.5"SAS硬盤(pán)，配置800W6+2冗余服務(wù)器低功耗電源。6.