互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)項(xiàng)目建設(shè)方案

目錄第一章 項(xiàng)目概述 11、項(xiàng)目名稱 12、項(xiàng)目背景 13、指導(dǎo)思想 24、建設(shè)原則 25、建設(shè)目標(biāo)與任務(wù) 5第二章 需求分析 61、業(yè)務(wù)目標(biāo)需求分析結(jié)論 62、系統(tǒng)功能指標(biāo)分析 73、信息量指標(biāo)分析 84、系統(tǒng)性能指標(biāo)分析 9第三章 總體建設(shè)方案 111、總體設(shè)計(jì)原則 111.1、總體框架 111.2、總體技術(shù)路線 132、總體目標(biāo)與分期目標(biāo) 132.1、總體目標(biāo) 132.2、分期目標(biāo) 143、總體建設(shè)任務(wù)與分期建設(shè)內(nèi)容 143.1、總體建設(shè)任務(wù) 144、系統(tǒng)總體結(jié)構(gòu)和邏輯結(jié)構(gòu) 154.2、系統(tǒng)邏輯結(jié)構(gòu) 15第四章 本期項(xiàng)目設(shè)計(jì)方案 161、建設(shè)目標(biāo)、規(guī)模與內(nèi)容 161.1、建設(shè)目標(biāo) 161.2、建設(shè)規(guī)模 161.3、建設(shè)內(nèi)容 172、標(biāo)準(zhǔn)規(guī)范建設(shè)內(nèi)容 172.1、項(xiàng)目建設(shè)標(biāo)準(zhǔn) 172.2、項(xiàng)目先進(jìn)性標(biāo)準(zhǔn) 193、信息資源規(guī)劃和數(shù)據(jù)庫設(shè)計(jì) 203.1、信息資源規(guī)劃 203.2、數(shù)據(jù)庫設(shè)計(jì) 214、應(yīng)用支撐系統(tǒng)設(shè)計(jì) 225、應(yīng)用系統(tǒng)設(shè)計(jì) 235.1、資產(chǎn)識別 235.2、資產(chǎn)查詢 245.3、資產(chǎn)數(shù)據(jù)分析挖掘 255.4、業(yè)務(wù)領(lǐng)先的資產(chǎn)指紋識別能力 255.5、準(zhǔn)確的資產(chǎn)與漏洞檢測能力 255.6、獨(dú)有掃描機(jī)制 265.7、系統(tǒng)抓取分析技術(shù) 266、數(shù)據(jù)處理和存儲系統(tǒng)設(shè)計(jì) 276.1、數(shù)據(jù)處理設(shè)計(jì) 276.2、數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì) 317、終端系統(tǒng)及接口設(shè)計(jì) 378、網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì) 3810、備份系統(tǒng)設(shè)計(jì) 3911、運(yùn)行維護(hù)系統(tǒng)設(shè)計(jì) 4012、系統(tǒng)配置及軟硬件選型原則 4414、系統(tǒng)軟硬件物理部署方案 44第五章 人員配置與培訓(xùn) 461、人員配置計(jì)劃 461.1、技術(shù)力量和人員配置 461.2、人員培訓(xùn)需求和計(jì)劃 461.3、項(xiàng)目建設(shè)的實(shí)施策略 462、人員培訓(xùn)方案 472.1、人員培訓(xùn)計(jì)劃 472.2、培訓(xùn)目標(biāo) 472.3、培訓(xùn)對象 482.4、培訓(xùn)講師 482.5、培訓(xùn)時(shí)間 492.6、培訓(xùn)課程 492.7、培訓(xùn)方式 502.8、培訓(xùn)意見反饋 52第八章 效益分析 541、前期項(xiàng)目建設(shè)成效分析 542、本期項(xiàng)目效益分析 54 第一章 項(xiàng)目概述1、項(xiàng)目名稱互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)建設(shè)項(xiàng)目2、項(xiàng)目背景目前，隨著各類開源系統(tǒng)的逐漸豐富，安全問題也隨之逐步暴露，全球范圍內(nèi)的通用漏洞開始呈現(xiàn)出爆發(fā)式的增長趨勢。伴隨著今年Struts2漏洞的再次爆發(fā)，黑客利用通用漏洞進(jìn)行攻擊的案例越來越多。2017年6月，“永恒之藍(lán)”勒索軟件漏洞影響了全球近千萬臺服務(wù)器，僅我國境內(nèi)受影響服務(wù)器多達(dá)4萬多臺?？梢钥吹?，針對通用組件的攻擊將成為未來很長一段時(shí)間的主旋律。反觀我們國家整體的安全建設(shè)，網(wǎng)絡(luò)防火墻、Web應(yīng)用防火墻、下一代防火墻、IDS、IPS、掃描器等等設(shè)備一應(yīng)俱全，為何仍會在Struts2及“永恒之藍(lán)”等漏洞出現(xiàn)時(shí)束手無策。由此可見，在新的網(wǎng)絡(luò)安全形勢下，已有的安全監(jiān)控及防護(hù)手段存在著極大的不足和滯后性，無法及時(shí)反映出信息系統(tǒng)、網(wǎng)絡(luò)設(shè)備的信息及安全狀況，缺少一種高效精準(zhǔn)的技術(shù)手段了解這些系統(tǒng)和設(shè)備開放的組件、服務(wù)和端口情況，以至于在出現(xiàn)嚴(yán)重漏洞時(shí)既不知道受不受影響，也不知道影響范圍有多大。因此亟待采取有效的措施來進(jìn)行彌補(bǔ)，了解并掌握網(wǎng)絡(luò)資產(chǎn)狀況，一旦高危漏洞爆發(fā)時(shí)，能夠更快速、精確的發(fā)現(xiàn)存在問題的站點(diǎn)并發(fā)出預(yù)警及利用?；ヂ?lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)的推廣將會在這個(gè)過程中起到至關(guān)重要的作用，幫助技術(shù)偵查部門掌握足夠的真實(shí)數(shù)據(jù)以做出了解判斷并及時(shí)預(yù)警、響應(yīng)，同時(shí)可以加以利用，獲取有價(jià)值的信息，信息系統(tǒng)化的方式大量節(jié)約人力和時(shí)間。3、指導(dǎo)思想以“情報(bào)信息主導(dǎo)”理念為導(dǎo)向，緊密結(jié)合工作實(shí)際，按照“因地制宜，分類指導(dǎo)，穩(wěn)步推進(jìn)”的原則，全力推動信息化建設(shè)工作。從基礎(chǔ)建設(shè)、加強(qiáng)執(zhí)法管理、業(yè)務(wù)流程等環(huán)節(jié)入手，切實(shí)推動基礎(chǔ)工作信息化，使工作和隊(duì)伍管理真正融入到信息化平臺，不斷提升信息化應(yīng)用的整體水平。4、建設(shè)原則互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)建設(shè)應(yīng)遵循如下基本原則：全面性互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)的框架設(shè)計(jì)，應(yīng)遵循科學(xué)的設(shè)計(jì)理念，各個(gè)組成部分均符合當(dāng)代信息技術(shù)發(fā)展形勢，滿足未來各種業(yè)務(wù)對信息系統(tǒng)的要求，提供統(tǒng)一系統(tǒng)應(yīng)用，選擇先進(jìn)的平臺軟件，提供針對各種數(shù)據(jù)源的接口支持。開放性在現(xiàn)有應(yīng)用系統(tǒng)和手段建設(shè)中有大量資源，包括軟硬件環(huán)境資源和大量信息資源，在實(shí)現(xiàn)資源共享時(shí)要統(tǒng)一規(guī)劃，最大限度實(shí)現(xiàn)各類資源共享，支持多重業(yè)務(wù)工作的開展。系統(tǒng)需提供多種數(shù)據(jù)訪問、服務(wù)調(diào)用和資源管理接口，實(shí)現(xiàn)資源和服務(wù)對其他業(yè)務(wù)手段和使用人員的共享。靈活性各警種未來在數(shù)據(jù)類型、數(shù)據(jù)規(guī)模、業(yè)務(wù)應(yīng)用方面都會有不斷擴(kuò)展和演化，系統(tǒng)設(shè)計(jì)需采用靈活架構(gòu)實(shí)現(xiàn)可配置，動態(tài)可擴(kuò)展和自定義，有較強(qiáng)的可擴(kuò)展性。融合性工作涉及到海量數(shù)據(jù)、多用戶。良好的數(shù)據(jù)融合和應(yīng)用融合可以幫助在日常工作和情報(bào)分析工作中快速、有效、準(zhǔn)確的獲得成果。標(biāo)準(zhǔn)化數(shù)據(jù)中心的設(shè)計(jì)與開發(fā)應(yīng)堅(jiān)持標(biāo)準(zhǔn)化、規(guī)范化原則，采用業(yè)界成熟的標(biāo)準(zhǔn)化技術(shù)，遵循國家和部制定的相關(guān)標(biāo)準(zhǔn)和技術(shù)規(guī)范。只有基于標(biāo)準(zhǔn)化的處理方式，數(shù)據(jù)資源才能有序、完好的匯聚到數(shù)據(jù)中心，系統(tǒng)才能橫向或縱向的可持續(xù)發(fā)展。安全性系統(tǒng)必須有高可靠性，能夠長時(shí)間運(yùn)行而不宕機(jī)，要保證系統(tǒng)使用的連續(xù)性。建立全局的數(shù)據(jù)安全機(jī)制，建立統(tǒng)一的訪問控制機(jī)制，實(shí)現(xiàn)統(tǒng)一的身份認(rèn)證、訪問控制、審計(jì)等安全機(jī)制。實(shí)戰(zhàn)化系統(tǒng)的建設(shè)以保證圍繞為一線民警提供強(qiáng)有力的手段為原則，確保系統(tǒng)的易操作性，功能的實(shí)用性，業(yè)務(wù)的全面性，切實(shí)滿足實(shí)戰(zhàn)需要。同時(shí)，系統(tǒng)的建設(shè)也要能夠提升數(shù)據(jù)資源的成果轉(zhuǎn)化，提升工作人員的信息化技戰(zhàn)實(shí)力。先進(jìn)性在保證實(shí)用性、標(biāo)準(zhǔn)化、可靠性的前提下，系統(tǒng)在達(dá)到設(shè)計(jì)思想先進(jìn)性的同時(shí)，也能夠與現(xiàn)有主流應(yīng)用系統(tǒng)技術(shù)兼容，其體系結(jié)構(gòu)應(yīng)采用先進(jìn)的架構(gòu)和成熟技術(shù)。易維護(hù)性項(xiàng)目涉及面廣、復(fù)雜度高、規(guī)模較大，系統(tǒng)的可管理性和可維護(hù)性是系統(tǒng)能否持續(xù)運(yùn)行的關(guān)鍵，系統(tǒng)需要具備可解決問題并易于管理的系統(tǒng)。貫徹面向最終用戶的原則，部署快捷，具有了友好的用戶界面，操作簡單、直觀、靈活，易于學(xué)習(xí)和掌握。5、建設(shè)目標(biāo)與任務(wù)漏洞危機(jī)帶來的新的威脅以及網(wǎng)絡(luò)環(huán)境的日趨復(fù)雜，脆弱性掃描正朝著集成化、智能化方向發(fā)展。脆弱性掃描的新趨勢具體包括：集成系統(tǒng)漏洞、數(shù)據(jù)庫漏洞、Web漏洞、安全配置漏洞的發(fā)現(xiàn)能力，并可生成風(fēng)險(xiǎn)分析報(bào)告；支持對掃描資產(chǎn)的管理，并能夠結(jié)合漏洞評價(jià)，計(jì)算主機(jī)和網(wǎng)絡(luò)的脆弱性風(fēng)險(xiǎn)，為風(fēng)險(xiǎn)評估和風(fēng)險(xiǎn)監(jiān)控提供必要支撐；支持對不同軟件、系統(tǒng)類別的漏洞進(jìn)行統(tǒng)一評級，并保證評級的開放性和客觀性，為漏洞評級的交流提供方便；支持對歷次掃描結(jié)果中的漏洞情況、脆弱性風(fēng)險(xiǎn)的變化趨勢進(jìn)行分析，為漏洞管理策略合理化調(diào)整提供決策依據(jù)；廠商必須具備持續(xù)性的漏洞跟蹤及研究能力，以確保產(chǎn)品中漏洞知識庫的全面性、準(zhǔn)確性和權(quán)威性，并且能夠做到及時(shí)更新，甚至能夠?qū)χ卮蟮耐话l(fā)漏洞事件進(jìn)行應(yīng)急；廠商在漏洞檢測領(lǐng)域有長期的積累，以保證產(chǎn)品應(yīng)用的成熟度?；ヂ?lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)利用基于指紋庫的組件識別技術(shù)，進(jìn)行網(wǎng)絡(luò)信息采集，可識別的設(shè)備類型包括：路由器、交換機(jī)、郵件服務(wù)器、網(wǎng)站服務(wù)器、數(shù)據(jù)庫服務(wù)器、防火墻、打印設(shè)備、攝像頭設(shè)備等；可識別的網(wǎng)絡(luò)設(shè)備軟件包括：Linux（操作系統(tǒng)）、Windows（操作系統(tǒng)）、IIS（Web容器）、Apache（Web容器）、WebLogic（Web容器）、WordPress（CMS系統(tǒng)）、Discuz（論壇系統(tǒng)）、MySQL（數(shù)據(jù)庫）、MongoDB（數(shù)據(jù)庫）等?；ヂ?lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)是針對網(wǎng)絡(luò)設(shè)備資產(chǎn)進(jìn)行信息普查和風(fēng)險(xiǎn)感知的手段。通過對全球互聯(lián)網(wǎng)IP段、端口等參數(shù)進(jìn)行探測，掌握應(yīng)用系統(tǒng)、網(wǎng)絡(luò)設(shè)備的存活情況、開放端口、組件信息、服務(wù)信息，并通過周期性監(jiān)控，及時(shí)發(fā)現(xiàn)信息變化。第二章 需求分析1、業(yè)務(wù)目標(biāo)需求分析結(jié)論隨著企業(yè)的發(fā)展和IT信息化建設(shè)的快速開展，承載企業(yè)業(yè)務(wù)的資產(chǎn)越來越多，接入互聯(lián)網(wǎng)的設(shè)備也是五花八門的，除了個(gè)人PC機(jī)和服務(wù)器，還包括交換機(jī)、路由器、打印機(jī)、視頻監(jiān)控、移動設(shè)備、物聯(lián)網(wǎng)設(shè)備等。這些設(shè)備共同組成了企業(yè)等單位所處的網(wǎng)絡(luò)空間?；ヂ?lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)是一個(gè)針對全球互聯(lián)網(wǎng)中，包括政府、高校、企事業(yè)單位開發(fā)的網(wǎng)絡(luò)空間資產(chǎn)檢索系統(tǒng)，能夠自動獲取網(wǎng)絡(luò)空間存活的資產(chǎn)和開啟的服務(wù)，然后進(jìn)行協(xié)議識別，根據(jù)協(xié)議的信息對資產(chǎn)進(jìn)行指紋識別，并且還可以出具各種資產(chǎn)統(tǒng)計(jì)報(bào)表。要求系統(tǒng)具有快速、全面、準(zhǔn)確等優(yōu)勢?？刹捎萌蝾I(lǐng)先的端口掃描程序，可快速獲取到企業(yè)的存活資產(chǎn)。包含110多種協(xié)議的識別，覆蓋網(wǎng)絡(luò)常用端口，能夠全面識別出來資產(chǎn)開放的服務(wù)，超過7000多條識別規(guī)則能夠識別出資產(chǎn)的指紋信息。要求系統(tǒng)可以解決防火墻等設(shè)備導(dǎo)致的端口開放的誤報(bào)情況，使結(jié)果更加準(zhǔn)確。互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)建設(shè)，通過對于網(wǎng)絡(luò)空間資產(chǎn)的檢索、掃描、漏洞驗(yàn)證、報(bào)送呈現(xiàn)，為后期業(yè)務(wù)工作提供基礎(chǔ)數(shù)據(jù)資源。將有利于加快推進(jìn)技術(shù)偵查工作的步伐，實(shí)現(xiàn)“以網(wǎng)管網(wǎng)”的工作目標(biāo)，有效打擊涉網(wǎng)犯罪，更好地促進(jìn)互聯(lián)網(wǎng)環(huán)境健康發(fā)展。2、系統(tǒng)功能指標(biāo)分析在全面網(wǎng)絡(luò)資產(chǎn)識別基礎(chǔ)上，重新定義了安全事件處理和漏洞掃描形式，基于漏洞匹配符合特征的網(wǎng)絡(luò)資產(chǎn)進(jìn)行專項(xiàng)掃描，并結(jié)合資產(chǎn)分布統(tǒng)計(jì)、安全態(tài)勢分析等功能，形成集資產(chǎn)探測管理、安全事件驗(yàn)證、智能統(tǒng)計(jì)分析、安全態(tài)勢感知、持續(xù)安全監(jiān)控為一體的全方位安全體系。3、信息量指標(biāo)分析資產(chǎn)搜集系統(tǒng)可自動搜集網(wǎng)絡(luò)空間中的存活資產(chǎn)，在線資產(chǎn)識別比例超過95%。資產(chǎn)檢索支持針對資產(chǎn)的模糊檢索；支持根據(jù)資產(chǎn)IP地址、資產(chǎn)名稱、端口、服務(wù)、操作系統(tǒng)、設(shè)備類型、廠商、組件、設(shè)備地區(qū)、業(yè)務(wù)應(yīng)用進(jìn)行高級檢索。端口掃描支持全網(wǎng)端口掃描，深度識別240個(gè)以上的常用網(wǎng)絡(luò)端口，包括協(xié)議的默認(rèn)和非默認(rèn)端口，并支持自定義端口。

協(xié)議識別支持110種以上的主流協(xié)議識別，包括數(shù)據(jù)庫、SSH、FTP、HTTP、程序組件、工控等類型；支持協(xié)議擴(kuò)展。

指紋識別預(yù)置超7000條指紋識別規(guī)則，包括視頻監(jiān)控、安全產(chǎn)品、路由器、交換機(jī)、OA、財(cái)務(wù)、郵件、項(xiàng)目管理等。

掃描速度掃描10000資產(chǎn),網(wǎng)絡(luò)常用端口（240個(gè)）5M帶寬30分鐘。

高準(zhǔn)確度能夠準(zhǔn)確識別協(xié)議的開放情況，由于連接重置和防火墻導(dǎo)致的誤報(bào)率低于3%。

漏洞快速掃描系統(tǒng)支持單個(gè)漏洞的快速掃描，1W以內(nèi)資產(chǎn)單個(gè)漏洞掃描速度5分鐘。10W以內(nèi)資產(chǎn)，單個(gè)漏洞掃描速度15分鐘。

分析報(bào)告包括資產(chǎn)分析、漏洞分析；針對資產(chǎn)的設(shè)備類型、廠商、端口、操作系統(tǒng)、數(shù)據(jù)庫使用、地區(qū)分布、資產(chǎn)總量變化進(jìn)行統(tǒng)計(jì)分析；針對漏洞的分布、影響進(jìn)行統(tǒng)計(jì)分析；支持餅圖、柱形圖、折線圖、地圖等多種圖表形式；支持添加自定義圖表。4、系統(tǒng)性能指標(biāo)分析互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)的各種性能要求如下表：項(xiàng)目分類時(shí)間響應(yīng)時(shí)間IP查詢<2秒端口查詢<2秒資產(chǎn)查詢<3秒漏洞查詢<3秒采集入庫時(shí)間IP入庫<15分種端口入庫<15分種資產(chǎn)入庫<20分種協(xié)議入庫<10分種指紋入庫<15分種漏洞入庫<15分種連接建立時(shí)間資產(chǎn)搜集<5秒資產(chǎn)檢索<5秒端口掃描<5秒?yún)f(xié)議識別<5秒指紋識別<10秒漏洞驗(yàn)證<15秒

第三章 總體建設(shè)方案1、總體設(shè)計(jì)原則1.1、總體框架互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)采用B/S架構(gòu)，通過瀏覽器即可使用，人性化的管理界面，可視化操作流程，使用成本低。整個(gè)系統(tǒng)分為數(shù)據(jù)采集層、數(shù)據(jù)聚合層、數(shù)據(jù)存儲層、任務(wù)管理、Web展示層五個(gè)大的模塊組成。1）WEB展示層控制臺、資產(chǎn)導(dǎo)入、資產(chǎn)管理、數(shù)據(jù)檢索、報(bào)表管理、漏洞管理、流量分析等UI展示相關(guān)的功能。2）數(shù)據(jù)儲存層主要承擔(dān)存儲數(shù)據(jù)的功能，存儲的數(shù)據(jù)包括企業(yè)資產(chǎn)信息、協(xié)議信息和HTTP信息、周期掃描數(shù)據(jù)等，可提供資產(chǎn)信息大容量數(shù)據(jù)存儲和高速數(shù)據(jù)檢索，任務(wù)隊(duì)列管理模塊提供掃描任務(wù)隊(duì)列高速緩存。3）數(shù)據(jù)聚合層數(shù)據(jù)采集層采集到的都是原始數(shù)據(jù)，需要經(jīng)過一定的分類匯總后才能存儲到系統(tǒng)中去。數(shù)據(jù)聚合層主要用于數(shù)據(jù)的關(guān)聯(lián)性分析、資產(chǎn)動態(tài)變化統(tǒng)計(jì)和資產(chǎn)指紋管理等。4）數(shù)據(jù)采集層通過全網(wǎng)端口掃描、協(xié)議識別、網(wǎng)絡(luò)爬蟲、流量監(jiān)控等模塊，收集企事業(yè)單位網(wǎng)絡(luò)空間資產(chǎn)信息，支持進(jìn)行單IP、IP段掃描，全網(wǎng)端口掃描模塊基于一定的頻度對網(wǎng)絡(luò)空間中的常用標(biāo)準(zhǔn)端口（如21、22、80、3306等）以及非標(biāo)準(zhǔn)端口進(jìn)行掃描，收集資產(chǎn)開放端口的情況；自主研發(fā)的協(xié)議識別模塊根據(jù)端口和協(xié)議信息進(jìn)行詳細(xì)的識別，從而收集協(xié)議的各項(xiàng)信息，收集信息包括IP、端口號、banner、證書等；網(wǎng)絡(luò)爬蟲模塊主動進(jìn)行HTTP協(xié)議的信息抓取，采集的信息包括host、domain、header、server、body、title等，這幾個(gè)模塊是整個(gè)系統(tǒng)的原始數(shù)據(jù)來源。1.2、總體技術(shù)路線由主控進(jìn)程把每個(gè)站的各個(gè)檢測任務(wù)扔到任務(wù)隊(duì)列中，jobserver把任務(wù)丟給worker去異步執(zhí)行，由每個(gè)worker定期去更新自己的進(jìn)度，另有daemon程序定期檢測意外死掉或失敗的worker，去做善后工作，然后更新狀態(tài)。這樣，各個(gè)子功能模塊之間耦合比較低，容易通過水平擴(kuò)展來提升處理能力。2、總體目標(biāo)與分期目標(biāo)2.1、總體目標(biāo)通過該項(xiàng)目的建設(shè)，系統(tǒng)可以針對網(wǎng)絡(luò)設(shè)備資產(chǎn)進(jìn)行信息普查和風(fēng)險(xiǎn)感知，并通過對全球互聯(lián)網(wǎng)IP段、端口等參數(shù)進(jìn)行探測，尤其掌握關(guān)注范圍內(nèi)的應(yīng)用系統(tǒng)、網(wǎng)絡(luò)設(shè)備的存活情況、開放端口、組件信息、服務(wù)信息，此外進(jìn)行周期性監(jiān)控，及時(shí)發(fā)現(xiàn)信息變化，做到對全球網(wǎng)絡(luò)空間尤其是指定站點(diǎn)目標(biāo)的網(wǎng)絡(luò)相關(guān)信息探測。2.2、分期目標(biāo)根據(jù)一期項(xiàng)目建設(shè)情況及工作實(shí)戰(zhàn)需求進(jìn)行研討后，確定后期建設(shè)任務(wù)并啟動系統(tǒng)定制開發(fā)任務(wù)。3、總體建設(shè)任務(wù)與分期建設(shè)內(nèi)容3.1、總體建設(shè)任務(wù)隨著信息網(wǎng)絡(luò)技術(shù)的發(fā)展,網(wǎng)絡(luò)信息安全已成為維護(hù)國家安全和社會穩(wěn)定的焦點(diǎn)。安全掃描技術(shù)是一種極為有效的主動防御技術(shù),成為網(wǎng)絡(luò)安全研究中的熱點(diǎn)。目前漏洞的廣泛存在已成為網(wǎng)絡(luò)系統(tǒng)的直接安全威脅,研究針對發(fā)現(xiàn)漏洞的網(wǎng)絡(luò)安全掃描技術(shù)具有重要的意義。圍繞網(wǎng)絡(luò)安全掃描技術(shù)和工具開展研究與實(shí)現(xiàn)工作。系統(tǒng)通過模擬黑客攻擊的方式對目標(biāo)可能存在的已知安全漏洞進(jìn)行逐項(xiàng)檢測,在完成對目標(biāo)的掃描后,給出掃描報(bào)告,從而幫助民警快速、及時(shí)地查看網(wǎng)絡(luò)的安全狀況，該系統(tǒng)應(yīng)用專業(yè)技術(shù)有效地提高了系統(tǒng)擴(kuò)展性,為系統(tǒng)對新漏洞的檢測提供了支撐。系統(tǒng)除了本身的功能模塊和相關(guān)組件,也給出了主要漏洞掃描的驗(yàn)證，通過測試證實(shí),證明系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)方案的有效性。4、系統(tǒng)總體結(jié)構(gòu)和邏輯結(jié)構(gòu)4.2、系統(tǒng)邏輯結(jié)構(gòu)

第四章 本期項(xiàng)目設(shè)計(jì)方案1、建設(shè)目標(biāo)、規(guī)模與內(nèi)容1.1、建設(shè)目標(biāo)按照業(yè)務(wù)工作的要求，并結(jié)合本地實(shí)際情況，開展互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)建設(shè)工作。提升部門對互聯(lián)網(wǎng)網(wǎng)絡(luò)資產(chǎn)和漏洞資源掌握利用的能力，為部門和其他警種提供有效的實(shí)戰(zhàn)支撐。實(shí)現(xiàn)監(jiān)查管理的流程化，依托系統(tǒng)建立流程化監(jiān)查管理體系，完善基礎(chǔ)信息的收集、核驗(yàn)；對采集接入數(shù)據(jù)進(jìn)行統(tǒng)一的針對質(zhì)量、標(biāo)準(zhǔn)化的預(yù)處理機(jī)制；建立統(tǒng)一的數(shù)據(jù)存儲方案；并且對數(shù)據(jù)進(jìn)行有效的統(tǒng)計(jì)工作。實(shí)現(xiàn)實(shí)戰(zhàn)化應(yīng)用，以服務(wù)實(shí)戰(zhàn)為導(dǎo)向，通過互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)建立服務(wù)實(shí)戰(zhàn)數(shù)據(jù)資源支撐體系，緊緊圍繞相關(guān)需求，研發(fā)實(shí)戰(zhàn)應(yīng)用模塊。1.2、建設(shè)規(guī)模擬計(jì)劃針對全球互聯(lián)網(wǎng)IP進(jìn)行資產(chǎn)掃描，漏洞驗(yàn)證等相關(guān)符合技術(shù)偵查部門實(shí)戰(zhàn)業(yè)務(wù)需求的手段建設(shè)。1.3、建設(shè)內(nèi)容建設(shè)有可對全球主機(jī)開放的端口進(jìn)行掃描、搜集、存儲、分析等等功能，查找已經(jīng)產(chǎn)生的可利用漏洞以及即將有可能產(chǎn)生的漏洞，并對漏洞加以利用、分析及預(yù)防?；ヂ?lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)通過對盲掃或者指定的IP段及端口進(jìn)行探測，掌握其范圍內(nèi)的應(yīng)用系統(tǒng)、網(wǎng)絡(luò)設(shè)備、主機(jī)設(shè)備的存活情況、開放端口、組件信息、服務(wù)信息，并通過周期性監(jiān)控，及時(shí)發(fā)現(xiàn)信息變化，做到對目前全球大環(huán)境下的網(wǎng)絡(luò)情況心中有數(shù)。系統(tǒng)可以針對目標(biāo)網(wǎng)絡(luò)設(shè)備的資產(chǎn)信息和漏洞信息，進(jìn)行數(shù)據(jù)統(tǒng)計(jì)和趨勢分析，從宏觀上展現(xiàn)網(wǎng)絡(luò)資產(chǎn)和風(fēng)險(xiǎn)情況，及其變化趨勢。同時(shí)，用戶可以根據(jù)需求選擇數(shù)據(jù)統(tǒng)計(jì)和分析的不同維度，進(jìn)行自定義的數(shù)據(jù)挖掘。2、標(biāo)準(zhǔn)規(guī)范建設(shè)內(nèi)容2.1、項(xiàng)目建設(shè)標(biāo)準(zhǔn)統(tǒng)一規(guī)劃、分步實(shí)施立足于實(shí)際應(yīng)用和發(fā)展要求，從全局出發(fā)，統(tǒng)一進(jìn)行方案整體規(guī)劃、設(shè)計(jì)，并分步開展實(shí)施。兼容性、適應(yīng)性在總體框架下，充分發(fā)揮規(guī)模、集約效應(yīng)，充分遵循部委、省廳制定的標(biāo)準(zhǔn)和規(guī)范，確保良好的適應(yīng)性。完整性系統(tǒng)提供體系完備、功能完整、架構(gòu)完善的服務(wù)能力，包括網(wǎng)絡(luò)服務(wù)、虛擬主機(jī)、分布式數(shù)據(jù)庫、對象存儲服務(wù)和大數(shù)據(jù)計(jì)算服務(wù)能力，應(yīng)滿足多節(jié)點(diǎn)內(nèi)系統(tǒng)的互聯(lián)互通和數(shù)據(jù)同步。可擴(kuò)展性系統(tǒng)應(yīng)具有靈活的結(jié)構(gòu)并留有合理的擴(kuò)充余地，具備基礎(chǔ)資源池的快速、彈性、持續(xù)和自動化供給服務(wù)能力，提供大規(guī)模、分布式集群的管控能力，通過增加物理設(shè)備，實(shí)現(xiàn)總體網(wǎng)絡(luò)資源、計(jì)算/存儲資源、內(nèi)存資源和數(shù)據(jù)庫資源的自動擴(kuò)展；提供橫向擴(kuò)展能力，可根據(jù)業(yè)務(wù)、管理要求，增加節(jié)點(diǎn)。安全性系統(tǒng)要具有高可靠性及強(qiáng)大的容錯(cuò)能力，應(yīng)保持一定數(shù)量的冗余以保證整體平臺的高可靠性和高可用性；嚴(yán)格按照國家關(guān)于信息安全的規(guī)定和要求。結(jié)合安全基礎(chǔ)防護(hù)、安全監(jiān)測管理、安全運(yùn)維等，形成完整的安全防護(hù)體系。技術(shù)領(lǐng)先性系統(tǒng)應(yīng)采用虛擬化、大數(shù)據(jù)、云計(jì)算等行業(yè)領(lǐng)先技術(shù)以滿足用戶復(fù)雜業(yè)務(wù)需求，采用先進(jìn)的設(shè)計(jì)思想和方法，成熟開源技術(shù)，符合技術(shù)發(fā)展趨勢，創(chuàng)新互動設(shè)計(jì)。開放性支持異構(gòu)平臺，兼容主流硬件產(chǎn)品；基于應(yīng)用開發(fā)平臺以服務(wù)接口的方式提供服務(wù)，可以和第三方軟件產(chǎn)品集成、兼容，便于有技術(shù)能力的工作人員或者開發(fā)人員快速實(shí)現(xiàn)基于服務(wù)接口的實(shí)戰(zhàn)型小應(yīng)用開發(fā)、搭建。2.2、項(xiàng)目先進(jìn)性標(biāo)準(zhǔn)安全可靠具備必要的安全保護(hù)和保密措施，以及對計(jì)算機(jī)犯罪和病毒的防范能力。適應(yīng)性、可擴(kuò)展性系統(tǒng)必須具備較好的可擴(kuò)展性，適應(yīng)業(yè)務(wù)的發(fā)展，通過良好的架構(gòu)設(shè)計(jì)和系統(tǒng)配置管理，保證系統(tǒng)的適應(yīng)性。實(shí)用性在設(shè)計(jì)和開發(fā)過程中，本著“以需求為導(dǎo)向”的原則，避免為了集中而集中。先進(jìn)性在保證實(shí)用、可靠的前提下，結(jié)合業(yè)界先進(jìn)的設(shè)計(jì)思想和軟件技術(shù)、數(shù)據(jù)庫技術(shù)。高效性系統(tǒng)負(fù)責(zé)處理所有數(shù)據(jù)的清洗入庫、服務(wù)調(diào)度等工作。必須具有很高的響應(yīng)能力。易管理系統(tǒng)在投入使用后，需要進(jìn)行運(yùn)行維護(hù)和管理，管理操作必須簡潔易用。3、信息資源規(guī)劃和數(shù)據(jù)庫設(shè)計(jì)3.1、信息資源規(guī)劃在建設(shè)互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)時(shí)，可以采取“從上自下”、“從下而上”或“上下結(jié)合”的方式進(jìn)行信息資源規(guī)劃。1.從上自下。從的應(yīng)用需求出發(fā)，通過分析建設(shè)互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)來解決什么問題，從而歸納出需要從該系統(tǒng)中獲取哪方面的知識，然而倒推出該系統(tǒng)的信息體系結(jié)構(gòu)和數(shù)據(jù)體系結(jié)構(gòu)。2.從下而上。從現(xiàn)有的數(shù)據(jù)資源出發(fā)，分析所能獲得的數(shù)據(jù)資源，歸納整理出互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)的數(shù)據(jù)體系結(jié)構(gòu)，再往上推出該系統(tǒng)的信息體系結(jié)構(gòu)和知識體系結(jié)構(gòu)。3.上下結(jié)合。既考慮所能獲得的數(shù)據(jù)資源，又考慮業(yè)務(wù)對互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測系統(tǒng)的應(yīng)用需求。3.2、數(shù)據(jù)庫設(shè)計(jì)數(shù)據(jù)庫設(shè)計(jì)總體規(guī)劃包括源數(shù)據(jù)層、數(shù)據(jù)ETL層、數(shù)據(jù)存儲層、數(shù)據(jù)計(jì)算層和數(shù)據(jù)服務(wù)層五層結(jié)構(gòu)，主要建設(shè)八大部分的內(nèi)容：源數(shù)據(jù)接入整合、數(shù)據(jù)整合ETL工具、基礎(chǔ)數(shù)據(jù)資源庫、應(yīng)用服務(wù)資源庫、云文件中心、數(shù)據(jù)管理、數(shù)據(jù)計(jì)算和數(shù)據(jù)服務(wù)?；A(chǔ)匯集庫：保存全量的基礎(chǔ)數(shù)據(jù)，全系統(tǒng)所有數(shù)據(jù)資源最終匯集于此。總體建成后，整個(gè)體系架構(gòu)支持萬億（FB級別）規(guī)模的數(shù)據(jù)存儲和數(shù)據(jù)訪問，主要用于離線分析和查詢。應(yīng)用服務(wù)資源庫包括：主題庫、基礎(chǔ)調(diào)研庫、業(yè)務(wù)專題庫、索引數(shù)據(jù)庫、緩存數(shù)據(jù)庫、應(yīng)用配置庫、應(yīng)用日志庫、個(gè)人關(guān)注庫、統(tǒng)計(jì)數(shù)據(jù)庫、分析關(guān)聯(lián)庫、中間結(jié)果庫等。?主題庫：以基礎(chǔ)匯集庫、基礎(chǔ)調(diào)研庫、業(yè)務(wù)專題庫為數(shù)據(jù)來源,主要用于在線分析和查詢。?基礎(chǔ)調(diào)研庫：在業(yè)務(wù)工作中累計(jì)的，針對特定群體或課題，未成為專案專項(xiàng)人員目標(biāo)的數(shù)據(jù)，主要由業(yè)務(wù)干部手工錄入。?業(yè)務(wù)專題庫：主要包括主要業(yè)務(wù)部門分別提供的簡項(xiàng)降密之后的業(yè)務(wù)數(shù)據(jù)、組織的要素?cái)?shù)據(jù)，主要由業(yè)務(wù)部門從專用數(shù)據(jù)庫系統(tǒng)中篩選后手工擺渡至系統(tǒng)。?索引數(shù)據(jù)庫：基于基礎(chǔ)匯集庫、基礎(chǔ)調(diào)研庫、業(yè)務(wù)專題庫、主題庫、云文件中心等抽取提煉的全文索引。?緩存數(shù)據(jù)庫：主要是用戶進(jìn)行海量數(shù)據(jù)分析操作時(shí)的數(shù)據(jù)暫存平臺和大數(shù)據(jù)計(jì)算平臺。?應(yīng)用配置庫：應(yīng)用功能的相關(guān)配置信息，包括：用戶、權(quán)限、各類標(biāo)準(zhǔn)參數(shù)、數(shù)據(jù)資源列表等。?應(yīng)用日志庫：應(yīng)用和數(shù)據(jù)的操作日志存儲。數(shù)據(jù)管理可以統(tǒng)一管理整個(gè)數(shù)據(jù)中心，包括：數(shù)據(jù)整合管理、數(shù)據(jù)資源監(jiān)控、數(shù)據(jù)資源統(tǒng)計(jì)報(bào)表、數(shù)據(jù)質(zhì)量管理等。4、應(yīng)用支撐系統(tǒng)設(shè)計(jì)系統(tǒng)掃描節(jié)點(diǎn)使用大量VPS，VPS（VirtualPrivateServer虛擬專用服務(wù)器）技術(shù)，將一臺服務(wù)器分割成多個(gè)虛擬專享服務(wù)器的優(yōu)質(zhì)服務(wù)。實(shí)現(xiàn)VPS的技術(shù)分為容器技術(shù)，和虛擬化技術(shù)。在容器或虛擬機(jī)中，每個(gè)VPS都可分配獨(dú)立公網(wǎng)IP地址、獨(dú)立操作系統(tǒng)、實(shí)現(xiàn)不同VPS間磁盤空間、內(nèi)存、CPU資源、進(jìn)程和系統(tǒng)配置的隔離，為用戶和應(yīng)用程序模擬出“獨(dú)占”使用計(jì)算資源的體驗(yàn)。VPS可以像獨(dú)立服務(wù)器一樣，重裝操作系統(tǒng)，安裝程序，單獨(dú)重啟服務(wù)器。IDC資源租用，由VPS提供商提供。不同VPS提供商所使用的硬件VPS軟件的差異。這些VPS主機(jī)以最大化的效率共享硬件、軟件許可證以及管理資源。每個(gè)VPS主機(jī)都可分配獨(dú)立公網(wǎng)IP地址、獨(dú)立操作系統(tǒng)、獨(dú)立超大空間、獨(dú)立內(nèi)存、獨(dú)立CPU資源、獨(dú)立執(zhí)行程序和獨(dú)立系統(tǒng)配置等.VPS主機(jī)用戶除了可以分配多個(gè)虛擬主機(jī)及無限企業(yè)郵箱外，更具有獨(dú)立主機(jī)功能,可自行安裝程序，單獨(dú)重啟主機(jī)。5、應(yīng)用系統(tǒng)設(shè)計(jì)5.1、資產(chǎn)識別系統(tǒng)綜合運(yùn)用多種手段，準(zhǔn)確、快速的發(fā)現(xiàn)目標(biāo)中存活的網(wǎng)絡(luò)設(shè)備，準(zhǔn)確識別其相關(guān)屬性：開放端口、提供服務(wù)、設(shè)備類型和廠商、使用組件名稱和版本?？商綔y的網(wǎng)絡(luò)設(shè)備類型包括：路由器、交換機(jī)、郵件服務(wù)器、網(wǎng)站服務(wù)器、數(shù)據(jù)庫服務(wù)器、防火墻、打印設(shè)備、攝像頭設(shè)備等。可探測的組件包括：Apache（Web容器）、IIS（Web容器）、WordPress（博客系統(tǒng)）、Discuz（論壇系統(tǒng)）、Mysql（數(shù)據(jù)庫）等。同時(shí)，系統(tǒng)能夠?qū)⒕W(wǎng)絡(luò)資產(chǎn)的自有屬性（資產(chǎn)所屬部門和重要性等屬性）與信息普查結(jié)果進(jìn)行融合，管理收集與主動采集兩個(gè)手段相配合，為技術(shù)偵查部門提供基礎(chǔ)數(shù)據(jù)資源。具體資產(chǎn)類型分類：WEB服務(wù)容器信息WEB應(yīng)用類型信息：如CMS，ERP，OA等主機(jī)資產(chǎn)指紋信息端口信息協(xié)議信息IoT設(shè)備信息網(wǎng)絡(luò)攝像頭信息網(wǎng)絡(luò)設(shè)備指紋信息網(wǎng)絡(luò)資產(chǎn)IP信息地理位置信息5.2、資產(chǎn)查詢?yōu)榱藢?shù)據(jù)進(jìn)行有效處理和查詢，對數(shù)據(jù)進(jìn)行了數(shù)據(jù)預(yù)處理，刪除無效及重復(fù)數(shù)據(jù)，根據(jù)預(yù)處理后的數(shù)據(jù)進(jìn)行逐條解析并歸一化，最后存儲至數(shù)據(jù)庫。數(shù)據(jù)存儲使用ElasticSearch數(shù)據(jù)庫，存儲大量數(shù)據(jù)，采用多臺機(jī)器進(jìn)行分布式集群部署。為了保證數(shù)據(jù)的可靠性和安全性，數(shù)據(jù)存儲的同時(shí)創(chuàng)建備份，進(jìn)行準(zhǔn)備切換。也提高了查詢的性能。提供API接口，方便用戶能夠自動化對接。5.3、資產(chǎn)數(shù)據(jù)分析挖掘系統(tǒng)可以針對目標(biāo)網(wǎng)絡(luò)設(shè)備的資產(chǎn)信息和漏洞信息，進(jìn)行數(shù)據(jù)統(tǒng)計(jì)和趨勢分析，從宏觀上展現(xiàn)網(wǎng)絡(luò)資產(chǎn)和風(fēng)險(xiǎn)情況，及其變化趨勢。同時(shí)，用戶可以根據(jù)需求選擇數(shù)據(jù)統(tǒng)計(jì)和分析的不同維度，進(jìn)行自定義的數(shù)據(jù)挖掘。5.4、業(yè)務(wù)領(lǐng)先的資產(chǎn)指紋識別能力系統(tǒng)依賴于自主研發(fā)的組件識別調(diào)度框架、高效的組件識別引擎和海量精準(zhǔn)的組件指紋庫，并輔以不斷更新組件指紋庫的常態(tài)機(jī)制，保證系統(tǒng)的組件識別能力始終處于業(yè)界領(lǐng)先水平。5.5、準(zhǔn)確的資產(chǎn)與漏洞檢測能力每當(dāng)有新漏洞爆發(fā)，產(chǎn)品背后的安全團(tuán)隊(duì)會及時(shí)對漏洞進(jìn)行分析與研究，掌握漏洞危害、驗(yàn)證方法以及修復(fù)措施，將信息整合推送至產(chǎn)品，保證產(chǎn)品對最新漏洞的響應(yīng)速度。漏洞檢測是基于已經(jīng)發(fā)現(xiàn)的資產(chǎn)信息進(jìn)行針對性的檢測，根據(jù)資產(chǎn)類型選擇適用性的檢測策略，保證了整個(gè)檢測過程的快速性。漏洞檢測是通過漏洞特定驗(yàn)證工具來實(shí)現(xiàn)的，每個(gè)漏洞對應(yīng)了一個(gè)特定的漏洞驗(yàn)證工具，漏洞存在時(shí)會展示漏洞驗(yàn)證的取證信息，保證了漏洞檢測準(zhǔn)確率高達(dá)99%。5.6、獨(dú)有掃描機(jī)制在對安全設(shè)備進(jìn)行掃描時(shí)，一般掃描系統(tǒng)會依據(jù)IP地址進(jìn)行按序掃描，而一些安全設(shè)備通常具有防掃描機(jī)制，會根據(jù)掃描的順序性來判斷，如果單一IP請求過于頻繁且?guī)в幸欢ㄒ?guī)則性，則容易被判定為掃描行為或攻擊行為，后續(xù)的連接請求將會被阻斷，這將會影響掃描結(jié)果。而本系統(tǒng)進(jìn)行掃描時(shí)，會將IP列表進(jìn)行拆分，打亂順序進(jìn)行掃描，掃描完成后將再次重新排列組合，避免被防掃描安全設(shè)備防御機(jī)制所阻斷，大大提高了掃描成功率。5.7、系統(tǒng)抓取分析技術(shù)系統(tǒng)使用了基于正則匹配、動態(tài)文檔結(jié)構(gòu)、動態(tài)腳本解析等技術(shù)來訪問各種應(yīng)用系統(tǒng)，從而在目標(biāo)信息收集中不會出現(xiàn)系統(tǒng)地址及參數(shù)遺漏、解析錯(cuò)誤等問題，確保了信息收集時(shí)數(shù)據(jù)的完整性。獨(dú)有的基于智能指紋識匹配算法，能夠準(zhǔn)確識別各種類型系統(tǒng)的信息，避免與其他應(yīng)用程序出現(xiàn)的誤報(bào)現(xiàn)象。6、數(shù)據(jù)處理和存儲系統(tǒng)設(shè)計(jì)6.1、數(shù)據(jù)處理設(shè)計(jì)6.1.1離線計(jì)算Mapreduce1）數(shù)據(jù)劃分和計(jì)算任務(wù)調(diào)度：系統(tǒng)自動將一個(gè)作業(yè)（Job）待處理的大數(shù)據(jù)劃分為很多個(gè)數(shù)據(jù)塊，每個(gè)數(shù)據(jù)塊對應(yīng)于一個(gè)計(jì)算任務(wù)（Task），并自動調(diào)度計(jì)算節(jié)點(diǎn)來處理相應(yīng)的數(shù)據(jù)塊。作業(yè)和任務(wù)調(diào)度功能主要負(fù)責(zé)分配和調(diào)度計(jì)算節(jié)點(diǎn)（Map節(jié)點(diǎn)或Reduce節(jié)點(diǎn)），同時(shí)負(fù)責(zé)監(jiān)控這些節(jié)點(diǎn)的執(zhí)行狀態(tài)，并負(fù)責(zé)Map節(jié)點(diǎn)執(zhí)行的同步控制。2）數(shù)據(jù)/代碼互定位：為了減少數(shù)據(jù)通信，一個(gè)基本原則是本地化數(shù)據(jù)處理，即一個(gè)計(jì)算節(jié)點(diǎn)盡可能處理其本地磁盤上所分布存儲的數(shù)據(jù)，這實(shí)現(xiàn)了代碼向數(shù)據(jù)的遷移；當(dāng)無法進(jìn)行這種本地化數(shù)據(jù)處理時(shí)，再尋找其他可用節(jié)點(diǎn)并將數(shù)據(jù)從網(wǎng)絡(luò)上傳送給該節(jié)點(diǎn)（數(shù)據(jù)向代碼遷移），但將盡可能從數(shù)據(jù)所在的本地機(jī)架上尋找可用節(jié)點(diǎn)以減少通信延遲。3）系統(tǒng)優(yōu)化：為了減少數(shù)據(jù)通信開銷，中間結(jié)果數(shù)據(jù)進(jìn)入Reduce節(jié)點(diǎn)前會進(jìn)行一定的合并處理；一個(gè)Reduce節(jié)點(diǎn)所處理的數(shù)據(jù)可能會來自多個(gè)Map節(jié)點(diǎn)，為了避免Reduce計(jì)算階段發(fā)生數(shù)據(jù)相關(guān)性，Map節(jié)點(diǎn)輸出的中間結(jié)果需使用一定的策略進(jìn)行適當(dāng)?shù)膭澐痔幚?，保證相關(guān)性數(shù)據(jù)發(fā)送到同一個(gè)Reduce節(jié)點(diǎn)；此外，系統(tǒng)還進(jìn)行一些計(jì)算性能優(yōu)化處理，如對最慢的計(jì)算任務(wù)采用多備份執(zhí)行、選最快完成者作為結(jié)果。4）出錯(cuò)檢測和恢復(fù)：在大規(guī)模MapReduce計(jì)算集群中，節(jié)點(diǎn)硬件（主機(jī)、磁盤、內(nèi)存等）出錯(cuò)和軟件出錯(cuò)是常態(tài)，因此MapReduce需要能檢測并隔離出錯(cuò)節(jié)點(diǎn)，并調(diào)度分配新的節(jié)點(diǎn)接管出錯(cuò)節(jié)點(diǎn)的計(jì)算任務(wù)。同時(shí)，系統(tǒng)還將維護(hù)數(shù)據(jù)存儲的可靠性，用多備份冗余存儲機(jī)制提高數(shù)據(jù)存儲的可靠性，并能及時(shí)檢測和恢復(fù)出錯(cuò)的數(shù)據(jù)。Spark構(gòu)建在Spark上處理Stream數(shù)據(jù)的框架，是將Stream數(shù)據(jù)分成小的時(shí)間片斷（幾秒），以類似batch批量處理的方式來處理這小部分?jǐn)?shù)據(jù)。SparkStreaming構(gòu)建在Spark上，一方面是因?yàn)镾park的低延遲執(zhí)行引擎（100ms+），雖然比不上專門的流式數(shù)據(jù)處理軟件，也可以用于實(shí)時(shí)計(jì)算，另一方面相比基于Record的其它處理框架（如Storm），一部分窄依賴的RDD數(shù)據(jù)集可以從源數(shù)據(jù)重新計(jì)算達(dá)到容錯(cuò)處理目的。此外小批量處理的方式使得它可以同時(shí)兼容批量和實(shí)時(shí)數(shù)據(jù)處理的邏輯和算法。方便了一些需要?dú)v史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)聯(lián)合分析的特定應(yīng)用場合。6.1.2流式實(shí)時(shí)計(jì)算StormStorm是個(gè)實(shí)時(shí)的、分布式以及具備高容錯(cuò)的計(jì)算系統(tǒng)。同Hadoop一樣Storm也可以處理大批量的數(shù)據(jù)，然而Storm在保證高可靠性的前提下還可以讓處理進(jìn)行的更加實(shí)時(shí)；也就是說，所有的信息都會被處理。Storm同樣還具備容錯(cuò)和分布計(jì)算這些特性，這就讓Storm可以擴(kuò)展到不同的機(jī)器上進(jìn)行大批量的數(shù)據(jù)處理。SparkStreamingSparkStreaming是核心SparkAPI的一個(gè)擴(kuò)展，它并不會像Storm那樣一次一個(gè)地處理數(shù)據(jù)流，而是在處理前按時(shí)間間隔預(yù)先將其切分為一段一段的批處理作業(yè)。Spark針對持續(xù)性數(shù)據(jù)流的抽象稱為DStream（DiscretizedStream），一個(gè)DStream是一個(gè)微批處理（micro-batching）的RDD（彈性分布式數(shù)據(jù)集）；而RDD則是一種分布式數(shù)據(jù)集，能夠以兩種方式并行運(yùn)作，分別是任意函數(shù)和滑動窗口數(shù)據(jù)的轉(zhuǎn)換。6.1.3查詢分析采用Hive算法，作為一個(gè)分布式、按列存儲的數(shù)據(jù)倉庫，管理HDFS中存儲的數(shù)據(jù)，并提供基于SQL的查詢語言（由運(yùn)行時(shí)引起翻譯成MapReduce作業(yè)）用以查詢數(shù)據(jù)。6.1.4數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)面向Hadoop的機(jī)器學(xué)習(xí)。用于預(yù)測分析和其他高級分析。

Mahout

是一個(gè)很強(qiáng)大的數(shù)據(jù)挖掘工具，是一個(gè)分布式機(jī)器學(xué)習(xí)算法的集合，包括：被稱為Taste的分布式協(xié)同過濾的實(shí)現(xiàn)、分類、聚類等。Mahout最大的優(yōu)點(diǎn)就是基于hadoop實(shí)現(xiàn)，把很多以前運(yùn)行于單機(jī)上的算法，轉(zhuǎn)化為了MapReduce模式，這樣大大提升了算法可處理的數(shù)據(jù)量和處理性能。包含算法有：算法類算法名分類算法LogisticRegression邏輯回歸Bayesian貝葉斯SVM支持向量機(jī)Perceptron感知器算法NeuralNetwork神經(jīng)網(wǎng)絡(luò)RandomForests隨機(jī)森林RestrictedBoltzmannMachines有限波爾茲曼機(jī)聚類算法CanopyClusteringCanopy聚類K-meansClusteringK均值算法FuzzyK-means模糊K均值ExpectationMaximizationEM聚類（期望最大化聚類）MeanShiftClustering均值漂移聚類HierarchicalClustering層次聚類DirichletProcessClustering狄里克雷過程聚類LatentDirichletAllocationLDA聚類SpectralClustering譜聚類關(guān)聯(lián)規(guī)則挖掘ParallelFPGrowthAlgorithm并行FPGrowth算法回歸LocallyWeightedLinearRegression局部加權(quán)線性回歸降維/維約簡SingularValueDecomposition奇異值分解PrincipalComponentsAnalysis主成分分析IndependentComponentAnalysis獨(dú)立成分分析GaussianDiscriminativeAnalysis高斯判別分析進(jìn)化算法并行化了Watchmaker框架

推薦/協(xié)同過濾Non-distributedrecommendersTaste(UserCF,ItemCF,SlopeOne）DistributedRecommendersItemCF向量相似度計(jì)算RowSimilarityJob計(jì)算列間相似度VectorDistanceJob計(jì)算向量間距離非Map-Reduce算法HiddenMarkovModels隱馬爾科夫模型集合方法擴(kuò)展Collections擴(kuò)展了java的Collections類6.2、數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)HDFS文件系統(tǒng)存儲Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodityhardware)上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。但同時(shí)，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS放寬了一部分POSIX約束，來實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。HDFS在最開始是作為ApacheNutch搜索引擎項(xiàng)目的基礎(chǔ)架構(gòu)而開發(fā)的。HDFS是ApacheHadoopCore項(xiàng)目的一部分。HDFS有著高容錯(cuò)性（fault-tolerant）的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以實(shí)現(xiàn)流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。特點(diǎn)和目標(biāo)硬件故障硬件故障是常態(tài)，而不是異常。整個(gè)HDFS系統(tǒng)將由數(shù)百或數(shù)千個(gè)存儲著文件數(shù)據(jù)片斷的服務(wù)器組成。實(shí)際上它里面有非常巨大的組成部分，每一個(gè)組成部分都很可能出現(xiàn)故障，這就意味著HDFS里的總是有一些部件是失效的，因此，故障的檢測和自動快速恢復(fù)是HDFS一個(gè)很核心的設(shè)計(jì)目標(biāo)。數(shù)據(jù)訪問運(yùn)行在HDFS之上的應(yīng)用程序必須流式地訪問它們的數(shù)據(jù)集，它不是運(yùn)行在普通文件系統(tǒng)之上的普通程序。HDFS被設(shè)計(jì)成適合批量處理的，而不是用戶交互式的。重點(diǎn)是在數(shù)據(jù)吞吐量，而不是數(shù)據(jù)訪問的反應(yīng)時(shí)間，POSIX的很多硬性需求對于HDFS應(yīng)用都是非必須的，去掉POSIX一小部分關(guān)鍵語義可以獲得更好的數(shù)據(jù)吞吐率。大數(shù)據(jù)集運(yùn)行在HDFS之上的程序有很大量的數(shù)據(jù)集。典型的HDFS文件大小是GB到TB的級別。所以，HDFS被調(diào)整成支持大文件。它應(yīng)該提供很高的聚合數(shù)據(jù)帶寬，一個(gè)集群中支持?jǐn)?shù)百個(gè)節(jié)點(diǎn)，一個(gè)集群中還應(yīng)該支持千萬級別的文件。簡單一致性模型大部分的HDFS程序?qū)ξ募僮餍枰氖且淮螌懚啻巫x取的操作模式。一個(gè)文件一旦創(chuàng)建、寫入、關(guān)閉之后就不需要修改了。這個(gè)假定簡單化了數(shù)據(jù)一致的問題，并使高吞吐量的數(shù)據(jù)訪問變得可能。一個(gè)Map-Reduce程序或者網(wǎng)絡(luò)爬蟲程序都可以完美地適合這個(gè)模型。移動計(jì)算比移動數(shù)據(jù)更經(jīng)濟(jì)在靠近計(jì)算數(shù)據(jù)所存儲的位置來進(jìn)行計(jì)算是最理想的狀態(tài)，尤其是在數(shù)據(jù)集特別巨大的時(shí)候。這樣消除了網(wǎng)絡(luò)的擁堵，提高了系統(tǒng)的整體吞吐量。一個(gè)假定就是遷移計(jì)算到離數(shù)據(jù)更近的位置比將數(shù)據(jù)移動到程序運(yùn)行更近的位置要更好。HDFS提供了接口，來讓程序?qū)⒆约阂苿拥诫x數(shù)據(jù)存儲更近的位置。異構(gòu)軟硬件平臺間的可移植性HDFS被設(shè)計(jì)成可以簡便地實(shí)現(xiàn)平臺間的遷移，這將推動需要大數(shù)據(jù)集的應(yīng)用更廣泛地采用HDFS作為平臺。名字節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)HDFS是一個(gè)主從結(jié)構(gòu)，一個(gè)HDFS集群是由一個(gè)名字節(jié)點(diǎn)，它是一個(gè)管理文件命名空間和調(diào)節(jié)客戶端訪問文件的主服務(wù)器，當(dāng)然還有一些數(shù)據(jù)節(jié)點(diǎn)，通常是一個(gè)節(jié)點(diǎn)一個(gè)機(jī)器，它來管理對應(yīng)節(jié)點(diǎn)的存儲。HDFS對外開放文件命名空間并允許用戶數(shù)據(jù)以文件形式存儲。內(nèi)部機(jī)制是將一個(gè)文件分割成一個(gè)或多個(gè)塊，這些塊被存儲在一組數(shù)據(jù)節(jié)點(diǎn)中。名字節(jié)點(diǎn)用來操作文件命名空間的文件或目錄操作，如打開，關(guān)閉，重命名等等。它同時(shí)確定塊與數(shù)據(jù)節(jié)點(diǎn)的映射。數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)來自文件系統(tǒng)客戶的讀寫請求。數(shù)據(jù)節(jié)點(diǎn)同時(shí)還要執(zhí)行塊的創(chuàng)建，刪除，和來自名字節(jié)點(diǎn)的塊復(fù)制指令。名字節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)都是運(yùn)行在普通的機(jī)器之上的軟件，機(jī)器典型的都是GNU/Linux，HDFS是用java編寫的，任何支持java的機(jī)器都可以運(yùn)行名字節(jié)點(diǎn)或數(shù)據(jù)節(jié)點(diǎn)，利用java語言的超輕便型，很容易將HDFS部署到大范圍的機(jī)器上。典型的部署是由一個(gè)專門的機(jī)器來運(yùn)行名字節(jié)點(diǎn)軟件，集群中的其他每臺機(jī)器運(yùn)行一個(gè)數(shù)據(jù)節(jié)點(diǎn)實(shí)例。體系結(jié)構(gòu)不排斥在一個(gè)機(jī)器上運(yùn)行多個(gè)數(shù)據(jù)節(jié)點(diǎn)的實(shí)例，但是實(shí)際的部署不會有這種情況。集群中只有一個(gè)名字節(jié)點(diǎn)極大地簡單化了系統(tǒng)的體系結(jié)構(gòu)。名字節(jié)點(diǎn)是仲裁者和所有HDFS元數(shù)據(jù)的倉庫，用戶的實(shí)際數(shù)據(jù)不經(jīng)過名字節(jié)點(diǎn)。HBASE數(shù)據(jù)存儲HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于FayChang所撰寫的Google論文“Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（FileSystem）所提供的分布式數(shù)據(jù)存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個(gè)不同的是HBase基于列的而不是基于行的模式。關(guān)系數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫，是建立在關(guān)系數(shù)據(jù)庫模型基礎(chǔ)上的數(shù)據(jù)庫，借助于集合代數(shù)等概念和方法來處理數(shù)據(jù)庫中的數(shù)據(jù)，同時(shí)也是一個(gè)被組織成一組擁有正式描述性的表格，該形式的表格作用的實(shí)質(zhì)是裝載著數(shù)據(jù)項(xiàng)的特殊收集體，這些表格中的數(shù)據(jù)能以許多不同的方式被存取或重新召集而不需要重新組織數(shù)據(jù)庫表格。關(guān)系數(shù)據(jù)庫的定義造成元數(shù)據(jù)的一張表格或造成表格、列、范圍和約束的正式描述。每個(gè)表格（有時(shí)被稱為一個(gè)關(guān)系）包含用列表示的一個(gè)或更多的數(shù)據(jù)種類。每行包含一個(gè)唯一的數(shù)據(jù)實(shí)體，這些數(shù)據(jù)是被列定義的種類。當(dāng)創(chuàng)造一個(gè)關(guān)系數(shù)據(jù)庫的時(shí)候，你能定義數(shù)據(jù)列的可能值的范圍和可能應(yīng)用于那個(gè)數(shù)據(jù)值的進(jìn)一步約束。而SQL語言是標(biāo)準(zhǔn)用戶和應(yīng)用程序到關(guān)系數(shù)據(jù)庫的接口。其優(yōu)勢是容易擴(kuò)充，且在最初的數(shù)據(jù)庫創(chuàng)造之后，一個(gè)新的數(shù)據(jù)種類能被添加而不需要修改所有的現(xiàn)有應(yīng)用軟件。主流的關(guān)系數(shù)據(jù)庫有oracle、db2、sqlserver、sybase、mysql等。目前關(guān)系數(shù)據(jù)庫事數(shù)據(jù)庫應(yīng)用的主流，許多數(shù)據(jù)庫管理系統(tǒng)的數(shù)據(jù)模型都是基于關(guān)系數(shù)據(jù)模型開發(fā)的。1）關(guān)系數(shù)據(jù)庫：在一個(gè)給定的應(yīng)用領(lǐng)域中，所有實(shí)體及實(shí)體之間聯(lián)系的集合構(gòu)成一個(gè)關(guān)系數(shù)據(jù)庫。2）關(guān)系數(shù)據(jù)庫的型與值：關(guān)系數(shù)據(jù)庫的型稱為關(guān)系數(shù)據(jù)庫模式，是對關(guān)系數(shù)據(jù)庫的描述，若干域的定義，在這些域上定義的若干關(guān)系模式；關(guān)系數(shù)據(jù)庫的值是這些關(guān)系模式在某一時(shí)刻對應(yīng)的關(guān)系的集合，通常簡稱為關(guān)系數(shù)據(jù)庫。全文數(shù)據(jù)庫全文數(shù)據(jù)庫有許多特點(diǎn)，主要表現(xiàn)如下。①包含信息的原始性。庫中信息基本上是未加工的原始數(shù)據(jù)，因而具有客觀性。②信息檢索的徹底性。任何詞、句、字皆可檢索，還有可能看到某些邊緣性信息。③檢索語言的自然性?？墒褂米匀徽Z言檢索，并可使用布爾檢索和位置檢索，因而要涉及自然語言的理解。④數(shù)據(jù)結(jié)構(gòu)基本上是非結(jié)構(gòu)化的，除了某些可規(guī)范的數(shù)據(jù)外，大量文本屬于非結(jié)構(gòu)化的，不便于關(guān)系數(shù)據(jù)庫的處理。⑤專業(yè)的全文數(shù)據(jù)庫系統(tǒng)一般都采用“自動切詞”技術(shù)⑥好的全文數(shù)據(jù)庫還備有知識庫，可具有推理能力和聯(lián)想式檢索。⑦基本上是封閉性的，數(shù)據(jù)不需更新，具有較大的穩(wěn)定性。7、終端系統(tǒng)及接口設(shè)計(jì)通用大數(shù)據(jù)服務(wù)接口提供給其他模塊或者系統(tǒng)使用的一種約定或者規(guī)范，接口設(shè)計(jì)遵循業(yè)界標(biāo)準(zhǔn)，保證接口性能良好。主要包括數(shù)據(jù)查詢、信息布控、數(shù)據(jù)下載、全文檢索、統(tǒng)計(jì)分析、GIS服務(wù)等服務(wù)接口，通過接口配置功能實(shí)現(xiàn)對基礎(chǔ)數(shù)據(jù)資源庫和應(yīng)用服務(wù)資源庫的訪問。通過接口配置功能實(shí)現(xiàn)對基礎(chǔ)數(shù)據(jù)資源庫和應(yīng)用服務(wù)資源庫的訪問，并能實(shí)現(xiàn)后期對上下級部門大數(shù)據(jù)平臺的對接。8、網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)通過用軟件定義網(wǎng)絡(luò)的方式，將物理網(wǎng)絡(luò)同邏輯網(wǎng)絡(luò)進(jìn)行有效的隔離，通過在虛擬層創(chuàng)建邏輯網(wǎng)絡(luò)來滿足虛擬化應(yīng)用和數(shù)據(jù)對敏捷性、性能和擴(kuò)展性的需求?？纱蠓喕僮?、實(shí)現(xiàn)資源的高效利用和提高敏捷性，從而根據(jù)大數(shù)據(jù)中心上應(yīng)用部署需要進(jìn)行擴(kuò)展。架構(gòu)上采用“二級交換+三類業(yè)務(wù)”的總體設(shè)計(jì)思路，即內(nèi)部集群局域網(wǎng)采用“核心+TOR接入”二級交換結(jié)構(gòu)，同時(shí)在網(wǎng)絡(luò)設(shè)備的部署時(shí)按照“業(yè)務(wù)、管理、存儲”三類業(yè)務(wù)平面進(jìn)行隔離。一方面扁平化的二級網(wǎng)絡(luò)簡化了設(shè)備層級和網(wǎng)絡(luò)結(jié)構(gòu)，另一方面業(yè)務(wù)隔離降低了業(yè)務(wù)之間的相互影響，減少了性能瓶頸，提高了網(wǎng)絡(luò)性能。虛擬網(wǎng)絡(luò)資源池通過可擴(kuò)展、即插即用可透過API來管理的網(wǎng)絡(luò)架構(gòu)的系統(tǒng)組件，確保在部署大數(shù)據(jù)中心的虛擬網(wǎng)絡(luò)資源池服務(wù)時(shí)，網(wǎng)絡(luò)服務(wù)可快速交付。虛擬網(wǎng)絡(luò)資源池管理組件支持標(biāo)準(zhǔn)接口，同時(shí)可在此基礎(chǔ)上運(yùn)用軟件定義網(wǎng)絡(luò)技術(shù)來打造大規(guī)模多租戶的網(wǎng)絡(luò)環(huán)境，包括虛擬路由器和虛擬交換機(jī)等。主要包括以下網(wǎng)絡(luò)資源池：云計(jì)算網(wǎng)絡(luò)資源池，承載業(yè)務(wù)服務(wù)器訪問互聯(lián)網(wǎng)、專網(wǎng)以及各區(qū)域之間的業(yè)務(wù)互訪數(shù)據(jù)流、各區(qū)域業(yè)務(wù)服務(wù)器的備份數(shù)據(jù)流；提供云平臺及SDN控制器針對業(yè)務(wù)CORE、業(yè)務(wù)TOR以及核心防火墻下發(fā)配置的網(wǎng)絡(luò)平臺；此外還有用于承載大數(shù)據(jù)分析業(yè)務(wù)數(shù)據(jù)流量的大數(shù)據(jù)網(wǎng)絡(luò)資源池，以及平臺層及應(yīng)用層業(yè)務(wù)上線前進(jìn)行穩(wěn)定性、兼容性測試的業(yè)務(wù)開發(fā)測試網(wǎng)絡(luò)資源池。網(wǎng)絡(luò)資源池技術(shù)要求1、網(wǎng)絡(luò)資源管理。平臺部署完成后，將能夠?qū)Υ髷?shù)據(jù)中心中的網(wǎng)絡(luò)資源進(jìn)行全面管理，包括邏輯網(wǎng)絡(luò)資源和物理網(wǎng)絡(luò)資源，邏輯網(wǎng)絡(luò)資源有子網(wǎng)資源、IP資源等，物理網(wǎng)絡(luò)資源有硬件交換機(jī)/防火墻等設(shè)備，支持監(jiān)控設(shè)備端口帶寬，租戶維度流量統(tǒng)計(jì)，虛機(jī)真實(shí)路徑探測等。平臺支持用戶通過界面進(jìn)行子網(wǎng)配置、IP申請、IP綁定等操作。支持平臺管理內(nèi)部網(wǎng)絡(luò)，還支持對接現(xiàn)有的網(wǎng)絡(luò)體系。2、網(wǎng)絡(luò)自動隔離。平臺支持網(wǎng)絡(luò)的安全自動化隔離，主要包含不同租戶或應(yīng)用的網(wǎng)絡(luò)隔離，通過自動化配置防火墻功能實(shí)現(xiàn)應(yīng)用級別的安全隔離。10、備份系統(tǒng)設(shè)計(jì)數(shù)據(jù)的完整性和安全性是整個(gè)系統(tǒng)的核心，在不可抗拒的災(zāi)難發(fā)生后能保證數(shù)據(jù)的盡可能多的恢復(fù)是系統(tǒng)建設(shè)中必須考慮的，系統(tǒng)必須做好數(shù)據(jù)的防災(zāi)難備份恢復(fù)設(shè)計(jì)。整個(gè)系統(tǒng)中會運(yùn)用到大數(shù)據(jù)分析存儲技術(shù)，在日常運(yùn)行中需對數(shù)據(jù)的完整性進(jìn)行及時(shí)的備份和存儲，保障數(shù)據(jù)的歸檔和恢復(fù)。應(yīng)采用大數(shù)據(jù)備份策略，每個(gè)關(guān)鍵節(jié)點(diǎn)都有主備備份，每個(gè)數(shù)據(jù)節(jié)點(diǎn)的關(guān)鍵數(shù)據(jù)都應(yīng)該為雙份存儲。11、運(yùn)行維護(hù)系統(tǒng)設(shè)計(jì)項(xiàng)目經(jīng)理全面負(fù)責(zé)項(xiàng)目經(jīng)理部工作，項(xiàng)目總工程師和項(xiàng)目質(zhì)量總監(jiān)專責(zé)工程技術(shù)與工程質(zhì)量并協(xié)調(diào)工程進(jìn)度。施工組長則負(fù)責(zé)專項(xiàng)施工任務(wù)，并在項(xiàng)目部統(tǒng)一管理下協(xié)調(diào)工作。具體組織結(jié)構(gòu)如下：為了項(xiàng)目的順利完成，應(yīng)建立完善的施工現(xiàn)場管理制度，如下表所示：序號按項(xiàng)目管理規(guī)定建立的項(xiàng)目管理制度A項(xiàng)目經(jīng)理部組織機(jī)構(gòu)及職責(zé)B項(xiàng)目現(xiàn)場標(biāo)準(zhǔn)化管理制度C項(xiàng)目安全管理制度D項(xiàng)目施工生產(chǎn)管理制度E項(xiàng)目質(zhì)量管理制度F項(xiàng)目技術(shù)管理制度G項(xiàng)目材料管理制度H項(xiàng)目技術(shù)資料管理制度A、項(xiàng)目經(jīng)理部組織機(jī)構(gòu)極其職責(zé)：本項(xiàng)目工程作重點(diǎn)工程建設(shè)項(xiàng)目，不但要求管理人員有創(chuàng)優(yōu)意識，還必須根據(jù)實(shí)際情況，建立一個(gè)能完成管理任務(wù)、指揮靈活、運(yùn)轉(zhuǎn)效率高效的項(xiàng)目組織機(jī)構(gòu)。其目的就是為了提供施工項(xiàng)目管理的組織保證，實(shí)行責(zé)任制度，實(shí)行權(quán)利集中，組織統(tǒng)一的管理方式。項(xiàng)目經(jīng)理部在項(xiàng)目領(lǐng)導(dǎo)小組的領(lǐng)導(dǎo)下，負(fù)責(zé)施工項(xiàng)目從一開工到竣工的全過程施工的管理。B、項(xiàng)目現(xiàn)場標(biāo)準(zhǔn)化管理制度：由于本項(xiàng)目施工的特殊性，因此制定統(tǒng)一的現(xiàn)場施工管理制度尤為重要。所以，特制定了現(xiàn)場管理制度。對施工現(xiàn)場的檢查：管理人員應(yīng)經(jīng)常檢查現(xiàn)場，是否符合各項(xiàng)規(guī)定，是否滿足施工需要，還有哪些薄弱環(huán)節(jié)，從而為調(diào)整施工現(xiàn)場，提供有用的信息，也使施工現(xiàn)場保持相對穩(wěn)定，不被復(fù)雜的施工過程所打亂或破壞。建設(shè)文明的施工現(xiàn)場：施工現(xiàn)場范圍內(nèi)要井然有序，文明安全，環(huán)境得到保持，安全設(shè)施完備，場容衛(wèi)生。施工人員嚴(yán)格按照安全操作規(guī)范進(jìn)行。對有安全隱患的場地設(shè)置安全警示，層層把關(guān)，全面檢查，建章建制，責(zé)任到人，落實(shí)整改，嚴(yán)明獎懲。確保現(xiàn)場安全、規(guī)范、文明施工。C、項(xiàng)目安全管理制度：以預(yù)防為主，事前做好安全工作，在徒手、帶電作業(yè)的情況下，要按照安全規(guī)定的相關(guān)要求，做好安全防范措施,佩戴安全輔助工具。D、施工生產(chǎn)管理制度：對施工投入的勞動力、材料、設(shè)備、技術(shù)和資金等要素進(jìn)行管理，進(jìn)行生產(chǎn)優(yōu)化配置。在施工項(xiàng)目運(yùn)轉(zhuǎn)過程中，對生產(chǎn)要素進(jìn)行動態(tài)管理。在施工項(xiàng)目運(yùn)行中，合理地、節(jié)約地使用資源。編制施工材料、設(shè)備計(jì)劃。施工材料、設(shè)備的供應(yīng)。進(jìn)行施工材料、設(shè)備的投入。E、施工項(xiàng)目質(zhì)量管理制度：根據(jù)國家的有關(guān)安裝規(guī)范進(jìn)行施工。對系統(tǒng)安裝技術(shù)規(guī)范進(jìn)行技術(shù)交底。組織質(zhì)量檢查小組和設(shè)置質(zhì)量檢查崗位。增強(qiáng)質(zhì)量策劃和質(zhì)量控制。對施工過程進(jìn)行自我檢查、監(jiān)督、控制。F、施工項(xiàng)目技術(shù)管理制度：強(qiáng)化施工技術(shù)人員質(zhì)量達(dá)優(yōu)標(biāo)準(zhǔn)學(xué)習(xí)。學(xué)習(xí)施工組織設(shè)計(jì)管理制度和設(shè)計(jì)方案。由技術(shù)負(fù)責(zé)人進(jìn)行技術(shù)層層交底，落實(shí)技術(shù)責(zé)任制。對施工項(xiàng)目材料、設(shè)備進(jìn)行檢驗(yàn)。制定質(zhì)量檢查和工程驗(yàn)收制度。建全技術(shù)資料的管理。G、施工材料管理制度：落實(shí)現(xiàn)場材料管理責(zé)任。實(shí)行材料計(jì)劃管理，對進(jìn)場的材料進(jìn)行驗(yàn)收。對材料進(jìn)行系統(tǒng)的分類和保管。材料按領(lǐng)料管理制度實(shí)行有序的領(lǐng)發(fā)。對使用的材料進(jìn)行監(jiān)督。`庫存材料統(tǒng)計(jì)、計(jì)劃用料匯總。及時(shí)上報(bào)材料存儲情況，保證材料供給。H、施工項(xiàng)目技術(shù)資料管理制度：對已經(jīng)形成的文本的圖紙、表格、文字進(jìn)行妥善保管。設(shè)置專業(yè)的資料保管員對資料進(jìn)行分類、分階段保存。從技術(shù)資料中總結(jié)經(jīng)驗(yàn)、積累經(jīng)驗(yàn)。12、系統(tǒng)配置及軟硬件選型原則系統(tǒng)配置詳見第四章第13節(jié)系統(tǒng)軟硬件配置清單。本項(xiàng)目中所涉及的系統(tǒng)配置及軟硬件設(shè)備，具有一定的先進(jìn)性和前瞻性，既能夠滿足當(dāng)前系統(tǒng)的要求，又能夠滿足未來3到5年時(shí)間內(nèi)，該項(xiàng)目的建設(shè)的需要，為該系統(tǒng)提供有效的技術(shù)服務(wù)保障。14、系統(tǒng)軟硬件物理部署方案系統(tǒng)軟硬件設(shè)備部署嚴(yán)格按照相關(guān)機(jī)房設(shè)備建設(shè)標(biāo)準(zhǔn)實(shí)施，并按照市局機(jī)房規(guī)劃及服務(wù)器擺放標(biāo)準(zhǔn)進(jìn)行安裝調(diào)試，具體如下：1）設(shè)備上架安裝A、設(shè)備管理員安裝設(shè)備時(shí)上下設(shè)備之間必須至少保留1個(gè)U的距離，保證設(shè)備的良好散熱，不允許設(shè)備直接堆疊。B、設(shè)備接入U(xiǎn)PS之前設(shè)備管理員必須使用機(jī)房或運(yùn)行辦公室提供的市電進(jìn)行試開機(jī)。C、機(jī)房設(shè)施管理員需要根據(jù)設(shè)備用電情況并結(jié)合UPS、PDU等的三相負(fù)載情況，選擇合適的機(jī)柜和PDU。D、設(shè)備管理員必須按照機(jī)房設(shè)施管理員給定的PDU編號接入機(jī)房電力系統(tǒng)，其中單電源設(shè)備必須接到帶STS標(biāo)簽的PDU中，雙電源設(shè)備原則上不可以接入STS的PDU，雙電源設(shè)備要求分別接到不同編號的PUD上。E、設(shè)備管理員需將電源線和網(wǎng)線（光纖線）分別扎在機(jī)柜的兩側(cè)（強(qiáng)電弱電分離），不允許線路雜亂無章,不允許跨機(jī)柜走線,奇數(shù)位機(jī)柜電源線右走線、網(wǎng)線左走線，偶數(shù)位機(jī)柜則反之，并貼好對應(yīng)標(biāo)簽。F、完成后交由機(jī)房設(shè)施管理員檢查，機(jī)房設(shè)施管理員確認(rèn)后填寫情況表。2）標(biāo)識文檔維護(hù)A、設(shè)備管理員打印設(shè)備標(biāo)識，內(nèi)容包括：新設(shè)備到貨時(shí)間(針對新設(shè)備)、IP地址、系統(tǒng)名稱等。B、網(wǎng)絡(luò)管理員打印網(wǎng)線標(biāo)識。C、機(jī)房設(shè)施管理員打印電源線標(biāo)識并填寫《機(jī)房設(shè)備登記表》，該表包括：機(jī)柜編號、機(jī)位編號、設(shè)備IP、型號、大小、序列號、系統(tǒng)名稱。D、每個(gè)管理員完成后填寫情況表。E、情況表最終交由機(jī)房設(shè)施管理員存檔，相關(guān)管理員對情況表內(nèi)容負(fù)責(zé)。3）系統(tǒng)檢查測試運(yùn)行主管、機(jī)房設(shè)施管理員對機(jī)房內(nèi)的設(shè)備進(jìn)行定期檢查和不定期抽查，如發(fā)現(xiàn)有設(shè)備沒有按照本流程規(guī)定執(zhí)行的，向相關(guān)管理員下達(dá)《設(shè)備上架整改意見表》，意見表在整改措施落實(shí)后運(yùn)行主管確認(rèn)后交由機(jī)房設(shè)施管理員存檔。

第五章 人員配置與培訓(xùn)1、人員配置計(jì)劃1.1、技術(shù)力量和人員配置市局負(fù)責(zé)該項(xiàng)目的建設(shè)，該項(xiàng)目的直接實(shí)施負(fù)責(zé)人擁有擔(dān)任信息化建設(shè)的組織管理工作和較強(qiáng)的組織、溝通和協(xié)調(diào)能力，有多年的系統(tǒng)建設(shè)經(jīng)驗(yàn)，熟悉系統(tǒng)建設(shè)流程。目前本有多名同志具有較高的計(jì)算機(jī)應(yīng)用水平，因此項(xiàng)目的總體建設(shè)有充足的人才保證。1.2、人員培訓(xùn)需求和計(jì)劃隨著項(xiàng)目建設(shè)的深入推進(jìn)，我將積極選送人員到科研院所和信息技術(shù)研發(fā)單位進(jìn)行信息技術(shù)專業(yè)知識培訓(xùn)。項(xiàng)目培訓(xùn)課程安排：系統(tǒng)使用培訓(xùn)，主要包括系統(tǒng)配置的所有硬件設(shè)備、網(wǎng)絡(luò)系統(tǒng)以及其他配套設(shè)備的使用。具體時(shí)間待定。1.3、項(xiàng)目建設(shè)的實(shí)施策略可以按以下優(yōu)先順序確定項(xiàng)目實(shí)施總策略，分別參考如下實(shí)施策略：（1）“總體規(guī)劃，循序漸進(jìn)，快速見效”總體策略；

（2）“先基礎(chǔ)，再深化，后優(yōu)化”的實(shí)施推進(jìn)策略；（3）前期規(guī)劃溝通，實(shí)施方案確認(rèn)；（4）現(xiàn)場設(shè)備安裝、調(diào)試；（5）項(xiàng)目驗(yàn)收、培訓(xùn)。2、人員培訓(xùn)方案2.1、人員培訓(xùn)計(jì)劃針對本次項(xiàng)目，將免費(fèi)提供給用戶進(jìn)行專業(yè)培訓(xùn)，所有培訓(xùn)講師均通過專業(yè)認(rèn)證，并且經(jīng)驗(yàn)豐富的工程師主講，具體培訓(xùn)時(shí)間及培訓(xùn)地點(diǎn)將于用戶協(xié)商后確定。2.2、培訓(xùn)目標(biāo)培訓(xùn)的總體目標(biāo)是：通過提供的一系列專業(yè)化培訓(xùn)，使系統(tǒng)操作人員和系統(tǒng)運(yùn)行維護(hù)管理人員等能夠正確、熟練、有效地利用本系統(tǒng)進(jìn)行信息系統(tǒng)的安全業(yè)務(wù)的操作、處理、管理和維護(hù)。在本項(xiàng)目的培訓(xùn)中，須改變目前國內(nèi)普遍存在的“講完就算，講完就走”的呆板培訓(xùn)模式，轉(zhuǎn)變?yōu)椤皽p少講授、增加操作”的培訓(xùn)新模式，切實(shí)提高受訓(xùn)人員的應(yīng)用本系統(tǒng)的實(shí)際能力。采用理論講授、操作示范、考察學(xué)習(xí)相結(jié)合的等培訓(xùn)形式，切實(shí)提高培訓(xùn)效果。建設(shè)單位須將針對本項(xiàng)目安排最具針對性和實(shí)用性的培訓(xùn)課程，選擇和編制高質(zhì)量、易學(xué)習(xí)的培訓(xùn)教材，挑選技術(shù)水平高、項(xiàng)目經(jīng)驗(yàn)豐富并且直接參與本項(xiàng)目實(shí)施的工程師擔(dān)任培訓(xùn)教師，從而最大限度地保證培訓(xùn)的質(zhì)量和效果。2.3、培訓(xùn)對象培訓(xùn)對象：系統(tǒng)使用運(yùn)行維護(hù)管理人員。培訓(xùn)目標(biāo)：對系統(tǒng)使用運(yùn)行維護(hù)管理人員的培訓(xùn)，目的是使他們熟練掌握本網(wǎng)絡(luò)系統(tǒng)和應(yīng)用系統(tǒng)的各項(xiàng)管理維護(hù)技術(shù)，能夠熟練地進(jìn)行系統(tǒng)的管理和維護(hù)工作，獨(dú)立排除常見故障，保證系統(tǒng)安全、穩(wěn)定、有效運(yùn)行。建設(shè)單位須組織專人對系統(tǒng)運(yùn)行維護(hù)管理人員進(jìn)行不少于6人次，每次不少于1天的新技術(shù)、新產(chǎn)品、維護(hù)管理等方面的培訓(xùn)，確保用戶可以熟練使用系統(tǒng)并掌握相關(guān)的最新技術(shù)。2.4、培訓(xùn)講師要求建設(shè)單位擁有一批具有豐富教學(xué)、實(shí)踐經(jīng)驗(yàn)的培訓(xùn)講師，在他們的培訓(xùn)過程中將網(wǎng)絡(luò)、系統(tǒng)理論、實(shí)際網(wǎng)絡(luò)、系統(tǒng)需求相結(jié)合，灌輸給學(xué)員簡潔、實(shí)用的全面知識。針對本項(xiàng)目，建設(shè)單位將派遣專業(yè)的培訓(xùn)講師和