PM2.5云監(jiān)測(cè)平臺(tái)方案

PM2.5云監(jiān)測(cè)平臺(tái)方案PM2.5云監(jiān)測(cè)平臺(tái)方案PM2.5云監(jiān)測(cè)平臺(tái)方案PM2.5云監(jiān)測(cè)平臺(tái)方案目錄目錄...............................................................................................PM2.5云監(jiān)測(cè)平臺(tái)方案................................................................................1.概述..................................................................................................41.1背景..............................................................................................41.2平臺(tái)設(shè)計(jì)原則......................................................................................41.3平臺(tái)系統(tǒng)意義......................................................................................62.PM2.5云監(jiān)測(cè)平臺(tái)總體設(shè)計(jì).............................................................................72.1系統(tǒng)主要功能......................................................................................72.2技術(shù)優(yōu)勢(shì)..........................................................................................82.3技術(shù)方案..........................................................................................92.3.1平臺(tái)架構(gòu)..........................................................................2.3.2技術(shù)路線..........................................................................可超大規(guī)模部署的PM2.5云監(jiān)測(cè)節(jié)點(diǎn)設(shè)計(jì)................................................................12PM2.5云監(jiān)測(cè)節(jié)點(diǎn)系統(tǒng)架構(gòu).........................................................................12PM2.5云監(jiān)測(cè)節(jié)點(diǎn)傳感器...........................................................................13PM2.5采集方法.....................................................................3.2.2PM2.5傳感器.......................................................................PM2.5云監(jiān)測(cè)節(jié)點(diǎn)主控板...........................................................................17主控板............................................................................3.3.2計(jì)算部分..........................................................................3.3.3通信部分..........................................................................PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的供電...........................................................................213.4.1太陽能供電........................................................................3.4.2市電供電..........................................................................PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的結(jié)構(gòu)和安裝部署.................................................................22PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的結(jié)構(gòu).............................................................3.5.2PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的安裝部署......................................................... 立柱安裝方式 ................................................................. 墻壁安裝方式 .................................................................PM2.5云監(jiān)測(cè)云平臺(tái)設(shè)計(jì)................................................................................28PM2.5云監(jiān)測(cè)云平臺(tái)總體架構(gòu).......................................................................28PM2.5云監(jiān)測(cè)云平臺(tái)優(yōu)勢(shì)和特點(diǎn).....................................................................29PM2.5云監(jiān)測(cè)云平臺(tái)組成架構(gòu).......................................................................304.3.1PM2.5監(jiān)測(cè)平臺(tái)......................................................................4.3.2PM2.5預(yù)警平臺(tái)......................................................................PM2.5污染傳播過程實(shí)時(shí)演化與污染源追蹤.............................................4.4.4PM2.5云監(jiān)測(cè)云平臺(tái)云存儲(chǔ)...........................................................PM2.5云監(jiān)測(cè)云平臺(tái)Jobkeeper系統(tǒng)...................................................PM2.5云監(jiān)測(cè)云平臺(tái)分布式數(shù)據(jù)立方系統(tǒng)...............................................4.4.3PM2.5云監(jiān)測(cè)平臺(tái)數(shù)據(jù)個(gè)性化服務(wù).....................................................PM2.5云監(jiān)測(cè)平臺(tái)優(yōu)勢(shì)特點(diǎn)..............................................................................505.1超大規(guī)模部署......................................................................................50在線監(jiān)測(cè)實(shí)時(shí)性強(qiáng)..................................................................................50基于云平臺(tái)的超強(qiáng)擴(kuò)容性..........................................................................50PM2.5數(shù)據(jù)的高準(zhǔn)確性..............................................................................50云計(jì)算海量數(shù)據(jù)處理...............................................................................515.6平臺(tái)科學(xué)管理......................................................................................515.7實(shí)時(shí)數(shù)據(jù)推送......................................................................................51PM2.5云監(jiān)測(cè)平臺(tái)的意義................................................................................51歷史數(shù)據(jù)的實(shí)時(shí)查詢...............................................................................52PM2.5污染源溯源.................................................................................52PM2.5污染預(yù)報(bào)...................................................................................52污染預(yù)警..........................................................................................52成功案例............................................................................................53河北石家莊........................................................................................53江蘇昆山..........................................................................................53北京聯(lián)想..........................................................................................531.概述1.1背景目前許多城市的空氣質(zhì)量監(jiān)測(cè)站較少，目前空氣污染已經(jīng)嚴(yán)重危害人民生活健康。城市霧霾天氣正是空氣污染的典型表現(xiàn)，造成霧霾的主要原因是PM2.5的嚴(yán)重污染。云創(chuàng)存儲(chǔ)的PM2.5云監(jiān)測(cè)平臺(tái)通過超大規(guī)模部署PM2.5監(jiān)測(cè)節(jié)點(diǎn)對(duì)環(huán)境進(jìn)行實(shí)時(shí)監(jiān)測(cè)，通過云計(jì)算（數(shù)據(jù)立方）分析處理大規(guī)模的PM2.5監(jiān)測(cè)的數(shù)據(jù)，利用PM2.5監(jiān)測(cè)和預(yù)警系統(tǒng)可以做到及時(shí)的污染預(yù)警，并且通過郵件，APP等數(shù)據(jù)推送方式進(jìn)行空氣污染自動(dòng)報(bào)警，及時(shí)做好污染防護(hù)，最大程度降低破壞空氣環(huán)境的損害。通過海量歷史數(shù)據(jù)智能分析，能夠演化到PM2.5的污染過程，并且追溯污染源頭，進(jìn)而解決PM2.5污染源頭，有效抑制污染源，保護(hù)空氣環(huán)境。1.2平臺(tái)設(shè)計(jì)原則針對(duì)實(shí)際情況,充分考慮空氣環(huán)境監(jiān)測(cè)云計(jì)算平臺(tái)系統(tǒng)的建設(shè)發(fā)展需求，以實(shí)現(xiàn)系統(tǒng)統(tǒng)一管理、高效應(yīng)用、平滑擴(kuò)展為目標(biāo)，以“先進(jìn)、安全、成熟、開放、經(jīng)濟(jì)”為總體設(shè)計(jì)原則。先進(jìn)性原則在系統(tǒng)總體方案設(shè)計(jì)時(shí)采用業(yè)界先進(jìn)的云計(jì)算方案和技術(shù)，以確保一定時(shí)間內(nèi)不落后。選擇實(shí)用性強(qiáng)產(chǎn)品，模塊化結(jié)構(gòu)設(shè)計(jì)，既可滿足當(dāng)前需要又可實(shí)現(xiàn)今后系統(tǒng)發(fā)展平滑擴(kuò)展。安全性原則數(shù)據(jù)是業(yè)務(wù)系統(tǒng)核心應(yīng)用的最終保障，不但要保證整套系統(tǒng)能夠7*24h正常運(yùn)行，在進(jìn)行系統(tǒng)設(shè)計(jì)時(shí)，充分考慮數(shù)據(jù)高可靠存儲(chǔ)，采用高度可靠的軟硬件容錯(cuò)設(shè)計(jì)，進(jìn)行有效的安全訪問控制，實(shí)現(xiàn)故障屏蔽、自動(dòng)冗余重建等智能化安全可靠措施，提供統(tǒng)一的系統(tǒng)管理和監(jiān)控平臺(tái)，進(jìn)行有效的故障定位、預(yù)警。成熟性原則為確保整個(gè)系統(tǒng)能夠穩(wěn)定工作，軟件平臺(tái)將使用先進(jìn)、完善、易于管理和穩(wěn)定可靠的云存儲(chǔ)計(jì)算資源管理系統(tǒng)，對(duì)于與其他應(yīng)用的集成接口，提供統(tǒng)一的通用穩(wěn)定訪問接口。開放性原則系統(tǒng)建設(shè)具有開放性的標(biāo)準(zhǔn)體系，提供開放的應(yīng)用API編程接口，提供人性化的應(yīng)用和管理界面，以滿足用戶需求。遵循規(guī)范的通用接口標(biāo)準(zhǔn)，使全系統(tǒng)中的硬件、通信、軟件、操作平臺(tái)之間的互聯(lián)共享。在系統(tǒng)不停止工作的情況下，可以更換單元備件。系統(tǒng)的維護(hù)和升級(jí)操作由系統(tǒng)管理員即可完成。經(jīng)濟(jì)性原則現(xiàn)有業(yè)務(wù)系統(tǒng)存儲(chǔ)數(shù)據(jù)量較大，且數(shù)據(jù)的增長速度較快。因此在建設(shè)系統(tǒng)存儲(chǔ)架構(gòu)時(shí)，應(yīng)從長遠(yuǎn)的角度考慮，建設(shè)一個(gè)長期的云存儲(chǔ)架構(gòu)，除了可以應(yīng)對(duì)存儲(chǔ)硬件設(shè)備的升級(jí)速度外，還必須考慮到對(duì)前期存儲(chǔ)設(shè)備的投資保護(hù)，在保證不斷提供功能和性能提高的同時(shí)，存儲(chǔ)架構(gòu)在較長的時(shí)間內(nèi)能夠保持相對(duì)穩(wěn)定。結(jié)合先進(jìn)的云平臺(tái)技術(shù)架構(gòu)優(yōu)勢(shì)，根據(jù)本次項(xiàng)目建設(shè)的實(shí)際容量需求設(shè)計(jì)，同時(shí)充分考慮應(yīng)用發(fā)展需求，實(shí)現(xiàn)系統(tǒng)可彈性在線平滑升級(jí)。通過軟件實(shí)現(xiàn)在較廉價(jià)普通服務(wù)器上實(shí)現(xiàn)高度容錯(cuò)，同時(shí)能夠在較低冗余度的情況下實(shí)現(xiàn)高度可靠容錯(cuò)，大大節(jié)約和降低系統(tǒng)建設(shè)的硬件成本。1.3平臺(tái)系統(tǒng)意義基于云計(jì)算架構(gòu)的PM2.5云監(jiān)測(cè)平臺(tái)，超大規(guī)模部署廉價(jià)的PM2.5云監(jiān)測(cè)節(jié)點(diǎn)，配合城市現(xiàn)有的環(huán)境監(jiān)測(cè)站點(diǎn)，準(zhǔn)確、及時(shí)、全面地反映環(huán)境質(zhì)量現(xiàn)狀及發(fā)展趨勢(shì)，為環(huán)境管理、污染源控制、環(huán)境規(guī)劃等提供科學(xué)依據(jù)，并結(jié)合天氣狀況、城市交通、人口密度、工業(yè)產(chǎn)值等元素，進(jìn)行系統(tǒng)的研究，為保護(hù)環(huán)境，改善城市的大氣環(huán)境質(zhì)量改善起到技術(shù)支撐作用。具體可歸納為:超大規(guī)模部署PM2.5云監(jiān)測(cè)節(jié)點(diǎn)，改變傳統(tǒng)的空氣環(huán)境監(jiān)測(cè)模式，使環(huán)境監(jiān)測(cè)覆蓋更密集。PM2.5污染傳播過程實(shí)時(shí)演化與污染源追蹤。根據(jù)海量監(jiān)測(cè)數(shù)據(jù)進(jìn)行PM2.5污染傳播過程實(shí)時(shí)演化，追蹤尋找污染源，為實(shí)現(xiàn)監(jiān)督管理、控制污染提供依據(jù)。構(gòu)建云計(jì)算海量數(shù)據(jù)處理平臺(tái)，存儲(chǔ)本區(qū)域海量數(shù)據(jù)，積累長期監(jiān)測(cè)資料，為研究環(huán)境容量、實(shí)施總量控制、目標(biāo)管理、預(yù)測(cè)預(yù)報(bào)環(huán)境質(zhì)量提供數(shù)據(jù)?；谠破脚_(tái)的PM2.5污染預(yù)警系統(tǒng)，反映小區(qū)域內(nèi)的PM2.5的情況，可以快速反映污染，及時(shí)做好防護(hù)。為保護(hù)人類健康、保護(hù)環(huán)境、合理使用自然資源、制訂環(huán)境法規(guī)、標(biāo)準(zhǔn)、規(guī)劃等服務(wù)。2.PM2.5云監(jiān)測(cè)平臺(tái)總體設(shè)計(jì)2.1系統(tǒng)主要功能PM2.5云監(jiān)測(cè)平臺(tái)需要提供的主要功能描述如下。超大規(guī)模的PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的部署超大規(guī)模的PM2.5監(jiān)測(cè)節(jié)點(diǎn)的部署，保證了PM2.5監(jiān)測(cè)的大量的數(shù)據(jù)，能精確的獲取PM2.5的詳細(xì)信息。實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)主要負(fù)責(zé)全市所有PM2.5云監(jiān)測(cè)節(jié)點(diǎn)產(chǎn)生數(shù)據(jù)實(shí)時(shí)存到PM2.5云監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心。數(shù)據(jù)存儲(chǔ)系統(tǒng)原始PM2.5數(shù)據(jù)，將全部存儲(chǔ)在PM2.5云監(jiān)測(cè)平臺(tái)分布式文件系統(tǒng)，用于存儲(chǔ)海量的非結(jié)構(gòu)化數(shù)據(jù)。為了滿足和適應(yīng)數(shù)據(jù)量、數(shù)據(jù)特征和查詢處理的不同需求，部分存存儲(chǔ)于關(guān)系型數(shù)據(jù)庫中。實(shí)時(shí)預(yù)警系統(tǒng)對(duì)PM2.5標(biāo)準(zhǔn)指標(biāo)設(shè)置對(duì)應(yīng)的域閥值，超過該值超過一分鐘等就第一時(shí)通過郵件，App推送，或者短信等形式通知行政執(zhí)法人員，給管理部門迅速出動(dòng)，及時(shí)阻止破壞環(huán)境保護(hù)的行為。數(shù)據(jù)查詢分析應(yīng)用系統(tǒng)PM2.5數(shù)據(jù)查詢分析應(yīng)用提供包括實(shí)時(shí)監(jiān)控空氣PM2.5，查看歷史記錄和分析數(shù)據(jù)等功能。PM2.5歷史查詢處理時(shí)，由于PM2.5的超大規(guī)模的部署，造成數(shù)據(jù)量巨大，需要調(diào)度使用云計(jì)算技術(shù)管理多臺(tái)服務(wù)器節(jié)點(diǎn)進(jìn)行并行處理。數(shù)據(jù)下載系統(tǒng)在實(shí)際使用中，可能用戶會(huì)對(duì)某一時(shí)間段或者類型的數(shù)據(jù)特別關(guān)心，就可以通過數(shù)據(jù)管理系統(tǒng)查詢并導(dǎo)出這部分?jǐn)?shù)據(jù)以供使用。數(shù)據(jù)庫系統(tǒng)設(shè)計(jì)在云計(jì)算平臺(tái)中充分利用云計(jì)算系統(tǒng)與傳統(tǒng)數(shù)據(jù)庫結(jié)合方式建設(shè)，針對(duì)數(shù)據(jù)量比較小的用戶信息等基礎(chǔ)數(shù)據(jù)信息存放在傳統(tǒng)數(shù)據(jù)庫中，針對(duì)超大規(guī)模PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的實(shí)時(shí)量大，存放時(shí)間長，歷史數(shù)據(jù)量大的PM2.5監(jiān)控?cái)?shù)據(jù)放在云架構(gòu)數(shù)據(jù)庫數(shù)據(jù)立方中，基礎(chǔ)數(shù)據(jù)庫做為云計(jì)算數(shù)據(jù)庫的補(bǔ)充以及數(shù)據(jù)轉(zhuǎn)換的接口，前期歷史沉淀量大，服務(wù)器壓力大的PM2.5監(jiān)控?cái)?shù)據(jù)可以按照規(guī)則遷移到云計(jì)算數(shù)據(jù)庫中。2.2技術(shù)優(yōu)勢(shì)云計(jì)算架構(gòu)的PM2.5云監(jiān)測(cè)平臺(tái)技術(shù)優(yōu)勢(shì)：1.支持?jǐn)?shù)以萬計(jì)PM2.5云監(jiān)測(cè)節(jié)點(diǎn)同時(shí)上報(bào)數(shù)據(jù)能夠接受每天千億記錄級(jí)的海量數(shù)據(jù)。2.原始數(shù)據(jù)實(shí)時(shí)入庫、生成索引能夠?qū)α髁砍^10000條/秒的全量原始監(jiān)控?cái)?shù)據(jù)流進(jìn)行實(shí)時(shí)處理。3.數(shù)據(jù)管理規(guī)模達(dá)到十萬億記錄級(jí)別云計(jì)算架構(gòu)能夠存儲(chǔ)管理和處理十萬億記錄級(jí)別的數(shù)據(jù)量，完成各種復(fù)雜業(yè)務(wù)應(yīng)用計(jì)算和分析。4.秒級(jí)數(shù)據(jù)查詢響應(yīng)能力高效索引算法，智能化調(diào)度任務(wù)系統(tǒng)，滿足秒級(jí)查詢速度。5.實(shí)時(shí)業(yè)務(wù)處理與預(yù)警能力PM2.5云監(jiān)測(cè)平臺(tái)方案PM2.5云監(jiān)測(cè)平臺(tái)方案PM2.5云監(jiān)測(cè)平臺(tái)方案高效實(shí)時(shí)數(shù)據(jù)通道，對(duì)于系統(tǒng)中實(shí)時(shí)監(jiān)控、告警等實(shí)時(shí)業(yè)務(wù)，提供秒級(jí)響應(yīng)時(shí)間。2.3技術(shù)方案2.3.1平臺(tái)架構(gòu)通過超大規(guī)模部署PM2.5云監(jiān)測(cè)節(jié)點(diǎn)，針對(duì)PM2.5監(jiān)測(cè)建立PM2.5云監(jiān)測(cè)平臺(tái)。PM2.5云監(jiān)測(cè)節(jié)點(diǎn)檢測(cè)到PM2.5的相關(guān)信息，通過GPRS進(jìn)行無線數(shù)據(jù)傳輸，傳輸?shù)皆破脚_(tái)，在數(shù)據(jù)接受服務(wù)器上進(jìn)行數(shù)據(jù)接收、解析和預(yù)處理，將數(shù)據(jù)存入數(shù)據(jù)立方進(jìn)行云存儲(chǔ)和云計(jì)算，并且通過WEB服務(wù)器進(jìn)行數(shù)據(jù)的最后處理和公布，通過web頁面和移動(dòng)終端可以實(shí)時(shí)的查看所有PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的PM2.5的實(shí)時(shí)情況和歷史數(shù)據(jù)，以及PM2.5污染的演化過程。具體的系統(tǒng)總體架構(gòu)詳見下圖1。圖1PM2.5云監(jiān)測(cè)平臺(tái)總體架構(gòu)2.3.2技術(shù)路線詳細(xì)的技術(shù)線路圖詳見圖2。圖2PM2.5云監(jiān)測(cè)平臺(tái)技術(shù)線路圖3可超大規(guī)模部署的PM2.5云監(jiān)測(cè)節(jié)點(diǎn)設(shè)計(jì)3.1PM2.5云監(jiān)測(cè)節(jié)點(diǎn)系統(tǒng)架構(gòu)PM2.5云監(jiān)測(cè)節(jié)點(diǎn)是由設(shè)備箱、傳感器、主控板、電源和無線通信平臺(tái)組成。傳感器將采集到的電信號(hào)，通過線材傳輸給主控板，主控板進(jìn)行信號(hào)解析、算法分析和數(shù)據(jù)量化后，把數(shù)據(jù)通過無線通信方式(GPRS)傳輸?shù)皆破脚_(tái)。PM2.5云監(jiān)測(cè)節(jié)點(diǎn)可以大規(guī)模部署，每個(gè)節(jié)點(diǎn)均可以將采集到的數(shù)據(jù)傳輸?shù)皆破脚_(tái)進(jìn)行處理。具體的架構(gòu)詳見圖3。圖3PM2.5云監(jiān)控平臺(tái)架構(gòu)PM2.5云監(jiān)測(cè)節(jié)點(diǎn)從功能上來說，是由電源模塊、采集模塊和通信模塊組成，PM2.5云監(jiān)測(cè)節(jié)點(diǎn)內(nèi)部架構(gòu)具體詳見圖4。實(shí)際的PM2.5監(jiān)測(cè)節(jié)點(diǎn)詳見圖5。圖4PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的架構(gòu)圖5PM2.5云監(jiān)測(cè)節(jié)點(diǎn)實(shí)物圖3.2PM2.5云監(jiān)測(cè)節(jié)點(diǎn)傳感器3.2.1PM2.5采集方法雖然肉眼看不見空氣中的顆粒物，但是顆粒物卻能降低空氣的能見度，使藍(lán)天消失，天空變成灰蒙蒙的一片，這種天氣就是灰霾天。根據(jù)《2013年灰霾試點(diǎn)監(jiān)測(cè)報(bào)告》，在灰霾天，PM2.5的濃度明顯比平時(shí)高，PM2.5的濃度越高，能見度就越低。雖然空氣中不同大小的顆粒物均能降低能見度，不過相比于粗顆粒物，更為細(xì)小的PM2.5降低能見度的能力更強(qiáng)。能見度的降低其本質(zhì)上是可見光的傳播受到阻礙。當(dāng)顆粒物的直徑和可見光的波長接近的時(shí)候，顆粒對(duì)光的散射消光能力最強(qiáng)?？梢姽獾牟ㄩL在0.4-0.7微米之間，而粒徑在這個(gè)尺寸附近的顆粒物正是PM2.5的主要組成部分。理論計(jì)算的數(shù)據(jù)也清楚地表明這一點(diǎn)：粗顆粒的消光系數(shù)約為0.6平方米/克，而PM2.5的消光系數(shù)則要大得多，在1.25-10平方米/克之間，其中PM2.5的主要成分硫酸銨、硝酸銨和有機(jī)顆粒物的消光系數(shù)都在3左右，是粗顆粒的5倍。所以，PM2.5是灰霾天能見度降低的主要原因。目前國內(nèi)外環(huán)保部門監(jiān)測(cè)PM2.5普遍采用β射線吸收和微量振蕩天平等方法。除了以上兩種自動(dòng)測(cè)試方法外，還有利用光散射的原理測(cè)定顆粒物濃度的方法。該測(cè)定方法的原理是：空氣中的顆粒物濃度越高，對(duì)光的散射就越強(qiáng)。測(cè)定光的散射后，就可以算出顆粒物濃度。該測(cè)試方式測(cè)定速度快，自動(dòng)化程度高，操作簡單。本次設(shè)備使用的是紅外光散射法來進(jìn)行測(cè)試相關(guān)的數(shù)據(jù)。通過相關(guān)的探頭來進(jìn)行采集相關(guān)的數(shù)據(jù)。通過采集的通道利用紅外光散射來進(jìn)行獲取顆粒濃度。采集空氣的通道有固定的加熱源，通過加熱源來進(jìn)行空間的動(dòng)態(tài)的采集。將相關(guān)的顆粒濃度轉(zhuǎn)換成相關(guān)的數(shù)據(jù)通過無線通信進(jìn)行數(shù)據(jù)傳輸。3.2.2PM2.5傳感器PM2.5傳感器實(shí)物圖詳見圖6。圖6PM2.5傳感器傳感器規(guī)格尺寸：（長）59mm×（寬）45mm×（高）22mm；重量：24g；正常工作電壓：DC5V±10%（CN1:Pin1=GNDPin3=±5V）脈沖電壓30mV以下；正常工作電流：90mA；檢測(cè)粒子直徑：1μm以上；檢測(cè)范圍：30立方米；輸出方式：脈沖電壓周期30秒最高值4.5V最低值0.7V；啟動(dòng)時(shí)間：電源接通后約1分鐘（電阻溫度穩(wěn)定時(shí)間）；傳感器的特點(diǎn)PWM脈寬調(diào)制輸出；采用粒子計(jì)數(shù)原理；可靈敏檢測(cè)直徑1微米以上的粒子；內(nèi)置加熱器可實(shí)現(xiàn)自動(dòng)吸入空氣；小尺寸重量輕；易安裝使用。傳感器的原理傳感器的原理結(jié)構(gòu)圖詳見圖7.圖7傳感器的原理結(jié)構(gòu)圖模塊內(nèi)置一個(gè)加熱器，熱引起上升氣流使外部空氣流進(jìn)模塊內(nèi)部?？諝馔ㄟ^檢測(cè)通道，利用光的原理、通過光和透鏡以及處理模塊來進(jìn)行檢測(cè)。具體的檢測(cè)方法和通道如圖8所示。圖8傳感器的檢測(cè)另外，傳感器的透鏡需要視環(huán)境狀況隔一段時(shí)間進(jìn)行清潔，約6個(gè)月一次。清潔時(shí)用棉簽一頭醮清水輕擦，然后用另一頭擦干。不可以用酒精等有機(jī)溶劑擦拭透鏡。

3.3PM2.5云監(jiān)測(cè)節(jié)點(diǎn)主控板3.3.1主控板圖9PM2.5云監(jiān)測(cè)節(jié)點(diǎn)主控板PM2.5云監(jiān)測(cè)節(jié)點(diǎn)主控板主要是用來采集PM2.5傳感器的信號(hào)，進(jìn)行信號(hào)解析、算法分析和數(shù)據(jù)量化，將PM2.5的數(shù)據(jù)發(fā)送到云平臺(tái)上。PM2.5云監(jiān)測(cè)主控板詳見圖9。利用PWM波進(jìn)行對(duì)PM2.5采樣，計(jì)算；通過GPRS無線發(fā)送數(shù)據(jù)到云平臺(tái)；輸入電源是12V直流電源；使用溫度范圍：-25℃~~70℃；3.3.2計(jì)算部分通過傳感器的檢測(cè)顆粒，輸出相關(guān)的PWM波，低電平的波形width是10ms-90ms，利用這個(gè)PWM波形來進(jìn)行獲取相關(guān)的參數(shù)，詳見圖10。通過獲取低電平的占空比，從而通過圖11獲取到對(duì)應(yīng)的數(shù)值。圖10傳感器的采樣圖11傳感器采樣的曲線圖通過如下的計(jì)算，可以得到其中一個(gè)通道的采樣值。通道的LOWPluse的占空比設(shè)定為L，測(cè)試的采樣值為P。則：如果獲取到的L<0.08，則：P=0.1*L*100*10(ug/m3);如果獲取到的0.08=<L<0.15，則：P=(((L*100–8)/6.5+0.8))*10(ug/m3);通過相關(guān)的采樣，可以采樣得到傳感器的兩個(gè)通道的值，一個(gè)通道是1um以上的粒子的值P1，另外一個(gè)通道是可以進(jìn)行設(shè)置的，這里設(shè)置為可以檢測(cè)2.5以上的粒子的值P2。PM2.5是指大氣中直徑小于或等于2.5微米的顆粒物，也稱為可入肺顆粒物（暫無標(biāo)準(zhǔn)中文名）。所以在這里要計(jì)算最終的采樣值PL，需要進(jìn)行如下的計(jì)算：PL=P1-P2;這里就可以計(jì)算出大氣中直徑小于或等于2.5微米的顆粒物。3.3.3通信部分PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的通信主要是通過GPRS進(jìn)行數(shù)據(jù)的無線傳輸。具體的數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)示意圖詳見圖12。圖12GPRS數(shù)據(jù)傳輸PM2.5云監(jiān)測(cè)節(jié)點(diǎn)將才采集的數(shù)據(jù)通過TCP/IP協(xié)議的封包，利用GPRS通過移動(dòng)基站進(jìn)行無線傳輸，數(shù)據(jù)進(jìn)入Internet網(wǎng)絡(luò)后，在云平臺(tái)上把數(shù)據(jù)在服務(wù)器上提取出來，解析后將數(shù)據(jù)入庫，進(jìn)行數(shù)據(jù)的處理，最后通過WEB服務(wù)器或者APP等方式將數(shù)據(jù)展現(xiàn)出來。注意:每個(gè)PM2.5云監(jiān)測(cè)節(jié)點(diǎn)必須有運(yùn)營商的SIM卡進(jìn)行數(shù)據(jù)通信，該SIM卡需要有GPRS業(yè)務(wù)，同時(shí)使用的地點(diǎn)必須有運(yùn)營商的信號(hào)。例如使用中國移動(dòng)的SIM卡，該卡需要有GPRS的業(yè)務(wù)，同時(shí)放置PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的地點(diǎn)需要有中國移動(dòng)的信號(hào)才可以正常的通信。3.4PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的供電供電方式有兩種，一種是太陽能供電方式，一種是市電供電方式。示意圖詳見圖13。圖13PM2.5云監(jiān)測(cè)節(jié)點(diǎn)供電方式3.4.1太陽能供電太陽能供電方式是基于太陽能進(jìn)行可持續(xù)性的充電，從而避免了提供充電或者接入市電的情況。太陽能供電是利用太陽能儲(chǔ)能電池和太陽能電池通過太陽能控制器進(jìn)行有效的電源輸出方式進(jìn)行供電。太陽能儲(chǔ)能電池有蓄電、供電的功能，太陽能電池主要是用來吸收光源進(jìn)行產(chǎn)生電并且儲(chǔ)存在太陽能儲(chǔ)能電池內(nèi)。通過太陽能控制器，可以保護(hù)太陽能儲(chǔ)能電池。利用兩塊40W的太陽能電池和一個(gè)封裝在地埋箱內(nèi)的80Ah的太陽能儲(chǔ)能電池，可以在一定的環(huán)境中，可以滿足設(shè)備的供電要求。太陽能儲(chǔ)能電池的規(guī)格是12V電壓，80Ah的規(guī)格，在完全沒有太陽能的情況下，可以支持10*24h的無間斷供電。具體的實(shí)物詳見圖14。圖14太陽能供電方式3.4.2市電供電在PM2.5部署的主要的區(qū)域內(nèi)，可以利用市電直接接入PM2.5云監(jiān)測(cè)節(jié)點(diǎn)，通過220V交流電輸入供電。3.5PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的結(jié)構(gòu)和安裝部署3.5.1PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的結(jié)構(gòu)PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的設(shè)備箱體大小為300*400*150。具體詳見圖15。圖15PM2.5云監(jiān)測(cè)節(jié)點(diǎn)箱體結(jié)構(gòu)3.5.2PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的安裝部署在城市的不同區(qū)域部署PM2.5云監(jiān)測(cè)節(jié)點(diǎn)，并且有效使用PM2.5云監(jiān)測(cè)平臺(tái)，能夠比較全面地掌握城市不同區(qū)域，在不同時(shí)間段、不同氣候特點(diǎn)（包括氣溫、風(fēng)向、季節(jié)）下的PM2.5的實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)。目前環(huán)境監(jiān)測(cè)站的監(jiān)測(cè)設(shè)備一般部署在離地面高度20m-25m之間，而云創(chuàng)存儲(chǔ)的PM2.5環(huán)境監(jiān)測(cè)系統(tǒng)環(huán)境監(jiān)測(cè)設(shè)備根據(jù)實(shí)際的情況來進(jìn)行部署。設(shè)備小巧，部署方式靈活，可以部署在立桿上或者是墻壁上等公共設(shè)施上。詳細(xì)見圖16。 圖16PM2.5云監(jiān)測(cè)節(jié)點(diǎn)部署方式立柱安裝方式 PM2.5云監(jiān)測(cè)節(jié)點(diǎn)立柱安裝方式圖詳見圖17和圖18。PM2.5云監(jiān)測(cè)平臺(tái)方案PM2.5云監(jiān)測(cè)平臺(tái)方案PM2.5云監(jiān)測(cè)平臺(tái)方案圖17PM2.5立柱安裝方式正面圖太陽能電池板PM2.5設(shè)備箱蓄電池地埋箱圖18PM2.5立柱安裝方式背面圖M10固定螺栓太陽能板支架半圓型抱箍注：抱箍大小需根據(jù)安裝立柱的直徑調(diào)整。墻壁安裝方式 PM2.5云監(jiān)測(cè)節(jié)點(diǎn)墻壁安裝方式圖詳見圖19和圖20。圖19PM2.5墻壁安裝方式正面圖太陽能電池板掛壁板PM2.5設(shè)備箱蓄電池地埋箱圖20PM2.5立柱安裝方式側(cè)面圖太陽能板支架M10膨脹螺栓PM2.5云監(jiān)測(cè)平臺(tái)方案PM2.5云監(jiān)測(cè)平臺(tái)方案PM2.5云監(jiān)測(cè)平臺(tái)方案4PM2.5云監(jiān)測(cè)云平臺(tái)設(shè)計(jì)4.1PM2.5云監(jiān)測(cè)云平臺(tái)總體架構(gòu)PM2.5云監(jiān)測(cè)云平臺(tái)總體架構(gòu)詳見圖30。圖30系統(tǒng)總體物理架構(gòu)圖通過超大規(guī)模部署PM2.5云監(jiān)測(cè)節(jié)點(diǎn)，針對(duì)PM2.5監(jiān)測(cè)建立PM2.5云監(jiān)測(cè)平臺(tái)。PM2.5云監(jiān)測(cè)節(jié)點(diǎn)檢測(cè)到PM2.5的相關(guān)信息，通過GPRS進(jìn)行無線數(shù)據(jù)傳輸，傳輸?shù)皆破脚_(tái)，在數(shù)據(jù)接受服務(wù)器上進(jìn)行數(shù)據(jù)接收、解析和預(yù)處理，將數(shù)據(jù)存入數(shù)據(jù)立方進(jìn)行云存儲(chǔ)和云計(jì)算，并且通過WEB服務(wù)器進(jìn)行數(shù)據(jù)的最后處理和公布，通過web頁面和移動(dòng)終端可以實(shí)時(shí)的查看所有PM2.5云監(jiān)測(cè)節(jié)點(diǎn)的PM2.5的實(shí)時(shí)情況和歷史數(shù)據(jù)，以及PM2.5污染的演化過程，為客戶科學(xué)分析環(huán)境污染趨勢(shì)，為決策制和行政執(zhí)法人員最好環(huán)境保護(hù)的信息化技術(shù)支持工作。4.2PM2.5云監(jiān)測(cè)云平臺(tái)優(yōu)勢(shì)和特點(diǎn)優(yōu)異性能云存儲(chǔ)采用控制流與數(shù)據(jù)流分離的技術(shù)，數(shù)據(jù)的存儲(chǔ)或讀取實(shí)際上是與各個(gè)存儲(chǔ)節(jié)點(diǎn)上并行讀寫，這樣隨著存儲(chǔ)節(jié)點(diǎn)數(shù)目的增多，整個(gè)系統(tǒng)的吞吐量和IO性能將呈線性增長。同時(shí)，云存儲(chǔ)采用負(fù)載均衡技術(shù)，自動(dòng)均衡各服務(wù)器負(fù)載，使得各存儲(chǔ)節(jié)點(diǎn)的性能調(diào)節(jié)到最高，實(shí)現(xiàn)資源優(yōu)化配置。無限容量可以出來海量的環(huán)境監(jiān)測(cè)數(shù)據(jù)，可支撐的容量接近無限，經(jīng)推算，理論容量為1024×1024×1024PB(1G個(gè)PB容量)。在線伸縮云存儲(chǔ)資源管理系統(tǒng)擴(kuò)容非常方便，支持不停止服務(wù)的情況下，動(dòng)態(tài)加入新的存儲(chǔ)節(jié)點(diǎn)，無需任何操作，即實(shí)現(xiàn)擴(kuò)容；同時(shí)，無需人為干預(yù)，也可以摘下任意節(jié)點(diǎn)，系統(tǒng)自動(dòng)縮小規(guī)模而不丟失數(shù)據(jù)，存儲(chǔ)在此節(jié)點(diǎn)上的數(shù)據(jù)將會(huì)重新備份到其他節(jié)點(diǎn)上。通用易用云存儲(chǔ)系統(tǒng)提供專用的API接口，供開發(fā)人員調(diào)用。智能管理提供基于WEB的管理控制平臺(tái)，所有的管理工作均由數(shù)據(jù)立方一體機(jī)管理模塊自動(dòng)完成，使用人員無需任何專業(yè)知識(shí)便可以輕松管理整個(gè)系統(tǒng)。通過管理平臺(tái)，可以對(duì)數(shù)據(jù)立方中的所有節(jié)點(diǎn)實(shí)行實(shí)時(shí)監(jiān)控，用戶通過監(jiān)控界面可以清楚地了解到每一個(gè)節(jié)點(diǎn)的負(fù)載、存儲(chǔ)和運(yùn)行情況。4.3PM2.5云監(jiān)測(cè)云平臺(tái)組成架構(gòu)本系統(tǒng)主要有PM2.5監(jiān)測(cè)平臺(tái)，PM2.5預(yù)警系統(tǒng)，云存儲(chǔ)系統(tǒng)，PM2.5污染傳播過程實(shí)時(shí)演化和污染源追蹤，面向Jobkeeper分布式調(diào)度，分布式數(shù)據(jù)立方系統(tǒng)和PM2.5數(shù)據(jù)個(gè)性化服務(wù)等組成。在本次云建設(shè)中，分布式文件系統(tǒng)屬于基礎(chǔ)平臺(tái)支撐層，以用于數(shù)據(jù)集中存儲(chǔ)和共享，實(shí)現(xiàn)對(duì)數(shù)據(jù)的統(tǒng)一管理和高效應(yīng)用；分布式數(shù)據(jù)立方屬于分布式數(shù)據(jù)庫層，用于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的高性能訪問；分布式計(jì)算和Hive則基于云存儲(chǔ)進(jìn)行大規(guī)模的高性能的并發(fā)計(jì)算和數(shù)據(jù)的挖掘。下面具體說明各系統(tǒng)的基本組成和主要功能。4.3.1PM2.5監(jiān)測(cè)平臺(tái)PM2.5監(jiān)測(cè)及預(yù)警系統(tǒng)軟件平臺(tái)完全基于B/S結(jié)構(gòu)設(shè)計(jì)，為管理人員提供完善的操作平臺(tái)，同時(shí)，為其他普通人員定制基于B/S結(jié)構(gòu)的瀏覽模塊。系統(tǒng)通過權(quán)限訪問，提高系統(tǒng)運(yùn)行的安全性。系統(tǒng)可實(shí)時(shí)、準(zhǔn)確、高效地監(jiān)測(cè)PM2.5狀況，并對(duì)數(shù)據(jù)整編入庫、分析處理，形成結(jié)果，供決策人員使用。超大規(guī)模的部署PM2.5云監(jiān)測(cè)節(jié)點(diǎn)，通過GPRS等方式傳輸?shù)皆破脚_(tái)后到達(dá)PM2.5監(jiān)測(cè)平臺(tái)，數(shù)據(jù)直接通過云計(jì)算技術(shù)的監(jiān)測(cè)技術(shù)直接入庫，作為PM2.5數(shù)據(jù)直接存放起來，為以后環(huán)境質(zhì)量數(shù)據(jù)，以及后期環(huán)境質(zhì)量的趨勢(shì)分析做詳實(shí)準(zhǔn)確的數(shù)據(jù)基礎(chǔ)。主要包括PM2.5數(shù)據(jù)入庫模塊，PM2.5數(shù)據(jù)分析模塊，海量數(shù)據(jù)分析模塊，同時(shí)結(jié)合地理信息針對(duì)環(huán)境污染位置明確責(zé)任，建立績效考核機(jī)制最大范圍提高環(huán)境執(zhí)法人員的工作能動(dòng)性。4.3.2PM2.5預(yù)警平臺(tái)作為PM2.5監(jiān)測(cè)平臺(tái)的有效補(bǔ)充，PM2.5預(yù)警平臺(tái)承擔(dān)著更多實(shí)時(shí)執(zhí)法提供更多及時(shí)的有效的信息化支持。預(yù)警系統(tǒng)的運(yùn)行是根據(jù)PM2.5監(jiān)測(cè)數(shù)據(jù)及數(shù)據(jù)處理平臺(tái)形成的結(jié)果，當(dāng)數(shù)據(jù)達(dá)到設(shè)定報(bào)警值時(shí)，預(yù)警系統(tǒng)會(huì)自動(dòng)啟動(dòng)，決定預(yù)警級(jí)別及范圍。并根據(jù)系統(tǒng)設(shè)定，啟動(dòng)報(bào)警通過郵件，APP推送或者是短信等方式直接發(fā)送給相關(guān)人員。PM2.5預(yù)警平臺(tái)WEB頁面詳見圖31。該圖只能靜態(tài)展示相關(guān)的頁面，動(dòng)態(tài)的效果需要實(shí)時(shí)演示。圖31PM2.5預(yù)警平臺(tái)靜態(tài)圖4.4.3PM2.5污染傳播過程實(shí)時(shí)演化與污染源追蹤基于數(shù)據(jù)立方的云平臺(tái)，可以完全進(jìn)行海量歷史數(shù)據(jù)分析，從而可以根據(jù)實(shí)時(shí)的海量數(shù)據(jù)推演PM2.5污染傳播過程，進(jìn)行PM2.5污染過程演化。超大規(guī)模部署PM2.5云監(jiān)測(cè)節(jié)點(diǎn)，可以完全從大面積范圍和局部區(qū)域內(nèi)定位PM2.5污染源的擴(kuò)散點(diǎn)，進(jìn)行定位PM2.5污染源，從監(jiān)測(cè)污染、定位污染到找到污染原因并且治理污染。形成一整套的PM2.5監(jiān)測(cè)和治理方案。PM2.5污染傳播過程實(shí)時(shí)演化詳見圖32。圖32PM2.5污染傳播過程實(shí)時(shí)演化4.4.4PM2.5云監(jiān)測(cè)云平臺(tái)云存儲(chǔ)分布式文件系統(tǒng)被設(shè)計(jì)為將海量文件存儲(chǔ)在一個(gè)大集群的多臺(tái)計(jì)算機(jī)上。分布式文件系統(tǒng)將每一個(gè)文件以分塊序列的形式進(jìn)行存儲(chǔ)，一個(gè)文件的所有分塊除去最后一個(gè)分塊外都是等大小的。為了實(shí)現(xiàn)容錯(cuò)將文件分塊進(jìn)行自動(dòng)復(fù)制。文件分塊的塊大小和復(fù)制比例都是可以按照單個(gè)文件進(jìn)行配置的。分布式文件系統(tǒng)中的所有文件都是“只寫一次”并且嚴(yán)格限定在任何時(shí)候只有一個(gè)寫文件操作者。分布式文件系統(tǒng)是云計(jì)算框架的分布式并行文件系統(tǒng)，是分布式計(jì)算的存儲(chǔ)基石。負(fù)責(zé)數(shù)據(jù)分布式存儲(chǔ)及數(shù)據(jù)的管理，并能提供高吞吐量的數(shù)據(jù)訪問。分布式文件系統(tǒng)的基本特征如下：(l)對(duì)于整個(gè)集群有單一的命名空間。(2)文件會(huì)被分割成多個(gè)文件塊，每個(gè)文件塊被分配存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)上，而且根據(jù)配置會(huì)有復(fù)制的文件塊來保證數(shù)據(jù)安全性。(3)數(shù)據(jù)一致性。適合一次寫入多次讀取的模型，客戶端在成功創(chuàng)建文件之后，才能看到文件的存在。(4)云計(jì)算，包括分布式文件系統(tǒng)，非常適合在廉價(jià)機(jī)器上的分布式存儲(chǔ)和分布式處理。它是容錯(cuò)的、可伸縮的、非常易于擴(kuò)展。并且，以簡單性和適用性著稱的分布式計(jì)算是云計(jì)算不可缺少的重要組成部分。(5)分布式文件系統(tǒng)的默認(rèn)配置適合于大多數(shù)安裝的應(yīng)用。通常情況下，只有在一個(gè)非常大規(guī)模的集群上才需要修改默認(rèn)配置。(6)支持shell命令行風(fēng)格的分布式文件系統(tǒng)目錄交互。(7)分布式文件系統(tǒng)是用java編寫的，可廣泛運(yùn)行在多種軟硬件平臺(tái)上。(8)分布式文件系統(tǒng)經(jīng)常性地實(shí)現(xiàn)新的特性和改進(jìn)。(9)Namenode和DataNode都內(nèi)建了Web服務(wù)器，可以方便地查看集群的狀態(tài)。分布式文件系統(tǒng)的體系框架是Master/Slave結(jié)構(gòu)，一個(gè)典型的分布式文件系統(tǒng)通常由單個(gè)Namenode和多個(gè)DataNode組成。Namenode是一個(gè)中心服務(wù)器，負(fù)責(zé)文件系統(tǒng)的名字空間的操作，比如打開、關(guān)閉、重命名文件或目錄，它負(fù)責(zé)維護(hù)文件路徑到數(shù)據(jù)塊的映射，數(shù)據(jù)塊到DataNode的映射，以及監(jiān)控DataNode的心跳和維護(hù)數(shù)據(jù)塊副本的個(gè)數(shù)。集群中的DataNode一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)。分布式文件系統(tǒng)暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲(chǔ)數(shù)據(jù)。從內(nèi)部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲(chǔ)在一組DataNode上。DataNode負(fù)責(zé)處理文件系統(tǒng)客戶端的讀寫請(qǐng)求。在Namenode的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。所有對(duì)目錄樹的更新和文件名和數(shù)據(jù)塊關(guān)系的修改，都必須能夠持久化，文件在分布式文件系統(tǒng)中存儲(chǔ)圖如圖33。圖33圖33分布式文件系統(tǒng)結(jié)構(gòu)圖分布式文件系統(tǒng)涉及到Namenode、DataNode和客戶端們之間的交互。本質(zhì)上，客戶端與Namenode通訊是通過獲取或者修改文件的元數(shù)據(jù)，與DataNode進(jìn)行實(shí)際的I/O操作。如圖13所示，在分布式文件系統(tǒng)中有三個(gè)重要的角色：Namenode、DataNode和Client，其中Client就是需要獲取分布式文件系統(tǒng)文件的應(yīng)用程序。這里通過三個(gè)操作來說明他們之間的交互關(guān)系：(l)文件寫入。首先Client向Namenode發(fā)起文件寫入的請(qǐng)求，Namenode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。Client將文件劃分為多個(gè)Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。(2)文件讀取。Client向Namenode發(fā)起文件讀取的請(qǐng)求，Namenode返回文件存儲(chǔ)的DataNode的信息。Client根據(jù)返回的信息讀取DataNode上的文件信息。(3)文件Block復(fù)制。Namenode發(fā)現(xiàn)部分文件的Block不符合最小復(fù)制數(shù)或者部分DataNode失效，通知DataNode相互復(fù)制Block。DataNode收到通知后開始直接相互復(fù)制。圖34圖34Namenode、DataNode和client之間的交互4.4.4PM2.5云監(jiān)測(cè)云平臺(tái)Jobkeeper系統(tǒng)Jobkeeper的系統(tǒng)架構(gòu)如下圖35所示。圖35Jobkeeper的系統(tǒng)架構(gòu)虛擬化資源層：將機(jī)器進(jìn)行虛擬化，形成更大范圍的服務(wù)集群。存儲(chǔ)層：存儲(chǔ)數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元。數(shù)據(jù)處理層：獨(dú)立的數(shù)據(jù)處理程序，是對(duì)不同需求數(shù)據(jù)的統(tǒng)一處理方案，由JobKeeper調(diào)度平臺(tái)進(jìn)行統(tǒng)一的配置管理。業(yè)務(wù)層：對(duì)于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進(jìn)行規(guī)則化劃分，形成統(tǒng)一的處理化模式。應(yīng)用層：一組用于管理和結(jié)果反饋的顯示組件。是整個(gè)系統(tǒng)面向用戶和開發(fā)人員的基礎(chǔ)承載。JobKeeper的任務(wù)分發(fā)流程如下圖36所示。圖36JobKeeper任務(wù)分發(fā)流程圖當(dāng)用戶在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)調(diào)度機(jī)器采集機(jī)器節(jié)點(diǎn)的信息，根據(jù)具體的算法選取最優(yōu)節(jié)點(diǎn)并分發(fā)任務(wù)，接下來具體的處理節(jié)點(diǎn)接收到任務(wù)并處理同時(shí)將結(jié)果返回給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)整理匯總處理結(jié)果，而后返回給應(yīng)用層。服務(wù)器節(jié)點(diǎn)組：負(fù)責(zé)對(duì)處理節(jié)點(diǎn)的系統(tǒng)信息以及任務(wù)處理信息進(jìn)行實(shí)時(shí)的跟蹤和保存，對(duì)應(yīng)的信息鏡像存儲(chǔ)在基于cStor或者NFS服務(wù)的存儲(chǔ)系統(tǒng)上。處理節(jié)點(diǎn)組：通過RPC的遠(yuǎn)程調(diào)用獲取各自節(jié)點(diǎn)的任務(wù)處理目標(biāo)，并實(shí)時(shí)的和處理節(jié)點(diǎn)上的任務(wù)處理目標(biāo)進(jìn)行對(duì)比，控制程序的執(zhí)行和結(jié)束。處理節(jié)點(diǎn)組會(huì)在一個(gè)設(shè)定的心跳間隔內(nèi)主動(dòng)的和管理節(jié)點(diǎn)組聯(lián)系一次，報(bào)告節(jié)點(diǎn)存活狀態(tài)。4.4.5PM2.5云監(jiān)測(cè)云平臺(tái)分布式數(shù)據(jù)立方系統(tǒng)分布式數(shù)據(jù)立方，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用分布式數(shù)據(jù)立方技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。其目的是處理龐大的表，可以用普通的計(jì)算機(jī)處理10億行數(shù)據(jù)，并且有數(shù)百萬列元素組成的數(shù)據(jù)表這張表的索引是行關(guān)鍵字。分布式數(shù)據(jù)立方可以直接使用本地的文件系統(tǒng)和云計(jì)算作為數(shù)據(jù)存儲(chǔ)方式，不過為了提高數(shù)據(jù)的可靠性和系統(tǒng)的健壯性，發(fā)揮分布式數(shù)據(jù)立方處理大數(shù)據(jù)量等功能，需要使用云計(jì)算作為文件系統(tǒng)。1、數(shù)據(jù)模式分布式數(shù)據(jù)立方類似Bigtable的分布式數(shù)據(jù)庫，是一個(gè)稀疏的，長期存儲(chǔ)的，多維的，排序的映射表.這張表的索引是行關(guān)鍵字，列關(guān)鍵字和時(shí)間戳。每個(gè)值是一個(gè)不解釋的字符數(shù)組，數(shù)據(jù)都是字符串，沒類型。用戶在表格中存儲(chǔ)數(shù)據(jù)，每一行都是一個(gè)可排序的主鍵和任意多的列。由于是稀疏存儲(chǔ)的，所以同一張表里面的每一行數(shù)據(jù)都可以有截然不同的列。列名字的格式是"<family>:<lable>",都是由字符串組成，每一張表有一個(gè)family集合，這個(gè)集合是固定不變的，相當(dāng)于表的結(jié)構(gòu)，只能通過改變表的結(jié)構(gòu)來改變。但是lable值相對(duì)于每一行來說都是可以改變的。分布式數(shù)據(jù)立方把同一個(gè)family里面的數(shù)據(jù)存儲(chǔ)在同一個(gè)目錄底下，而分布式數(shù)據(jù)立方的寫操作時(shí)鎖行的，每一個(gè)都是一個(gè)原子元素都可以加鎖。所有數(shù)據(jù)庫的更新都是一個(gè)時(shí)間戳標(biāo)記，每個(gè)更新都是一個(gè)新的版本，而分布式數(shù)據(jù)立方會(huì)保留一定數(shù)量的版本，這個(gè)值是可以設(shè)定的。客戶端可以獲取距離某個(gè)時(shí)間最近的版本，或者一次獲取所有版本。2、概念視圖分布式數(shù)據(jù)立方以表的形式存儲(chǔ)數(shù)據(jù)。表有行和列組成。列劃分為若干個(gè)列族(rowfamily).RowKeyRowKeycolumn-family1column-family2column-family3column1column2column1column2column3column1key1t1:abct4:dfadst2:gdxdft3:hellot2:worldkey2t3:abct4:dfadst2:dfdsfat1:gdxdft3:hellot3:dfdfkey3t2:dfadfasdt2:dfxxdfasdt1:dfdasddsft1:1)RowKey與nosql數(shù)據(jù)庫們一樣,rowkey是用來檢索記錄的主鍵。訪問分布式數(shù)據(jù)立方table中的行，只有三種方式：A)通過單個(gè)rowkey訪問；B)通過rowkey的range；C)全表掃描Rowkey行鍵(Rowkey)可以是任意字符串(最大長度是64KB，實(shí)際應(yīng)用中長度一般為10-100bytes)，在分布式數(shù)據(jù)立方內(nèi)部，rowkey保存為字節(jié)數(shù)組。2)列族分布式數(shù)據(jù)立方表中的每個(gè)列，都?xì)w屬與某個(gè)列族。列族是表的chema的一部分(而列不是)，必須在使用表之前定義。列名都以列族作為前綴。例如courses:history，courses:math都屬于courses這個(gè)列族。3)時(shí)間戳分布式數(shù)據(jù)立方中通過row和columns確定的為一個(gè)存貯單元稱為cell。每個(gè)cell都保存著同一份數(shù)據(jù)的多個(gè)版本。版本通過時(shí)間戳來索引。時(shí)間戳的類型是64位整型。時(shí)間戳可以由分布式數(shù)據(jù)立方(在數(shù)據(jù)寫入時(shí)自動(dòng))賦值，此時(shí)時(shí)間戳是精確到毫秒的當(dāng)前系統(tǒng)時(shí)間。時(shí)間戳也可以由客戶顯式賦值。如果應(yīng)用程序要避免數(shù)據(jù)版本沖突，就必須自己生成具有唯一性的時(shí)間戳。每個(gè)cell中，不同版本的數(shù)據(jù)按照時(shí)間倒序排序，即最新的數(shù)據(jù)排在最前面。4)Cell由{rowkey,column(=<family>+<label>),version}唯一確定的單元。cell中的數(shù)據(jù)是沒有類型的，全部是字節(jié)碼形式存貯。3、物理存儲(chǔ)1)Table中的所有行都按照rowkey的字典序排列。詳見圖372)Table在行的方向上分割為多Hregion。詳見圖37圖37Table的示意圖3)region按大小分割的，每個(gè)表一開始只有一個(gè)region，隨著數(shù)據(jù)不斷插入表，region不斷增大，當(dāng)增大到一個(gè)閥值的時(shí)候，Hregion就會(huì)等分會(huì)兩個(gè)新的Hregion。當(dāng)table中的行不斷增多，就會(huì)有越來越多的Hregion。詳見圖38。圖38多個(gè)Table示意圖4)Hregion是分布式數(shù)據(jù)立方中分布式存儲(chǔ)和負(fù)載均衡的最小單元。最小單元就表示不同的Hregion可以分布在不同的HRegionserver上。但一個(gè)Hregion是不會(huì)拆分到多個(gè)server上的。圖39Hregion5)HRegion雖然是分布式存儲(chǔ)的最小單元，但并不是存儲(chǔ)的最小單元。事實(shí)上，HRegion由一個(gè)或者多個(gè)Store組成，每個(gè)store保存一個(gè)columnsfamily。每個(gè)Strore又由一個(gè)memStore和0至多個(gè)StoreFile組成。如圖40StoreFile以HFile格式保存在分布式文件系統(tǒng)上。圖40StoreFile以HFile格式保存在分布式文件系統(tǒng)上HFile的格式詳見圖41。圖41HFile的格式Trailer部分的格式詳見圖42。圖42Trailer部分的格式HFile分為六個(gè)部分：DataBlock段–保存表中的數(shù)據(jù)，這部分可以被壓縮MetaBlock段(可選的)–保存用戶自定義的kv對(duì)，可以被壓縮。FileInfo段–Hfile的元信息，不被壓縮，用戶也可以在這一部分添加自己的元信息。DataBlockIndex段–DataBlock的索引。每條索引的key是被索引的block的第一條記錄的key。MetaBlockIndex段(可選的)–MetaBlock的索引。Trailer–這一段是定長的。保存了每一段的偏移量，讀取一個(gè)HFile時(shí)，會(huì)首先讀取Trailer，Trailer保存了每個(gè)段的起始位置(段的MagicNumber用來做安全check)，然后，DataBlockIndex會(huì)被讀取到內(nèi)存中，這樣，當(dāng)檢索某個(gè)key時(shí)，不需要掃描整個(gè)HFile，而只需從內(nèi)存中找到key所在的block，通過一次磁盤io將整個(gè)block讀取到內(nèi)存中，再找到需要的key。DataBlockIndex采用LRU機(jī)制淘汰。HFile的DataBlock，MetaBlock通常采用壓縮方式存儲(chǔ)，壓縮之后可以大大減少網(wǎng)絡(luò)IO和磁盤IO，隨之而來的開銷當(dāng)然是需要花費(fèi)cpu進(jìn)行壓縮和解壓縮。目標(biāo)Hfile的壓縮支持兩種方式：Gzip，Lzo。HLog(WALlog)WAL意為Writeaheadlog，類似mysql中的binlog,用來做災(zāi)難恢復(fù)只用，Hlog記錄數(shù)據(jù)的所有變更,一旦數(shù)據(jù)修改，就可以從log中進(jìn)行恢復(fù)。每個(gè)RegionServer維護(hù)一個(gè)Hlog,而不是每個(gè)Region一個(gè)。這樣不同region(來自不同table)的日志會(huì)混在一起，這樣做的目的是不斷追加單個(gè)文件相對(duì)于同時(shí)寫多個(gè)文件而言，可以減少磁盤尋址次數(shù)，因此可以提高對(duì)table的寫性能。帶來的麻煩是，如果一臺(tái)regionserver下線，為了恢復(fù)其上的region，需要將regionserver上的log進(jìn)行拆分，然后分發(fā)到其它regionserver上進(jìn)行恢復(fù)。HLog文件就是一個(gè)普通的云計(jì)算SequenceFile，SequenceFil