昆山環(huán)保局空氣質量檢測平臺云計算平臺解決方案樣本

空氣質量監(jiān)測云計算平臺解決方案

修改記錄日期版本修改要點修改者注釋.05.061.0初始版本注：版本升級時，要注明因素，和重要更改內容。目錄目錄 3空氣質量前端方案 41．概述 41.1背景 41.2意義 42．設計 52.1系統(tǒng)架構 52.1.1總體架構 52.1.2布置方式 62.2傳感器 72.3計算 92.4采集某些 102.5通信某些 112.6電源某些 122.6.1鋰電池供電 122.6.2太陽能供電 133．特點 13空氣質量檢測平臺方案1．概述南京云創(chuàng)存儲空氣質量監(jiān)測方案，是基于云計算大氣質量監(jiān)測平臺，前端通過特性因子監(jiān)測設備和空氣質量兩套監(jiān)測設備可以監(jiān)測大氣污染中空氣質量,pm10，SO2,NO2等大氣中污染因子。通過海量數(shù)據(jù)科學數(shù)據(jù)分析對比得到重要反映局部區(qū)域有關參照值，從而和宏觀上反映都市整體空氣質量監(jiān)測站點監(jiān)測方式形成互補。1.1背景當前許多都市環(huán)境監(jiān)測中心站點較少，分布分散，環(huán)境監(jiān)測數(shù)據(jù)僅從宏觀上反映都市整體空氣質量，但是不能從微觀上反映局部區(qū)域、特定區(qū)域空氣質量好壞，這就需要建設更多環(huán)境監(jiān)測站點，提供更多實時環(huán)境監(jiān)測數(shù)據(jù)。國外一套空氣質量環(huán)境監(jiān)測儀器價格在10萬美金，國產價格在10萬人民幣，價格昂貴。建設更多環(huán)境監(jiān)測站點需要巨大資金投入，成本太高。而便宜空氣質量環(huán)境監(jiān)測系統(tǒng)價格大概在1萬人民幣，可以解決資金投入問題，同步滿足一定測量精度，和既有空氣環(huán)境自動監(jiān)測系統(tǒng)形成互補，為環(huán)保部門服務。當前350米如下均有顆粒污染物，污染限度比較嚴重，加之信息化工作處在低端水平，以及公眾對于空氣質量關注度不斷提高，使得空氣質量監(jiān)測重要性日益突出。便宜空氣質量環(huán)境監(jiān)測系統(tǒng)與當前老式監(jiān)測站點監(jiān)測方式形成互補，滿足公眾環(huán)境需求，提高政府形象。1.2意義布置空氣質量環(huán)境監(jiān)測系統(tǒng)，配合都市既有環(huán)境監(jiān)測站點，精確、及時、全面地反映環(huán)境質量現(xiàn)狀及發(fā)展趨勢，為環(huán)境管理、污染源控制、環(huán)境規(guī)劃等提供科學根據(jù)，并結合天氣狀況、都市交通、人口密度、工業(yè)產值等元素，進行系統(tǒng)研究，為保護環(huán)境，改進都市大氣環(huán)境質量改進起到技術支撐作用。詳細可歸納為：

(1)依照環(huán)境質量原則，評價環(huán)境質量。

(2)依照污染分布狀況，\o"追蹤"追蹤尋找污染源，為實現(xiàn)監(jiān)督管理、控制污染提供根據(jù)。

(3)構建云計算海量數(shù)據(jù)解決平臺，存儲本區(qū)域海量數(shù)據(jù)，積累長期監(jiān)測資料，為研究環(huán)境容量、實行總量控制、目的管理、預測預報環(huán)境質量提供數(shù)據(jù)。

(4)為保護人類健康、保護環(huán)境、合理使用自然資源、制定環(huán)境法規(guī)、原則、規(guī)劃等服務。1.3總體設計原則針對本次工程實際狀況,充分考慮環(huán)保局環(huán)境監(jiān)測云平臺系統(tǒng)建設建設發(fā)展需求，以實現(xiàn)系統(tǒng)統(tǒng)一管理、高效應用、平滑擴展為目的，以“先進、安全、成熟、開放、經濟”為總體設計原則。先進性原則在系統(tǒng)總體方案設計時采用業(yè)界先進方案和技術，以保證一定期間內不落后。選取實用性強產品，模塊化構造設計，既可滿足當前需要又可實現(xiàn)此后系統(tǒng)發(fā)展平滑擴展。安全性原則數(shù)據(jù)是業(yè)務系統(tǒng)核心應用最后保障，不但要保證整套系統(tǒng)可以7X24運營，并且存儲系統(tǒng)必要有高可用性，以保證應用系統(tǒng)對數(shù)據(jù)隨時存取。同步配備安全備份系統(tǒng)，相應用數(shù)據(jù)進行更加安全數(shù)據(jù)保護，減少人為操作失誤或病毒襲擊給系統(tǒng)導致數(shù)據(jù)丟失。在進行系統(tǒng)設計時，充分考慮數(shù)據(jù)高可靠存儲，采用高度可靠軟硬件容錯設計，進行有效安全訪問控制，實現(xiàn)故障屏蔽、自動冗余重建等智能化安全可靠辦法，提供統(tǒng)一系統(tǒng)管理和監(jiān)控平臺，進行有效故障定位、預警。成熟性原則為保證整個系統(tǒng)可以穩(wěn)定工作，軟件平臺將使用先進、完善、易于管理和穩(wěn)定可靠云存儲資源管理系統(tǒng)，對于與應用集成接口，提供統(tǒng)一通用穩(wěn)定訪問接口。開放性原則系統(tǒng)建設具備開放性原則體系，提供開放應用API編程接口，提供人性化應用和管理界面，以滿足顧客需求。遵循規(guī)范通用接口原則，使全系統(tǒng)中硬件、通信、軟件、操作平臺之間互聯(lián)共享。充分考慮系統(tǒng)升級和維護問題，維護采用在線式，即在系統(tǒng)不斷止工作狀況下，可以更換單元備件。系統(tǒng)維護和升級操作由系統(tǒng)管理員即可完畢。經濟性原則既有業(yè)務系統(tǒng)存儲數(shù)據(jù)量較大，且數(shù)據(jù)增長速度較快。因而在建設系統(tǒng)存儲架構時，應從長遠角度考慮，建設一種長期存儲架構，除了可以應對存儲硬件設備升級速度外，還必要考慮到對前期存儲設備投資保護，在保證不斷提供功能和性能提高同步，存儲架構在較長時間內可以保持相對穩(wěn)定。結合先進云平臺技術架構優(yōu)勢，依照本次項目建設實際容量需求設計，同步充分考慮應用發(fā)展需求，實現(xiàn)系統(tǒng)可彈性在線平滑升級。通過軟件實當前較便宜普通服務器上實現(xiàn)高度容錯，同步可以在較低冗余度狀況下實現(xiàn)高度可靠容錯，大大節(jié)約和減少系統(tǒng)建設硬件成本。1.4系統(tǒng)特點1、價格低廉，大規(guī)模布置空氣質量環(huán)境監(jiān)測設備只有國際通用幾分之一，即可滿足空氣質量監(jiān)測、數(shù)據(jù)傳播功能，無需國外昂貴監(jiān)測設備，和既有環(huán)境監(jiān)測點形成有利互補，對空氣質量數(shù)據(jù)發(fā)布有參照意義。 2、云計算海量數(shù)據(jù)解決技術 架構云計算海量數(shù)據(jù)解決平臺，采用先進云計算解決技術，對環(huán)境監(jiān)測數(shù)據(jù)入庫和關聯(lián)查詢迅速響應，支持自動容錯和動態(tài)擴展，具備實時性、高可靠性、可伸縮性、高性價比等特點。3.擴容性 空氣質量監(jiān)測前端設備可以依照需求進行增長設備，擴展整個系統(tǒng)覆蓋面積，但是不需要繼續(xù)復雜操作，可以動態(tài)增長空氣質量測試節(jié)點，并能自動組網，具備很強擴容性。4.實時性測定速度快，自動化限度高。測試辦法決定了測試實時性，采集時間實現(xiàn)秒級響應，且采集時間可以任意設定，采集數(shù)據(jù)實時入庫，可實時查詢。5.采集數(shù)據(jù)精確性采集數(shù)據(jù)通過精準校準，且敏捷度很高，和環(huán)保某些發(fā)布空氣質量數(shù)據(jù)及趨勢接近，數(shù)據(jù)真實有效。2．系統(tǒng)設計2.1總體架構前端設備采集到有關信息，通過GPRS進行無線數(shù)據(jù)傳播，在有公網IP服務器上進行數(shù)據(jù)接受和初步解決，然后數(shù)據(jù)存入數(shù)據(jù)立方進行存儲和計算，并且通過WEB服務器進行數(shù)據(jù)最后解決和發(fā)布，通過web頁面和移動終端可以實時查看pm25實時和歷史數(shù)據(jù)。詳細系統(tǒng)總體架構詳見下圖。圖1空氣質量云監(jiān)控平臺總體架構2.2系統(tǒng)重要功能空氣質量監(jiān)測云平臺需要提供重要功能描述如下。（1）實時數(shù)據(jù)入庫系統(tǒng)實時數(shù)據(jù)入庫系統(tǒng)重要負責全市所有空氣質量監(jiān)測點產生各類空氣因子數(shù)據(jù)實時存到空氣質量監(jiān)測平臺數(shù)據(jù)存儲中心。（2）空氣質量監(jiān)測平臺數(shù)據(jù)存儲系統(tǒng)原始空氣質量數(shù)據(jù)，將所有存儲在空氣質量監(jiān)測平臺分布式文獻系統(tǒng)，用于存儲海量非構造化數(shù)據(jù)。為了滿足和適應數(shù)據(jù)量、數(shù)據(jù)特性和查詢解決不同需求，某些存存儲于關系型數(shù)據(jù)庫中。（3）空氣質量監(jiān)測平臺數(shù)據(jù)查詢分析應用系統(tǒng)空氣質量數(shù)據(jù)查詢分析應用提供涉及實時監(jiān)控空氣質量空氣質量，查看歷史記錄和分析數(shù)據(jù)等功能?？諝赓|量歷史查詢解決時，由于空氣質量數(shù)據(jù)量巨大，需要調度使用多臺服務器節(jié)點進行并行解決。（4）數(shù)據(jù)管理系統(tǒng)在實際使用中，也許顧客會對某一時間段或者類型數(shù)據(jù)特別關懷，就可以通過數(shù)據(jù)管理系統(tǒng)查詢并導出這某些數(shù)據(jù)以供使用。2.3技術優(yōu)勢1.無線傳感網絡節(jié)點問間可進行長距離傳播，國內最多50m,Corssbow為150m.而咱們在節(jié)點間無阻擋時理論距離為30000m，有阻擋為500～1000m，具備極高性價比.2. 能耗低，國外同類產品發(fā)射電流消耗為20mA，咱們可達僅為0.5mA;3. 節(jié)點數(shù)多，囯外普通150個，咱們可以256個，還可擴充至1000個以上.4. 系統(tǒng)精度高，比同類產品高一種數(shù)量級；5. 安全系數(shù)高，由于咱們提供了數(shù)據(jù)完整性檢查和鑒權功能，加密算法采用了＂AES-128”,即具備高度保密性。6. 系統(tǒng)可靠性高，由于咱們采用了碰撞避免機制，同步為需要固定帶寬通訊業(yè)務與留了專業(yè)時隙，避免了發(fā)射數(shù)據(jù)時競爭和沖突，并且節(jié)點模塊之間具備自動動態(tài)組網功能，信息在整個網絡中通過自由路由方式進行傳播，從而保證了信息可靠性；7.系統(tǒng)時延短，咱們針對時延敏感運用做了優(yōu)化，通訊時延和從休眠狀態(tài)激活時延非常短。2.4技術方案1. 監(jiān)視和記錄傳感器測試數(shù)據(jù)系統(tǒng)記錄下所有不同傳感器測試數(shù)據(jù)并保存在系統(tǒng)服務器數(shù)據(jù)庫中。服務器自帶網站服務?？梢砸跃W頁形式提供監(jiān)視成果。2. 實時數(shù)據(jù)傳達和報警單個傳感器數(shù)據(jù)可用來設成觸發(fā)點來觸發(fā)手機短信發(fā)送，email發(fā)送。3. 隨插隨用傳感器和結點每一種在網絡中結點可以插入各種不同種類傳感器，只要傳感器接口是原則ESB(EnvironmentalSensorBus)，無需任何改動，插入即可使用。4. 網絡可擴張性只要加結點，網絡就擴張。結點間結網是自動。結點間距在2公里內，就可以互相通訊。5. 太陽能電池應用和電源每個結點上都可以加上太陽能電池，配合內置長壽可充電鎳氫電池。在無太陽能充電極端環(huán)境下，結點還能保持三個月以上正常工作周期。在環(huán)境容許下，每個結點另可外接電源。6. 系統(tǒng)軟件高可靠性和大規(guī)模高速解決能力海量傳感信號數(shù)據(jù)通過網絡送到數(shù)據(jù)服務器數(shù)據(jù)庫。解決系統(tǒng)，存儲分析系統(tǒng)及顯示服務系統(tǒng)軟件做相應工作以滿足顧客需求。3.前端采集設備3.1前端架構設計空氣質量前端設備重要是由電源模塊、采集模塊和通信模塊三大模塊構成，前端采集設備內部架構詳細詳見圖實際空氣質量監(jiān)測設備詳見圖2。圖2前端設備架構3.2重要模塊和功能3.2.1傳感器咱們將按其節(jié)點向所傳播距離，采用美國最新研制微解決器及采用Zigbee等技術做無線傳播，并將最新系統(tǒng)集成技術，應用軟件和網絡傳播，射頻技術和底層軟硬件控制技術相結和通過該特性因子傳感器可以監(jiān)測大氣中環(huán)境監(jiān)測特性因子：（1）硫化氫氣體傳感器檢測范疇 0—100ppm最大測量限 150ppm敏捷度 0.50±0.10uA/ppm使用溫度范疇 ﹣20℃～+50℃使用壓力范疇 原則大氣壓±10﹪響應時間（T90） ≤30S濕度范疇 15﹪—90﹪RH無凝結零點漂移（﹣20℃～+40℃） ≤0.2ppm （2）氨氣NH3傳感器原則工作條件10ppm-100ppmNH3加熱功耗不大于900毫瓦使用溫度-20℃-50℃儲存溫度-20℃-70℃RH相對濕度不大于95%RH原則工作條件溫度：20℃±2℃Vc:5V±0.1V相對濕度：65%±5%Vh：5V±0.1V（3）有機溶劑氣體傳感器適當于醇類、酮類、醛類、芳族化合物等有機溶劑探測。加熱功耗不大于900毫瓦使用溫度-20℃-50℃儲存溫度-20℃-70℃相對濕度不大于95%RH探測范疇：1ppm-100ppm苯10ppm-100ppm甲苯5ppm-100ppm甲醇30ppm-300ppm酒精10ppm-300ppm丙酮1ppm-10ppm甲醛注：此傳感器只測混和氣體濃度。不分別給出各組份含量。 （4）可燃氣體傳感器用于液化氣，天然氣，煤氣監(jiān)測。優(yōu)良抗乙醇，煙霧干擾能力。加熱功耗≤900mW使用溫度-10℃-50℃儲存溫度-20℃-70℃相對濕度不大于95%Rh探測范疇：300-5000ppm液化氣，天然氣，煤氣。原則工作溫度：20℃±2℃Vc:5.0V±0.1V原則工作相對濕度：65%±5%Vh：5.0V±0.1V注：此傳感器只測混和氣體濃度。不分別給出各組份含量。3.2.2前端數(shù)據(jù)轉換 通過傳感器檢測顆粒，輸出有關PWM波，低電平波形width是10ms-90ms，運用這個PWM波形來進行獲取有關參數(shù)，詳見圖8。通過獲取低電平占空比，從而通過圖9獲取到相應數(shù)值。圖8傳感器采樣圖9傳感器采樣曲線圖 通過如下計算，可以得到其中一種通道采樣值。 通道LOWPluse占空比設定為L，測試采樣值為P。則：如果獲取到L<0.08，則： P=0.1*L*100*10(ug/m3);如果獲取到0.08=<L<0.15，則： P=(((L*100–8)/6.5+0.8))*10(ug/m3); 通過有關采樣，可以采樣得到傳感器兩個通道值，一種通道是1um以上粒子值P1，此外一種通道是可以進行設立，這里設立為可以檢測2.5以上粒子值P2。 空氣質量是指大氣中直徑不大于或等于2.5微米顆粒物，也稱為可入肺顆粒物（暫無原則中文名）。因此在這里要計算最后采樣值PL，需要進行如下計算： PL=P1-P2; 這里就可以計算出大氣中直徑不大于或等于2.5微米顆粒物。3.2.3采集某些雖然肉眼看不見空氣中顆粒物，但是顆粒物卻能減少空氣能見度，使藍天消失，天空變成灰蒙蒙一片，這種天氣就是灰霾天。依照《灰霾試點監(jiān)測報告》，在灰霾天，空氣質量濃度明顯比平時高，空氣質量濃度越高，能見度就越低。雖然空氣中不同大小顆粒物均能減少能見度，但是相比于粗顆粒物，更為細小空氣質量減少能見度能力更強。能見度減少其本質上是可見光傳播受到阻礙。當顆粒物直徑和可見光波長接近時候，顆粒對光散射消光能力最強。可見光波長在0.4-0.7微米之間，而粒徑在這個尺寸附近顆粒物正是空氣質量重要構成某些。理論計算數(shù)據(jù)也清晰地表白這一點：粗顆粒消光系數(shù)約為0.6平方米/克，而空氣質量消光系數(shù)則要大得多，在1.25-10平方米/克之間，其中空氣質量重要成分硫酸銨、硝酸銨和有機顆粒物消光系數(shù)都在3左右，是粗顆粒5倍。因此，空氣質量是灰霾天能見度減少重要因素。當前國內外環(huán)保部門監(jiān)測空氣質量普遍采用濾膜稱重、β射線吸取和微量振蕩天平等辦法。除了以上三種測試辦法外，尚有運用光散射原理測定顆粒物濃度辦法。該測定辦法原理是：空氣中顆粒物濃度越高，對光散射就越強。測定光散射后，就可以算出顆粒物濃度。該測試方式測定速度快，自動化限度高，操作簡樸。本次設備使用是紅外光散射法來進行測試有關數(shù)據(jù)。通過有關探頭來進行采集有關數(shù)據(jù)。通過采集通道運用紅外光散射來進行獲取顆粒濃度。采集空氣通道有固定加熱源，通過加熱源來進行空間動態(tài)采集。將有關顆粒濃度轉換成有關數(shù)據(jù)通過無線通信進行數(shù)據(jù)傳播。3.2.4通信某些前端設備通信重要是通過GPRS進行數(shù)據(jù)無線傳播。詳細數(shù)據(jù)傳播網絡示意圖詳見圖10。圖10GPRS數(shù)據(jù)傳播數(shù)據(jù)在前端設備基于TCP/IP合同，通過GPRS數(shù)據(jù)傳播，通過移動網絡傳播數(shù)據(jù)，運用公網服務器接受數(shù)據(jù)，然后將數(shù)據(jù)入庫后，進行數(shù)據(jù)解決，最后通過WEB服務器將數(shù)據(jù)呈現(xiàn)出來。注意:每個前端設備有一種供應商SIM卡進行數(shù)據(jù)通信，該SIM卡需要有GPRS業(yè)務，同步使用地點必要有供應商信號。例如使用中華人民共和國移動SIM卡，該卡需要有GPRS業(yè)務，同步放置空氣質量測試前端地點需要有中華人民共和國移動信號才可以正常通信。3.2.5電源某些供電方式有兩種種，一種是鋰電池和市電互補供電方式，另一種是太陽能供電供電方式。太陽能供電太陽能供電方式是基于太陽能進行可持續(xù)性充電，從而避免了提供充電或者接入市電狀況。太陽能供電是運用蓄電池和太陽能互補方式進行供電，通過太陽能控制器來進行互補。在太陽能供電不能滿足供電需求時候，運用蓄電池進行供電。運用20W太陽能板，在一定環(huán)境中，可以滿足設備供電規(guī)定。蓄電池規(guī)格是12V電壓，20Ah規(guī)格，在完全沒有太陽能狀況下，可以支持3*24h無間斷供電。該供電方式同步提供電壓監(jiān)測功能。詳細實物詳見圖12。圖12太陽能供電方式前端設備實物圖鋰電池供電鋰電池供電方式是基于市電可以提供狀況下進行。如果布置空氣質量設備附近有市電，這樣可以以便進行充電。或者是市電和鋰電池進行互補方式進行供電。同步進行對電池進行電壓監(jiān)測，檢測供電電壓與否正常，電源供電與否正常。鋰電池是12V電壓，50Ah規(guī)格，可以在沒有充電或者沒有市電互補狀況下持續(xù)10*24h供電。詳細實物見圖11。圖11鋰電池供電方式前端設備實物圖3.3布置安裝方式在都市不同區(qū)域布局并有效使用空氣質量監(jiān)測系統(tǒng)，從而可以比較全面地掌握都市不同區(qū)域，在不同步間段、不同氣候特點（涉及氣溫、風向、季節(jié)）下空氣質量實時監(jiān)測數(shù)據(jù)?？諝赓|量環(huán)境監(jiān)測系統(tǒng)環(huán)境數(shù)據(jù)采集設備采用先進傳感器、低功耗單片機技術和網絡通訊技術相結合，可提供以便數(shù)據(jù)查詢方式，直接通過瀏覽器可以直接訪問測試數(shù)據(jù)。當前環(huán)境監(jiān)測站監(jiān)測設備普通布置在離地面高度20m-25m之間，而云創(chuàng)存儲空氣質量環(huán)境監(jiān)測系統(tǒng)環(huán)境監(jiān)測設備依照實際狀況來進行布置。設備小巧，布置方式靈活，可以布置在電線桿等公共設施上。詳細見圖4。圖4布置在電線桿上前端設備4.后端云監(jiān)測平臺4.1項目需求針對本次環(huán)保局重要是監(jiān)測大氣中環(huán)境數(shù)據(jù)，要做到實時性強，數(shù)據(jù)量大，尚有總能做到海量歷史數(shù)據(jù)挖掘可擴展性，監(jiān)測數(shù)據(jù)重要存儲構造化數(shù)據(jù)。建設適合存儲容量數(shù)據(jù)平臺，吞吐量需求為滿足當前各種監(jiān)測終端實時上傳數(shù)據(jù)需要和應用整體吞吐帶寬和高并發(fā)需要，保證數(shù)據(jù)訪問流暢，系統(tǒng)需提供多顧客或應用高并發(fā)訪問、高吞吐帶寬設計，系統(tǒng)可以有效運用各機器物理資源，性能可通過規(guī)模增長實現(xiàn)平滑增長。擴展性需求將來依照空氣質量監(jiān)測平臺業(yè)務應用變化和發(fā)展，需要迅速實行系統(tǒng)資源升級，可以在業(yè)務服務不間斷狀態(tài)下平滑擴展，不會導致架構發(fā)生主線性變化，為不斷產生和變化業(yè)務需求提供持續(xù)支持，支持業(yè)務系統(tǒng)迅速整合和布置對核心系統(tǒng)基本架構特別規(guī)定。低成本需求規(guī)定系統(tǒng)可以以低硬件成本、低維護成本實現(xiàn)高可靠高性能應用規(guī)定，充分提高資源運用率，簡化管理，并能靈活、可持續(xù)擴展?？删S護性需求規(guī)定系統(tǒng)具備自適應管理能力，安裝、維護、升級簡易以便，提供統(tǒng)一易用WEB配備管理監(jiān)控平臺，實現(xiàn)智能化管理。接口需求規(guī)定可以提供通用原則sql和編程接口，以便顧客及應用系統(tǒng)訪問，減少與應用集成或開發(fā)工作量，實現(xiàn)系統(tǒng)迅速布置與集成。4.2系統(tǒng)總體設計系統(tǒng)平臺總體架構圖如下圖所示通過前端采集設備采集空氣特性參數(shù)可以將4.3系統(tǒng)優(yōu)勢和特點優(yōu)秀性能云存儲采用控制流與數(shù)據(jù)流分離技術，數(shù)據(jù)存儲或讀取事實上是與各個存儲節(jié)點上并行讀寫，這樣隨著存儲節(jié)點數(shù)目增多，整個系統(tǒng)吞吐量和IO性能將呈線性增長。同步，云存儲采用負載均衡技術，自動均衡各服務器負載，使得各存儲節(jié)點性能調節(jié)到最高，實現(xiàn)資源優(yōu)化配備。無限容量可以出來海量環(huán)境監(jiān)測數(shù)據(jù)，可支撐容量接近無限，經推算，理論容量為1024×1024×1024PB(1G個PB容量)。在線伸縮云存儲資源管理系統(tǒng)擴容非常以便，支持不斷止服務狀況下，動態(tài)加入新存儲節(jié)點，無需任何操作，即實現(xiàn)擴容；同步，無需人為干預，也可以摘下任意節(jié)點，系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù)，存儲在此節(jié)點上數(shù)據(jù)將會重新備份到其她節(jié)點上。通用易用云存儲系統(tǒng)提供專用API接口，供開發(fā)人員調用。智能管理提供基于WEB管理控制平臺，所有管理工作均由數(shù)據(jù)立方一體機管理模塊自動完畢，使用人員無需任何專業(yè)知識便可以輕松管理整個系統(tǒng)。通過管理平臺，可以對數(shù)據(jù)立方中所有節(jié)點實行實時監(jiān)控，顧客通過監(jiān)控界面可以清晰地理解到每一種節(jié)點負載、存儲和運營狀況。4.4系統(tǒng)構成架構在本次云建設中，分布式文獻系統(tǒng)屬于基本平臺支撐層，以用于數(shù)據(jù)集中存儲和共享，實現(xiàn)對數(shù)據(jù)統(tǒng)一管理和高效應用；分布式數(shù)據(jù)立方屬于分布式數(shù)據(jù)庫層，用于構造化和非構造化數(shù)據(jù)高性能訪問；分布式計算和Hive則基于云存儲進行大規(guī)模高性能并發(fā)計算和數(shù)據(jù)挖掘。下面詳細闡明各系統(tǒng)基本構成和重要功能。4.4.1存儲層基本構成分布式文獻系統(tǒng)分布式文獻系統(tǒng)被設計為將海量文獻存儲在一種大集群多臺計算機上。分布式文獻系統(tǒng)將每一種文獻以分塊序列形式進行存儲，一種文獻所有分塊除去最后一種分塊外都是等大小。為了實現(xiàn)容錯將文獻分塊進行自動復制。文獻分塊塊大小和復制比例都是可以按照單個文獻進行配備。分布式文獻系統(tǒng)中所有文獻都是“只寫一次”并且嚴格限定在任何時候只有一種寫文獻操作者。 分布式文獻系統(tǒng)是云計算框架分布式并行文獻系統(tǒng)，是分布式計算存儲基石。負責數(shù)據(jù)分布式存儲及數(shù)據(jù)管理，并能提供高吞吐量數(shù)據(jù)訪問。分布式文獻系統(tǒng)基本特性如下：(l)對于整個集群有單一命名空間。(2)文獻會被分割成各種文獻塊，每個文獻塊被分派存儲到數(shù)據(jù)節(jié)點上，并且依照配備會有復制文獻塊來保證數(shù)據(jù)安全性。(3)數(shù)據(jù)一致性。適合一次寫入多次讀取模型，客戶端在成功創(chuàng)立文獻之后，才干看到文獻存在。(4)云計算，涉及分布式文獻系統(tǒng)，非常適合在便宜機器上分布式存儲和分布式解決。它是容錯、可伸縮、非常易于擴展。并且，以簡樸性和合用性著稱分布式計算是云計算不可缺少重要構成某些。(5)分布式文獻系統(tǒng)默認配備適合于大多數(shù)安裝應用。普通狀況下，只有在一種非常大規(guī)模集群上才需要修改默認配備。(6)支持shell命令行風格分布式文獻系統(tǒng)目錄交互。(7)分布式文獻系統(tǒng)是用java編寫，可廣泛運營在各種軟硬件平臺上。(8)分布式文獻系統(tǒng)經常性地實現(xiàn)新特性和改進。(9)Namenode和DataNode都內建了Web服務器，可以以便地查看集群狀態(tài)。分布式文獻系統(tǒng)體系框架是Master/Slave構造，一種典型分布式文獻系統(tǒng)普通由單個Namenode和各種DataNode構成。Namenode是一種中心服務器，負責文獻系統(tǒng)名字空間操作，例如打開、關閉、重命名文獻或目錄，它負責維護文獻途徑到數(shù)據(jù)塊映射，數(shù)據(jù)塊到DataNode映射，以及監(jiān)控DataNode心跳和維護數(shù)據(jù)塊副本個數(shù)。集群中DataNode普通是一種節(jié)點一種，負責管理它所在節(jié)點上存儲。分布式文獻系統(tǒng)暴露了文獻系統(tǒng)名字空間，顧客可以以文獻形式在上面存儲數(shù)據(jù)。從內部看，一種文獻其實被提成一種或各種數(shù)據(jù)塊，這些塊存儲在一組DataNode上。DataNode負責解決文獻系統(tǒng)客戶端讀寫祈求。在Namenode統(tǒng)一調度下進行數(shù)據(jù)塊創(chuàng)立、刪除和復制。所有對目錄樹更新和文獻名和數(shù)據(jù)塊關系修改，都必要可以持久化，文獻在分布式文獻系統(tǒng)中存儲圖如圖： 分布式文獻系統(tǒng)構造分布式文獻系統(tǒng)涉及到Namenode、DataNode和客戶端們之間交互。本質上，客戶端與Namenode通訊是通過獲取或者修改文獻元數(shù)據(jù)，與DataNode進行實際I/O操作。如圖13所示，在分布式文獻系統(tǒng)中有三個重要角色：Namenode、DataNode和Client，其中Client就是需要獲取分布式文獻系統(tǒng)文獻應用程序。這里通過三個操作來闡明她們之間交互關系：(l)文獻寫入。一方面Client向Namenode發(fā)起文獻寫入祈求，Namenode依照文獻大小和文獻塊配備狀況，返回給Client它所管理某些DataNode信息。Client將文獻劃分為各種Block，依照DataNode地址信息，按順序寫入到每一種DataNode塊中。(2)文獻讀取。Client向Namenode發(fā)起文獻讀取祈求，Namenode返回文獻存儲DataNode信息。Client依照返回信息讀取DataNode上文獻信息。(3)文獻Block復制。Namenode發(fā)現(xiàn)某些文獻Block不符合最小復制數(shù)或者某些DataNode失效，告知DataNode互相復制Block。DataNode收到告知后開始直接互相復制。

分布式文獻系統(tǒng)Namenode、DataNode和客戶端們之間交互4.4.2Jobkeeper系統(tǒng)基本構成Jobkeeper系統(tǒng)架構如下圖所示：上圖中對Jobkeeper進行了分層，對每層進行詳細闡述虛擬化資源層：將機器進行虛擬化，形成更大范疇服務集群。存儲層：存儲數(shù)據(jù)解決成果集或其她中間成果集單元。數(shù)據(jù)解決層：獨立數(shù)據(jù)解決程序，是對不同需求數(shù)據(jù)統(tǒng)一解決方案，由JobKeeper調度平臺進行統(tǒng)一配備管理。業(yè)務層：對于應用層有關功能業(yè)務化，數(shù)字化解決，用于將應用層需求任務進行規(guī)則化劃分，形成統(tǒng)一解決化模式。應用層：一組用于管理和成果反饋顯示組件。是整個系統(tǒng)面向顧客和開發(fā)人員基本承載。JobKeeper任務分發(fā)流程如下圖所示：JobKeeper任務分發(fā)流程圖當顧客在應用層下發(fā)任務給管理節(jié)點，管理節(jié)點調度機器采集機器節(jié)點信息，依照詳細算法選用最優(yōu)節(jié)點并分發(fā)任務，接下來詳細解決節(jié)點接受到任務并解決同步將成果返回給管理節(jié)點，管理節(jié)點整頓匯總解決成果，而后返回給應用層。服務器節(jié)點組：負責對解決節(jié)點系統(tǒng)信息以及任務解決信息進行實時跟蹤和保存，相應信息鏡像存儲在基于cStor或者NFS服務存儲系統(tǒng)上。解決節(jié)點組：通過RPC遠程調用獲取各自節(jié)點任務解決目的，并實時和解決節(jié)點上任務解決目的進行對比，控制程序執(zhí)行和結束。解決節(jié)點組會在一種設定心跳間隔內積極和管理節(jié)點組聯(lián)系一次，報告節(jié)點存活狀態(tài)。4.4.3分布式數(shù)據(jù)立方系統(tǒng)基本構成分布式數(shù)據(jù)立方，是一種高可靠性、高性能、面向列、可伸縮分布式存儲系統(tǒng)，運用分布式數(shù)據(jù)立方技術可在便宜PCServer上搭建起大規(guī)模構造化存儲集群。其目是解決龐大表，可以用普通計算機解決10億行數(shù)據(jù)，并且有數(shù)百萬列元素構成數(shù)據(jù)表這張表索引是行核心字。分布式數(shù)據(jù)立方可以直接使用本地文獻系統(tǒng)和云計算作為數(shù)據(jù)存儲方式，但是為了提高數(shù)據(jù)可靠性和系統(tǒng)健壯性，發(fā)揮分布式數(shù)據(jù)立方解決大數(shù)據(jù)量等功能，需要使用云計算作為文獻系統(tǒng)。1、數(shù)據(jù)模式分布式數(shù)據(jù)立方類似Bigtable分布式數(shù)據(jù)庫，是一種稀疏，長期存儲，多維，排序映射表.這張表索引是行核心字，列核心字和時間戳。每個值是一種不解釋字符數(shù)組，數(shù)據(jù)都是字符串，沒類型。顧客在表格中存儲數(shù)據(jù)，每一行都是一種可排序主鍵和任意多列。由于是稀疏存儲，因此同一張表里面每一行數(shù)據(jù)都可以有截然不同列。列名字格式是"<family>:<lable>",都是由字符串構成，每一張表有一種family集合，這個集合是固定不變，相稱于表構造，只能通過變化表構造來變化。但是lable值相對于每一行來說都是可以變化。分布式數(shù)據(jù)立方把同一種family里面數(shù)據(jù)存儲在同一種目錄底下，而分布式數(shù)據(jù)立方寫操作時鎖行，每一種都是一種原子元素都可以加鎖。所有數(shù)據(jù)庫更新都是一種時間戳標記，每個更新都是一種新版本，而分布式數(shù)據(jù)立方會保存一定數(shù)量版本，這個值是可以設定?？蛻舳丝梢垣@取距離某個時間近來版本，或者一次獲取所有版本。2、概念視圖分布式數(shù)據(jù)立方以表形式存儲數(shù)據(jù)。表有行和列構成。列劃分為若干個列族(rowfamily)RowKeycolumn-family1column-family2column-family3column1column2column1column2column3column1key1t1:abct4:dfadst2:gdxdft3:hellot2:worldkey2t3:abct4:dfadst2:dfdsfat1:gdxdft3:hellot3:dfdfkey3t2:dfadfasdt2:dfxxdfasdt1:dfdasddsft1:RowKey與nosql數(shù)據(jù)庫們同樣,rowkey是用來檢索記錄主鍵。訪問分布式數(shù)據(jù)立方table中行，只有三種方式：1通過單個rowkey訪問2通過rowkeyrange3全表掃描Rowkey行鍵(Rowkey)可以是任意字符串(最大長度是64KB，實際應用中長度普通為10-100bytes)，在分布式數(shù)據(jù)立方內部，rowkey保存為字節(jié)數(shù)組。列族分布式數(shù)據(jù)立方表中每個列，都歸屬與某個列族。列族是表chema一某些(而列不是)，必要在使用表之前定義。列名都以列族作為前綴。例如courses:history，courses:math都屬于courses這個列族。時間戳分布式數(shù)據(jù)立方中通過row和columns擬定為一種存貯單元稱為cell。每個cell都保存著同一份數(shù)據(jù)各種版本。版本通過時間戳來索引。時間戳類型是64位整型。時間戳可以由分布式數(shù)據(jù)立方(在數(shù)據(jù)寫入時自動)賦值，此時時間戳是精準到毫秒當前系統(tǒng)時間。時間戳也可以由客戶顯式賦值。如果應用程序要避免數(shù)據(jù)版本沖突，就必要自己生成具備唯一性時間戳。每個cell中，不同版本數(shù)據(jù)按照時間倒序排序，即最新數(shù)據(jù)排在最前面。Cell由{rowkey，column(=<family>+<label>)，version}唯一擬定單元。cell中數(shù)據(jù)是沒有類型，所有是字節(jié)碼形式存貯。3、物理存儲1Table中所有行都按照rowkey字典序排列。2Table在行方向上分割為各種Hregion。3region按大小分割，每個表一開始只有一種region，隨著數(shù)據(jù)不斷插入表，region不斷增大，當增大到一種閥值時候，Hregion就會等分會兩個新Hregion。當table中行不斷增多，就會有越來越多Hregion。4Hregion是分布式數(shù)據(jù)立方中分布式存儲和負載均衡最小單元。最小單元就表達不同Hregion可以分布在不同HRegionserver上。但一種Hregion是不會拆分到各種server上。5HRegion雖然是分布式存儲最小單元，但并不是存儲最小單元。事實上，HRegion由一種或者各種Store構成，每個store保存一種columnsfamily。每個Strore又由一種memStore和0至各種StoreFile構成。如圖：StoreFile以HFile格式保存在分布式文獻系統(tǒng)上。HFile格式為：Trailer某些格式:HFile分為六個某些：DataBlock段–保存表中數(shù)據(jù)，這某些可以被壓縮MetaBlock段(可選)–保存顧客自定義kv對，可以被壓縮。FileInfo段–Hfile元信息，不被壓縮，顧客也可以在這一某些添加自己元信息。DataBlockIndex段–DataBlock索引。每條索引key是被索引block第一條記錄key。MetaBlockIndex段(可選)–MetaBlock索引。Trailer–這一段是定長。保存了每一段偏移量，讀取一種HFile時，會一方面讀取Trailer，Trailer保存了每個段起始位置(段MagicNumber用來做安全check)，然后，DataBlockIndex會被讀取到內存中，這樣，當檢索某個key時，不需要掃描整個HFile，而只需從內存中找到key所在block，通過一次磁盤io將整個block讀取到內存中，再找到需要key。DataBlockIndex采用LRU機制裁減。HFileDataBlock，MetaBlock普通采用壓縮方式存儲，壓縮之后可以大大減少網絡IO和磁盤IO，隨之而來開銷固然是需要耗費cpu進行壓縮和解壓縮。目的Hfile壓縮支持兩種方式：Gzip，Lzo。HLog(WALlog)WAL意為Writeaheadlog()，類似mysql中binlog,用來做劫難恢復只用，Hlog記錄數(shù)據(jù)所有變更,一旦數(shù)據(jù)修改，就可以從log中進行恢復。每個RegionServer維護一種Hlog,而不是每個Region一種。這樣不同region(來自不同table)日記會混在一起，這樣做目是不斷追加單個文獻相對于同步寫各種文獻而言，可以減少磁盤尋址次數(shù)，因而可以提高對table寫性能。帶來麻煩是，如果一臺regionserver下線，為了恢復其上region，需要將regionserver上log進行拆分，然后分發(fā)到其他regionserver上進行恢復。HLog文獻就是一種普通云計算SequenceFile，SequenceFileKey是HLogKey對象，HLogKey中記錄了寫入數(shù)據(jù)歸屬信息，除了table和region名字外，同步還涉及sequencenumber和timestamp，timestamp是”寫入時間”，sequencenumber起始值為0，或者是近來一次存入文獻系統(tǒng)中sequencenumber。HLogSequeceFileValue是分布式數(shù)據(jù)立方KeyValue對象，即相應HFile中KeyValue，可參見上文描述。Client1包括訪問分布式數(shù)據(jù)立方接口，client維護著某些cache來加快對分布式數(shù)據(jù)立方訪問，例如regione位置信息。Zookeeper1保證任何時候，集群中只有一種master2存貯所有Region尋址入口3實時監(jiān)控RegionServer狀態(tài)，將Regionserver上線和下線信息實時告知給Master4存儲分布式數(shù)據(jù)立方schema,涉及有哪些table，每個table有哪些columnfamilyMaster1為Regionserver分派region2負責regionserver負載均衡3發(fā)現(xiàn)失效regionserver并重新分派其上region4GFS上垃圾文獻回收5解決schema更新祈求RegionServerRegionserver維護Master分派給它region，解決對這些regionIO祈求Regionserver負責切分在運營過程中變得過大region4.5核心技術4.5.1空氣檢測設備數(shù)據(jù)高速入庫通過前端各種高性能空氣因子采集設備采集數(shù)據(jù)通過空氣質量監(jiān)測平臺將監(jiān)測數(shù)據(jù)入庫，查詢構架如圖：圖表SEQ圖表\*ARABIC6數(shù)據(jù)接入，查詢架構4.5.2負載均衡解決機單點失效容錯解決負載均衡機分布如圖：圖表SEQ圖表\*ARABIC21負載均衡機分布圖全量原始數(shù)據(jù)接入互換機，將數(shù)據(jù)發(fā)向指IP負載均衡機，負載均衡機向負載均衡Master節(jié)點祈求任務解決機，Master返回存任務解決機IP端口信息，負載均衡機依照任務解決機IP端口信息將數(shù)據(jù)發(fā)向任務解決機。單點容錯如圖：當某一臺負載均衡機宕機后：圖表SEQ圖表\*ARABIC22負載均衡機宕機預案第一步Master節(jié)點能過鏈接心跳得知宕機負載均衡機。第二步Master節(jié)點從所有均衡機中選出負載小負載均衡機，啟動虛擬IP及有關進程第三步啟動虛擬IP接受原始數(shù)據(jù)，進行負載均衡當Master節(jié)點宕機后：圖表SEQ圖表\*ARABIC23Master節(jié)點宕機預案第一步Master節(jié)點宕機，負載均衡節(jié)點及存儲計算節(jié)點能過鏈接心跳得知Master宕機第二步所有負載均衡節(jié)點，重選舉出Master節(jié)點，并告知存儲計算節(jié)點新Master節(jié)點 所有存儲計算節(jié)點，依照負載均衡IP列表，祈求新Master節(jié)點，后向新Master節(jié)點上報負載狀態(tài)。第三步新Master節(jié)點接管所有工作，對宕機Master節(jié)點容錯。4.5.3查詢解決機單點失效容錯解決圖表SEQ圖表\*ARABIC24查詢解決單點失效容錯解決第一步：任務解決機宕機，負載均衡機得知任務解決機宕機，緩存數(shù)據(jù).同步Master得知任務解決宕機后，將任務解決機信息刪除待分派列表。第二步：負載均衡機向Master祈求任務解決機，Master重新分派任務解決機給負載均衡機。第三步：負載均衡機將原始數(shù)據(jù)發(fā)向新任務解決機，進行查詢4.5.4計算與存儲集群負載均衡解決 負載均衡，就是要讓人們各盡其力齊心干活，發(fā)揮各自獨特優(yōu)勢，不能忙得忙死閑得閑死，影響戰(zhàn)斗力。并且，負載均衡也是一種復雜問題，什么是均衡，是一種很模糊概念。例如，在分布式文獻系統(tǒng)中，總共三百個數(shù)據(jù)塊，平均分派到十個數(shù)據(jù)服務器上，就算均衡了么？其實不一定，由于每一種數(shù)據(jù)塊需要若干個備份，各個備份分布應當充分考慮到機架位置，同一種機架服務器間通信速度更快，而分布在不同機架則更具備安全性，不會在一棵樹上吊死。在這里說負載均衡，是寬泛意義上均衡過程，重要涵蓋兩個階段事務，一種是在任務初始分派時候盡量合理分派，另一種是在事后時刻監(jiān)督及時調節(jié)。 分布式文獻系統(tǒng)中，ReplicationTargetChooser類，是負責實現(xiàn)為新分派數(shù)據(jù)塊尋找婆家?；旧蟻碚f，數(shù)據(jù)塊分派工作和備份數(shù)量、申請客戶端地址（也就是寫入者）、已注冊數(shù)據(jù)服務器位置，密切相關。其算法基本思路是只考量靜態(tài)位置信息，優(yōu)先照顧寫入者速度，讓多份備份分派到不同機架去。詳細算法，自行參見源碼。此外，分布式文獻系統(tǒng)Balancer類，是為了實現(xiàn)動態(tài)負載調節(jié)而存在。Balancer類派生于Tool類，這闡明，它是以一種獨立進程存在，可以獨立運營和配備。它運營有NamenodeProtocol和ClientProtocol兩個合同，與主控服務器進行通信，獲取各個數(shù)據(jù)服務器負載狀況，從而進行調節(jié)。重要調節(jié)其實就是一種操作，將一種數(shù)據(jù)塊從一種服務器搬遷到另一種服務器上。Balancer會向有關目的數(shù)據(jù)服務器發(fā)出一種 DataTransferProtocol.OP_REPLACE_BLOCK消息，接受到這個消息數(shù)據(jù)服務器，會將數(shù)據(jù)塊寫入本地，成功后，告知主控服務器，刪除早先那個數(shù)據(jù)服務器上同一塊數(shù)據(jù)塊。 分布式計算負載平衡用是公平調度算法，公平調度是一種多顧客賦予作業(yè)（job）資源方略，它目是讓所有作業(yè)隨著時間推移，都能獲取與權值相應共享資源。當單獨一種作業(yè)在運營時，它將使用整個集群。當有其他作業(yè)被提交上來時，系統(tǒng)會將任務（task）空閑計算槽（slot）賦給這些新作業(yè)，以使得每一種作業(yè)都大概獲取到與權值相應計算時間。這個特性讓短作業(yè)在合理時間內完畢同步又保證了長作業(yè)服務質量。公平調度器按資源池（pool）來組織作業(yè)，默認狀況下，每一種顧客擁有一種獨立資源池。在節(jié)點TaskTracker上設立有同步運營Map任務和Reduce任務個數(shù)上限，若未達到上限，則就產生了空閑計算槽，涉及Map和Reduce空閑計算槽。當集群上浮現(xiàn)空閑計算槽時，調度按兩步進行，一方面空閑計算槽在作業(yè)池之間分派，另一方面在作業(yè)池內作業(yè)間分派。最小份額和公平份額最小份額保證作業(yè)池總能獲取到足夠資源，由顧客設定。作業(yè)池公平份額計算是依照作業(yè)權值將集群資源總量劃分給各個運營作業(yè)池。在缺省狀況下，作業(yè)池權值設定是基于優(yōu)先級，即優(yōu)先級每升高一級，那么相應權值就增長一倍即所分派計算槽是次一級兩倍。例如：平臺上有甲乙兩個作業(yè)池，甲優(yōu)先級為high，乙低一級為normal，則甲被分派計算槽總數(shù)，則乙被分派計算槽總數(shù)。普通狀況下一種作業(yè)池最小份額不大于公平份額。池間公平分派算法描述如下： 1)若存在沒有達到最小份額作業(yè)池，則設c為池內已分派到計算槽，m為作業(yè)池最小份額，值為最小作業(yè)池將被優(yōu)先分派計算槽，2)若每個池都已得到最小份額，設w為計算槽權重，則值為最小作業(yè)池將被優(yōu)先分派計算槽。3)公平調度算法中為每個作業(yè)池維護著兩個變量，最小份額時限T和公平份額時限T，當作業(yè)池在T時間內沒達到最小份額或T時間內沒達