智慧園區(qū)大數(shù)據(jù)平臺(tái)建設(shè)設(shè)計(jì)方案

智慧園區(qū)大數(shù)據(jù)平臺(tái)建設(shè)設(shè)計(jì)方案總體平臺(tái)設(shè)計(jì)總體架構(gòu)智慧園區(qū)大數(shù)據(jù)平臺(tái)的核心是建立面向宏觀經(jīng)濟(jì)發(fā)展、社會(huì)公共服務(wù)的數(shù)據(jù)庫(kù)和數(shù)據(jù)服務(wù)?？傮w架構(gòu)由支撐體系（標(biāo)準(zhǔn)規(guī)范支撐體系、管理運(yùn)行維護(hù)支撐體系、安全支撐體系）、網(wǎng)絡(luò)系統(tǒng)、信息共享平臺(tái)軟硬件系統(tǒng)環(huán)境、數(shù)據(jù)庫(kù)體系（中心交換庫(kù)、基礎(chǔ)數(shù)據(jù)庫(kù)、主題庫(kù)、發(fā)布庫(kù)、宏觀經(jīng)濟(jì)數(shù)據(jù)庫(kù)管理系統(tǒng)、元數(shù)據(jù)庫(kù)系統(tǒng)）、應(yīng)用系統(tǒng)（數(shù)據(jù)交換處理系統(tǒng)、應(yīng)用支撐系統(tǒng)、數(shù)據(jù)綜合分析系統(tǒng)）組成。圖大數(shù)據(jù)平臺(tái)總體架構(gòu)圖信息共享平臺(tái)通過網(wǎng)絡(luò)收集統(tǒng)計(jì)系統(tǒng)和各共建部門的信息資源，并有效地將這些信息資源進(jìn)行分類整理，實(shí)現(xiàn)跨部門、跨行業(yè)的宏觀經(jīng)濟(jì)管理信息共享，并向用戶提供數(shù)據(jù)服務(wù)；數(shù)據(jù)庫(kù)體系：由元數(shù)據(jù)控制，實(shí)現(xiàn)數(shù)據(jù)的交換、存儲(chǔ)和發(fā)布，整合共建單位現(xiàn)有信息資源，構(gòu)建主題庫(kù)和發(fā)布庫(kù)，為數(shù)據(jù)服務(wù)提供支持。體系結(jié)構(gòu)圖智慧園區(qū)公共基礎(chǔ)數(shù)據(jù)庫(kù)信息共享平臺(tái)劃分為工作（生產(chǎn)）區(qū)、發(fā)布（共享）區(qū)和互聯(lián)網(wǎng)信息發(fā)布區(qū)。在工作（生產(chǎn)）區(qū)構(gòu)建宏觀經(jīng)濟(jì)數(shù)據(jù)的采集、整合、處理和存儲(chǔ)系統(tǒng)；在發(fā)布（共享）區(qū)構(gòu)建宏觀經(jīng)濟(jì)數(shù)據(jù)的發(fā)布與共享、存儲(chǔ)與備份和專網(wǎng)門戶系統(tǒng)等環(huán)境支撐系統(tǒng)；在互聯(lián)網(wǎng)信息發(fā)布區(qū)構(gòu)建互聯(lián)網(wǎng)門戶系統(tǒng)，為社會(huì)公眾提供宏觀經(jīng)濟(jì)信息服務(wù)。如下圖表所示：圖園區(qū)大數(shù)據(jù)平臺(tái)體系結(jié)構(gòu)圖總體流程圖智慧園區(qū)大數(shù)據(jù)平臺(tái)采用在線填報(bào)、數(shù)據(jù)庫(kù)對(duì)接和基于消息的數(shù)據(jù)交換三種采集方式，集中采集、整合、存儲(chǔ)各共建部門指標(biāo)數(shù)據(jù)。中心交換數(shù)據(jù)庫(kù)存儲(chǔ)各共建部門交換來的原貌數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)庫(kù)是對(duì)原貌數(shù)據(jù)進(jìn)行審核轉(zhuǎn)換和加工而成，是主題數(shù)據(jù)庫(kù)和發(fā)布庫(kù)構(gòu)成的基礎(chǔ)。元數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)的采集交換、整合、存儲(chǔ)、分析和發(fā)布全過程進(jìn)行定義和約束。專網(wǎng)和互聯(lián)網(wǎng)的用戶可通過門戶系統(tǒng)，分別對(duì)發(fā)布（共享）區(qū)和互聯(lián)網(wǎng)信息發(fā)布區(qū)的數(shù)據(jù)進(jìn)行訪問。智慧園區(qū)大數(shù)據(jù)平臺(tái)總體流程圖如下：圖園區(qū)大數(shù)據(jù)平臺(tái)總體流程圖人口基礎(chǔ)數(shù)據(jù)庫(kù)設(shè)計(jì)在沒有數(shù)據(jù)標(biāo)準(zhǔn)的情況下，人口基礎(chǔ)數(shù)據(jù)庫(kù)數(shù)據(jù)中心對(duì)同一個(gè)數(shù)據(jù)字段可以從多個(gè)數(shù)據(jù)來源采集數(shù)據(jù)。如：婚姻狀態(tài)字段可以從計(jì)生部門和公安部門采集。對(duì)于同一個(gè)數(shù)據(jù)字段，中心對(duì)于該數(shù)據(jù)字段保存多個(gè)來源的版本。人口基礎(chǔ)數(shù)據(jù)管理系統(tǒng)提供工具、服務(wù)來展現(xiàn)數(shù)據(jù)的不一致性，數(shù)據(jù)管理員根據(jù)工作制度，對(duì)數(shù)據(jù)字段進(jìn)行電話等多種手段核實(shí)字段的真實(shí)數(shù)值。中心通過數(shù)據(jù)交換系統(tǒng)以數(shù)據(jù)服務(wù)的方式從各業(yè)務(wù)部門采集數(shù)據(jù)，保存到公共數(shù)據(jù)緩存庫(kù)，使用人口基礎(chǔ)數(shù)據(jù)管理維護(hù)系統(tǒng)進(jìn)行數(shù)據(jù)比對(duì)、沖突檢查、數(shù)據(jù)審核、數(shù)據(jù)轉(zhuǎn)換。當(dāng)數(shù)據(jù)達(dá)到一致性、完整性要求時(shí)，數(shù)據(jù)將由公共數(shù)據(jù)緩存庫(kù)轉(zhuǎn)存到人口基礎(chǔ)數(shù)據(jù)發(fā)布庫(kù)中，并通過數(shù)據(jù)交換系統(tǒng)以訂閱/發(fā)布的方式提供給各業(yè)務(wù)部門使用。人口基礎(chǔ)數(shù)據(jù)管理系統(tǒng)維護(hù)一個(gè)面向?qū)ο蟮墓矓?shù)據(jù)模型，公共數(shù)據(jù)模型是公共數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范的實(shí)現(xiàn)。公共數(shù)據(jù)維護(hù)系統(tǒng)控制著公共數(shù)據(jù)的輸入和輸出，為數(shù)據(jù)質(zhì)量把關(guān)。人口基礎(chǔ)信息綜合查詢系統(tǒng)采用B/S結(jié)構(gòu)，客戶端采用瀏覽器，用戶界面是實(shí)現(xiàn)不同功能的網(wǎng)頁(yè)。綜合查詢系統(tǒng)的操作頁(yè)面要求易于使用，使用戶能夠方便快捷的對(duì)網(wǎng)頁(yè)提供的各項(xiàng)功能進(jìn)行操作。采用菜單樹的方式展開系統(tǒng)的功能。人口基礎(chǔ)信息綜合查詢系統(tǒng)可以有針對(duì)性地，按照用戶授權(quán)的不同，為不同用戶提供不同層次的人口資源公共查詢服務(wù)。人口基礎(chǔ)信息功能如下圖所示。人口基礎(chǔ)數(shù)據(jù)庫(kù)管理應(yīng)用系統(tǒng)功能模塊列表：編號(hào)一級(jí)模塊二級(jí)模塊三模塊1系統(tǒng)管理用戶角色管理系統(tǒng)帳戶管理2角色信息管理3部門帳戶管理公安帳戶管理4社保帳戶管理5衛(wèi)生帳戶管理6計(jì)生帳戶管理7民政帳戶管理8系統(tǒng)監(jiān)控管理系統(tǒng)日志管理9系統(tǒng)網(wǎng)絡(luò)布局10部門交換頻率11接收處理接收數(shù)據(jù)查看接收公安數(shù)據(jù)12接收社保數(shù)據(jù)13接收衛(wèi)生數(shù)據(jù)14接收計(jì)生數(shù)據(jù)15接收民政信息16清洗比對(duì)管理清洗規(guī)則管理17比對(duì)規(guī)則管理18清洗比對(duì)結(jié)果清洗結(jié)果查看19比對(duì)結(jié)果查看20手工比對(duì)歷史21手工比對(duì)管理手工比對(duì)信息22手工比對(duì)歷史23反饋信息查看反饋信息列表24授權(quán)管理數(shù)據(jù)授權(quán)管理申請(qǐng)查看授權(quán)25查看授權(quán)申請(qǐng)26數(shù)據(jù)交換申請(qǐng)數(shù)據(jù)交換申請(qǐng)27交換申請(qǐng)列表28交換審批列表29信息服務(wù)人口信息服務(wù)人口信息查詢30人口碼表信息人口碼表信息31人口共享指標(biāo)可共享指標(biāo)32統(tǒng)計(jì)分析基礎(chǔ)信息統(tǒng)計(jì)人口性別統(tǒng)計(jì)33人口年齡統(tǒng)計(jì)34人口文化程度35人口民族統(tǒng)計(jì)36地區(qū)分布統(tǒng)計(jì)地區(qū)人口統(tǒng)計(jì)37人員參保分析社保人員情況38參合人員情況39計(jì)劃生育分析地區(qū)育齡分布40育齡婦女比例數(shù)據(jù)接收服務(wù)接收數(shù)據(jù)的查詢是針對(duì)各部門交換匯總的信息，進(jìn)行以部門為單位的信息查詢。通過查詢工作，可以了解各部門實(shí)際提交的信息情況，并實(shí)現(xiàn)信息詳查和統(tǒng)計(jì)工作。系統(tǒng)提供了按部門查詢的查詢方式。中心數(shù)據(jù)查詢?nèi)丝谥行臄?shù)據(jù)，就是經(jīng)過數(shù)據(jù)比對(duì)梳理完成的人口基礎(chǔ)信息。針對(duì)人口信息量大，涵蓋范圍廣、內(nèi)容繁雜的特點(diǎn)，在人口基礎(chǔ)信息中心數(shù)據(jù)庫(kù)設(shè)計(jì)中，采用信息擴(kuò)展和關(guān)聯(lián)的方法，逐級(jí)分領(lǐng)域和部門展示人口基礎(chǔ)信息和擴(kuò)展信息。如下圖所示。圖人口基礎(chǔ)信息關(guān)聯(lián)設(shè)計(jì)系統(tǒng)根據(jù)部門需求進(jìn)行查詢分類，各部門根據(jù)本部門業(yè)務(wù)相關(guān)信息進(jìn)行檢索。如公安部門可根據(jù)身份證號(hào)、姓名、性別、民族為檢索條件，進(jìn)行基本信息的查詢；可根據(jù)姓名、暫住證號(hào)、身份證號(hào)為檢索條件，進(jìn)行暫住人口信息的查詢操作。其他部門檢索與查詢操作類似。決策支持子系統(tǒng)決策支持子系統(tǒng)是根據(jù)業(yè)務(wù)需要，基于人口基礎(chǔ)信息，進(jìn)行數(shù)據(jù)挖掘，實(shí)現(xiàn)統(tǒng)計(jì)報(bào)表操作，為領(lǐng)導(dǎo)決策提供快速的報(bào)表支持。查詢列表如下圖所示。圖決策支持子系統(tǒng)查詢列表授權(quán)管理授權(quán)管理，就是提供信息需求部門申請(qǐng)查詢授權(quán)，信息提供部門審批授權(quán)的功能。申請(qǐng)部門選擇對(duì)應(yīng)的信息表，向信源部門提出申請(qǐng)；信源部門根據(jù)業(yè)務(wù)規(guī)則，對(duì)申請(qǐng)部門提供授權(quán)或不授權(quán)，此外，授權(quán)功能提供時(shí)限控制和授權(quán)使用次數(shù)控制。數(shù)據(jù)清洗比對(duì)管理數(shù)據(jù)比對(duì)系統(tǒng)通過數(shù)據(jù)比對(duì)引擎，實(shí)現(xiàn)對(duì)人口基礎(chǔ)信息的比對(duì)工作。依據(jù)的業(yè)務(wù)需要，數(shù)據(jù)比對(duì)包括比對(duì)操作，各部門數(shù)據(jù)的過濾查詢，各部門信息比對(duì)入庫(kù)結(jié)果查詢。人口基礎(chǔ)信息的比對(duì)，依據(jù)其特點(diǎn)，采用自動(dòng)比對(duì)和人工參與比對(duì)結(jié)合的方式，實(shí)現(xiàn)基礎(chǔ)信息的比對(duì)功能。數(shù)據(jù)過濾查詢是針對(duì)部門提交的數(shù)據(jù)，進(jìn)行梳理過濾與清洗，得出的清洗出的問題數(shù)據(jù)進(jìn)行查詢操作。與數(shù)據(jù)過濾查詢類似，數(shù)據(jù)入庫(kù)查詢是將部門信息與人口基礎(chǔ)信息總表信息進(jìn)行比對(duì)，并經(jīng)過相關(guān)部門審批確認(rèn)，比對(duì)出現(xiàn)差異錯(cuò)誤信息的查詢。信息核驗(yàn)結(jié)合比對(duì)系統(tǒng)人工比對(duì)功能，提供部門提出比對(duì)結(jié)果意見功能。當(dāng)部門業(yè)務(wù)信息進(jìn)入比對(duì)系統(tǒng)后，如出現(xiàn)基礎(chǔ)信息庫(kù)和業(yè)務(wù)應(yīng)用源頭部門信息不匹配，需要業(yè)務(wù)人員參與的情況下，提供業(yè)務(wù)部門信息核驗(yàn)功能。系統(tǒng)管理系統(tǒng)管理功能是實(shí)現(xiàn)對(duì)使用人口基礎(chǔ)信息查詢系統(tǒng)的用戶進(jìn)行管理。人口基礎(chǔ)信息綜合查詢系統(tǒng)提供用戶、角色、權(quán)限的設(shè)定。即每個(gè)申請(qǐng)的用戶，根據(jù)其角色，享有角色指定的權(quán)限。系統(tǒng)管理員可以根據(jù)用戶情況，賦予固定角色。系統(tǒng)管理員可制定新增用戶指定角色以及分配權(quán)限。系統(tǒng)管理分為用戶管理和角色管理。（1）用戶管理：管理系統(tǒng)用戶，以及給系統(tǒng)用戶分配角色和權(quán)限。（2）角色管理：角色管理是對(duì)每個(gè)角色進(jìn)行查詢，并分配相應(yīng)權(quán)限，系統(tǒng)管理員可以根據(jù)角色權(quán)限，以及每個(gè)用戶的允許查詢權(quán)限為用戶授權(quán)。法人基礎(chǔ)數(shù)據(jù)庫(kù)設(shè)計(jì)法人基礎(chǔ)數(shù)據(jù)庫(kù)系統(tǒng)實(shí)現(xiàn)法人基礎(chǔ)數(shù)據(jù)查詢、統(tǒng)計(jì)和管理等功能的應(yīng)用系統(tǒng)。系統(tǒng)主要功能包括：法人基礎(chǔ)信息管理應(yīng)用系統(tǒng)功能模塊列表：編號(hào)一級(jí)模塊二級(jí)模塊三級(jí)模塊1系統(tǒng)管理用戶角色管理系統(tǒng)帳戶管理2角色信息管理3部門帳戶管理市場(chǎng)監(jiān)管帳戶管理4民政帳戶管理5地稅帳戶管理6國(guó)稅帳戶管理7系統(tǒng)監(jiān)控管理系統(tǒng)日志管理8系統(tǒng)網(wǎng)絡(luò)布局9部門交換頻率10接收處理接收數(shù)據(jù)查看接收工商數(shù)據(jù)11接收質(zhì)監(jiān)數(shù)據(jù)12接收民政數(shù)據(jù)13接收地稅數(shù)據(jù)14接收國(guó)稅信息15清洗比對(duì)管理清洗規(guī)則管理16比對(duì)規(guī)則管理17清洗比對(duì)結(jié)果清洗結(jié)果查看18比對(duì)結(jié)果查看19手工比對(duì)歷史20手工比對(duì)管理手工比對(duì)信息21手工比對(duì)歷史22部門數(shù)據(jù)比對(duì)工商有質(zhì)監(jiān)無23授權(quán)管理數(shù)據(jù)授權(quán)管理申請(qǐng)查看授權(quán)24查看授權(quán)申請(qǐng)25數(shù)據(jù)交換申請(qǐng)數(shù)據(jù)交換申請(qǐng)26交換申請(qǐng)列表27交換審批列表28共享信息管理信息公開管理29信息管理日志30信息服務(wù)法人信息服務(wù)法人信息查詢31部門信息統(tǒng)計(jì)部門信息總數(shù)32法人碼表信息法人碼表信息33統(tǒng)計(jì)分析基礎(chǔ)信息統(tǒng)計(jì)企業(yè)增長(zhǎng)趨勢(shì)34行業(yè)類型統(tǒng)計(jì)行業(yè)類型統(tǒng)計(jì)35企業(yè)類型統(tǒng)計(jì)企業(yè)類型統(tǒng)計(jì)36部門數(shù)據(jù)差異部門數(shù)據(jù)差異系統(tǒng)管理管理系統(tǒng)用戶，以及給系統(tǒng)用戶分配權(quán)限，其中包括用戶角色管理、角色信息管理、部門賬戶管理、系統(tǒng)日志管理、系統(tǒng)網(wǎng)絡(luò)布局查看以及部門交換頻率查看。如下圖所示：授權(quán)服務(wù)法人基礎(chǔ)數(shù)據(jù)庫(kù)系統(tǒng)設(shè)計(jì)原則遵循“誰提供誰維護(hù)”的原則，在中心形成的法人基礎(chǔ)數(shù)據(jù)庫(kù)中的法人信息，對(duì)于公開開放的數(shù)據(jù)，不需要經(jīng)過部門授權(quán)就可以查看，但對(duì)于部門未開放或者指定對(duì)象開放的數(shù)據(jù)，其他部門需要查詢?cè)摬块T的數(shù)據(jù)需要向數(shù)據(jù)提供部門提出申請(qǐng)，在申請(qǐng)通過后，才可在授權(quán)允許的范圍內(nèi)進(jìn)行查詢。授權(quán)服務(wù)主要功能包括：（1）數(shù)據(jù)授權(quán)管理：通過申請(qǐng)查看授權(quán)向數(shù)據(jù)提供部門提出查詢申請(qǐng)，信息所屬部門可以對(duì)其他部門對(duì)本部門信息提請(qǐng)的查看申請(qǐng)進(jìn)行審批授權(quán)?？梢栽O(shè)置授權(quán)的查看次數(shù)和有效期限，也可以永久授權(quán)。（2）數(shù)據(jù)交換申請(qǐng)：如果部門希望其他部門數(shù)據(jù)交換到本部門，通過數(shù)據(jù)交換申請(qǐng)向數(shù)據(jù)所屬部門發(fā)送申請(qǐng)，申請(qǐng)得到授權(quán)后，通過自主交換的方式將數(shù)據(jù)交換到本部門的指定數(shù)據(jù)庫(kù)內(nèi)。（3）共享信息管理：部門設(shè)置信息共享的級(jí)別，包括：授權(quán)開放、公眾開放、部門開放等。同時(shí)通過信息管理日志查看用戶的操作記錄，以確保信息的安全。接收服務(wù)提供中心接收到各部門原始數(shù)據(jù)的查詢功能，以及數(shù)據(jù)的清洗比對(duì)功能，具體功能包括：接收數(shù)據(jù)查看：查詢中心接收到各部門發(fā)送的原始數(shù)據(jù)。清洗比對(duì)管理：管理和維護(hù)各個(gè)部門提供的原始數(shù)據(jù)的清洗和比對(duì)規(guī)則?？梢栽黾?、刪除及保存規(guī)則。在系統(tǒng)后臺(tái)會(huì)根據(jù)制定的規(guī)則來對(duì)接收的數(shù)據(jù)進(jìn)行清洗和比對(duì)處理。清洗比對(duì)結(jié)果：可以根據(jù)清洗和比對(duì)批次、時(shí)間段等條件查詢清洗和比對(duì)結(jié)果，如比對(duì)成功和不成功的數(shù)據(jù)量及所占比例，以及未匹配數(shù)據(jù)的詳細(xì)數(shù)據(jù)和未匹配成功的原因（如企業(yè)注冊(cè)號(hào)相同，企業(yè)名稱不同等）。手工比對(duì)管理：對(duì)于通過比對(duì)規(guī)則比對(duì)不一致的數(shù)據(jù)，通過手工比對(duì)管理進(jìn)行手工比對(duì)，比對(duì)一致的，通過手工操作更新中心法人信息庫(kù)，比對(duì)仍不一致的，反饋到未匹配數(shù)據(jù)表，通過交換平臺(tái)反饋相關(guān)部門進(jìn)行核查。手動(dòng)比對(duì)管理主要解決數(shù)據(jù)比較特殊，無法制定通用比對(duì)規(guī)則的數(shù)據(jù)之間的比對(duì)。部門數(shù)據(jù)比對(duì)：進(jìn)行部門間的數(shù)據(jù)比對(duì)，如工商有質(zhì)監(jiān)無的數(shù)據(jù)、工商有國(guó)稅無、工商有地稅無、質(zhì)監(jiān)有國(guó)稅無、質(zhì)監(jiān)有社保無、國(guó)稅有社保無等。信息服務(wù)根據(jù)查詢條件或者組合條件查詢法人信息，返回的結(jié)果為清洗比對(duì)后的準(zhǔn)確數(shù)據(jù)，對(duì)于需要授權(quán)的數(shù)據(jù)，需要先通過授權(quán)服務(wù)進(jìn)行授權(quán)申請(qǐng)。具體功能包括：（1）法人信息服務(wù)：查詢法人信息，用戶也可按條件查詢。（2）部門信息統(tǒng)計(jì)：查看各部門法人信息的數(shù)據(jù)總量。（3）法人碼表信息：對(duì)于有國(guó)家標(biāo)準(zhǔn)的代碼表，均會(huì)轉(zhuǎn)換成國(guó)家標(biāo)準(zhǔn)的代碼存入法人基礎(chǔ)信息庫(kù)，如行業(yè)類別、法定代表人性別等，對(duì)于部門專有的代碼表，通過法人碼表信息列出，供其他部門下載和使用。統(tǒng)計(jì)分析提供報(bào)表統(tǒng)計(jì)功能，結(jié)合各類基礎(chǔ)信息，形成各類報(bào)表，提供多種統(tǒng)計(jì)功能，輔助領(lǐng)導(dǎo)決策。提供列表、折線圖和柱狀圖等多種展示方式，統(tǒng)計(jì)內(nèi)容主要包括：基礎(chǔ)信息統(tǒng)計(jì)、行業(yè)類型統(tǒng)計(jì)、企業(yè)類型統(tǒng)計(jì)、部門數(shù)據(jù)差異統(tǒng)計(jì)等。地理信息基礎(chǔ)數(shù)據(jù)庫(kù)設(shè)計(jì)基礎(chǔ)數(shù)據(jù)遙感影像數(shù)據(jù)本項(xiàng)目是XX高新區(qū)主要區(qū)域影像數(shù)據(jù)，建設(shè)范圍為30平方公里。遙感影像數(shù)據(jù)處理幾何校正，正射校正遙感影像在獲取過程中，受到如大氣吸收與散射、傳感器定標(biāo)、地形等因素的影響，且它們會(huì)隨時(shí)間的不同而有所差異。因此，在多時(shí)相遙感影像中，除了地物的變化會(huì)引起影像中輻射值的變化外，不變的地物在不同時(shí)相影像中的輻射值也會(huì)有差異。利用多時(shí)相遙感影像的光譜信息來檢測(cè)地物變化狀況的動(dòng)態(tài)監(jiān)測(cè)，其重要前提是要消除不變地物的輻射值差異。數(shù)據(jù)融合數(shù)據(jù)融合實(shí)質(zhì)上是將高分辨率影像空間特征與低分辨率影像多光譜特征組合到一副影像,使得融合后影像即具有高分辨率影像空間特征,又具有低分辨率影像多光譜特征。數(shù)據(jù)裁剪與鑲嵌鑲嵌當(dāng)研究區(qū)超出單幅遙感影像所覆蓋的范圍時(shí)，通常需要將兩幅或多幅影像拼接起來形成一幅或一系列覆蓋全區(qū)的較大的影像。在進(jìn)行影像的鑲嵌時(shí)，需要確定一幅參考影像，參考影像將作為輸出鑲嵌影像的基準(zhǔn)，決定鑲嵌影像的對(duì)比度匹配、以及輸出影像的像元大小和數(shù)據(jù)類型等。鑲嵌得兩幅或多幅影像選擇相同或相近的成像時(shí)間，使得影像的色調(diào)保持一致。但接邊色調(diào)相差太大時(shí)，可以利用直方圖均衡、色彩平滑等使得接邊盡量一致，但用于變化信息提取時(shí)，相鄰影像的色調(diào)不允許平滑，避免信息變異。裁剪影像裁剪的目的是將研究之外的區(qū)域去除，常用的是按照行政區(qū)劃邊界或自然區(qū)劃邊界進(jìn)行影像的分幅裁剪。圖像增強(qiáng)圖像增強(qiáng)是指按特定的需要突出一幅圖像中的某些信息，同時(shí)削弱或去除某些不需要信息的處理方法，其目的是使得處理后的圖像對(duì)某種特定的應(yīng)用，比原始圖像更合適。處理的結(jié)果使圖像更適應(yīng)于人的視覺特性或機(jī)器的識(shí)別系統(tǒng)。圖像增強(qiáng)主要可分為三類:頻域圖像增強(qiáng)方法、小波域圖像增強(qiáng)方法、空域圖像增強(qiáng)方法。勻光勻色處理由于光學(xué)遙感影像獲取的時(shí)間、外部光照以及其他因素的影響,導(dǎo)致獲取的影像在色彩上存在不同程度的差異,這種差異會(huì)不同程度地影響后續(xù)數(shù)字正射影像生產(chǎn)、數(shù)字城市和數(shù)字省區(qū)無縫影像數(shù)據(jù)庫(kù)建設(shè)以及其他的影像工程應(yīng)用中影像的使用效果。為了消除影像色彩上的差異,需要對(duì)影像進(jìn)行色彩平衡處理,即勻光處理。GIS專題數(shù)據(jù)庫(kù)GIS空間數(shù)據(jù)庫(kù)指的是在計(jì)算機(jī)物理存儲(chǔ)介質(zhì)上存儲(chǔ)的與應(yīng)用相關(guān)的的總和，一般是以一系列特定結(jié)構(gòu)的文件的形式組織在存儲(chǔ)介質(zhì)之上的。空間數(shù)據(jù)庫(kù)的研究始于20世紀(jì)70年代的與領(lǐng)域，其目的是為了有效地利用衛(wèi)星遙感資源迅速繪制出各種經(jīng)濟(jì)專題地圖。由于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在空間數(shù)據(jù)的表示、存儲(chǔ)、管理、檢索上存在許多缺陷，從而形成了空間數(shù)據(jù)庫(kù)這一數(shù)據(jù)庫(kù)研究領(lǐng)域。而傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)只針對(duì)簡(jiǎn)單對(duì)象，無法有效的支持復(fù)雜對(duì)象（如圖形、圖像）。GIS空間數(shù)據(jù)主要有兩種組織策略，一種是基于分層的數(shù)據(jù)組織，另外一種是基于特征的數(shù)據(jù)組織?；诜謱拥臄?shù)據(jù)組織是目前常用的也是比較成熟的數(shù)據(jù)組織策略，基于特征的數(shù)據(jù)組織是未來GIS數(shù)據(jù)組織的發(fā)展方向，但目前還不成熟。本系統(tǒng)就是采用基于分層的數(shù)據(jù)組織策略，將空間信息分為地圖集、圖層集和圖層。其中系統(tǒng)用到的圖層主要有行政圖層、道路圖層、河流圖層、災(zāi)害點(diǎn)圖層、監(jiān)測(cè)點(diǎn)圖層等。在數(shù)據(jù)管理方面，前端采用FeatureBase進(jìn)行管理，后臺(tái)采用SQLServer2008很好的解決了網(wǎng)絡(luò)環(huán)境下多用戶并發(fā)操作、權(quán)限管理等諸多問題，同時(shí)系統(tǒng)采用多級(jí)緩沖機(jī)制，大大加快了用戶操作地圖功能的速度。矢量數(shù)據(jù):主要是指城市大比例尺地形圖。此系統(tǒng)中圖層主要分為底圖層、道路層、單位層，合理的分層便于進(jìn)行疊加分析、圖形的無逢拼接以實(shí)現(xiàn)系統(tǒng)圖形的大范圍漫游。矢量數(shù)據(jù)一般通過記錄坐標(biāo)的方式來盡可能將地理實(shí)體的空間位置表現(xiàn)的準(zhǔn)確無誤，顯示的圖形一般分為和。圖層:圖象都是由一層或多層圖層組成。圖層功能允許讓多張圖片進(jìn)行疊加放置并保存在一個(gè)文件中。通過對(duì)圖像分層放置，您能夠有效的把多張圖片混合在一起，隱藏或顯示每個(gè)單獨(dú)的圖層，文本、繪圖和圖象可以在各自的圖層上被添加、刪除、移動(dòng)和編輯而不會(huì)影響其它圖層。地形數(shù)據(jù)：地形數(shù)據(jù)是能夠表示地球表面高低起伏狀態(tài)的數(shù)據(jù)，即具有高程信息的數(shù)據(jù)。數(shù)字高程模型（DEM）是一種對(duì)空間起伏變化的連續(xù)表示方法，是一種特殊的DatasetGrid數(shù)據(jù)模型，每個(gè)網(wǎng)格的值為高程值，而且有標(biāo)準(zhǔn)的顏色表來表示，這對(duì)分幅DEM圖像的合成很有幫助。三維模型主城區(qū)精細(xì)化三維建模本項(xiàng)目主城區(qū)精細(xì)化三維建模和普通三維建模面積為30平方公里。平臺(tái)建設(shè)基礎(chǔ)平臺(tái)平臺(tái)構(gòu)成主要由系統(tǒng)軟件（操作系統(tǒng)、網(wǎng)絡(luò)軟件等）、數(shù)據(jù)庫(kù)軟件（如Oracal、SQLServer等）、GIS軟件平臺(tái)、應(yīng)用軟件（GIS二次開發(fā)軟件、GIS組件庫(kù)等）組成。層次結(jié)構(gòu)如圖所示：圖GIS層次結(jié)構(gòu)圖基本功能地圖瀏覽系統(tǒng)提供地圖放大、縮小、平移、鷹眼、全圖等基礎(chǔ)地圖操作,地圖底圖服務(wù)采用金字塔地圖靜態(tài)緩存切片技術(shù)，配合優(yōu)化后的客戶端加載，實(shí)現(xiàn)了高效地圖刷新，地圖操作基本無刷白。同時(shí)在地圖數(shù)據(jù)加載過程中，實(shí)時(shí)提供進(jìn)度條顯示，方便讓用戶了解地圖數(shù)據(jù)加載情況。電子地圖具有平滑過渡，使用時(shí)不會(huì)出現(xiàn)刷白的現(xiàn)象。圖層功能圖層是地理數(shù)據(jù)存儲(chǔ)的基本單元，圖層存儲(chǔ)可以是空間矢量數(shù)據(jù)(如點(diǎn)、線、面)和屬性數(shù)據(jù)，也可以是一組帶地理配準(zhǔn)的柵格影像數(shù)據(jù)，它們都是一組與主題相關(guān)的數(shù)據(jù)單元。系統(tǒng)提供基礎(chǔ)底圖圖層和專題圖層，基礎(chǔ)底圖可以是矢量二位電子地圖，也可以是遙感影線數(shù)據(jù)，一般作為地圖背景數(shù)據(jù)。專題圖層通常為空間矢量數(shù)據(jù)，針對(duì)不同業(yè)務(wù)，可以加載一個(gè)或多個(gè)相關(guān)業(yè)務(wù)專題圖層，進(jìn)行空間屬性分析。數(shù)據(jù)目錄空間數(shù)據(jù)目錄,是指按照一定的格式和標(biāo)準(zhǔn)，對(duì)空間數(shù)據(jù)資源的基本情況進(jìn)行描述的目錄。根據(jù)不同的應(yīng)用屬性，目錄以多種形式組織和展開?；A(chǔ)數(shù)據(jù)源選擇提供矢量電子地圖、衛(wèi)星遙感影像、DEM基礎(chǔ)數(shù)據(jù)源數(shù)據(jù)的目錄，提供地圖基礎(chǔ)底圖的切換。專題數(shù)據(jù)篩選提供專題、部門、熱門分類的專題數(shù)據(jù)目錄，可自由進(jìn)行組合疊加?？臻g分析提供針對(duì)數(shù)據(jù)目錄中的專題數(shù)據(jù)進(jìn)行空間分析的功能，可以實(shí)現(xiàn)空間檢索和緩沖區(qū)檢索。空間檢索：提供矩形、圓形、多邊形、手繪自由面等多種方式進(jìn)行空間檢索。緩沖區(qū)檢索：提供點(diǎn)、線、面基于緩沖半徑的緩沖區(qū)檢索。數(shù)據(jù)搜索圖層檢索：提供基于數(shù)據(jù)目錄的圖層檢索，通過指定數(shù)據(jù)目錄中的一個(gè)或多個(gè)專題圖層進(jìn)行關(guān)鍵字檢索。全文檢索：提供基于搜索引擎的全文檢索，通過關(guān)鍵字在所有專題圖層中進(jìn)行相關(guān)性檢索，可以根據(jù)詞典，提供分詞、同義詞等方式的模糊檢索。空間標(biāo)注點(diǎn)標(biāo)注：提供基于空間點(diǎn)要素的標(biāo)注功能，可以實(shí)現(xiàn)多種樣矢量點(diǎn)和圖標(biāo)點(diǎn)的標(biāo)注功能。線標(biāo)注：提供基于空間線要素的標(biāo)注功能，可以實(shí)現(xiàn)多種樣式線符號(hào)的標(biāo)注功能。面標(biāo)注：提供基于空間面要素的標(biāo)注功能，可以實(shí)現(xiàn)多種要素面要素的標(biāo)注功能。文字標(biāo)注：提供基于空間點(diǎn)的問題標(biāo)注功能，可以實(shí)現(xiàn)文字自由空間標(biāo)注。量算功能長(zhǎng)度量算：提供空間距離量算功能，可以通過多點(diǎn)折線和手繪自由線進(jìn)行距離長(zhǎng)度量算功能。面積量算：面積空間面積量算功能,可以通過多邊形和手繪自由面進(jìn)行面積量算功能。地圖輸出地圖打印：提供當(dāng)前地圖打印功能，將地圖輸出到打印機(jī)進(jìn)行輸出。地圖保存：提供地圖截圖功能，截圖后可保存到剪切板，或者保存為多種格式的圖片文件。空間分析空間分析是基于地理對(duì)象的位置和形態(tài)特征的空間數(shù)據(jù)分析技術(shù)，其目的在于提取和傳輸空間信息，是利用各種空間分析模型及空間操作對(duì)地理數(shù)據(jù)庫(kù)中的空間數(shù)據(jù)進(jìn)行深加工，進(jìn)而產(chǎn)生新的知識(shí)。?緩沖區(qū)分析緩沖區(qū)分析是地理信息系統(tǒng)中常用的一種空間分析方法，是對(duì)空間特征進(jìn)行度量的一種重要手段。緩沖區(qū)分析是研究根據(jù)數(shù)據(jù)庫(kù)的點(diǎn)、線、面實(shí)體，自動(dòng)建立其周圍一定寬度范圍內(nèi)的緩沖區(qū)多邊形實(shí)體，從而實(shí)現(xiàn)空間數(shù)據(jù)在水平方向得以擴(kuò)展的信息分析方法。它是地理信息系統(tǒng)基本的空間操作功能之一。從空間變換的觀點(diǎn)看，緩沖區(qū)分析模型就是將點(diǎn)、線、面地物分布圖變換成這些地物的擴(kuò)展距離圖，圖上每一點(diǎn)的值代表該點(diǎn)距離最近的某種地物的距離。實(shí)際上，緩沖區(qū)就是地理目標(biāo)或工程規(guī)劃目標(biāo)的一種影響范圍。疊置分析疊置分析是地理信息系統(tǒng)中常用的提取空間隱含信息的方法之一，疊置分析是將有關(guān)主題層組成的各個(gè)數(shù)據(jù)層面進(jìn)行疊置產(chǎn)生一個(gè)新的數(shù)據(jù)層面，其結(jié)果綜合了原來兩個(gè)或多個(gè)層面要素所具有的屬性，同時(shí)疊置分析不僅生成了新的空間關(guān)系，而且還將輸入的多個(gè)數(shù)據(jù)層的屬性聯(lián)系起來產(chǎn)生新的屬性關(guān)系。其中，被疊加的要素層面必須是基于相同坐標(biāo)系統(tǒng)的，基準(zhǔn)面相同的、同一區(qū)域的數(shù)據(jù)。窗口分析地理信息除了在不同層面的因素之間存在著一定的制約關(guān)系之外,還表現(xiàn)在空間上存在著一定的關(guān)聯(lián)性。對(duì)于柵格數(shù)據(jù)所描述的某項(xiàng)地學(xué)要素，其中的(i，j)柵格往往會(huì)影響其周圍柵格的屬性特征。充分而有效地利用這種事物在空間上相聯(lián)系的特點(diǎn)，是地學(xué)分析的必然考慮因素。窗口分析是指對(duì)于柵格數(shù)據(jù)系統(tǒng)中的一個(gè)、多個(gè)柵格點(diǎn)或全部數(shù)據(jù)，開辟一個(gè)有固定分析半徑的分析窗口，并在該窗口內(nèi)進(jìn)行諸如極值、均值等一系列統(tǒng)計(jì)計(jì)算，或與其它層面的信息進(jìn)行必要的復(fù)合分析，從而實(shí)現(xiàn)柵格數(shù)據(jù)有效的水平方向擴(kuò)展分析。柵格數(shù)據(jù)分析柵格數(shù)據(jù)由于其空間信息隱含屬性信息明確的特點(diǎn)，可以看作是最為典型的數(shù)據(jù)層面，通過數(shù)學(xué)關(guān)系建立不同數(shù)據(jù)層面之間的聯(lián)系是GIS提供的典型功能，空間模擬尤其需要通過各種各樣的方式將不同的數(shù)據(jù)層面進(jìn)行疊加運(yùn)算，以揭示某種空間現(xiàn)象或空間過程。同矢量數(shù)據(jù)多邊形疊置分析相比，柵格數(shù)據(jù)的更易處理，簡(jiǎn)單而有效，不存在破碎多邊形的問題等優(yōu)點(diǎn)，使得柵格數(shù)據(jù)的疊置分析在各類領(lǐng)域應(yīng)用極為廣泛。水文分析水文分析專題主要是利用地圖的基本應(yīng)用功能以及地圖標(biāo)識(shí)功能，對(duì)各個(gè)水位站的地理位置坐標(biāo)數(shù)據(jù)、各個(gè)水位站監(jiān)測(cè)到的水情數(shù)據(jù)在地圖上進(jìn)行加載，形成一個(gè)專題圖層，以直觀的方式將相關(guān)的數(shù)據(jù)信息集中顯示在一張地圖上，以供用戶查看和瀏覽，方便用戶對(duì)各個(gè)水位站的地理位置以及實(shí)時(shí)的水情數(shù)據(jù)等相關(guān)信息進(jìn)行查看。動(dòng)態(tài)分段動(dòng)態(tài)分段是在數(shù)據(jù)庫(kù)中紀(jì)錄道路的每種屬性的起止點(diǎn)到道路原點(diǎn)的距離，并不是真的將道路切斷存儲(chǔ)，適合于動(dòng)態(tài)的分析，顧名動(dòng)態(tài)分段。采用動(dòng)態(tài)分段之后，一個(gè)路段（Segment），是路網(wǎng)上兩個(gè)交點(diǎn)間連線或者弧的一部分，路段的長(zhǎng)度用其占連線的比例來表示，具有唯一的標(biāo)識(shí)碼。在GIS數(shù)據(jù)庫(kù)中，路段是依附于路網(wǎng)數(shù)據(jù)，本身沒有坐標(biāo)。由于采用動(dòng)態(tài)分段將道路的各種屬性以及其分布集中在一個(gè)圖層中進(jìn)行管理，采用線性定位方法，因而容易實(shí)現(xiàn)各種“點(diǎn)線”以及“線線”的疊加查詢分析。動(dòng)態(tài)分段是對(duì)現(xiàn)實(shí)世界中的線性特征及其相關(guān)屬性進(jìn)行抽象描述的數(shù)據(jù)模型和計(jì)算手段，它可以根據(jù)不同的屬性按照某種度量標(biāo)準(zhǔn)對(duì)線性要素進(jìn)行相對(duì)位置的劃分，而對(duì)同一個(gè)線要素，可以根據(jù)不同的度量標(biāo)準(zhǔn)得到不同的相對(duì)位置劃分方案。圖動(dòng)態(tài)分段數(shù)據(jù)模型插值分析在實(shí)際工作中，由于成本的限制、測(cè)量工作實(shí)施困難大等因素，我們不能對(duì)研究區(qū)域的每一位置都進(jìn)行測(cè)量（如高程、降雨、化學(xué)物質(zhì)濃度和噪聲等級(jí)）。這時(shí)，我們可以考慮合理選取采樣點(diǎn)，然后通過采樣點(diǎn)的測(cè)量值，使用適當(dāng)?shù)臄?shù)學(xué)模型，對(duì)區(qū)域所有位置進(jìn)行預(yù)測(cè)，形成測(cè)量值表面。插值之所以可稱為一種可行的方案，是因?yàn)槲覀兗僭O(shè)，空間分布對(duì)象都是空間相關(guān)的，也就是說，彼此接近的對(duì)象往往具有相似的特征。地圖裁剪地圖裁剪是從地圖矢量數(shù)據(jù)集合中提取所需信息的過程，它是空間數(shù)據(jù)處理過程中經(jīng)常遇到的問題。在進(jìn)行地形圖的開窗、放大、漫游顯示和空間目標(biāo)提取，以及多邊形疊置分析時(shí)，必須進(jìn)行數(shù)據(jù)裁剪。裁剪就是把裁剪區(qū)域內(nèi)地理實(shí)體及他們之間的拓?fù)潢P(guān)系表達(dá)出來，可分為兩個(gè)步驟：一是將區(qū)域中的地圖元素提取出來，建立矢量數(shù)據(jù)的簡(jiǎn)單數(shù)據(jù)結(jié)構(gòu)；二是將這些地圖元素之間的拓?fù)潢P(guān)系提取出來，建立矢量數(shù)據(jù)拓?fù)潢P(guān)系的表示結(jié)構(gòu)。裁剪后的地圖矢量數(shù)據(jù)不僅含有該區(qū)域中各個(gè)地理實(shí)體的抽象，而且還有對(duì)各個(gè)地理實(shí)體之間拓?fù)潢P(guān)系的描述，是認(rèn)識(shí)該區(qū)域的基礎(chǔ)。拓?fù)涔δ芡負(fù)潢P(guān)系是指空間數(shù)據(jù)的位置關(guān)系。空間拓?fù)涿枋龅氖亲匀唤缰械乩韺?duì)象的空間位置關(guān)系，是地理對(duì)象空間屬性的一部分。在地理對(duì)象中涉及的拓?fù)潢P(guān)系有鄰接，關(guān)聯(lián)和包含。這個(gè)很容易理解。那么在GIS中，運(yùn)用拓?fù)溆惺裁春锰?？拓?fù)涞闹饕康氖潜ＷC數(shù)據(jù)的質(zhì)量，提高數(shù)據(jù)的精度。這也就是在GIS軟件中，雖然實(shí)現(xiàn)的方式不同，但最終的目的無非是保證數(shù)據(jù)的質(zhì)量。地理對(duì)象的拓?fù)潢P(guān)系，主要有以下三種：相鄰:是指對(duì)象之間是否在某一邊界重合，例如行政區(qū)劃圖中的省、縣數(shù)據(jù)。重合:是指確認(rèn)對(duì)象之間是否在某一局部互相覆蓋，如巴士線路和道路之間的關(guān)系。連通:連通關(guān)系可以確認(rèn)通達(dá)度、獲得路徑等。網(wǎng)絡(luò)分析在GIS中，網(wǎng)絡(luò)分析是指依據(jù)網(wǎng)絡(luò)拓?fù)潢P(guān)系（結(jié)點(diǎn)與弧段拓?fù)?、弧段的連通性），通過考察網(wǎng)絡(luò)元素的空間及屬性數(shù)據(jù)，以數(shù)學(xué)理論模型為基礎(chǔ)，對(duì)網(wǎng)絡(luò)的性能特征進(jìn)行多方面研究的一種分析計(jì)算。在GIS中，作為空間實(shí)體的網(wǎng)絡(luò)與圖論中的網(wǎng)絡(luò)不同。它作為一種復(fù)雜的地理目標(biāo)，除具有一般網(wǎng)絡(luò)的邊、結(jié)點(diǎn)間的抽象的拓?fù)浜x之外，還具有空間定位上的地理意義和目標(biāo)復(fù)合上的層次意義。具體說來，網(wǎng)絡(luò)就是指現(xiàn)實(shí)世界中，由鏈和結(jié)點(diǎn)組成的、帶有環(huán)路，并伴隨著一系列支配網(wǎng)絡(luò)中流動(dòng)之約束條件的線網(wǎng)圖形，它的基礎(chǔ)數(shù)據(jù)是點(diǎn)與線組成的網(wǎng)絡(luò)數(shù)據(jù)。網(wǎng)絡(luò)分析是通過模擬、分析網(wǎng)絡(luò)的狀態(tài)以及資源在網(wǎng)絡(luò)上的流動(dòng)和分配等，研究網(wǎng)絡(luò)結(jié)構(gòu)、流動(dòng)效率及網(wǎng)絡(luò)資源等的優(yōu)化問題的領(lǐng)域。對(duì)地理網(wǎng)絡(luò)、城市基礎(chǔ)設(shè)施網(wǎng)絡(luò)進(jìn)行地理分析和模型化，是地理信息系統(tǒng)中網(wǎng)絡(luò)分析功能的主要目的。網(wǎng)絡(luò)分析的基礎(chǔ)是網(wǎng)絡(luò)的建立，一個(gè)完整的網(wǎng)絡(luò)必須首先加入多層點(diǎn)文件和線文件，由這些文件建立一個(gè)空的空間圖形網(wǎng)絡(luò)，然后對(duì)點(diǎn)和線文件建立起拓?fù)潢P(guān)系，加入其各個(gè)網(wǎng)絡(luò)屬性特征值，如根據(jù)網(wǎng)絡(luò)實(shí)際的需要，設(shè)置不同阻強(qiáng)值，網(wǎng)絡(luò)中鏈的連通性，中心點(diǎn)的資源容量，資源需求量等。一旦建立起網(wǎng)絡(luò)數(shù)據(jù)，全部數(shù)據(jù)被存放在地理數(shù)據(jù)庫(kù)中，由數(shù)據(jù)庫(kù)的生命循環(huán)周期來維持其運(yùn)作。地理信息系統(tǒng)中的網(wǎng)絡(luò)分析就是對(duì)交通網(wǎng)絡(luò)、各種網(wǎng)線、電力線、電話線、供排水管線等進(jìn)行地理分析和模型化，然后再?gòu)哪Ｐ椭刑釤捴R(shí)指導(dǎo)現(xiàn)實(shí)，從網(wǎng)絡(luò)分析應(yīng)用功能的角度上，網(wǎng)絡(luò)分析劃分為路徑分析、最佳選址、資源分配和地址匹配。在路徑分析中有以下幾類的分析處理方向：靜態(tài)最佳路徑：由用戶確定權(quán)值關(guān)系后，即給定每條弧段的屬性，當(dāng)需求最佳路徑時(shí)，讀出路徑的相關(guān)屬性，求最佳路徑。動(dòng)態(tài)分段技術(shù)：給定一條路徑由多段聯(lián)系組成，要求標(biāo)注出這條路上的公里點(diǎn)或要求定位某一公路上的某一點(diǎn)，標(biāo)注出某條路上從某公里數(shù)到另一公里數(shù)的路段。N條最佳路徑分析：確定起點(diǎn)、終點(diǎn)，求代價(jià)較小的幾條路徑，因?yàn)樵趯?shí)踐中往往僅求出最佳路徑并不能滿足要求，可能因?yàn)槟撤N因素不走最佳路徑，而走近似最佳路徑。最短路徑：確定起點(diǎn)、終點(diǎn)和所要經(jīng)過的中間點(diǎn)、中間連線，求最短路徑。動(dòng)態(tài)最佳路徑分析：實(shí)際網(wǎng)絡(luò)分析中，權(quán)值是隨著權(quán)值關(guān)系式變化的，而且可能會(huì)臨時(shí)出現(xiàn)一些障礙點(diǎn)，所以往往需要?jiǎng)討B(tài)地計(jì)算最佳路徑。資源分配主要是優(yōu)化配置網(wǎng)絡(luò)資源的問題，資源分配的目的是對(duì)若干服務(wù)中心，進(jìn)行優(yōu)化劃定每個(gè)中心的服務(wù)范圍，把所有連通鏈都分配到某一中心，并把中心的資源分配給這些鏈以滿足其需求，也即要滿足覆蓋范圍和服務(wù)對(duì)象數(shù)量，篩選出最佳布局和布局中心的位置。資源分配網(wǎng)絡(luò)模型由中心點(diǎn)(分配中心)及其狀態(tài)屬性和網(wǎng)絡(luò)組成。分配有兩種方式，一種是由分配中心向四周輸出，另一種是由四周向中心集中。這種分配功能可以解決資源的有效流動(dòng)和合理分配。選址功能是指在一定約束條件下、在某一指定區(qū)域內(nèi)選擇設(shè)施的最佳位置，它本質(zhì)上是資源分配分析的延伸，例如連鎖超市、郵筒、消防站、飛機(jī)場(chǎng)、倉(cāng)庫(kù)等的最佳位置的確定。在網(wǎng)絡(luò)分析中的選址問題一般限定設(shè)施必須位于某個(gè)節(jié)點(diǎn)或某條鏈上，或者限定在若干候選地點(diǎn)中選擇位置。地址匹配實(shí)質(zhì)是對(duì)地理位置的查詢，它涉及到地址的編碼。地址匹配與其它網(wǎng)絡(luò)分析功能結(jié)合起來，可以滿足實(shí)際工作中非常復(fù)雜的分析要求。所需輸入的數(shù)據(jù)，包括地址表和含地址范圍的街道網(wǎng)絡(luò)及待查詢地址的屬性值。海圖數(shù)據(jù)電子海圖(ElectronicChart，EC)是用數(shù)字形式表示的以描寫海域地理信息和航海信息為主的海圖，它與國(guó)際海上人命安全條約(SOLAS)所需要的紙質(zhì)海圖等效，電子海圖亦稱為數(shù)字海圖(DigitalChart)。它同時(shí)是一個(gè)內(nèi)容、結(jié)構(gòu)、格式均標(biāo)準(zhǔn)化了的數(shù)據(jù)庫(kù)，這個(gè)數(shù)據(jù)庫(kù)由官方授權(quán)的權(quán)威航道測(cè)量部門制作發(fā)行，供ECDIS使用，其系統(tǒng)顯示界面如圖所示。電子海圖的結(jié)構(gòu)一般分為電子海圖目錄、物標(biāo)分類編碼系統(tǒng)、用戶數(shù)據(jù)格式的ENO、ENC改正數(shù)據(jù)庫(kù)、海圖圖式符號(hào)庫(kù)、用戶數(shù)據(jù)庫(kù)、航海信息咨詢系統(tǒng)數(shù)據(jù)庫(kù)等主要部分。電子海圖目錄：ENC中存儲(chǔ)的海圖，一般要根據(jù)比例尺（全球圖、沿岸圖等）的不同劃分成幾個(gè)比例尺級(jí)別。如我國(guó)海區(qū)可以劃分成1：100萬、1：25萬等幾個(gè)比例尺級(jí)別。為了有效的使用海圖數(shù)據(jù)，必須摒棄原紙質(zhì)海圖圖幅的限制，將每級(jí)比例尺的海圖所覆蓋的整個(gè)區(qū)域劃分成大小合適的單元，對(duì)兩幅紙質(zhì)海圖重疊的部分只取一次數(shù)據(jù)。三維分析GIS的優(yōu)勢(shì)在于能夠直觀直接地展示復(fù)雜的地理信息，同時(shí)具有強(qiáng)大的空間分析功能。三維GIS突破了空間信息在二維平面中單調(diào)展示的束縛，可以更加準(zhǔn)確真實(shí)地展示現(xiàn)實(shí)環(huán)境，為信息判讀和空間分析提供了更好的途徑。某些特定的分析功能，如地質(zhì)分析、日照分析、空間擴(kuò)散分析、通視性分析等高級(jí)空間分析功能僅能在三維GIS中實(shí)現(xiàn)。三維GIS是模擬、表示、管理、分析客觀世界中的三維空間實(shí)體及其相關(guān)信息的計(jì)算機(jī)系統(tǒng)，能為管理和決策提供更加直接和真實(shí)的目標(biāo)和研究對(duì)象。三維GIS的實(shí)現(xiàn)關(guān)鍵在于三維數(shù)據(jù)模型的建立。對(duì)空間實(shí)體及空間關(guān)系的準(zhǔn)確、有效表達(dá)是三維空間建模的主要任務(wù)，它應(yīng)具備以下功能：空間實(shí)體及空間關(guān)系的定義及描述與表達(dá)方法，空間實(shí)體和非空間實(shí)體之間的直接或間接關(guān)系的描述與表達(dá)、空間數(shù)據(jù)操作的分類定義及操作符號(hào)和操作規(guī)則描述、空間實(shí)體和非空間實(shí)體之間的相互制約機(jī)制及限定時(shí)間序列下的動(dòng)態(tài)變化，空間數(shù)據(jù)的完整性及一致性檢驗(yàn)規(guī)則等，目前提出的三維空間數(shù)據(jù)模型可分為3類，即：面模型、體模型和混合模型等。三維特效擴(kuò)展在基于三維可視化場(chǎng)景中，最基本的空間查詢是空間點(diǎn)的三維坐標(biāo)查詢，它是其他交互操作和空間分析的基礎(chǔ)。由于消隱處理，計(jì)算機(jī)屏幕上的三維模型的像點(diǎn)與三維模型的大地坐標(biāo)不是一一對(duì)應(yīng)的，必須確定鼠標(biāo)點(diǎn)捕捉到2D屏幕坐標(biāo)所對(duì)應(yīng)的3D大地坐標(biāo)才能進(jìn)行正確的空間分析和查詢操作，這實(shí)際是將計(jì)算機(jī)的2D屏幕坐標(biāo)反解為3D空間坐標(biāo)，是透視投影的逆過程。通視分析是以某一點(diǎn)為觀察點(diǎn)，研究某一區(qū)域通視情況的地形分析，屬于對(duì)地形進(jìn)行最優(yōu)化處理的范疇，通視功能的實(shí)現(xiàn)是指一個(gè)視點(diǎn)在多個(gè)方向上的可見性。它的算法原理是從DEM中的某個(gè)像素向周圍像素發(fā)出一系列射線，并計(jì)算從視點(diǎn)A到周圍每個(gè)像素X的坡度角，若此坡度角大于已有坡度角中的最大角，則像素X是可見的，否則不可見。GIS平臺(tái)海量數(shù)據(jù)管理支持元數(shù)據(jù)的定義，可以創(chuàng)建、編輯和管理元數(shù)據(jù)。系統(tǒng)基于OGDC標(biāo)準(zhǔn)（OpenGeo-DataBaseConnectivity，開放式空間數(shù)據(jù)庫(kù)連接標(biāo)準(zhǔn)），實(shí)現(xiàn)了無差別訪問多種數(shù)據(jù)來源，將不同平臺(tái)的不同格式數(shù)據(jù)加載到同一個(gè)場(chǎng)景中展示，包括矢量、柵格、影像、柵格目錄、文本注記、網(wǎng)絡(luò)、三維矢量、多分辨TIN等數(shù)據(jù)類型。支持業(yè)界先進(jìn)的數(shù)據(jù)模型Geodatabase。系統(tǒng)的數(shù)據(jù)引擎支持的數(shù)據(jù)格式，支持WMS、WFS、WMS、KML\KMZ等標(biāo)準(zhǔn)格式數(shù)據(jù)和編目服務(wù)（CatalogServices)等，提供對(duì)OGC地圖標(biāo)準(zhǔn)的廣泛支持。支持任意等級(jí)建立影像數(shù)據(jù)金字塔以及金字塔的部分更新，支持LZW、JPEG、JPEG2000等壓縮技術(shù)存儲(chǔ)影像。系統(tǒng)支持多種矢量數(shù)據(jù)存儲(chǔ)格式，有OGC的ST_Geometry格式、SQLServer的Geometry和Geography格式。支持OGC空間SQL語句直接訪問矢量數(shù)據(jù)。系統(tǒng)直接支持ENVI的文件格式，可直接讀取、顯示ENVI格式。系統(tǒng)保證在DBMS中存儲(chǔ)矢量數(shù)據(jù)的空間幾何完整性，支持屬性域、子類，支持定義空間數(shù)據(jù)之間的規(guī)則，包括關(guān)系規(guī)則、連接規(guī)則、拓?fù)湟?guī)則等。系統(tǒng)支持多版本數(shù)據(jù)管理技術(shù)。支持多用戶并發(fā)編輯和訪問。支持多級(jí)樹狀結(jié)構(gòu)的地理數(shù)據(jù)模型級(jí)別的數(shù)據(jù)庫(kù)復(fù)制和同步技術(shù)。系統(tǒng)提供平臺(tái)級(jí)（非二次開發(fā)）的角色服務(wù)安全訪問控制LDAP，TokenService認(rèn)證。系統(tǒng)支持使用python腳本調(diào)用來完成地理空間數(shù)據(jù)的處理和分析。WebGIS功能系統(tǒng)支持對(duì)二維/三維場(chǎng)景進(jìn)行各類漫游操作：放大、縮小、平移、傾斜、旋轉(zhuǎn)量算、視圖回溯、圖層控制等操作。系統(tǒng)支持基于Web的在線地圖數(shù)據(jù)編輯，包括點(diǎn)、線、面的空間數(shù)據(jù)編輯和屬性編輯，支持多用戶并發(fā)編輯。系統(tǒng)支持基于Web在服務(wù)器端實(shí)現(xiàn)高級(jí)GIS分析功能，除了二維地圖顯示外，還包括三維地圖顯示、高級(jí)GIS空間分析（疊加分析、鄰近分析、數(shù)據(jù)管理）等。系統(tǒng)提供GIS服務(wù)創(chuàng)建和管理框架，支持便捷的創(chuàng)建和管理二維/三維地圖顯示服務(wù)，影像服務(wù)，要素服務(wù)，搜索服務(wù)，幾何服務(wù)。系統(tǒng)提供免費(fèi)的、可定制的三維數(shù)字地球客戶端，可訪問并使用服務(wù)器平臺(tái)所發(fā)布的GIS服務(wù)，如三維GIS服務(wù)、在線GIS分析服務(wù)。系統(tǒng)軟件通過了OGC認(rèn)證，支持發(fā)布各種開放數(shù)據(jù)格式，如WMS、WFS、WCS、KML等；并提供針對(duì)WMS的SLD支持。 系統(tǒng)提供GIS服務(wù)的創(chuàng)建和管理框架，基于此框架可以很方便地創(chuàng)建和管理二維/三維地圖顯示服務(wù)，索引查詢服務(wù)，要素編輯服務(wù)，OGC服務(wù)，遠(yuǎn)程空間數(shù)據(jù)庫(kù)訪問服務(wù)，地理定位服務(wù)，和自定義高級(jí)GIS分析服務(wù)、遙感影像服務(wù)。系統(tǒng)支持發(fā)布搜索服務(wù)可對(duì)企業(yè)內(nèi)的GIS內(nèi)容和文件夾進(jìn)行索引查詢，支持用戶快速查找。系統(tǒng)提供交互式數(shù)據(jù)下載功能的GIS分析工具，支持?jǐn)?shù)據(jù)壓縮并通過電子郵件發(fā)送數(shù)據(jù)。系統(tǒng)提供幾何形狀運(yùn)算服務(wù)，支持動(dòng)態(tài)計(jì)算自動(dòng)閉合、凸多邊形、裁剪、加密、求差、距離、綜合、相交、偏移、重塑、截?cái)?延伸、組合。系統(tǒng)支持時(shí)態(tài)感知圖層，存儲(chǔ)數(shù)據(jù)集某時(shí)間段的狀態(tài)信息。發(fā)布地圖服務(wù)時(shí)，保留時(shí)態(tài)信息，并可通過地圖服務(wù)訪問?；跁r(shí)態(tài)信息，可改變地圖的顯示或進(jìn)行時(shí)間查詢。系統(tǒng)支持要素附件，提供了地圖上地理要素相關(guān)的附件上傳和關(guān)聯(lián)的方法。附件例如Txt、PDF和圖像文件，包含要素的補(bǔ)充信息。當(dāng)發(fā)布地圖服務(wù)后，客戶端可查看和下載附件。系統(tǒng)支持發(fā)布影像服務(wù)，提供多種客戶端控制設(shè)置，如每次請(qǐng)求的最大影像尺寸、每次鑲嵌的最大柵格數(shù)、默認(rèn)重采樣方法、壓縮方法、鑲嵌方法、每次請(qǐng)求返回最大記錄數(shù)、每次請(qǐng)求最大下載數(shù)。系統(tǒng)支持緩存地圖與動(dòng)態(tài)地圖疊加使用功能，相對(duì)固定的數(shù)據(jù)：采用緩存地圖方式，大大提高效率；動(dòng)態(tài)數(shù)據(jù)：采用動(dòng)態(tài)地圖方式，便于信息處理。支持將多類型、多精度影像、地形疊加分組分層顯示例如：可支持影像數(shù)據(jù)集、SIT、GeoTif、WMS、web地圖緩存、文件緩存等多種數(shù)據(jù)存在形式，支持不同范圍、不同投影、不同分辨率的影像疊加顯示，支持圖層的疊加、半透明顯示，圖層順序控制、可見性控制等。此外，還支持各種海量矢量數(shù)據(jù)、三維模型數(shù)據(jù)的疊加顯示，矢量數(shù)據(jù)的顯示無需進(jìn)行預(yù)處理且具有高效、依地形顯示的特點(diǎn)。系統(tǒng)支持多種緩存格式：緊湊緩存格式將所有切片打包成大的Bundle文件，而不是將單個(gè)切片存儲(chǔ)成單個(gè)文件；混合模式緩存支持在同一緩存中使用不同圖片格式的切片。系統(tǒng)提供協(xié)同緩存創(chuàng)建工具，支持緩存切片的導(dǎo)入和導(dǎo)出。系統(tǒng)具有開放性特征，能用國(guó)際上通用的多種主流開發(fā)語言實(shí)現(xiàn)應(yīng)用的開發(fā)，并預(yù)留了接口。支持COM、.NET、J2EE、Flex、Silverlight；系統(tǒng)提供多種開發(fā)框架，例如JavaADF、.NetADF、Flex、Silverlight、JavaScript等。 系統(tǒng)提供基于IOS、WindowsPhone和Android平臺(tái)的API，具有良好的可擴(kuò)展性、支持Java、C#和Objective-C開發(fā)。系統(tǒng)免費(fèi)提供多個(gè)可配置的Flex、Silverlight富客戶端應(yīng)用程序模板和插件，簡(jiǎn)化開發(fā)。系統(tǒng)能調(diào)用Virtualearth地圖和GoogleMap地圖，提供全球免費(fèi)底圖地圖服務(wù)。 系統(tǒng)提供的LOD技術(shù)支持多層地理、地質(zhì)、環(huán)境等海量二、三維數(shù)據(jù)的動(dòng)態(tài)加載，支持海量矢量數(shù)據(jù)的快速顯示，提供豐富多樣的表現(xiàn)形式，使矢量數(shù)據(jù)與三維疊加達(dá)到理想效果。系統(tǒng)可以按指定的點(diǎn)與點(diǎn)之間或者矢量線進(jìn)行飛行顯示、矢量數(shù)據(jù)的瀏覽，實(shí)現(xiàn)二維和三維空間數(shù)據(jù)、屬性報(bào)表和影像之間的聯(lián)動(dòng)瀏覽查詢，在瀏覽飛行進(jìn)程中實(shí)現(xiàn)定位、放大、縮小等漫游操作，可以設(shè)定觀察高度、飛行速度、方向角、顯示的水平比例尺高程比例尺等參數(shù)信息，可以設(shè)定山洪、地理、行政、環(huán)境等其他相關(guān)的矢量信息在漫游圖形上加載顯示；可在影像上進(jìn)行業(yè)務(wù)信息的標(biāo)注鏈接，具備無限的關(guān)聯(lián)空間；系統(tǒng)提供鷹眼控件、圖層管理控件和圖例控件、地圖基本操作控件等輔助工具。把它們與WebControl等主要功能控件綁定后，不用編寫任何代碼就能直接實(shí)現(xiàn)相互間的連動(dòng)。遠(yuǎn)程數(shù)據(jù)代理功能 通過遠(yuǎn)程數(shù)據(jù)代理，可實(shí)現(xiàn)對(duì)標(biāo)準(zhǔn)的WMS、WFS等OGC標(biāo)準(zhǔn)的空間數(shù)據(jù)共享、集成。數(shù)據(jù)是GIS的靈魂，GIS的空間數(shù)據(jù)有著和傳統(tǒng)GIS并不相同的使用模式。特別是在互聯(lián)網(wǎng)提出概念并在互聯(lián)網(wǎng)應(yīng)用上取得重大發(fā)展的時(shí)候，分布式框架下的空間數(shù)據(jù)也應(yīng)當(dāng)引入一些嶄新的概念和應(yīng)用。下面在分布式GIS框架下分別從數(shù)據(jù)的訪問、分析、編輯和搜索4個(gè)方面探討它們的重要功能與特點(diǎn)。?空間數(shù)據(jù)的共享訪問。分布式GIS的各個(gè)節(jié)點(diǎn)的空間數(shù)據(jù)雖然是異構(gòu)的、非標(biāo)準(zhǔn)的，但是在分布式框架下，這些過去的困難都不是問題，因?yàn)楣?jié)點(diǎn)內(nèi)部對(duì)于用戶來說是透明的，另外，元數(shù)據(jù)的共享也在一定程度上提高了空間數(shù)據(jù)共享的準(zhǔn)確性和明確性。支持ESRI，ArcGIS，ArcGISServer，SuperMap，MapGIS的數(shù)據(jù)訪問。在分布式計(jì)算模式環(huán)境中,無論是硬件平臺(tái)還是軟件平臺(tái)都不可能做到統(tǒng)一。而大規(guī)模的應(yīng)用軟件通常要求在軟硬件各不相同的分布式網(wǎng)絡(luò)上運(yùn)行。為了克服這種局限性,更好地開發(fā)和應(yīng)用能夠運(yùn)行在這種異構(gòu)平臺(tái)上的軟件,迫切需要一種基于標(biāo)準(zhǔn)的、獨(dú)立于計(jì)算機(jī)硬件以及操作系統(tǒng)的開發(fā)和運(yùn)行環(huán)境,中間件技術(shù)應(yīng)運(yùn)而生。采用中間件是介于應(yīng)用系統(tǒng)和系統(tǒng)軟件之間的一類軟件,它使用系統(tǒng)軟件所提供的基礎(chǔ)服務(wù)(功能),銜接網(wǎng)絡(luò)上應(yīng)用系統(tǒng)的各個(gè)部分或不同的應(yīng)用,達(dá)到資源共享、功能共享的目的。視頻基礎(chǔ)數(shù)據(jù)庫(kù)設(shè)計(jì)建設(shè)規(guī)劃視頻圖像信息數(shù)據(jù)庫(kù)是一個(gè)提供除傳統(tǒng)連續(xù)視頻流以外的視頻圖像內(nèi)容信息流的存儲(chǔ)和相應(yīng)服務(wù)的基礎(chǔ)視頻資源庫(kù)，是一個(gè)提供除傳統(tǒng)視頻監(jiān)控實(shí)時(shí)瀏覽、云鏡控制、錄像下載回放等基本功能以外的、與公安實(shí)戰(zhàn)應(yīng)用能深度結(jié)合的視頻圖像信息資源系統(tǒng)。?視頻圖像信息數(shù)據(jù)庫(kù)有廣義和狹義之分，廣義上的視頻圖像信息數(shù)據(jù)庫(kù)涵蓋所有用于存儲(chǔ)視頻、圖像及其結(jié)構(gòu)化描述信息等內(nèi)容的存儲(chǔ)系統(tǒng)，包括目前用于存儲(chǔ)連續(xù)視頻流的存儲(chǔ)系統(tǒng)。狹義上的視頻圖像信息數(shù)據(jù)庫(kù)指用于存儲(chǔ)視頻監(jiān)控設(shè)備自動(dòng)抽取或人工采集和標(biāo)注的視頻片段、圖像、索引、標(biāo)簽、視頻結(jié)構(gòu)化描述信息的數(shù)據(jù)庫(kù)，如卡口圖像和車輛通行信息、案/事件信息等。視頻庫(kù)建設(shè)主要針對(duì)XX高新區(qū)開發(fā)區(qū)智慧園區(qū)視頻監(jiān)控系統(tǒng)產(chǎn)生的視頻圖像信息,進(jìn)行統(tǒng)一的存儲(chǔ)和管理，利用大數(shù)據(jù)視頻分析技術(shù)提取視頻文件特征值，及時(shí)發(fā)現(xiàn)視頻文件中的異常信息進(jìn)行預(yù)警研判等。設(shè)計(jì)方案XX高新區(qū)智慧園區(qū)視頻圖像信息數(shù)據(jù)庫(kù)系統(tǒng)指用于存儲(chǔ)視頻監(jiān)控設(shè)備在事件觸發(fā)下自動(dòng)抽取，或人工值機(jī)和現(xiàn)場(chǎng)巡查、以及案件研判過程中采集和標(biāo)注的視頻片段、圖像、索引、標(biāo)簽、視頻結(jié)構(gòu)化描述信息的數(shù)據(jù)庫(kù)，以及支撐視頻圖像信息對(duì)象應(yīng)用的相關(guān)服務(wù)功能。視頻庫(kù)的內(nèi)容目錄：序號(hào)信息目錄(一級(jí))信息目錄（二級(jí)）可能的信息源單位1視頻視頻目錄視頻監(jiān)控系統(tǒng)數(shù)字?jǐn)z像裝置視頻文件2視頻特征視頻特征文件視頻圖像信息數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)XX高新區(qū)開發(fā)區(qū)智慧園區(qū)視頻的核心信息和部分特征信息，主要包括視頻目錄管理、視頻文件管理、視頻特征文件生成、視頻檢索、視頻異常信息等。視頻庫(kù)采用數(shù)據(jù)同步更新等策略保持?jǐn)?shù)據(jù)庫(kù)一直處于熱備狀態(tài)，有效的保證平臺(tái)運(yùn)行的穩(wěn)定性。?邏輯結(jié)構(gòu)視頻庫(kù)結(jié)構(gòu)從邏輯概念上主要分為如下幾個(gè)部分：??管理模塊主要包括管理用戶、權(quán)限等信息表。內(nèi)容模塊主要包括視頻目錄、視頻文件、視頻檢索等信息表。日志/事件模塊主要包括管理用戶日志、故障通知、報(bào)警事件等信息表。特征模塊?主要包括視頻特征文件信息、視頻異常信息等的信息表。訪問模型視頻圖像信息數(shù)據(jù)庫(kù)由于職能定位不同具體建設(shè)方式與XX高新區(qū)開發(fā)區(qū)智慧園區(qū)已有的視頻監(jiān)控系統(tǒng)數(shù)據(jù)庫(kù)有所不同，但是數(shù)據(jù)庫(kù)接口應(yīng)該一致。由于傳統(tǒng)的SQL數(shù)據(jù)庫(kù)技術(shù)已經(jīng)難以滿足大數(shù)據(jù)、結(jié)構(gòu)化非結(jié)構(gòu)化混合數(shù)據(jù)等應(yīng)用的需求，當(dāng)前各類NoSQL數(shù)據(jù)庫(kù)和云數(shù)據(jù)庫(kù)等技術(shù)發(fā)展非常迅速，所以本技術(shù)不具體規(guī)定數(shù)據(jù)庫(kù)內(nèi)部的具體表結(jié)構(gòu)的實(shí)現(xiàn)，而是從數(shù)據(jù)庫(kù)訪問接口操作以及操作對(duì)象角度去制定相應(yīng)的協(xié)議。?從系統(tǒng)總體架構(gòu)中抽取視頻圖像信息數(shù)據(jù)庫(kù)系統(tǒng)模型包含了視頻圖像信息數(shù)據(jù)庫(kù)系統(tǒng)的內(nèi)置服務(wù)功能。所有服務(wù)功能都要從接口功能中去體現(xiàn)。本模型具體規(guī)定了以下四個(gè)服務(wù)接口：(1)視頻圖像信息實(shí)時(shí)采集接口（簡(jiǎn)稱A接口）：是視頻圖像信息采集系統(tǒng)與視頻圖像信息數(shù)據(jù)庫(kù)之間的服務(wù)接口，主要是將采集的視頻圖像信息實(shí)時(shí)寫入視頻圖像信息數(shù)據(jù)庫(kù)。?(2)視頻圖像信息應(yīng)用服務(wù)接口（簡(jiǎn)稱B接口）：是視頻圖像信息數(shù)據(jù)庫(kù)系統(tǒng)與視頻圖像信息應(yīng)用平臺(tái)之間的服務(wù)接口，是將視頻圖像信息數(shù)據(jù)庫(kù)系統(tǒng)功能以服務(wù)的方式開放給上層本地應(yīng)用程序，包括獨(dú)立的視頻圖像信息實(shí)戰(zhàn)應(yīng)用平臺(tái)、各警種的業(yè)務(wù)系統(tǒng)等。值機(jī)人員在視頻巡邏過程中通過視頻監(jiān)控聯(lián)網(wǎng)共享平臺(tái)采集的視頻圖像信息和偵查人員在偵查與研判過程中所采集與形成的視頻圖像信息均通過該接口存入視頻圖像信息數(shù)據(jù)庫(kù)。?(3)視頻圖像信息批量數(shù)據(jù)交換接口（簡(jiǎn)稱C接口）：是視頻圖像信息數(shù)據(jù)庫(kù)系統(tǒng)與公安信息化系統(tǒng)之間的批量數(shù)據(jù)交換接口。如交警對(duì)于違章車輛信息入庫(kù)后需要進(jìn)行人工核對(duì)，經(jīng)過人工核對(duì)后的包括車牌在內(nèi)的過車記錄信息是準(zhǔn)確的，如果將這部分經(jīng)過人工核對(duì)的過車記錄信息批量交換到視頻圖像信息數(shù)據(jù)庫(kù)中，對(duì)相對(duì)應(yīng)的過車記錄信息進(jìn)行更新，可以提高視頻圖像信息數(shù)據(jù)庫(kù)的數(shù)據(jù)質(zhì)量，另外也可實(shí)現(xiàn)案件受理登記信息的實(shí)時(shí)批量導(dǎo)入。?(4)視頻圖像信息聯(lián)網(wǎng)共享服務(wù)接口（簡(jiǎn)稱D接口）：是上下級(jí)視頻圖像信息數(shù)據(jù)庫(kù)系統(tǒng)之間的聯(lián)網(wǎng)共享服務(wù)接口，實(shí)現(xiàn)視頻圖像信息數(shù)據(jù)庫(kù)跨區(qū)域的共享應(yīng)用。大數(shù)據(jù)處理平臺(tái)大數(shù)據(jù)基礎(chǔ)平臺(tái)架構(gòu)設(shè)計(jì)SDCHadoop大數(shù)據(jù)基礎(chǔ)平臺(tái)集工作臺(tái)、工作流開發(fā)環(huán)境、任務(wù)調(diào)度、數(shù)據(jù)管理、數(shù)據(jù)檢索、集群運(yùn)維管理系統(tǒng)和應(yīng)用門戶為一體，為用戶提供基于大數(shù)據(jù)的基礎(chǔ)解決方案，全面滿足不同行業(yè)、不同人群對(duì)大數(shù)據(jù)的個(gè)性化要求。其架構(gòu)設(shè)計(jì)如下圖：運(yùn)維管理（SDCConsole）：SDCConsole是大數(shù)據(jù)運(yùn)維管理系統(tǒng)，為SDCHadoop供高可靠、安全、容錯(cuò)、易用的集群管理能力，支持大規(guī)模集群的安裝部署、監(jiān)控、告警、用戶管理、權(quán)限管理、審計(jì)、服務(wù)管理等。SDCHadoop集成開發(fā)工具：提供了web圖形化方式操作，包括流程控制、作業(yè)調(diào)度、數(shù)據(jù)管理、數(shù)據(jù)搜索、元數(shù)據(jù)管理、文件管理等功能。HDFS:Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem），提供高吞吐量的數(shù)據(jù)訪問，適合大規(guī)模數(shù)據(jù)集方面的應(yīng)用。Zookeeper：提供分布式、高可用性的協(xié)調(diào)服務(wù)能力。幫助系統(tǒng)避免單點(diǎn)故障，從而建立可靠的應(yīng)用程序。HBase：提供海量數(shù)據(jù)存儲(chǔ)功能，是一種構(gòu)建在HDFS之上的分布式、面向列的存儲(chǔ)系統(tǒng)。Elasticsearch：提供了一個(gè)分布式多用戶能力的全文搜索引擎。Parquet：面向分析型業(yè)務(wù)的列式存儲(chǔ)格式。YARN資源管理系統(tǒng)，它是一個(gè)通用的資源模塊，可以為各類應(yīng)用程序進(jìn)行資源管理和調(diào)度。Tachyon：分布式內(nèi)存文件系統(tǒng)，可以在集群里以訪問內(nèi)存的速度來訪問存在tachyon里的文件。Redis：提供基于內(nèi)存的高性能分布式K-V緩存系統(tǒng)。MapReduce:提供快速并行處理大量數(shù)據(jù)的能力，是一種分布式數(shù)據(jù)處理模式和執(zhí)行環(huán)境。Spark：基于內(nèi)存進(jìn)行計(jì)算的分布式計(jì)算框架。Strom：提供分布式、高容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Hive：建立在Hadoop基礎(chǔ)上的開源的數(shù)據(jù)倉(cāng)庫(kù)，提供類似SQL的HiveQueryLanguage語言操作結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)服務(wù)和基本的數(shù)據(jù)分析服務(wù)。Impala：提供SQL語義，能查詢存儲(chǔ)在Hadoop的HDFS和HBase中的PB級(jí)大數(shù)據(jù)。SparkStreaming：建立在Spark上的實(shí)時(shí)計(jì)算框架，通過它提供的豐富的API、基于內(nèi)存的高速執(zhí)行引擎，用戶可以結(jié)合流式、批處理和交互試查詢應(yīng)用。Kylin：支持在超大數(shù)據(jù)集上進(jìn)行秒級(jí)別的SQL及OLAP查詢。功能模塊大數(shù)據(jù)運(yùn)維管理大數(shù)據(jù)運(yùn)維管理為大數(shù)據(jù)存儲(chǔ)供高可靠、安全、容錯(cuò)、易用的集群管理能力，支持大規(guī)模集群的安裝部署、統(tǒng)一監(jiān)控告警、統(tǒng)一用戶權(quán)限管理、日志查詢、服務(wù)管理等。服務(wù)管理提供服務(wù)管理，支持對(duì)各項(xiàng)資源及服務(wù)進(jìn)行創(chuàng)建、刪除、啟停、重啟、配置、升級(jí)、部署、維護(hù)等操作：統(tǒng)一監(jiān)控告警提供集群監(jiān)控功能，集成大數(shù)據(jù)服務(wù)、可視化服務(wù)、數(shù)據(jù)挖掘服務(wù)等，并對(duì)服務(wù)器CPU、服務(wù)資源、服務(wù)狀態(tài)（警告、錯(cuò)誤、隱患）進(jìn)行實(shí)時(shí)監(jiān)控，并以圖表形式呈現(xiàn)。支持異常郵件報(bào)警，便于用戶及時(shí)發(fā)現(xiàn)問題并處理：日志查詢提供日志分析友好的Web界面，可以幫助用戶匯總、分析和搜索重要數(shù)據(jù)日志：統(tǒng)一用戶權(quán)限管理提供統(tǒng)一用戶權(quán)限管理，方便管理員對(duì)用戶進(jìn)行管理：SDCHadoop集成開發(fā)工具提供了web圖形化方式操作，包括流程控制、作業(yè)調(diào)度、數(shù)據(jù)管理、數(shù)據(jù)搜索、元數(shù)據(jù)管理、文件管理等功能。流程控制工作流是由多個(gè)節(jié)點(diǎn)和節(jié)點(diǎn)間的依賴關(guān)系所組成的一組邏輯和規(guī)則，形成一張有向無環(huán)圖（DAG圖）開發(fā)者可通過開發(fā)面板和管理面板新建工作流來新建工作流進(jìn)入工作流設(shè)計(jì)器，在工作流設(shè)計(jì)器中通過拖拽不同類型節(jié)點(diǎn)并連線的方式來開發(fā)一個(gè)工作流，提供基本的數(shù)據(jù)集成、數(shù)據(jù)計(jì)算、數(shù)據(jù)調(diào)度等組件的工作流設(shè)計(jì)，支持工作流的新增、刪除、修改、查詢、測(cè)試運(yùn)行、格式化、提交、保存。支持設(shè)置工作流任務(wù)定時(shí)執(zhí)行，并實(shí)時(shí)監(jiān)控任務(wù)執(zhí)行情況，支持運(yùn)行日志查看。實(shí)時(shí)概況采用多視圖實(shí)時(shí)對(duì)流程運(yùn)行進(jìn)行監(jiān)控，從狀態(tài)、時(shí)段、步驟類型、耗時(shí)等不同角度查看過去12小時(shí)或24小時(shí)內(nèi)所有流程的運(yùn)行統(tǒng)計(jì)概況，幫助用戶第一時(shí)間獲知全局運(yùn)行情況，并提供強(qiáng)大的性能分析報(bào)告優(yōu)化流程調(diào)度：流程設(shè)計(jì)：通過簡(jiǎn)單的拖拽方式即可完成數(shù)據(jù)特征提取，樣本數(shù)據(jù)建立，數(shù)據(jù)挖掘場(chǎng)景構(gòu)建等復(fù)雜流程設(shè)計(jì)，界面簡(jiǎn)潔，操作簡(jiǎn)單：工作流列表和工作流設(shè)計(jì)在同一頁(yè)面，方便用戶快速的切換工作流進(jìn)行操作，提供工作流新增、刪除、修改、查詢、運(yùn)行、保存功能：提供工作流組件參數(shù)配置，滿足用戶各類流程設(shè)計(jì)需求：用戶可設(shè)置工作流調(diào)度，讓流程任務(wù)定時(shí)執(zhí)行：提供工作流運(yùn)行、暫停功能，運(yùn)行過程中實(shí)時(shí)返回各步驟運(yùn)行結(jié)果：運(yùn)行監(jiān)控：展示進(jìn)行中和已完成的工作流信息，信息主要包含流程名稱、狀態(tài)、提交者、啟動(dòng)時(shí)間、結(jié)束時(shí)間、運(yùn)行進(jìn)度：提供關(guān)鍵詞搜索流程功能，支持按狀態(tài)和周期篩選工作流，方便用戶快速查找：提供運(yùn)行中的工作流暫停、終止功能；提供已完成的工作流再次運(yùn)行、查看運(yùn)行日志功能：作業(yè)調(diào)度通過多時(shí)間維度的計(jì)算任務(wù)調(diào)度、在線運(yùn)維、監(jiān)控報(bào)警等功能為大數(shù)據(jù)開發(fā)提供穩(wěn)定的計(jì)算調(diào)度能力，可以支持超過百萬級(jí)的調(diào)度任務(wù)量。數(shù)據(jù)管理支持關(guān)系型數(shù)據(jù)、Hadoop等多種方式的數(shù)據(jù)查詢操作?？芍付〝?shù)據(jù)庫(kù)進(jìn)行查詢，支持歷史查詢記錄查看：提供圖表化的查詢結(jié)果展示，支持條狀圖、折線圖、圓形圖、映射圖；圖表還可按升序、降序及正常序顯示查詢結(jié)果：支持查詢結(jié)果導(dǎo)出為XLS和CSV格式，還可保存到HDFS或者Hive中：數(shù)據(jù)搜索通過平臺(tái)建立多維索引，實(shí)現(xiàn)分布式實(shí)時(shí)搜索與分析引擎，可實(shí)時(shí)對(duì)數(shù)據(jù)進(jìn)行深度搜索：元數(shù)據(jù)管理對(duì)元數(shù)據(jù)進(jìn)行管理和操作，查看表結(jié)構(gòu)、表的存儲(chǔ)位置及樣本數(shù)據(jù)。支持從文件創(chuàng)建一個(gè)表、手動(dòng)創(chuàng)建一個(gè)表以及Hadoop體系與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)之間大批量數(shù)據(jù)的傳輸。查看元數(shù)據(jù)信息，如表結(jié)構(gòu)、樣例數(shù)據(jù)及存儲(chǔ)位置等，支持指定數(shù)據(jù)庫(kù)查看：支持手動(dòng)創(chuàng)建一個(gè)表，后續(xù)數(shù)據(jù)導(dǎo)入到該表文件夾下，可實(shí)現(xiàn)對(duì)數(shù)據(jù)的查詢等操作；同時(shí)也支持從數(shù)據(jù)文件中導(dǎo)入數(shù)據(jù)的方式創(chuàng)建一個(gè)表：文件管理文件管理主要功能是實(shí)現(xiàn)對(duì)Hadoop文件的管理，實(shí)現(xiàn)海量數(shù)據(jù)文件的分布式存儲(chǔ)。支持對(duì)文件進(jìn)行新增、刪除、修改、查詢、權(quán)限更改等操作。支持查看歷史記錄以及從回收站恢復(fù)刪除的文件：分布式文件系統(tǒng)HDFSHDFS是Hadoop的分布式文件系統(tǒng)，實(shí)現(xiàn)高吞吐量的數(shù)據(jù)訪問，適合大規(guī)模數(shù)據(jù)集方面的應(yīng)用，為海量數(shù)據(jù)提供存儲(chǔ)。HDFS包含主、備NameNode和多個(gè)DataNode。在HDFS內(nèi)部，一個(gè)文件分成一個(gè)或多個(gè)“數(shù)據(jù)塊”DataNode集合里，NameNode負(fù)責(zé)保存和管理所有的HDFS元數(shù)據(jù)。客戶端連接到NameNode，執(zhí)行文件系統(tǒng)的“命名空間”操作，例如打開、關(guān)閉、重命名文件和目錄，同時(shí)決定“數(shù)據(jù)塊”到具體DataNode節(jié)點(diǎn)的映射。DataNode在NameNode的指揮下進(jìn)行“數(shù)據(jù)塊”的創(chuàng)建、刪除和復(fù)制?？蛻舳诉B接到DataNode，執(zhí)行讀寫數(shù)據(jù)塊操作。分布式批處理引擎MapReduceMapReduce是用于并行處理大數(shù)據(jù)集的軟件框架。MapReduce的根源是函數(shù)性編程中的map和reduce函數(shù)。Map函數(shù)接受一組數(shù)據(jù)并將其轉(zhuǎn)換為一個(gè)鍵/值對(duì)列表，輸入域中的每個(gè)元素對(duì)應(yīng)一個(gè)鍵/值對(duì)。Reduce函數(shù)接受Map函數(shù)生成的列表，然后根據(jù)它們的鍵縮小鍵/值對(duì)列表。MapReduce起到了將大事務(wù)分散到不同設(shè)備處理的能力，這樣原本必須用單臺(tái)較強(qiáng)服務(wù)器才能運(yùn)行的任務(wù)，在分布式環(huán)境下也能完成了。統(tǒng)一資源管理和調(diào)度框架YARNYARN是中的資源管理系統(tǒng)，它是一個(gè)通用的資源管理模塊，可以為各類應(yīng)用程序進(jìn)行資源管理和調(diào)度。YARN不僅局限于MapReduce一種框架使用，也可以供其他框架使用，比如Tez、Spark、Storm等。YARN主要分為ResourceManager、ApplicationMaster與NodeManager三個(gè)部分。ResourceManager：RM是一個(gè)全局的資源管理器，負(fù)責(zé)整個(gè)系統(tǒng)的資源管理和分配。它主要由兩個(gè)組件構(gòu)成：調(diào)度器（Scheduler）和應(yīng)用程序管理器（ApplicationsManager）。調(diào)度器根據(jù)容量、隊(duì)列等限制條件（如每個(gè)隊(duì)列分配一定的資源，最多執(zhí)行一定數(shù)量的作業(yè)等），將系統(tǒng)中的資源分配給各個(gè)正在運(yùn)行的應(yīng)用程序。調(diào)度器僅根據(jù)各個(gè)應(yīng)用程序的資源需求進(jìn)行資源分配，而資源分配單位用一個(gè)抽象概念Container表示。Container是一個(gè)動(dòng)態(tài)資源分配單位，它將內(nèi)存、CPU、磁盤、網(wǎng)絡(luò)等資源封裝在一起，從而限定每個(gè)任務(wù)使用的資源量。此外，該調(diào)度器是一個(gè)可插拔的組件，用戶可根據(jù)自己的需要設(shè)計(jì)新的調(diào)度器，YARN提供了多種直接可用的調(diào)度器，比如FairScheduler和CapacityScheduler等。應(yīng)用程序管理器負(fù)責(zé)管理整個(gè)系統(tǒng)中所有應(yīng)用程序，包括應(yīng)用程序提交、與調(diào)度器協(xié)商資源以啟動(dòng)ApplicationMaster、監(jiān)控ApplicationMaster運(yùn)行狀態(tài)并在失敗時(shí)重新啟動(dòng)它等。NodeManager：NM是每個(gè)節(jié)點(diǎn)上的資源和任務(wù)管理器。一方面，它會(huì)定時(shí)向RM匯報(bào)本節(jié)點(diǎn)上的資源使用情況和各個(gè)Container的運(yùn)行狀態(tài)；另一方面，它接收并處理來AM的Container啟動(dòng)/停止等各種請(qǐng)求。ApplicationMaster：AM負(fù)責(zé)一個(gè)Application生命周期內(nèi)的所有工作。包括：與RM調(diào)度器協(xié)商以獲取資源。將得到的資源進(jìn)一步分配給內(nèi)部的任務(wù)(資源的二次分配)。與NM通信以啟動(dòng)/停止任務(wù)。監(jiān)控所有任務(wù)運(yùn)行狀態(tài)，并在任務(wù)運(yùn)行失敗時(shí)重新為任務(wù)申請(qǐng)資源以重啟任務(wù)。分布式數(shù)據(jù)庫(kù)HBaseHBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)。HBase適合于存儲(chǔ)大表數(shù)據(jù)（表的規(guī)?？梢赃_(dá)到數(shù)十億行以及數(shù)百萬列）訪問可以達(dá)到實(shí)時(shí)級(jí)別。HBase集群由主備Master進(jìn)程和多個(gè)RegionServer進(jìn)程組成：利用HadoopHDFS（HadoopDistributedFileSystem）作為其文件存儲(chǔ)系統(tǒng)，提供高可靠性、高性能、列存儲(chǔ)、可伸縮、實(shí)時(shí)讀寫的數(shù)據(jù)庫(kù)系統(tǒng)。為Spark和HadoopMapReduce提供海量數(shù)據(jù)實(shí)時(shí)處理能力。利用ZooKeeper作為協(xié)同服務(wù)。分布式內(nèi)存計(jì)算框架SparkSpark是一個(gè)并行數(shù)據(jù)處理框架，能夠幫助用戶簡(jiǎn)單的開發(fā)快速，統(tǒng)一的大數(shù)據(jù)應(yīng)用，對(duì)數(shù)據(jù)進(jìn)行，協(xié)處理，流式處理，交互式分析等等。Spark具有如下特點(diǎn)：快速：數(shù)據(jù)處理能力，比MapReduce快10-100倍。易用：可以通過Java，Scala，Python，簡(jiǎn)單快速的編寫并行的應(yīng)用處理大數(shù)據(jù)量，Spark提供了超過80種高層的操作符來幫助用戶組件并行程序。普遍性：Spark提供了眾多高層的工具，例如SparkSQL，MLib，GraphX，SparkStream，可以在一個(gè)應(yīng)用中，方便的將這些工具進(jìn)行組合。與Hadoop集成：Spark能夠直接運(yùn)行于Hadoop的集群，并且能夠直接讀取現(xiàn)存的Hadoop數(shù)據(jù)。尤其，Spark和Hadoop緊密結(jié)合，可以通過大數(shù)據(jù)基礎(chǔ)平臺(tái)Console部署安裝Spark。SparkStreaming是一種構(gòu)建在Spark上的實(shí)時(shí)計(jì)算框架，它擴(kuò)展了Spark處理大規(guī)模流式數(shù)據(jù)的能力。SparkSQL是Spark中用于結(jié)構(gòu)化數(shù)據(jù)處理的模塊。SparkSQL提供了一種通用的訪問多數(shù)據(jù)源的方式，可訪問的數(shù)據(jù)源包括Hive、Avro、Parquet、ORC、JSON和JDBC數(shù)據(jù)源，這些不同的數(shù)據(jù)源直接也可以實(shí)現(xiàn)互相操作。SparkSQL復(fù)用了Hive的前端處理邏輯和元數(shù)據(jù)處理模塊，使用SparkSQL可以直接對(duì)已有的Hive數(shù)據(jù)進(jìn)行查詢。另外，SparkSQL還提供了諸如API、CLI、JDBC等諸多接口，對(duì)客戶端提供多樣接入形式。分布式搜索ElasticSearchElasticSearch是一個(gè)實(shí)時(shí)分布式搜索和分析引擎：可用于全文搜索、結(jié)構(gòu)化搜索、文本分析；提供了一個(gè)分布式多用戶能力的全文搜索引擎，基于RESTfulweb接口，目的是通過簡(jiǎn)單的RESTfulAPI來隱藏Lucene的復(fù)雜性，從而讓全文搜索變得簡(jiǎn)單；使用Java開發(fā)的，用于復(fù)雜應(yīng)用底層的搜索功能開發(fā)。Elasticsearch不僅僅是Lucene和全文搜索，還支持以下特性：分布式的實(shí)時(shí)文件存儲(chǔ)，每個(gè)字段都被索引并可被搜索；分布式的實(shí)時(shí)分析搜索引擎；可以擴(kuò)展到上百臺(tái)服務(wù)器，處理PB級(jí)結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。Elasticsearch是面向文檔(documentoriented)的：可以存儲(chǔ)整個(gè)對(duì)象或文檔(document)。同時(shí)會(huì)索引(index)每個(gè)文檔的內(nèi)容使之可以被搜索。在Elasticsearch中，可以對(duì)文檔（而非成行成列的數(shù)據(jù)）進(jìn)行索引、搜索、排序、過濾。數(shù)據(jù)倉(cāng)庫(kù)HiveHive是建立在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)框架，提供類似SQL的HiveQueryLanguage語言操作結(jié)構(gòu)化數(shù)據(jù)，其基本原理是將HQL語言自動(dòng)轉(zhuǎn)換成MapReduce任務(wù)或Spark任務(wù)，從而完成對(duì)Hadoop集群中存儲(chǔ)的海量數(shù)據(jù)進(jìn)行查詢和分析。Hive主要特點(diǎn)如下：海量結(jié)構(gòu)化數(shù)據(jù)分析匯總；將復(fù)雜的MapReduce編寫任務(wù)簡(jiǎn)化為SQL語句。靈活的數(shù)據(jù)存儲(chǔ)格式，支持JSON，CSV，TEXTFILE，RCFILE，SEQUENCEFILE，ORC（OptimizedRowColumnar）這幾種存儲(chǔ)格式。中的元數(shù)據(jù)包括表的名字，表的列和分區(qū)及其屬性，表的屬性（是否為外部表等）錄等。Hive為單實(shí)例的服務(wù)進(jìn)程，提供服務(wù)的原理是將HQL編譯解析成相應(yīng)的MapReduce或者HDFS任務(wù)：流處理Storm、SparkStreamingApacheStorm是一個(gè)分布式、可靠、容錯(cuò)的實(shí)時(shí)流式數(shù)據(jù)處理的系統(tǒng)。在Storm中，先要設(shè)計(jì)一個(gè)用于實(shí)時(shí)計(jì)算的圖狀結(jié)構(gòu)，我們稱之為拓?fù)洌╰opology）被提交給集群，由集群中的主控節(jié)點(diǎn)（masternode）分發(fā)代碼，將任務(wù)分配給工作節(jié)點(diǎn)（workernode）執(zhí)行。一個(gè)拓?fù)渲邪╯pout和bolt兩種角色，其中spout發(fā)送消息，負(fù)責(zé)將數(shù)據(jù)流以tuple元組的形式發(fā)送出去；而bolt則負(fù)責(zé)轉(zhuǎn)換這些數(shù)據(jù)流，在bolt中可以完成計(jì)算、過濾等操作，bolt自身也可以隨機(jī)將數(shù)據(jù)發(fā)送給其他bolt。由spout發(fā)射出的tuple是不可變數(shù)組，對(duì)應(yīng)著固定的鍵值對(duì)。SparkStreaming是一種構(gòu)建在Spark上的實(shí)時(shí)計(jì)算框架，它擴(kuò)展了Spark處理大規(guī)模流式數(shù)據(jù)的能力。SparkStreaming具備以下特性：能運(yùn)行在100+的結(jié)點(diǎn)上，并達(dá)到秒級(jí)延遲。使用基于內(nèi)存的Spark作為執(zhí)行引擎，具有高效和容錯(cuò)的特性。能集成Spark的批處理和交互查詢。為實(shí)現(xiàn)復(fù)雜的算法提供和批處理類似的簡(jiǎn)單接口。分布式緩存層（Tachyon、Redis）Tachyon是Spark生態(tài)系統(tǒng)內(nèi)快速崛起的一個(gè)新項(xiàng)目。本質(zhì)上，Tachyon是個(gè)分布式的內(nèi)存文件系統(tǒng)，它在減輕Spark內(nèi)存壓力的同時(shí)，也賦予了Spark內(nèi)存快速大量數(shù)據(jù)讀寫的能力。Tachyon把內(nèi)存存儲(chǔ)的功能從Spark中分離出來，使Spark可以更專注計(jì)算的本身，以求通過更細(xì)的分工達(dá)到更高的執(zhí)行效率。Tachyon可以有效地解決如下問題：當(dāng)兩個(gè)Spark作業(yè)需要共享數(shù)據(jù)時(shí)，無需再通過寫磁盤，而是借助Tachyon進(jìn)行內(nèi)存讀寫，從而提高計(jì)算效率。在使用Tachyon對(duì)數(shù)據(jù)進(jìn)行緩存后，即便在Spark程序崩潰JVM進(jìn)程退出后，所緩存數(shù)據(jù)也不會(huì)丟失。這樣，Spark工作重啟時(shí)可以直接從Tachyon內(nèi)存讀取數(shù)據(jù)了。當(dāng)兩個(gè)Spark作業(yè)需要操作相同的數(shù)據(jù)時(shí)，它們可以直接從Tachyon獲取，并不需要各自緩存一份數(shù)據(jù)，從而降低JVM內(nèi)存壓力，減少垃圾收集發(fā)生的頻率。Redis（REmoteDIctionaryService）支持多種數(shù)據(jù)類型，集群擴(kuò)容、減容，Balance。數(shù)據(jù)類型：包括string（字符串）、list（鏈表）、set（集合）、zset（有序集合）、hash等。集群擴(kuò)容、減容：當(dāng)集群需要提供大規(guī)模的處理能力時(shí)，可以一鍵式擴(kuò)容一對(duì)或多對(duì)主從實(shí)例。在此過程中，系統(tǒng)會(huì)自動(dòng)完成數(shù)據(jù)遷移和數(shù)據(jù)平衡，用戶無需其他操作。Balance：出現(xiàn)擴(kuò)容異常、部分實(shí)例掉線等異常場(chǎng)景時(shí)，Redis集群中的數(shù)據(jù)可能會(huì)分布不均勻，此時(shí)可以通過管理界面上提供的Balance功能，讓系統(tǒng)自動(dòng)對(duì)集群數(shù)據(jù)進(jìn)行平衡，保證集群的健康運(yùn)行。分布式應(yīng)用程序協(xié)調(diào)服務(wù)ZooKeeperZooKeeper是一個(gè)分布式、高可用性的協(xié)調(diào)服務(wù)。主要支持以下特性：幫助系統(tǒng)避免單點(diǎn)故障，建立可靠的應(yīng)用程序。提供分布式協(xié)作服務(wù)和維護(hù)配置信息。ZooKeeper集群中的節(jié)點(diǎn)分為三種角色：Leader、Follower和Observer，其結(jié)構(gòu)和相互關(guān)系。通常來說，需要在集群中配置奇數(shù)個(gè)（2N+1）ZooKeeper服務(wù)，至少（N+1）個(gè)投票才能成功的執(zhí)行寫操作。功能特性安全性加固SDCHadoop大數(shù)據(jù)基礎(chǔ)平臺(tái)通過架構(gòu)安全、認(rèn)證安全、文件系統(tǒng)層加密實(shí)現(xiàn)多維度安全管理。架構(gòu)安全基于微服務(wù)架構(gòu)方式，針對(duì)每個(gè)微服務(wù)請(qǐng)求之間保持服務(wù)的相互認(rèn)證；用戶認(rèn)證安全基于用戶和角色的認(rèn)證體系，支持安全協(xié)議Kerberos，使用LDAP作為賬戶管理系統(tǒng)，提供單點(diǎn)登錄能力；文件系統(tǒng)層針對(duì)表、字段的存儲(chǔ)關(guān)鍵信息動(dòng)態(tài)加密，集群內(nèi)部用戶信息禁止明文存儲(chǔ)。統(tǒng)一工作臺(tái)SDCHadoop統(tǒng)一工作臺(tái)提供豐富的可視化組件，包括批量采集、實(shí)時(shí)采集、實(shí)時(shí)消息、批量計(jì)算任務(wù)、機(jī)器學(xué)習(xí)等任務(wù)類型。提供自動(dòng)化的二次開發(fā)助手和開發(fā)樣例，幫助軟件開發(fā)人員快速上手。相較于開源的工作流拖拽，提供更為便捷和靈活的體驗(yàn)與交互。資源動(dòng)態(tài)管理SDCHadoop大數(shù)據(jù)基礎(chǔ)平臺(tái)在統(tǒng)一存儲(chǔ)上建立資源管理層，提供企業(yè)用戶統(tǒng)一的計(jì)算資源管理、動(dòng)態(tài)資源分配、多租戶之間資源配置和動(dòng)態(tài)共享，靈活支持多租戶多服務(wù)在統(tǒng)一平臺(tái)上平滑運(yùn)行；在可管理性方面優(yōu)勢(shì)顯著；大數(shù)據(jù)基礎(chǔ)平臺(tái)基于YARN，支持同時(shí)運(yùn)行多個(gè)計(jì)算框架。統(tǒng)一運(yùn)維管理SDCHadoop大數(shù)據(jù)基礎(chǔ)平臺(tái)作為企業(yè)級(jí)解決方案，開發(fā)了用戶友好的圖形化管理界面、提供了系統(tǒng)安裝、集群配置，資源級(jí)別安全控制、監(jiān)控及預(yù)警等多方面支持，在可管理性方面優(yōu)勢(shì)顯著；全鏈路大數(shù)據(jù)管理SDCHadoop大數(shù)據(jù)基礎(chǔ)平臺(tái)提供個(gè)性化的數(shù)據(jù)建模、數(shù)據(jù)查詢、收藏、管理功能，用戶可輕松收藏所關(guān)注的數(shù)據(jù)表，同時(shí)可對(duì)數(shù)據(jù)表的生命周期、基本信息、負(fù)責(zé)人等信息進(jìn)行管理，也可查看數(shù)據(jù)表存儲(chǔ)信息、分區(qū)信息、產(chǎn)出信息、血緣信息等內(nèi)容。海量批處理和高速流處理SDCHadoop大數(shù)據(jù)基礎(chǔ)平臺(tái)基于Labmda架構(gòu)，有機(jī)集成了Hadoop、Spark、Storm等計(jì)算框架和HDFS、Hbase等數(shù)據(jù)存儲(chǔ)服務(wù)，真正做到海量批處理和高速流處理的能力。海量數(shù)據(jù)搜索SDCHadoop大數(shù)據(jù)基礎(chǔ)平臺(tái)分布式實(shí)時(shí)搜索與分析引擎，可實(shí)時(shí)對(duì)數(shù)據(jù)進(jìn)行深度搜索，支持多維度的數(shù)據(jù)展現(xiàn)形態(tài)。大數(shù)據(jù)多維分析查詢系統(tǒng)架構(gòu)設(shè)計(jì)SDCUE大數(shù)據(jù)多維分析查詢系統(tǒng)整體架構(gòu)如下圖所示：功能模塊多數(shù)據(jù)源管理支持多種數(shù)據(jù)源的連接，包括：主流關(guān)系型數(shù)據(jù)庫(kù)RDBMS、Excel/CVS文本數(shù)據(jù)源、基于hadoop的大數(shù)據(jù)平臺(tái)數(shù)據(jù)源以及其他多種JDBC數(shù)據(jù)源。類型數(shù)據(jù)源描述RDBMS數(shù)據(jù)源可直接使用已有數(shù)據(jù)源，也可以定義新的數(shù)據(jù)源。支持：Oracle、MySQL、SQLServer、PostgraSQL等主流關(guān)系型數(shù)據(jù)庫(kù)。支持高級(jí)數(shù)據(jù)源基于JDBC的數(shù)據(jù)集市DataMart、基于hadoop的大數(shù)據(jù)平臺(tái)數(shù)據(jù)源Excel數(shù)據(jù)源支持可直接上傳.xls.xlsx或.cvs文件，并可讀取其中的每個(gè)sheet頁(yè)簽。集成大數(shù)據(jù)基礎(chǔ)平臺(tái)集成大數(shù)據(jù)基礎(chǔ)平臺(tái)，實(shí)現(xiàn)一體化解決方案。API定制化的第三方數(shù)據(jù)源預(yù)留通過標(biāo)準(zhǔn)的API接口，實(shí)現(xiàn)讀取第三方自定義定制化數(shù)據(jù)源的能力。數(shù)據(jù)建模數(shù)據(jù)源建好之后，支持對(duì)數(shù)據(jù)表進(jìn)行進(jìn)行數(shù)據(jù)建模，構(gòu)建BI分析需要的維度、指標(biāo)。大數(shù)據(jù)多維分析查詢系統(tǒng)支持星型、雪花模型，拖拽式可視化建模。模型創(chuàng)建后，系統(tǒng)自動(dòng)生成Cube，供BI分析使用。平臺(tái)智能識(shí)別出維度和指標(biāo)信息，并且支持對(duì)維度、指標(biāo)的轉(zhuǎn)換。工程化管理支持工程模式的管理，一個(gè)工程下支持多個(gè)頁(yè)面，也支持多個(gè)分組，分組下還可以新建頁(yè)面，便于對(duì)多個(gè)可視化頁(yè)面進(jìn)行分類管理。工程發(fā)布后，工程名字即是發(fā)布報(bào)表的一級(jí)菜單，里邊的分組是二級(jí)菜單。支持對(duì)工程的新增、刪除、發(fā)布、復(fù)制、導(dǎo)入、導(dǎo)出功能?？梢暬幣臩DCUE大數(shù)據(jù)多維分析查詢系統(tǒng)是基于純JS代碼開發(fā)的IDE，可以在各種瀏覽器下實(shí)現(xiàn)報(bào)表制作。通過所見即所得拖拽方式實(shí)現(xiàn)靈活的可視化布局，極致的用戶體驗(yàn)。您只需要通過拖拽，無需編程能力，在設(shè)計(jì)器上任意發(fā)揮創(chuàng)意，即可創(chuàng)造出專業(yè)的BI報(bào)表和可視化數(shù)據(jù)展現(xiàn)Web頁(yè)面。支持字體對(duì)齊，組件對(duì)齊，組件分布，組件層級(jí)控制等等，相關(guān)操作非常便利：字體對(duì)齊支持：文本左對(duì)齊、文本居中對(duì)齊、文本右對(duì)齊。組件對(duì)齊支持：左對(duì)齊，左右居中，右對(duì)齊，頂端對(duì)齊，上下居中，低端對(duì)齊。支持組件橫向自動(dòng)分布，組件縱向自動(dòng)分布。畫布上支持標(biāo)尺，提供標(biāo)尺對(duì)齊線。提供坐標(biāo)顯示、設(shè)置，長(zhǎng)度、寬度直接設(shè)置。支持畫布大小選擇，自定義社會(huì)。支持拷貝、粘貼、上下左右移、回退、重做、保存、全部保存等快捷鍵。當(dāng)組件重疊的時(shí)候，支持設(shè)置組件層級(jí)，可以置頂或者降底。樣式支持對(duì)不同的組件，包括基礎(chǔ)組件、圖標(biāo)組件、GIS組件等設(shè)置不同的樣式，以滿足不同的需求場(chǎng)景。柱狀圖屬性配置面積圖屬性配置主題系統(tǒng)可以改變整個(gè)報(bào)表設(shè)計(jì)器的主題風(fēng)格。報(bào)表主題可以改變報(bào)表頁(yè)面的主題風(fēng)格。模板為了提高開發(fā)效率，為開發(fā)者提供了自定義布局模板和業(yè)務(wù)模板的保存。方便后續(xù)的項(xiàng)目可以繼承之前項(xiàng)目的一些成果進(jìn)行復(fù)用。布局模板只繼承頁(yè)面設(shè)置框架。業(yè)務(wù)模板在布局模板的基礎(chǔ)上集成了和業(yè)務(wù)相關(guān)的數(shù)據(jù)模型的綁定?？梢詫瀳D和一個(gè)混合圖配置好之后，把他們一起保存為自定義業(yè)務(wù)組件，保存到平臺(tái)中。下次相同的業(yè)務(wù)場(chǎng)景，就可以直接將這個(gè)自定義業(yè)務(wù)組件“餅圖+混合圖組合組件”拖到頁(yè)面中，不需要再重新配置。組件庫(kù)系統(tǒng)既支持柱狀圖、折線圖、餅圖、雷達(dá)圖、散點(diǎn)圖、玫瑰圖、氣泡圖、矢量地圖等多種基本圖表，同時(shí)支持漏斗圖、詞云圖、GIS地圖等特殊圖表，滿足不同場(chǎng)景的數(shù)據(jù)展現(xiàn)需求。特別是系統(tǒng)支持豐富多樣的WEB組件。圖表組件當(dāng)前支持的有：面積圖、條形圖、趨勢(shì)圖、混合圖、餅圖、折線圖、柱狀圖、折線堆積圖、柱狀堆積圖、面積堆積圖、表格、條形堆積圖、南丁格爾玫瑰圖、嵌套餅圖、儀表盤、大規(guī)模散點(diǎn)圖、標(biāo)準(zhǔn)氣泡圖、漏斗圖、雷達(dá)圖等等，樣式豐富,且支持自定義擴(kuò)展。圖標(biāo)組件及相關(guān)功能介紹如下：表格組件SDCUE大數(shù)據(jù)多維分析查詢系統(tǒng)具備靈活額表格組件，實(shí)現(xiàn)對(duì)詳細(xì)數(shù)據(jù)的表格化呈現(xiàn)。表格的能力支持：每頁(yè)行數(shù)控制、加載上限、滾動(dòng)高度設(shè)置、單元格凍結(jié)、復(fù)選框、行序號(hào)、分頁(yè)、搜索、多了排序、表頭設(shè)置、數(shù)據(jù)區(qū)設(shè)置、背景及背景圖片設(shè)置、奇偶行設(shè)置、邊框設(shè)置、網(wǎng)格線設(shè)置，同時(shí)支持動(dòng)態(tài)篩選、動(dòng)態(tài)列選擇、動(dòng)態(tài)排序、異步加載、表格渲染、數(shù)據(jù)導(dǎo)出等動(dòng)作。地圖組件GIS地圖GIS組件支持用戶自定義圖層，提供多種控件和渲染方式，支持兩種底圖，支持衛(wèi)星圖。將帶有“地域性”或“區(qū)域性”特征的信息通過地圖的形式進(jìn)行展現(xiàn)，更加直觀地監(jiān)控每個(gè)地區(qū)的業(yè)務(wù)情況。GIS組件功能列表：一級(jí)功能二級(jí)功能功能點(diǎn)描述圖層管理基礎(chǔ)圖層支持衛(wèi)星、矢量、地形圖三種，支持天地圖、google、高德的底圖業(yè)務(wù)圖層通過圖層展示業(yè)務(wù)數(shù)據(jù)綁定的結(jié)果，支持用戶在地圖上進(jìn)行對(duì)象選擇，并進(jìn)行業(yè)務(wù)屬性查詢。每個(gè)圖層上承載的是單一類型的對(duì)象，可以對(duì)應(yīng)一種渲染規(guī)則。支持第三方業(yè)務(wù)圖層，如縣級(jí)以下行政區(qū)劃邊界，河流、道路等，自定義圖標(biāo)、展示字段、符號(hào)樣式、可以設(shè)置過濾條件圖層事件綁定支持圖層響應(yīng)鼠標(biāo)單擊，支持彈窗、跳轉(zhuǎn)、聯(lián)動(dòng)模型綁定空間數(shù)據(jù)模型支持空間數(shù)據(jù)綁定業(yè)務(wù)模型綁定支持業(yè)務(wù)模型關(guān)聯(lián)，配置關(guān)聯(lián)條件渲染設(shè)置基本渲染按照?qǐng)D層類型（點(diǎn)、線、面）提供不同的基礎(chǔ)渲染形式條件渲染可根據(jù)業(yè)務(wù)數(shù)據(jù)配置條