空間信息云服務(wù)關(guān)鍵技術(shù)

分布式計(jì)算技術(shù)分布式計(jì)算是一門計(jì)算機(jī)科學(xué)，它研究如何把一個(gè)需要非常巨大的計(jì)算能力才能解決的問題分成許多小的部分，然后把這些部分分給許多計(jì)算機(jī)進(jìn)行處理，最好把這些計(jì)算結(jié)果綜合起來得到最終的結(jié)果。其中，共享稀有資源和平衡負(fù)載是計(jì)算機(jī)分布式計(jì)算的核心思想之一。云計(jì)算是分布式計(jì)算技術(shù)的一種，其最基本的概念是透過網(wǎng)絡(luò)將龐大的計(jì)算機(jī)處理程序自動(dòng)分拆成無數(shù)個(gè)較小的子程序，再交由多部服務(wù)器組成的龐大系統(tǒng)經(jīng)搜尋、計(jì)算分析后將處理結(jié)果回傳給用戶。透過這項(xiàng)技術(shù)，網(wǎng)絡(luò)提供者可以在數(shù)秒內(nèi)，達(dá)成處理數(shù)以千萬計(jì)甚至億計(jì)的信息，達(dá)到和“超級(jí)計(jì)算機(jī)”同樣強(qiáng)大效能的網(wǎng)絡(luò)服務(wù)。傳統(tǒng)的數(shù)據(jù)中心的解決方案中，一般都是在前期考慮到方案實(shí)施后的一段時(shí)間內(nèi)的業(yè)務(wù)量和數(shù)據(jù)量，加入多余的計(jì)算單元和存儲(chǔ)，以備不時(shí)之需。這樣的方式直接導(dǎo)致了前期一次性投資的巨大，并且這樣也無法保證計(jì)算需求和存儲(chǔ)超出設(shè)計(jì)量時(shí)的系統(tǒng)性能。一旦擴(kuò)容，問題將接踵而來。同時(shí)，傳統(tǒng)的數(shù)據(jù)采集來源單一，且存儲(chǔ)、管理和分析數(shù)據(jù)量也相對(duì)較小，大多采用關(guān)系型數(shù)據(jù)庫和并行數(shù)據(jù)倉庫即可處理。以Google為首的技術(shù)型互聯(lián)網(wǎng)公司提出了Map/Reduce的技術(shù)框架，利用廉價(jià)的PC服務(wù)器集群，大規(guī)模并發(fā)處理批量事務(wù)。利用文件系統(tǒng)存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)、加上完美的備份和容災(zāi)策略，這套經(jīng)濟(jì)實(shí)惠的大數(shù)據(jù)分析解決方案與之前昂貴的企業(yè)小型機(jī)集群+商業(yè)數(shù)據(jù)庫方案相比，不僅沒有丟失性能、而且贏得了可擴(kuò)展性；在需要擴(kuò)容時(shí)，只需增加個(gè)機(jī)柜，加入適當(dāng)?shù)挠?jì)算單元和存儲(chǔ)，集群系統(tǒng)會(huì)自動(dòng)分配和調(diào)度這些資源，絲毫不會(huì)影響現(xiàn)有系統(tǒng)的運(yùn)行。Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架，同時(shí)是以一種可靠、高效、可伸縮的方式進(jìn)行處理，使得用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力高速運(yùn)算和存儲(chǔ)。其基本的工作原理為：將規(guī)模巨大的數(shù)據(jù)分解成較小、易訪問的批量數(shù)據(jù)并分發(fā)到多臺(tái)服務(wù)器來分析。下圖為MapReduce的并行處理架構(gòu)。■1aialucsUlT|1)1bC2：廿配MasterwnffkerSplitO5plct1Reduce隨段輸入文件■1aialucsUlT|1)1bC2：廿配MasterwnffkerSplitO5plct1Reduce隨段輸入文件中啊丈件?誼F本地磁裁》r—廠；.worfcer *wgrfctworker輸出丸件MapReduce的工作原理其實(shí)是先分后合的數(shù)據(jù)處理方式。Map即“分解”，把海量數(shù)據(jù)分割成了若干部分，分給多臺(tái)處理器并行處理；Reduce即“合并"，把各臺(tái)處理器處理后的結(jié)果進(jìn)行匯總操作以得到最終結(jié)果。如右圖所示，如果采用MapReduce來統(tǒng)計(jì)不同幾何形狀的數(shù)量，它會(huì)先把任務(wù)分配到兩個(gè)節(jié)點(diǎn)，由兩個(gè)節(jié)點(diǎn)分別并行統(tǒng)計(jì)，然后再把它們的結(jié)果匯總，得到最終的計(jì)算結(jié)果。云存儲(chǔ)服務(wù)云存儲(chǔ)是云計(jì)算概念的延伸和衍生發(fā)展出來的一個(gè)新概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)，保證數(shù)據(jù)的安全性，并節(jié)約存儲(chǔ)空間。最終可保證使用者可以在任何時(shí)間、任何地點(diǎn)、通過任意可聯(lián)網(wǎng)的裝置連接到云上方便地存取數(shù)據(jù)。云存儲(chǔ)更關(guān)注給其它組織提供一個(gè)巨大的存儲(chǔ)空間，并且一個(gè)云存儲(chǔ)設(shè)備通常被其它一個(gè)單一的組織運(yùn)行。建立云存儲(chǔ)的主要模塊就是服務(wù)。云用戶通過服務(wù)來添加或者訪問資源。云存儲(chǔ)服務(wù)通過SLA（服務(wù)等級(jí)協(xié)議）來提供QoS（服務(wù)質(zhì)量）保證。在云存儲(chǔ)中，存儲(chǔ)服務(wù)通過DaaS（數(shù)據(jù)即服務(wù)）提供，這與云計(jì)算的其它服務(wù)如IaaS（基礎(chǔ)設(shè)施即服務(wù)），SaaS（軟件即服務(wù)），HaaS（硬件即服務(wù)），一起形成一個(gè)PaaS（平臺(tái)即服務(wù)）。所以，通過整合服務(wù)，服務(wù)用戶能夠建立一個(gè)定制的虛擬平臺(tái)。這對(duì)于服務(wù)用戶提供了更高的靈活性，相對(duì)于格的概念，它限制了數(shù)據(jù)共享的能力。當(dāng)一個(gè)用戶已經(jīng)建立了一個(gè)虛擬的計(jì)算平臺(tái)時(shí)，這個(gè)平臺(tái)典型的情況下只能被這個(gè)用戶使用。數(shù)據(jù)安全問題通常是通過隔離虛擬平臺(tái)來完成的，這個(gè)平臺(tái)只能被一個(gè)用戶使用。

云存儲(chǔ)技術(shù)是主要解決復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)的可存儲(chǔ)、可表示、可處理、可靠性及有效傳輸?shù)汝P(guān)鍵問題。開發(fā)可靠的分布式文件系統(tǒng)、能效優(yōu)化的存儲(chǔ)、計(jì)算融入存儲(chǔ)、大數(shù)據(jù)的去冗余及高效低成本的大數(shù)據(jù)存儲(chǔ)技術(shù)；突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)、異構(gòu)數(shù)據(jù)的融合技術(shù)、數(shù)據(jù)組織技術(shù)，研究大數(shù)據(jù)建模技術(shù)；突破大數(shù)據(jù)移動(dòng)、備份和復(fù)制等技術(shù)；空間海量數(shù)據(jù)使用分布式分級(jí)方式存儲(chǔ)，在提高存儲(chǔ)空間利用率的同時(shí)降低能量消耗。開發(fā)冗余存儲(chǔ)、動(dòng)態(tài)協(xié)同、負(fù)載均衡、自動(dòng)適應(yīng)的分布式數(shù)據(jù)虛擬化管理方法和面向信息匯聚的數(shù)據(jù)調(diào)度機(jī)制，為了實(shí)現(xiàn)面向空間信息云服務(wù)體系的海量數(shù)據(jù)管理，提出了一種基于空間信息云服務(wù)的海量數(shù)據(jù)組織與管理機(jī)制。存儲(chǔ)云結(jié)構(gòu)如下圖所示。, 數(shù)據(jù)資源中心協(xié)同管理負(fù)我均衡虛擬化網(wǎng)絡(luò)數(shù)據(jù)虛

擬化層空冋蜜睜時(shí)間特社數(shù)據(jù)專腿特茫數(shù)砥非空阿數(shù)抵元數(shù)據(jù), 數(shù)據(jù)資源中心協(xié)同管理負(fù)我均衡虛擬化網(wǎng)絡(luò)數(shù)據(jù)虛

擬化層存儲(chǔ)設(shè)

備虛擬

化層云存儲(chǔ)機(jī)構(gòu)分為三層，從下到上第一層為存儲(chǔ)設(shè)備層，采用分布式分級(jí)存儲(chǔ)方式，由在線存儲(chǔ)設(shè)備、近線存儲(chǔ)設(shè)備、離線存儲(chǔ)設(shè)備構(gòu)成；第二層為存儲(chǔ)設(shè)備虛擬化層，由虛擬化的存儲(chǔ)設(shè)備組成，利用基于協(xié)同管理、負(fù)載均衡、自動(dòng)適應(yīng)技術(shù)實(shí)現(xiàn)資源的動(dòng)態(tài)分配；第三層為數(shù)據(jù)虛擬化層，此層為利用虛擬化技術(shù)創(chuàng)建的數(shù)據(jù)中心，數(shù)據(jù)類型包括空間數(shù)據(jù)、時(shí)間特征數(shù)據(jù)、專題特征數(shù)據(jù)、非空間數(shù)據(jù)、元數(shù)據(jù)，使用的技術(shù)包括分布式文件系統(tǒng)、動(dòng)態(tài)冗余等?？臻g信息大數(shù)據(jù)處理技術(shù)大數(shù)據(jù)時(shí)代的超大數(shù)據(jù)體量和占相當(dāng)比例的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存在，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)庫的管理能力，大數(shù)據(jù)處理技術(shù)將是IT領(lǐng)域新一代的技術(shù)與架構(gòu)，它將幫助人們存儲(chǔ)管理好大數(shù)據(jù)并從大體量、高復(fù)雜的數(shù)據(jù)中提取價(jià)值，相關(guān)的技術(shù)、產(chǎn)品將不斷涌現(xiàn)，將有可能給IT企業(yè)開拓一個(gè)新的黃金時(shí)代。大數(shù)據(jù)環(huán)境下的數(shù)據(jù)來源非常豐富且數(shù)據(jù)類型多樣，存儲(chǔ)和分析挖掘的數(shù)據(jù)量龐大，并且很看重?cái)?shù)據(jù)處理的高效性和可用性。對(duì)于普通用戶往往更關(guān)心數(shù)據(jù)結(jié)果的分析和展現(xiàn)，大數(shù)據(jù)的復(fù)雜性限制了普通用戶從數(shù)據(jù)中直接獲取知識(shí)的可能性，因此大數(shù)據(jù)分析及可視化即使在大數(shù)據(jù)處理技術(shù)研究中應(yīng)該更加以重視和提升。大數(shù)據(jù)技術(shù)能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息和知識(shí)挖掘出來，為人類的社會(huì)經(jīng)濟(jì)活動(dòng)提供依據(jù)，從而提高各個(gè)領(lǐng)域的運(yùn)行效率，大大提高整個(gè)社會(huì)經(jīng)濟(jì)的集約化程度。例如：應(yīng)急管理輔助決策、、氣象信息分析技術(shù)，環(huán)境監(jiān)測(cè)技術(shù)，道路監(jiān)控、視頻監(jiān)控、網(wǎng)絡(luò)監(jiān)控、智能交通、反詐騙、指揮調(diào)度信息系統(tǒng)、多媒體數(shù)據(jù)并行化處理技術(shù)、影視制作渲染技術(shù)、其他各種行業(yè)的云計(jì)算和海量數(shù)據(jù)處理應(yīng)用技術(shù)等。大數(shù)據(jù)技術(shù)包括大數(shù)據(jù)采集技術(shù)、大數(shù)據(jù)預(yù)處理技術(shù)、大數(shù)據(jù)分析與挖掘技術(shù)。大數(shù)據(jù)采集一般分為大數(shù)據(jù)智能感知層：主要包括數(shù)據(jù)傳感體系、網(wǎng)絡(luò)通信體系、傳感適配體系、智能識(shí)別體系及軟硬件資源接入系統(tǒng)，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的海量數(shù)據(jù)的智能化識(shí)別、定位、跟蹤、接入、傳輸、信號(hào)轉(zhuǎn)換、監(jiān)控、初步處理和管理等。必須著重攻克針對(duì)大數(shù)據(jù)源的智能識(shí)別、感知、適配、傳輸、接入等技術(shù)。基礎(chǔ)支撐層：提供大數(shù)據(jù)服務(wù)平臺(tái)所需的虛擬服務(wù)器，結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫及物聯(lián)網(wǎng)絡(luò)資源等基礎(chǔ)支撐環(huán)境。重點(diǎn)攻克分布式虛擬存儲(chǔ)技術(shù)，大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策操作的可視化接口技術(shù)，大數(shù)據(jù)的網(wǎng)絡(luò)傳輸與壓縮技術(shù)，大數(shù)據(jù)隱私保護(hù)技術(shù)等。主要完成對(duì)已接收數(shù)據(jù)的辨析、抽取、清洗等操作。1）抽取：因獲取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型，數(shù)據(jù)抽取過程可以幫助我們將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型，以達(dá)到快速分析處理的目的。2）清洗：對(duì)于大數(shù)據(jù)，并不全是有價(jià)值的，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯(cuò)誤的干擾項(xiàng)，因此要對(duì)數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)。挖掘技術(shù)是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。數(shù)據(jù)挖掘涉及的技術(shù)方法很多，有多種分類法。根據(jù)挖掘任務(wù)可分為分類或預(yù)測(cè)模型發(fā)現(xiàn)、數(shù)據(jù)總結(jié)、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、依賴關(guān)系或依賴模型發(fā)現(xiàn)、異常和趨勢(shì)發(fā)現(xiàn)等等；根據(jù)挖掘?qū)ο罂煞譃殛P(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、空間數(shù)據(jù)庫、時(shí)態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫、異質(zhì)數(shù)據(jù)庫、遺產(chǎn)數(shù)據(jù)庫以及環(huán)球網(wǎng)Web；根據(jù)挖掘方法分，可粗分為:機(jī)器學(xué)習(xí)方法、統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫方法。機(jī)器學(xué)習(xí)中，可細(xì)分為:歸納學(xué)習(xí)方法（決策樹、規(guī)則歸納等）、基于范例學(xué)習(xí)、遺傳算法等。統(tǒng)計(jì)方法中，可細(xì)分為:回歸分析（多元回歸、自回歸等）、判別分析（貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別等）、聚類分析（系統(tǒng)聚類、動(dòng)態(tài)聚類等）、探索性分析（主元分析法、相關(guān)分析法等）等。神經(jīng)網(wǎng)絡(luò)方法中，可細(xì)分為:前向神經(jīng)網(wǎng)絡(luò)（BP算法等）、自組織神經(jīng)網(wǎng)絡(luò)（自組織特征映射、競(jìng)爭(zhēng)學(xué)習(xí)等）等。數(shù)據(jù)庫方法主要是多維數(shù)據(jù)分析或OLAP方法，另外還有面向?qū)傩缘臍w納方法。從挖掘任務(wù)和挖掘方法的角度，著重突破：1.可視化分析。數(shù)據(jù)可視化無論對(duì)于普通用戶或是數(shù)據(jù)分析專家，都是最基本的功能。數(shù)據(jù)圖像化可以讓數(shù)據(jù)自己說話，讓用戶直觀的感受到結(jié)果。2.數(shù)據(jù)挖掘算法。圖像化是將機(jī)器語言翻譯給人看，而數(shù)據(jù)挖掘就是機(jī)器的母語。分割、集群、孤立點(diǎn)分析還有各種各樣五花八門的算法讓我們精煉數(shù)據(jù)，挖掘價(jià)值。這些算法一定要能夠應(yīng)付大數(shù)據(jù)的量，同時(shí)還具有很高的處理速度。3.預(yù)測(cè)性分析。預(yù)測(cè)性分析可以讓分析師根據(jù)圖像化分析和數(shù)據(jù)挖掘的結(jié)果做出一些前瞻性判斷。4.語義引擎。語義引擎需要設(shè)計(jì)到有足夠的人工智能以足以從數(shù)據(jù)中主動(dòng)地提取信息。語言處理技術(shù)包括機(jī)器翻譯、情感分析、輿情分析、智能輸入、問答系統(tǒng)等。5.數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。數(shù)據(jù)質(zhì)量與管理是管理的最佳實(shí)踐，透過標(biāo)準(zhǔn)化流程和機(jī)器對(duì)數(shù)據(jù)進(jìn)行處理可以確保獲得一個(gè)預(yù)設(shè)質(zhì)量的分析結(jié)果。云服務(wù)技術(shù)常見云服務(wù)有公共云和私有云兩種。公共云是最基礎(chǔ)的服務(wù)，多個(gè)客戶可共享一個(gè)服務(wù)提供商的系統(tǒng)資源，他們毋需架設(shè)任何設(shè)備及配備管理人員，便可享用專用專業(yè)的IT服務(wù)。公共云還可細(xì)分為3個(gè)類別，包括軟件即服務(wù)、平臺(tái)即服務(wù)及基礎(chǔ)設(shè)施即服務(wù)。如日常使用Gmail、Hotmail、網(wǎng)絡(luò)相冊(cè)等服務(wù)。私有云的運(yùn)作形式與公共云類似，但架設(shè)私有云是一個(gè)巨大投資，企業(yè)需自行設(shè)計(jì)數(shù)據(jù)中心、網(wǎng)絡(luò)、存儲(chǔ)設(shè)備，可以實(shí)現(xiàn)對(duì)行業(yè)、客戶隱私、重要業(yè)務(wù)數(shù)據(jù)的保密和安全。簡(jiǎn)單來說，云服務(wù)可以將企業(yè)所需的軟硬件、資料都放到網(wǎng)絡(luò)上，在任何時(shí)間、地點(diǎn)，使用不同的IT設(shè)備互相連接，實(shí)現(xiàn)數(shù)據(jù)存取、運(yùn)算等目的。云服務(wù)是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云服務(wù)可通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式發(fā)布和獲得，這類服務(wù)既可以是IT和軟件，也可以是其他互聯(lián)網(wǎng)相關(guān)的其他服務(wù)，其主旨是實(shí)現(xiàn)計(jì)算能力也可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。在云服務(wù)模式下，企業(yè)數(shù)據(jù)中心的運(yùn)行將與互聯(lián)網(wǎng)更相似，使得企業(yè)能夠隨意將資源切換到需要的應(yīng)用上，按需訪問計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。云服務(wù)的關(guān)鍵技術(shù)主要包括虛擬化技術(shù)、彈性負(fù)載均衡技術(shù)和并行編程模式。通過虛擬化技術(shù)可實(shí)現(xiàn)軟件應(yīng)用與底層硬件相隔離，主要應(yīng)用在CPU、操作系統(tǒng)、服務(wù)器等多個(gè)方面；云服務(wù)提供了一個(gè)巨大的資源池，可根據(jù)應(yīng)用不同的使用周期和負(fù)載，對(duì)資源進(jìn)行動(dòng)態(tài)彈性規(guī)模擴(kuò)展或伸縮，可以顯著提高資源利用率；云服務(wù)提供一種并行編程模式，用戶只需利用編程模型進(jìn)行簡(jiǎn)單的程序編寫，后臺(tái)就會(huì)進(jìn)行復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度。下圖為空間信息云服務(wù)技術(shù)。省市部門互

聯(lián)移動(dòng)互聯(lián)網(wǎng)物聯(lián)網(wǎng)OGC數(shù)據(jù)服務(wù)大眾應(yīng)用分析應(yīng)急管理服務(wù)多媒體教育服-一務(wù)艮安全維穩(wěn)服務(wù)Q廣數(shù)據(jù)管理數(shù)省市部門互

聯(lián)移動(dòng)互聯(lián)網(wǎng)物聯(lián)網(wǎng)OGC數(shù)據(jù)服務(wù)大眾應(yīng)用分析應(yīng)急管理服務(wù)多媒體教育服-一務(wù)艮安全維穩(wěn)服務(wù)Q廣數(shù)據(jù)管理數(shù)據(jù)層運(yùn)維管理用戶服務(wù)管理OQQO空間數(shù)據(jù)時(shí)間特征數(shù)據(jù)非空間數(shù)據(jù)元數(shù)據(jù)WW至植番榔憶茸哪底此至植矗此其中支撐層是支撐云服務(wù)的硬件和軟件部分。其硬件由若干臺(tái)服務(wù)、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、防火墻組成。通過云平臺(tái)虛擬化技術(shù)將硬件部分虛擬化成虛擬服務(wù)器集群系統(tǒng)和云存儲(chǔ)系