GIS在大數(shù)據(jù)時(shí)代下的發(fā)展

1、GIS 在大數(shù)據(jù)時(shí)代下的發(fā)展趙懂，何貞銘，沈體壯，孫鈺(長(zhǎng)江大學(xué) 地球科學(xué)學(xué)院，湖北 武漢 430100)摘要：大數(shù)據(jù)技術(shù)的發(fā)展和大數(shù)據(jù)時(shí)代的來(lái)臨將對(duì)極大地推動(dòng) GIS 的發(fā)展。該文主要介紹了 GIS 當(dāng)前的發(fā)展現(xiàn)狀及瓶頸，探討了 GIS 在大數(shù)據(jù)時(shí)代下的數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)與管理及數(shù)據(jù)分析和挖掘所面臨的問(wèn)題和初步的解決辦法，展望 GIS 在 大數(shù)據(jù)時(shí)代下的發(fā)展前景。關(guān)鍵詞：GIS；大數(shù)據(jù)；空間數(shù)據(jù)中圖分類號(hào)：TP393文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2014)32-7585-03GIS Development in the Era Big DataZHAO Dong,HE Zhen

2、-ming,SHEN Ti-zhuang,SUN Yu(School of Earth Science, Yangtze University, Wuhan 430100,China)Abstract: As the development of the Big Data technology and the coming of the era of Big Data which will greatly promote the development of GIS. This paper introduces the current situation and the check point

3、 of GIS development, discusses the problem and some preliminary solution of data collection,storage and data mining of GIS.Key words: GIS;big data;spatial data自 20 世紀(jì) 60 年代的誕生以來(lái)，GIS（地理信息系統(tǒng)）行業(yè)飛速發(fā)展，廣泛應(yīng)用于資源調(diào)查、環(huán)境評(píng)估、災(zāi)害預(yù)測(cè)、國(guó)土管理、城市規(guī)劃、郵電通訊、交通運(yùn)輸、軍事公安、水利電力、公共設(shè)施管理、農(nóng)林牧業(yè)、統(tǒng)計(jì)、商業(yè)金融等幾乎所有領(lǐng)域,為人們的生活提供了極 大的便利。隨著 GIS 發(fā)展的實(shí)

4、踐，人們發(fā)現(xiàn)，GIS 擁有海量的非結(jié)構(gòu)化的空間數(shù)據(jù)，這些數(shù)據(jù)采集困難，存儲(chǔ)不便，處理起來(lái)也十分 繁瑣。如何更加高效地讀寫和分析 GIS 的海量數(shù)據(jù)，這個(gè)問(wèn)題困擾了一代又一代的 GIS 從業(yè)者。大數(shù)據(jù)概念的誕生及大數(shù)據(jù)時(shí)代 的到來(lái)，提供了從本質(zhì)上解決這個(gè)問(wèn)題的希望。旨在處理越來(lái)越多的數(shù)據(jù)特別是非結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)技術(shù)，恰好契合了 GIS 發(fā) 展了近半個(gè)世紀(jì)以來(lái)所面臨的最大的難題。在大數(shù)據(jù)時(shí)代，GIS 龐大的數(shù)據(jù)量不再顯得臃腫，反而是一份巨大的資產(chǎn)，能夠帶來(lái)可 觀的價(jià)值，這使得 GIS 與大數(shù)據(jù)的結(jié)合是 GIS 發(fā)展的必然趨勢(shì)。1 什么是大數(shù)據(jù)大數(shù)據(jù)其實(shí)并不是什么新鮮的事物，人們?cè)诖髷?shù)據(jù)的概念被提

5、出之前就已經(jīng)開始在用大數(shù)據(jù)解決實(shí)際的問(wèn)題了。沃爾瑪通 過(guò)分析大量的數(shù)據(jù)從而得出將啤酒和尿布放在一起能提高啤酒的銷量的結(jié)論，這個(gè)人們耳熟能詳?shù)陌咐诒举|(zhì)上就是一種典型 的大數(shù)據(jù)的分析思路雖然那時(shí)候人們并不稱之為大數(shù)據(jù)。近年來(lái)大數(shù)據(jù)的概念空前火爆，各個(gè)研究機(jī)構(gòu)、百科網(wǎng)站、大型公司都對(duì)大數(shù)據(jù)有不同的認(rèn)識(shí)從而引出了不同的定義。而現(xiàn)在普遍認(rèn)為大數(shù)據(jù)具有 5V 的特征屬性，即 Volume（數(shù)據(jù)體量大）、Velocity（數(shù)據(jù)的更新速度、處理速度快）、Variety（具有多樣性）、Veracity（真實(shí)性）、Value（具有價(jià)值）。1隨著社交網(wǎng)絡(luò)的誕生，LBS（基于位置的服務(wù)）的出現(xiàn)，世界上的數(shù)據(jù)達(dá)到了前

6、所未有的規(guī)模并且還在高速遞增，這就是大數(shù)據(jù) 的 Volume；而現(xiàn)在的數(shù)據(jù)不再僅僅是傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，更多的是空間數(shù)據(jù)、視頻數(shù)據(jù)、網(wǎng)站點(diǎn)擊流數(shù)據(jù)等等這樣的不能存儲(chǔ)在傳 統(tǒng)數(shù)據(jù)庫(kù)中的非結(jié)構(gòu)化數(shù)據(jù)，這就是大數(shù)據(jù)的 Variety；隨著物聯(lián)網(wǎng)的發(fā)展，如何優(yōu)秀地處理實(shí)時(shí)更新地傳感器數(shù)據(jù)是人們面臨的 新的挑戰(zhàn)，同時(shí)傳統(tǒng)的處理數(shù)據(jù)的方式必然會(huì)隨著數(shù)據(jù)量的增加從而導(dǎo)致數(shù)據(jù)的寫入和查詢速度越來(lái)越慢，如何提高數(shù)據(jù)讀寫的 速度，也是人們必將面臨的問(wèn)題，這就是大數(shù)據(jù)的 Velocity；IBM 認(rèn)為，由于數(shù)據(jù)的噪音、缺失、不一致性、歧義等問(wèn)題會(huì)導(dǎo)致數(shù)據(jù)的 不確定性，因此大數(shù)據(jù)必然要具有真實(shí)性，這就是大數(shù)據(jù)的 Ver

7、acity2；與此同時(shí)，人們必須要認(rèn)識(shí)到，現(xiàn)今的數(shù)據(jù)不再僅僅是獲取 信息的媒介，而是一種資源，是能夠獲取經(jīng)濟(jì)利益和挖掘相關(guān)知識(shí)的一種有價(jià)值的資產(chǎn)，這就是大數(shù)據(jù)的 Value3。大數(shù)據(jù)技術(shù)的進(jìn)步必將對(duì)世界產(chǎn)生巨大的推動(dòng)作用，同時(shí)人們的觀念也要發(fā)生改變。維克托邁爾-舍恩伯格認(rèn)為，在大數(shù)據(jù) 時(shí)代人們將發(fā)生三個(gè)巨大的思維變革：人們對(duì)數(shù)據(jù)的操作不再是針對(duì)隨機(jī)的樣本，而是面對(duì)全體的數(shù)據(jù)；人們不再過(guò)多地要求數(shù)據(jù)的精準(zhǔn)性，而是需要數(shù)據(jù)紛繁復(fù)雜，種類多樣；人們不再追求事物的因果關(guān)系，轉(zhuǎn)而關(guān)注數(shù)據(jù)之間的相關(guān)關(guān)系4。這種觀 念上的改變會(huì)隨著大數(shù)據(jù)的發(fā)展而逐漸作用于各個(gè)行業(yè)中，對(duì)整個(gè)人類社會(huì)的發(fā)展產(chǎn)生巨大的推動(dòng)作用。

8、收稿日期：2014-08-28本欄目責(zé)任編輯：代 影數(shù)據(jù)庫(kù)與信息管理7585Computer Knowledge and Technology 電腦知識(shí)與技術(shù)第 10 卷第 32 期 (2014 年 11 月)2 大數(shù)據(jù)時(shí)代下 GIS 的發(fā)展作為一門從計(jì)算機(jī)科學(xué)衍生出來(lái)的綜合性學(xué)科，地理信息系統(tǒng)（GIS）從誕生起就跟計(jì)算機(jī)科學(xué)的發(fā)展密切相關(guān)。在 pc 機(jī)時(shí) 代，桌面 GIS 是主流；在互聯(lián)網(wǎng)時(shí)代，WEBGIS 大行其道；在云的概念誕生后，國(guó)內(nèi)外的 GIS 公司也陸續(xù)推出了云 GIS。而大數(shù)據(jù)時(shí)代 的到來(lái)也將極大地促進(jìn) GIS 的發(fā)展：物聯(lián)網(wǎng)的發(fā)展和傳感器的普遍使用為 GIS 提供了豐富的數(shù)據(jù)來(lái)

9、源；云計(jì)算降低了 GIS 的海量數(shù) 據(jù)存儲(chǔ)和處理的成本；而大數(shù)據(jù)的相關(guān)技術(shù)會(huì)使 GIS 數(shù)據(jù)的存儲(chǔ)更加便捷和高效，同時(shí)使人們可以從海量的 GIS 數(shù)據(jù)中挖掘出相 關(guān)的知識(shí)，并運(yùn)用這些知識(shí)為國(guó)家治理、企業(yè)決策及個(gè)人生活服務(wù)。傳統(tǒng)的 GIS 處理的數(shù)據(jù)分為屬性數(shù)據(jù)和空間數(shù)據(jù)。屬性數(shù)據(jù)會(huì)隨著時(shí)間的推移而導(dǎo)致其數(shù)據(jù)量越來(lái)越大從而具備結(jié)構(gòu)化大數(shù)據(jù)的屬性,而在大數(shù)據(jù)概念未被提出來(lái)之前，龐大的非結(jié)構(gòu)化的空間數(shù)據(jù)在本質(zhì)上就是某種意義上的大數(shù)據(jù)。 雖然大數(shù)據(jù)時(shí)代下 GIS 數(shù)據(jù)依舊是屬性數(shù)據(jù)和空間數(shù)據(jù)，但是 GIS 數(shù)據(jù)的許多問(wèn)題都需要用新的思路考慮和解決。筆者試著從 GIS 大數(shù)據(jù)的采集、GIS 大數(shù)據(jù)的存儲(chǔ)

10、與管理和 GIS 大數(shù)據(jù)的分析與挖掘三個(gè)方面思考大數(shù)據(jù)時(shí)代下 GIS 數(shù)據(jù)需要解決的問(wèn)題。 GIS 大數(shù)據(jù)的采集結(jié)合傳統(tǒng)的 GIS 數(shù)據(jù)源，大數(shù)據(jù)時(shí)代下 GIS 的數(shù)據(jù)來(lái)源有地圖數(shù)字化數(shù)據(jù)、攝影測(cè)量數(shù)據(jù)、遙感影像數(shù)據(jù)、衛(wèi)星航圖數(shù)據(jù)、傳感 器實(shí)時(shí)數(shù)據(jù)、RFID（射頻識(shí)別技術(shù)）數(shù)據(jù)、計(jì)算所得數(shù)據(jù)和歷史數(shù)據(jù)等。而通常我們認(rèn)為，高質(zhì)量的數(shù)據(jù)通常具有精確性、一致性、 完整性、同一性、實(shí)效性和真實(shí)性這 6 大特性。精確性是指數(shù)據(jù)符合規(guī)定的精度，不超出規(guī)定的誤差范圍；一致性是指數(shù)據(jù)之間不 存在相互矛盾；完整性指數(shù)據(jù)格式和數(shù)據(jù)內(nèi)容的完整；同一性指數(shù)據(jù)具有統(tǒng)一的標(biāo)識(shí)；時(shí)效性是指數(shù)據(jù)的值在不同的時(shí)間擁有不 同的效

11、果；真實(shí)性是指數(shù)據(jù)必須是真實(shí)可靠的，不能是偽造的5。因此數(shù)據(jù)的獲取者需要從高質(zhì)量的數(shù)據(jù)源中提取數(shù)據(jù)，建立完善的數(shù)據(jù)精度評(píng)價(jià)模型，逐步提高數(shù)據(jù)的精度，以獲取更精準(zhǔn) 的數(shù)據(jù)。而 GIS 數(shù)據(jù)源的種類各異，獲取數(shù)據(jù)的方法也各不相同，從而需要建立多源數(shù)據(jù)的實(shí)體關(guān)聯(lián)模型和識(shí)別模型、多源多模態(tài)數(shù)據(jù)的實(shí)體自動(dòng)識(shí)別方法、實(shí)體識(shí)別效果的評(píng)估模型等，形成高質(zhì)量的數(shù)據(jù)整合方法，將不同來(lái)源的 GIS 數(shù)據(jù)結(jié)合起來(lái)用于從多角 度、全面地描述事物對(duì)象，保證數(shù)據(jù)的一致性。同時(shí)還需要建立完善的正確性條件和約束性規(guī)則以確保數(shù)據(jù)的完整性和同一性。 GIS 數(shù)據(jù)源中雖然有著傳感器數(shù)據(jù)這樣的實(shí)時(shí)性數(shù)據(jù)，也有地圖數(shù)字化數(shù)據(jù)這種低實(shí)時(shí)性

12、的數(shù)據(jù)。我們需要運(yùn)用所有能用到的數(shù) 據(jù)來(lái)對(duì)事物進(jìn)行分析，故而需要建立數(shù)據(jù)時(shí)效性分析模型，形成完善的時(shí)效性評(píng)價(jià)機(jī)制。與此同時(shí)，對(duì)于數(shù)據(jù)真實(shí)性的監(jiān)督必不 可少，不僅僅要對(duì)數(shù)據(jù)進(jìn)行溯源管理，還需要成立專門的數(shù)據(jù)監(jiān)管部門，確保數(shù)據(jù)的真實(shí)性。 GIS 大數(shù)據(jù)的存儲(chǔ)與管理存儲(chǔ)是分析的基礎(chǔ)，管理是挖掘的保障，隨著數(shù)據(jù)量的增加，數(shù)據(jù)的存儲(chǔ)和管理也需要發(fā)生從量變到質(zhì)變的改進(jìn)。海量的數(shù) 據(jù)雖然可以為分析和挖掘提供豐富的數(shù)據(jù)來(lái)源使分析和挖掘更加準(zhǔn)確和全能，但是也對(duì)數(shù)據(jù)的存儲(chǔ)和管理提出了新的要求。分 布式的存儲(chǔ)和管理是處理大數(shù)據(jù)的一個(gè)基本的思路。大數(shù)據(jù)時(shí)代下 GIS 數(shù)據(jù)的存儲(chǔ)與管理有如下幾個(gè)問(wèn)題：隨著數(shù)據(jù)的規(guī)模越來(lái)

13、越大，數(shù)據(jù)庫(kù)如何存儲(chǔ)大規(guī)模的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)：分布式文件系統(tǒng)將數(shù)據(jù)分散存儲(chǔ)在各個(gè)節(jié)點(diǎn)上，存儲(chǔ)資源通過(guò)網(wǎng)絡(luò)連接：分布式數(shù)據(jù)庫(kù)可以用并行處理的方式解決傳統(tǒng)數(shù)據(jù)庫(kù)中數(shù)據(jù)增加的問(wèn)題，像 NoSQL 這樣的數(shù)據(jù) 庫(kù)通過(guò)放松對(duì)事務(wù) ACID 語(yǔ)義的方法來(lái)增加系統(tǒng)的性能以及可擴(kuò)展性。同時(shí)構(gòu)建在 Hadoop 之上的類數(shù)據(jù)庫(kù)系統(tǒng)可以提供各自存 儲(chǔ)模型所對(duì)應(yīng)的查詢語(yǔ)言和訪問(wèn)接口，既借用了 SQL 的優(yōu)點(diǎn)，又能夠適應(yīng)大數(shù)據(jù)時(shí)代下新的挑戰(zhàn)。數(shù)據(jù)存儲(chǔ)的格式：傳統(tǒng)的 GIS 以矢量數(shù)據(jù)和柵格數(shù)據(jù)的格式對(duì)非結(jié)構(gòu)化的空間數(shù)據(jù)進(jìn)行了很好的存儲(chǔ)，但是矢量數(shù)據(jù)和柵 格數(shù)據(jù)由于數(shù)據(jù)結(jié)構(gòu)的差異在表達(dá)不同的地理信息方面 各有所

14、長(zhǎng)，將矢量數(shù)據(jù)和柵格數(shù)據(jù)的優(yōu)勢(shì)結(jié)合起來(lái)，將數(shù)據(jù)用矢柵一體化的技術(shù)存儲(chǔ)起來(lái)，將這種矢柵一體化的技術(shù)轉(zhuǎn)化為存儲(chǔ)格式的標(biāo)準(zhǔn)，則可以對(duì)矢量數(shù)據(jù)和柵格數(shù)據(jù)各取所長(zhǎng)，以便數(shù)據(jù)能夠更方 便高效地進(jìn)行表達(dá)。6在數(shù)據(jù)庫(kù)與應(yīng)用層之間建立良好的接口：大數(shù)據(jù)環(huán)境下的存儲(chǔ)與管理軟件棧，需要從上層應(yīng)用中讀取 PB 甚至 EB 量級(jí)的數(shù)據(jù)， 同時(shí)還需使上層應(yīng)用能夠快速、準(zhǔn)確、高效地訪問(wèn)數(shù)據(jù)庫(kù)的各個(gè)節(jié)點(diǎn)以讀取數(shù)據(jù)，建立良好的訪問(wèn)接口是必不可少的。而數(shù)據(jù)在數(shù)據(jù) 層和應(yīng)用層之間的流動(dòng)過(guò)程中必須保證其正確性和準(zhǔn)確性，則需要建立數(shù)據(jù)評(píng)價(jià)模型和數(shù)據(jù)保障模型以確保數(shù)據(jù)的可用性。 GIS 大數(shù)據(jù)的分析與挖掘傳統(tǒng)的空間數(shù)據(jù)雖然具備大數(shù)據(jù)的屬

15、性，但是由于缺乏足夠的大數(shù)據(jù)的理論支撐，空間數(shù)據(jù)并不像如今的大數(shù)據(jù)時(shí)代所提到 的大數(shù)據(jù)那樣的全能。其主要功能是用于展示和描述性分析，在預(yù)測(cè)分析和決策支持的相關(guān)方面比較弱勢(shì)。而在大數(shù)據(jù)時(shí)代，建 立在相關(guān)關(guān)系分析法基礎(chǔ)上的預(yù)測(cè)是大數(shù)據(jù)的核心，同時(shí)人們需要從傳統(tǒng)的決策模式過(guò)渡到數(shù)據(jù)指導(dǎo)決策的新的模式中，在大數(shù) 據(jù)持續(xù)發(fā)展的過(guò)程中，會(huì)漸漸地進(jìn)化為數(shù)據(jù)即決策的行為模式5。同時(shí)隨著智慧城市、智慧地球等概念的興起和推廣，遙感數(shù)據(jù)、 衛(wèi)星航圖影像數(shù)據(jù)隨著技術(shù)的更新而日益增加，傳感器數(shù)據(jù)隨著時(shí)間的推移不斷的累積，GIS 的數(shù)據(jù)越來(lái)越多，然而與之相對(duì)應(yīng)的 是現(xiàn)在 GIS 行業(yè)面臨著一個(gè)問(wèn)題：“數(shù)據(jù)龐雜，知識(shí)匱乏”

16、。即人們擁有很多的數(shù)據(jù)，但是缺乏從數(shù)據(jù)中提取出來(lái)用于預(yù)測(cè)和決策支 持的相關(guān)知識(shí)。在數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)興起之后，隨著數(shù)據(jù)挖掘技術(shù)的不斷發(fā)展，人們將陸續(xù)從 GIS 龐大的數(shù)據(jù)庫(kù)中挖掘出相關(guān)的知 識(shí)用于指導(dǎo)實(shí)踐。大數(shù)據(jù)時(shí)代 GIS 的分析與挖掘面臨著如下的轉(zhuǎn)變和挑戰(zhàn)：龐雜的數(shù)據(jù)使分析和挖掘變得更加復(fù)雜：大數(shù)據(jù)時(shí)代的到來(lái)使 GIS 本身就龐大的數(shù)據(jù)量急劇膨脹，同時(shí)由于大數(shù)據(jù)時(shí)代下 的空間分析的分析對(duì)象從“樣本”轉(zhuǎn)換成了全體數(shù)據(jù)，這導(dǎo)致參與分析的數(shù)據(jù)量跟之前的樣本數(shù)據(jù)不能同日而語(yǔ)，人們需要對(duì)更加 復(fù)雜、更大規(guī)模的數(shù)據(jù)進(jìn)行分析和挖掘。大數(shù)據(jù)時(shí)代下空間分析的對(duì)象通常是 TB 級(jí)別的大數(shù)據(jù)，如何對(duì)其進(jìn)行分析是一個(gè)

17、巨大的本欄目責(zé)任編輯：代 影數(shù)據(jù)庫(kù)與信息管理7586第 10 卷第 32 期 (2014 年 11 月)Computer Knowledge and Technology 電腦知識(shí)與技術(shù)挑戰(zhàn)。7數(shù)據(jù)深度分析需求的增長(zhǎng)：要從浩如煙海的數(shù)據(jù)中挖掘出相關(guān)的知識(shí)用于指導(dǎo)實(shí)踐，必須對(duì)大數(shù)據(jù)進(jìn)行深入的分析而不僅 僅是生成報(bào)表。復(fù)雜的空間分析依賴復(fù)雜的模型，很難用 SQL 來(lái)表達(dá)，稱之為深度分析。人們不僅僅需要知道發(fā)生了什么，還需 要對(duì)將要發(fā)生的事情進(jìn)行預(yù)測(cè)，為將要發(fā)生的事情做好準(zhǔn)備。自動(dòng)化分析出現(xiàn)：對(duì)大量的數(shù)據(jù)進(jìn)行有效的分析，分析過(guò)程需要按照標(biāo)準(zhǔn)化的自動(dòng)分析流程進(jìn)行，這就要求計(jì)算機(jī)能夠分辨數(shù)據(jù)在數(shù)據(jù)結(jié)構(gòu)上

18、的差異，明白語(yǔ)義并自動(dòng)地進(jìn)行分析。3 結(jié)論大數(shù)據(jù)技術(shù)的發(fā)展和大數(shù)據(jù)時(shí)代的到來(lái)會(huì)對(duì)世界產(chǎn)生深刻的影響，也會(huì)極大地促進(jìn) GIS 的發(fā)展,這毫無(wú)疑問(wèn)將是一個(gè)巨大的 機(jī)遇。在大數(shù)據(jù)時(shí)代，GIS 數(shù)據(jù)采集的手段、存儲(chǔ)和管理的形式、分析和挖掘的方法必將發(fā)生巨大的變革。作為一門以空間分析為 核心、以指導(dǎo)決策為目的的綜合性學(xué)科，數(shù)據(jù)對(duì) GIS 的重要性不言自明。要想在大數(shù)據(jù)時(shí)代發(fā)揮 GIS 的最大功效，必須采集高質(zhì)量 的數(shù)據(jù)，將數(shù)據(jù)進(jìn)行安全、高效和方便的存取和管理，同時(shí)與時(shí)俱進(jìn)地轉(zhuǎn)變分析的觀念和方法，才能在提高分析效率的同時(shí)保證分 析的準(zhǔn)確性。同時(shí)我們能看到，只有將 GIS 與大數(shù)據(jù)技術(shù)相結(jié)合，才能從根本上解決 GIS 龐大的數(shù)據(jù)量所面臨的各種問(wèn)題，同時(shí)將 GIS 的海量的數(shù)據(jù)變成具有價(jià)值的資產(chǎn)，進(jìn)而從這些數(shù)據(jù)中挖掘出知識(shí)。參考文獻(xiàn)：1 李清泉,李德仁 . 大數(shù)據(jù) GISJ. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2014,6(39):641-644. 2 IBM. What is big data?EB/OL.2012 HYPERLINK :/www-01.ibm /software/data/bigdata/ -013 Barwick H