大數(shù)據(jù)處理技術(shù)在測(cè)繪地理信息檔案管理中的應(yīng)用獲獎(jiǎng)科研報(bào)告

大數(shù)據(jù)處理技術(shù)在測(cè)繪地理信息檔案管理中的應(yīng)用獲獎(jiǎng)科研報(bào)告摘

要：隨著中國(guó)科技力量的不斷增強(qiáng)，各項(xiàng)科學(xué)技術(shù)都在不斷超前發(fā)展著，人們對(duì)于大數(shù)據(jù)處理這一詞匯的熟悉度不斷上升。目前，大數(shù)據(jù)處理技術(shù)的應(yīng)用范圍是非常廣泛的，并且得到了很好的反響效果，因此備受各行各業(yè)青睞。本文就從地理信息檔案管理方面來探討大數(shù)據(jù)處理技術(shù)，本文的探討環(huán)節(jié)是首先了解常見的大數(shù)據(jù)處理技術(shù)，基于這個(gè)基本信息再進(jìn)一步對(duì)其在地理信息檔案管理方面的應(yīng)用進(jìn)行深層次挖掘。

關(guān)鍵詞：大數(shù)據(jù)處理技術(shù);地理信息檔案管理;應(yīng)用分析

引言

目前我國(guó)的計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)發(fā)展日趨成熟，無論是網(wǎng)絡(luò)信息量還是載體數(shù)量都在以一種飛快的速度增長(zhǎng)著。大數(shù)據(jù)處理技術(shù)也是在這種特定的網(wǎng)絡(luò)環(huán)境中發(fā)展出來的，從它的身上可以很明顯地看到這個(gè)時(shí)代的網(wǎng)絡(luò)特征，并且它本身的應(yīng)用性能也是非常的高。測(cè)繪地理信息技術(shù)也屬于高新技術(shù)的一種，它是在信息技術(shù)高度發(fā)展的形式下產(chǎn)生的，它的發(fā)展能夠從更高層次滿足人們對(duì)于地理信息的需求，從而實(shí)現(xiàn)更好服務(wù)人民的目標(biāo)。所以說，將大數(shù)據(jù)處理技術(shù)應(yīng)用在地理信息檔案管理中是非常明智的一個(gè)決定。

一、概述

在當(dāng)今這個(gè)時(shí)代，信息技術(shù)一種不可阻擋的洪流之勢(shì)朝前開拓疆土，計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的應(yīng)用范圍實(shí)際上是不斷擴(kuò)大的。龐大的數(shù)據(jù)量使得數(shù)據(jù)處理的工作難度日益上升。一旦對(duì)信息的處理不能夠及時(shí)準(zhǔn)確，就會(huì)給人們的日常生活帶來了很大的困擾，所以說，在這種形勢(shì)下，大數(shù)據(jù)處理技術(shù)就應(yīng)運(yùn)而生。這個(gè)時(shí)代的種種情況是數(shù)據(jù)處理技術(shù)出現(xiàn)的前提條件，缺一不可[1]。從理論上來看，大數(shù)據(jù)的含義是指在一定的時(shí)間段內(nèi)通過常規(guī)的數(shù)據(jù)處理工具廣泛抓取到的數(shù)據(jù)集合，這部分?jǐn)?shù)據(jù)的數(shù)量是十分龐大的，類型繁多齊全并且傳播速度極快。與收集到的傳統(tǒng)數(shù)據(jù)相比，大數(shù)據(jù)所要求的層次水平更高這是由它的一些特性決定的。如龐大的數(shù)據(jù)中個(gè)性數(shù)據(jù)偏多，并且非機(jī)構(gòu)化的數(shù)據(jù)成分占大比等。因此將大數(shù)據(jù)處理技術(shù)應(yīng)用在地理信息檔案管理中時(shí)，首先要對(duì)大數(shù)據(jù)有一個(gè)全面而深入的了解。這樣才能夠在了解其特性的情況下，更好地將其應(yīng)用在檔案管理中。

二、技術(shù)分析

（一）HDFS文件管理系統(tǒng)

HDFS文件管理系統(tǒng)是以Hadoop為技術(shù)核心的一種高新技術(shù)，它的推出具有十分重要的意義，這是因?yàn)樗鼧?biāo)志著在大數(shù)據(jù)時(shí)代下，有一種新型的，更便捷的文件管理系統(tǒng)應(yīng)運(yùn)而生。HDFS文件管理系統(tǒng)有一個(gè)突出特征，它是一種分布式的存儲(chǔ)文件系統(tǒng)。與前者相比，它做出了更多的優(yōu)化處理。存儲(chǔ)系統(tǒng)以一種分布式的方式存在，可以更好地對(duì)存儲(chǔ)信息進(jìn)行分類管理，以便在信息輸出時(shí)達(dá)到更高效，更快速的目的。所以說，HDFS這一文件管理系統(tǒng)在當(dāng)時(shí)文件管理困難的情況下作為一種有效的解決措施受到很多人的青睞。

（二）云存儲(chǔ)

云存儲(chǔ)這個(gè)概念是在云計(jì)算的基礎(chǔ)上進(jìn)一步延伸出來的，這種網(wǎng)絡(luò)存儲(chǔ)技術(shù)出現(xiàn)的時(shí)間是非常短暫的，但是功能卻是非常卓越。它的工作原理是通過群體應(yīng)用，網(wǎng)絡(luò)技術(shù)或者其他一些功能部分將分散在網(wǎng)絡(luò)中的各個(gè)存儲(chǔ)設(shè)備集合起來，在一個(gè)整體協(xié)調(diào)的環(huán)境中一同工作，使其成為一個(gè)集體向外提供儲(chǔ)存數(shù)據(jù)或者業(yè)務(wù)訪問的一個(gè)體系化系統(tǒng)。從簡(jiǎn)單意義上理解，云存儲(chǔ)可以理解為人們將自己需要存放的資源放到一個(gè)特定的地方，這個(gè)地方被稱為云，當(dāng)人們有需要時(shí)，可以隨時(shí)存取的一種新技術(shù)[2]。這項(xiàng)技術(shù)極大方便了人們的日常生活，因?yàn)槿藗儗?duì)信息的存取可以完全自己掌控。一旦有需要就可以調(diào)閱，不會(huì)有時(shí)間上的延遲或者其他阻礙，這也是為什么云存儲(chǔ)技術(shù)能夠在短時(shí)間內(nèi)快速發(fā)展壯大起來的主要原因之一。

（三）Elastic

Search檢索

這項(xiàng)檢索技術(shù)在開發(fā)時(shí)采用的是java模式，并且它的接口端口部分都是以Web接口為基礎(chǔ)的。檢索功能非常強(qiáng)大，所支持的檢索方式很廣泛，包括全文檢索和關(guān)鍵詞檢索，基于這些其它檢索工具遠(yuǎn)遠(yuǎn)不能及的強(qiáng)大功能，Elastic

Search檢索得到了很多企業(yè)的認(rèn)可并被廣泛應(yīng)用。這里值得一提的是，在對(duì)地理信息文檔進(jìn)行管理時(shí)，最困難的一個(gè)部分就是進(jìn)行文檔檢索。Elastic

Search檢索配置具備搜索速度快，配置簡(jiǎn)單幾乎為零等特點(diǎn)，這使其能夠完美地解決這一問題。并且Elastic

Search檢索與傳統(tǒng)的Java應(yīng)用都是融合的，并不會(huì)產(chǎn)生排斥反應(yīng)，所以與其他檢索程序相比，Elastic

Search檢索具有更強(qiáng)的適用性。

三、應(yīng)用分析

（一）平臺(tái)建立

地理信息檔案資源是一個(gè)非常龐大的概念，它所涵蓋到的方面是非常多的，主要包括地圖、衛(wèi)星遙感影像地理位置的環(huán)境氣候測(cè)量結(jié)果，建筑工程的工程測(cè)量信息，以及航空路線測(cè)繪成果等等都在其中。除了這些龐大的數(shù)據(jù)信息之外，信息種類的也是非常繁多的，不僅包括基本的文檔文本，圖片，還包括各類表格圖表，音視頻文件等。以上種種都是造成地理信息檔案管理工作難度不斷上升的主要原因，為了應(yīng)對(duì)這些問題，在對(duì)信息檔案中的許多異構(gòu)不同源型數(shù)據(jù)進(jìn)行處理時(shí)，可以考慮利用大數(shù)據(jù)處理技術(shù)來進(jìn)行。實(shí)現(xiàn)這個(gè)目標(biāo)主要是通過處理平臺(tái)這一介質(zhì)機(jī)構(gòu)完成的，如何通過大數(shù)據(jù)處理技術(shù)來完善一個(gè)包含地理信息資源的處理平臺(tái)，需要幾個(gè)關(guān)鍵的步驟[3]。第一步，利用文件管理系統(tǒng)來對(duì)檔案中的數(shù)據(jù)文件進(jìn)行分類，通過分類后，數(shù)據(jù)就重新集合成一個(gè)個(gè)群體。整個(gè)群體內(nèi)的所有節(jié)點(diǎn)需要同時(shí)進(jìn)行工作，他們的任務(wù)就是負(fù)責(zé)存儲(chǔ)和計(jì)算輸入的數(shù)據(jù)。在后期時(shí)檔案管理資源不斷輸入，那么原有的群體已經(jīng)不能夠滿足存儲(chǔ)的需要，所以必須要進(jìn)行節(jié)點(diǎn)擴(kuò)充，這樣才能夠擴(kuò)大對(duì)數(shù)據(jù)的存儲(chǔ)空間，從而提升計(jì)算性能滿足計(jì)算需要。第二步。需要對(duì)半結(jié)構(gòu)化或者是非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行處理。這里利用到的是Hbase處理技術(shù)，這項(xiàng)技術(shù)可以將原先那些不能夠完善處理的數(shù)據(jù)重新轉(zhuǎn)化為結(jié)構(gòu)數(shù)據(jù)，轉(zhuǎn)換完畢后在數(shù)據(jù)管理類別的指導(dǎo)下就能夠順利管理入庫(kù)。最后一步是對(duì)數(shù)據(jù)行分布式計(jì)算。通過上述三個(gè)環(huán)節(jié)，一個(gè)功能完整的地理信息檔案大數(shù)據(jù)處理平臺(tái)就建立了。

（二）信息數(shù)據(jù)化

近些年來，網(wǎng)絡(luò)信息資源的數(shù)據(jù)整體趨勢(shì)是暴漲的，新舊信息的數(shù)量加起來是一個(gè)非常龐大的數(shù)字，想要實(shí)現(xiàn)對(duì)其管理的目標(biāo)，以人力絕對(duì)無法達(dá)到，只能通過大數(shù)據(jù)處理技術(shù)這一智能化技術(shù)來實(shí)現(xiàn)[4]。想要更好地將大數(shù)據(jù)處理技術(shù)應(yīng)用在地理信息檔案資源的管理中，首先要明確的就是要進(jìn)行數(shù)據(jù)的挖掘和知識(shí)發(fā)現(xiàn)。這是當(dāng)今時(shí)代大數(shù)據(jù)技術(shù)應(yīng)用的發(fā)展方向，也是檔案管理部門如何能夠創(chuàng)新服務(wù)的必經(jīng)之路。地理信息檔案儲(chǔ)存館內(nèi)有大量的異構(gòu)不同源數(shù)據(jù)的存在，這一部分?jǐn)?shù)據(jù)要再經(jīng)歷清洗，抽取，集成，轉(zhuǎn)換等一系列環(huán)節(jié)之后才能夠輸入到文件系統(tǒng)當(dāng)中。在這之后再次進(jìn)行分類或者是處理，才能夠搭建起一個(gè)處理平臺(tái)的雛形。那么此時(shí)對(duì)數(shù)據(jù)進(jìn)行挖掘和知識(shí)發(fā)