地質調查大數據處理的技術問題與開發(fā)方法(2)

1、地質調查大數據處理的技術問題與開發(fā)方法(2)總體上看，地質調查大數據處理需要面向實際工作，提供多種計算模式的服務。（4）分析與挖掘地質數據定量分析一直是地質調查重要的工作內容，但趙鵬大4認為，目前地球科學的分析和可視化方法已經遠遠落后于創(chuàng)造數據的能力。地質調查大數據分析與挖掘技術首先要解決的問題是地質調查工作區(qū)多來源、多模態(tài)、多時態(tài)數據的相關性和模式分析，這樣的分析可以克服個體的波動性，發(fā)現更多可靠的、隱藏的模式和知識。地質調查大數據分析與挖掘的技術問題還表現在以下4個方面：第一，以往地質調查數據分析的一個重要方法是采樣，當數據體量比較大時，可以通過采樣技術把數據規(guī)模變小5.很顯然，在很多地質

2、問題中，采樣意味著信息的丟失。如果不運用采樣技術，考慮對地質調查大數據全集進行分析，意味著需要分析的數據量急劇膨脹與增長，其面臨的技術問題就是體量巨大的數據如何分析。第二，以往地質調查數據分析方法集中于線性空間中的統(tǒng)計方法，以及一些初級的非線性方法，在小樣本上運用這些方法獲取局域的地質特征。當在地質調查大數據上運用這些方法時，令人不安的結果往往是方法收斂早于數據規(guī)模波動，有必要針對地質調查大數據的一些方法進行改造，或者提出新的方法，這是地質調查大數據分析與挖掘面臨的另一項技術問題，即深度分析。第三，集合了地質描述、地質數據、地質圖表、地質認識的地質調查資料價值巨大，目前，地質調查資料處理技術主

3、要集中在前處理和檢索查詢方面，而地質調查綜合資料的深度分析與挖掘是地質調查大數據分析與挖掘面臨的重要技術問題。第四，地質礦產資源評價、地質環(huán)境監(jiān)測預警等重要業(yè)務在不斷發(fā)展，對數據與計算技術的要求更精致、更敏捷，實現對這些重要業(yè)務的有效技術支撐是地質調查大數據分析與挖掘面臨的基本技術問題。地質調查大數據分析與挖掘的另一類技術問題源于地質調查信息化服務。網絡形式的公眾服務必然產生公眾訪問數據，這些數據以某些特定形式存儲，對這些數據的分析與挖掘有助于優(yōu)化服務系統(tǒng)配置，提高服務質量與效率。在這方面，一些通用的分析與挖掘技術可以派得上用場，而具有地質調查特色的分析與挖掘技術是需要重點關注的，如地質調查空

4、間數據熱點技術、地質圖塊的快速檢索技術、地質圖塊與地質資料快速匹配技術等。（5）可視分析有別于一般的數據處理工作，地質調查工作中很大一部分地質問題是地質專業(yè)技術人員在空間數據或圖件基礎上進行綜合分析后解決的，這種解決問題的模式為地質調查大數據可視分析技術提供了可能?？梢暦治鼍褪峭ㄟ^交互可視界面來進行分析、推理和決策的過程6,本質也是知識發(fā)現?？梢暦治雠c一般分析與挖掘的不同在于，其不依賴于數學模型，而是一種探索式分析，這與很多地質問題的解決模式一致。地質調查大數據可視分析的技術基礎是多年積累的地質體建模、地質過程建模、地質調查數據可視化及其交互的技術，可視分析就是在這些技術的基礎上，克服高維性、

5、不確定性和異構性，研究開發(fā)從復雜地質調查數據中抽取有效特征的方法，通過探索式分析完成地質調查大數據中知識發(fā)現，其基本技術流程如圖1所示。當前的機器智能在復雜地質數據的視覺識別和理解方面遠不及人腦智能，而超過50%的智能與視覺識別有關。因此，對地質特征模型可視化結果的修正和判斷，體現出人腦智能和機器智能的差異，其中蘊含的就是新知識。探索式可視分析以人腦智能向機器智能的轉換、機器智能向人腦智能的展示為主線，實現地質認識的螺旋式進化，在這一方面，需要解決的技術難題包括：對地質體和地質現象的數據或參數的輸入常常存在謬誤和不精確，因而人腦智能轉換為機器智能是多人協(xié)同、反復修正的過程；地質調查大數據環(huán)境下

6、，各種可視分析方法需要具備可擴充性和容納不同對象的能力，這樣才能支持多來源、多時態(tài)的地質大數據處理。（6）隱私與安全隱私是不愿意被他人知道或他人不便知道的敏感信息7.地質調查大數據以服務為重要目標，因此存在服務參與人的隱私問題。安全指不受威脅，沒有危險、危害、損失8.信息安全指采取技術和管理的安全保護手段，保護軟硬件與數據不因偶然的或惡意的原因而遭到破壞、更改、顯露9.數據安全一直是地質調查信息化工作的重要內容。地質調查大數據隱私與安全面臨的新情況和帶來的威脅與挑戰(zhàn)如表6所示。地質調查大數據隱私與安全需要法律、政策、管理與技術共同維護，從技術層面，當前主要隱私和安全保護方法包括：文件訪問控制技

7、術、基礎設備加密、匿名化保護技術、加密保護技術、數據失真技術、可逆置換算法等。4 科學問題地質調查大數據的研究處于探索階段，地質調查大數據處理技術開發(fā)也處于起步階段，因而對地質調查大數據研究中的科學問題準確描述還十分困難，這里把科學問題討論限制在地質大數據范疇，也就是地球信息的范疇，探索性地提出2個帶有普遍性與根本性的問題。（1）地質大數據僅僅是地質世界的數據映象，還是具有反映地質世界規(guī)律能力的數據世界？地質科學一直以來以科學實驗、知識歸納為主要研究手段，近幾十年來數值模擬也有一些發(fā)展。趙鵬大10指出，當前已經進入大數據時代，大數據成為新的科學范式（數據密集型科學研究的第四范式;10），是一場

8、技術革命、顛覆性創(chuàng)新11.那么，地質大數據的關聯(lián)關系與地質世界的因果關系之間存在怎樣的聯(lián)系？或者表述為：地質大數據的相關性研究與地質科學研究功效一致，還是僅僅是地質科學研究的補充？在簡單的、封閉的系統(tǒng)中，基于小數據的因果關系是很容易做到的，但對復雜的、開放的巨系統(tǒng)，傳統(tǒng)的因果關系是不是奏效很難說。地質大數據進行的關聯(lián)分析是知其然而不知其所以然;的，相關性表達2個或多個地質變量取值之間的某種規(guī)律性，嚴格地說，統(tǒng)計相關性是無法檢驗邏輯上的因果關系的12.不過一些支持者，如 Mayer-Schnberger13在大數據時代一書中指出了大數據時代處理數據理念的三大轉變，即要全體不要抽樣，要效率不要絕對

9、精確，要相關不要因果。也就是數據-信息-知識-智慧;要讓位于數據-價值;的研究思路。當前，面對地質大數據，地質科學研究人員有可能從中查找、分析或挖掘所需要的信息、知識和智慧，甚至無需直接接觸所研究的對象。（2）地質大數據關系網絡的本質特征是什么？地質數據之間復雜的網絡關系是地質大數據的存在形式，深入分析地質大數據關系網絡，才能把握地質大數據的本質。針對大型復雜的研究區(qū)域，地層、物探、化探、影像等數據之間的關系如何定量表達，這一系列表達關系的變量中是不是存在一些整體上有規(guī)律的部分，這是地質大數據背后的關系網絡研究的重要內容。5 地質調查大數據處理技術開發(fā)方法地質調查大數據處理技術的開發(fā)既要繼承以

10、往地質數據處理技術開發(fā)的一些方法與技巧，更要考慮在開發(fā)思路上的不同之處。（1）為了降低成本，提高能效，地質調查大數據相關系統(tǒng)需要擺脫傳統(tǒng)的通用體系，趨向專用化架構技術14,適度抽象有利于整體把握地質調查大數據處理技術的一致性與協(xié)調。（2）以往地質調查數據處理技術和系統(tǒng)更多地是面向3S技術，一些系統(tǒng)是3S技術在地質調查工作中的應用，對地質調查服務與應用環(huán)境、性能等方面缺乏深入工作。地質調查大數據處理技術開發(fā)只關注3S技術已經不夠，還要關注信息科學與技術的發(fā)展，尤其是計算機科學與技術的發(fā)展。（3）重視具體應用軟件開發(fā)、忽視軟硬件集成開發(fā)是以往地質調查數據處理系統(tǒng)開發(fā)時的缺陷。地質調查大數據處理技術

11、開發(fā)不僅要關注軟件，還要關注系統(tǒng)，尤其是信息系統(tǒng)與物理系統(tǒng)結合、信息技術與自動化技術結合。（4）以往地質調查數據處理系統(tǒng)開發(fā)偏重系統(tǒng)功能的實現，地質調查大數據處理技術開發(fā)只關注功能實現已經不可能了，還要關注性能與復雜度，開發(fā)難度提升。（5）地質調查大數據處理所涉及的數據與計算規(guī)模是空前的，必須有精準的需求分析，以及完整、可靠的技術設計，在嚴格的技術監(jiān)督下逐步展開，否則可能造成經費和時間的浪費。6 結 語地質調查大數據處理技術是地質調查信息化服務的技術核心，以信息化服務產品體系推動資源共享是當前的重要目標。地質調查大數據研究，應從分析以往解決得不理想的地質問題入手，充分利用新一代信息技術，更新當前數據處理環(huán)境，在新環(huán)境下提出合理、有效的解決方案。另外，考慮在數據體量增大、類型復雜、響應時間有要求的情況下，針對以往解決得不理想的地質問題，著重進行地質數據的智能分析與深度挖掘，考慮合理、有效的解決方案。參考文獻1孫廣宇，王鵬，張超?；谛滦头且资Т鎯Φ拇鎯Y構J.中國計算機學會通訊，2014,10（4）：18-25.2Scott C. Latency Numbers Every Programmer EB/