地質(zhì)數(shù)據(jù)的采集與預(yù)處理

第二章地質(zhì)數(shù)據(jù)的采集與預(yù)處理1、數(shù)據(jù)的計量尺度2、地質(zhì)數(shù)據(jù)獲取3、取樣4、數(shù)據(jù)的預(yù)處理地質(zhì)數(shù)據(jù)的概念：信息—是現(xiàn)實世界在人們頭腦中的反映。它以文字、數(shù)據(jù)、符號、聲音、圖像等形式記錄下來，進(jìn)行傳遞和處理，為人們的生產(chǎn)、建設(shè)、管理等提供依據(jù)。數(shù)據(jù)—是對客觀現(xiàn)象的表示，是能被計算機(jī)處理的數(shù)字、文字、符號、聲音、圖像等符號。信息與數(shù)據(jù)的關(guān)系—數(shù)據(jù)是信息的表達(dá)、載體，信息是數(shù)據(jù)的內(nèi)涵，是質(zhì)與形的關(guān)系。數(shù)據(jù)只有對實體行為產(chǎn)生影響時才能成為信息；數(shù)據(jù)只有經(jīng)過解釋才有意義，從而成為信息。地質(zhì)信息—是地質(zhì)現(xiàn)象在人們頭腦中的反映。地質(zhì)數(shù)據(jù)—是地質(zhì)信息的符號表達(dá)和載體。1地質(zhì)數(shù)據(jù)的計量尺度四種計量尺度數(shù)據(jù)的計量尺度定類尺度定序尺度定距尺度定比尺度定類尺度

(概念要點(diǎn))計量層次最低對事物進(jìn)行平行的分類各類別可以指定數(shù)字代碼表示使用時必須符合類別窮盡和互斥的要求數(shù)據(jù)表現(xiàn)為“類別”具有=或的數(shù)學(xué)特性定序尺度

(概念要點(diǎn))對事物分類的同時給出各類別的順序比定類尺度精確未測量出類別之間的準(zhǔn)確差值數(shù)據(jù)表現(xiàn)為“類別”，但有序具有>或<的數(shù)學(xué)特性定距尺度

(概念要點(diǎn))1. 對事物的準(zhǔn)確測度2. 比定序尺度精確3. 數(shù)據(jù)表現(xiàn)為“數(shù)值”4.沒有絕對零點(diǎn)5. 具有+或-的數(shù)學(xué)特性定比尺度1. 對事物的準(zhǔn)確測度2. 與定距尺度處于同一層次3. 數(shù)據(jù)表現(xiàn)為“數(shù)值”4.有絕對零點(diǎn)5. 具有或

的數(shù)學(xué)特性四種計量尺度的比較四種計量尺度的比較定類尺度定序尺度定距尺度定比尺度

分類（＝，≠）排序（<，>)

間距（+，-）比值（×，÷）√√√√√√√√√√計量尺度數(shù)學(xué)特性“√”表示該尺度所具有的特性數(shù)據(jù)的排序按一定順序?qū)?shù)據(jù)排列，以發(fā)現(xiàn)一些明顯的特征或趨勢，找到解決問題的線索排序有助于對數(shù)據(jù)檢查糾錯，以及為重新歸類或分組等提供依據(jù)在某些場合，排序本身就是分析的目的之一排序可借助于計算機(jī)完成數(shù)據(jù)的排序定類數(shù)據(jù)的排序字母型數(shù)據(jù)，排序有升序降序之分，但習(xí)慣上用升序漢字型數(shù)據(jù)，可按漢字的首位拼音字母排列，也可按筆畫排序，其中也有筆畫多少的升序降序之分定序、定距和定比數(shù)據(jù)的排序遞增排序：設(shè)一組數(shù)據(jù)為X1，X2，…，XN，遞增排序后可表示為：X(1)<X(2)<…<X(N)遞減排序可表示為：X(1)>X(2)>…>X(N)數(shù)據(jù)類型與統(tǒng)計方法數(shù)據(jù)類型與統(tǒng)計方法定類數(shù)據(jù)定序數(shù)據(jù)品質(zhì)數(shù)據(jù)數(shù)量數(shù)據(jù)定距數(shù)據(jù)定比數(shù)據(jù)參數(shù)方法非參數(shù)方法變量及其類型變量定序變量離散變量連續(xù)變量定類變量數(shù)字變量統(tǒng)計指標(biāo)及其類型

（用于描述社會經(jīng)濟(jì)現(xiàn)象）時期指標(biāo)時點(diǎn)指標(biāo)統(tǒng)計指標(biāo)相對指標(biāo)總量指標(biāo)平均指標(biāo)比例比率2地質(zhì)數(shù)據(jù)獲取地質(zhì)數(shù)據(jù)獲取的不確定性、多解性地質(zhì)數(shù)據(jù)獲取的多源性、艱難性地質(zhì)數(shù)據(jù)獲取的代表性、零散性數(shù)據(jù)的質(zhì)量要求1.精度：允許的最低的抽樣誤差或隨機(jī)誤差；2.準(zhǔn)確性：最小的非抽樣誤差或偏差；3.關(guān)聯(lián)性：符合數(shù)據(jù)間的內(nèi)在關(guān)聯(lián)性，同時滿足用戶決策、管理和研究的需要；4.及時性：在最短的時間里取得并公布數(shù)據(jù)；5.一致性：數(shù)據(jù)屬性的可比性；6.最低成本：以最經(jīng)濟(jì)的方式取得數(shù)據(jù)。原始數(shù)據(jù)的檢查邏輯檢查從定性角度，審核數(shù)據(jù)是否符合邏輯，內(nèi)容是否合理，各項目或數(shù)字之間有無相互矛盾的現(xiàn)象；主要用于對定類數(shù)據(jù)和定序數(shù)據(jù)的審核；計算檢查檢查調(diào)查表中的各項數(shù)據(jù)在計算結(jié)果和計算方法上有無錯誤；主要用于對定距和定比數(shù)據(jù)的審核；第二手?jǐn)?shù)據(jù)的檢查1.適用性審核弄清楚數(shù)據(jù)的來源、數(shù)據(jù)的口徑以及有關(guān)的背景材料；確定數(shù)據(jù)是否符合自己分析研究的需要；2.時效性審核適用于有時效性的樣品分析數(shù)據(jù)，如水樣品；應(yīng)盡可能使用可靠的數(shù)據(jù)；3.確認(rèn)是否必要做進(jìn)一步的加工整理；數(shù)據(jù)的篩選對審核過程中發(fā)現(xiàn)的錯誤應(yīng)盡可能予以糾正當(dāng)發(fā)現(xiàn)數(shù)據(jù)中的錯誤不能予以糾正，或者有些數(shù)據(jù)不符合調(diào)查的要求而又無法彌補(bǔ)時，需要對數(shù)據(jù)進(jìn)行篩選數(shù)據(jù)篩選的內(nèi)容包括：將某些不符合要求的數(shù)據(jù)或有明顯錯誤的數(shù)據(jù)予以剔除將符合某種特定條件的數(shù)據(jù)篩選出來，而不符合特定條件的數(shù)據(jù)予以剔出2數(shù)據(jù)的采集以某化探數(shù)據(jù)的采集為例，數(shù)據(jù)采集的步驟：采樣設(shè)計(按國家、行業(yè)規(guī)范);采樣(保證質(zhì)和量、記錄規(guī)范、必要的備注)；加工(防止污染和編號錯亂)；送樣化驗分析(根據(jù)研究目的和研究對象的內(nèi)在關(guān)聯(lián)性來確定分析項目、選擇分析方法、儀器類型)。遙感數(shù)據(jù)是常用的地質(zhì)數(shù)據(jù)之一，訂購數(shù)據(jù)要選擇航天器的類型、波段的特點(diǎn)，產(chǎn)品的級別等等。3取樣取樣的定義：通過抽取總體中的部分單元，觀測或收集這些單元的特征和信息，用來對總體進(jìn)行推斷的一種手段。樣本的定義：從總體中按照一定的規(guī)則抽取的一部分個體為總體的樣本，是取樣時所采集的那部分單元所組成的集合。取樣的原則：客觀性、機(jī)會均等各種不同的取樣方式

4數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理的必要性沒有干凈的數(shù)據(jù)不可能獲得好的處理結(jié)果；任何數(shù)據(jù)都是有污染的、有冗余的；數(shù)據(jù)一般有多種格式的，要進(jìn)行統(tǒng)一格式或格式規(guī)范化；空間數(shù)據(jù)要進(jìn)行必要的幾何(變形)校正；數(shù)據(jù)的度量單位要匹配處理；任何數(shù)據(jù)都是有誤差的，要進(jìn)行誤差處理；數(shù)據(jù)總體空間與數(shù)據(jù)樣本空間的一致性(>或＝)；數(shù)據(jù)讀寫(IO)與處理軟件之間的轉(zhuǎn)換；數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理(datapreprocessing)或數(shù)據(jù)清洗(datascrubbing)或數(shù)據(jù)清理(datacleaning)或數(shù)據(jù)凈化(datacleansing)是數(shù)據(jù)處理的第一步。目的：使數(shù)據(jù)適合于后續(xù)的處理工作，提高數(shù)據(jù)的準(zhǔn)確度、整體性、可用性，有助于提高數(shù)據(jù)處理的質(zhì)量。數(shù)據(jù)預(yù)處理要弄清所面對的數(shù)據(jù)類型，因為不同類型的數(shù)據(jù)，所采取的處理方式和方法是不同的；對定類數(shù)據(jù)和定序數(shù)據(jù)主要是做分類整理；對定距數(shù)據(jù)和定比數(shù)據(jù)則主要是做分組整理；適合于低層次數(shù)據(jù)的整理和顯示方法也適合于高層次的數(shù)據(jù)；但適合于高層次數(shù)據(jù)的整理和顯示方法并不適合于低層次的數(shù)據(jù)；數(shù)據(jù)預(yù)處理的基本方法

不同類型的數(shù)據(jù)有不同的預(yù)處理方法，不同學(xué)科的數(shù)據(jù)有不同的預(yù)處理內(nèi)容。如遙感數(shù)據(jù)，要進(jìn)行輻射校正、幾何校正、系統(tǒng)誤差的補(bǔ)償、隨機(jī)誤差的平滑等等。對化探數(shù)據(jù)，要進(jìn)行完整性檢查、數(shù)據(jù)冗余檢查、不同批次或不同儀器之間的數(shù)據(jù)進(jìn)行系統(tǒng)誤差的處理等等。對礦石品位數(shù)據(jù)要進(jìn)行樣品的厚度、長度加權(quán)、特高品位的處理等等。預(yù)處理的主要內(nèi)容完整性：空間的分布、線距點(diǎn)距的規(guī)律性；合規(guī)性：滿足規(guī)范要求；冗余與缺失的處理；系統(tǒng)誤差的補(bǔ)償；隨機(jī)誤差的平滑；數(shù)據(jù)預(yù)處理方法1.對于地質(zhì)數(shù)據(jù)，可以作出各種圖件進(jìn)行直觀判斷：如做樣品空間(采樣)分布圖，檢查樣品的缺失和重復(fù)；等值線平面圖，等等；如果出現(xiàn)樣品缺失時，采取線性插值或近鄰窗