《信息科學(xué)技術(shù)導(dǎo)論》課件-第7章

第7章信息處理技術(shù)7.1信息處理概述7.2信號(hào)與系統(tǒng)7.3數(shù)字信號(hào)處理7.4大數(shù)據(jù)時(shí)代7.5數(shù)據(jù)融合技術(shù)7.6現(xiàn)代信號(hào)處理7.7本章小結(jié)

◆教學(xué)提示

獲取信息并對它進(jìn)行加工處理，使之成為有用信息并發(fā)布出去的過程，稱為信息處理。由于信息通常是加載在一定的信號(hào)上，對信息的處理總是通過對信號(hào)的處理來實(shí)現(xiàn)，所以，信息處理往往和信號(hào)處理具有類同的含義。本章介紹信息處理及信息處理技術(shù)，首先講述經(jīng)典的連續(xù)信號(hào)和數(shù)字信號(hào)的處理技術(shù)；在此基礎(chǔ)上，介紹目前我們所處的信息環(huán)境，即所謂的大數(shù)據(jù)時(shí)代；然后講述利用多傳感器實(shí)現(xiàn)的數(shù)據(jù)融合技術(shù)；最后講述現(xiàn)代信號(hào)處理技術(shù)。

7.1.1信息處理的基本概念

人類的生產(chǎn)和生活很大程度上依賴于信息的收集、處理和傳送。獲取信息并對它進(jìn)行加工處理，使之成為有用信息并發(fā)布出去的過程，稱為信息處理。7.1信息處理概述

1.信息

信息(Information)既是一種抽象的概念，又是一個(gè)無處不在的實(shí)際事件?？刂普搫?chuàng)始人維納(NorbertWiener)認(rèn)為，信息既不是物質(zhì)也不是能量，是人類為適應(yīng)外部環(huán)境及感知外部環(huán)境，與外部環(huán)境交換內(nèi)容的總稱。因此，可以認(rèn)為，信息是人與外界的一種交互通信的信號(hào)量。

信息論奠基者香農(nóng)(ClauseShannon)認(rèn)為，信息就是能夠用來消除不確定性的東西，是一個(gè)事件發(fā)生概率的對數(shù)的負(fù)值。該論述第一次闡明了信息的功能和用途，表明了信息是一個(gè)可以度量的概念，且指出了信息的度量方法可以依據(jù)相應(yīng)事件發(fā)生的概率進(jìn)行確定其大小。這樣，不同概率事件就包含了不同的影響度(或稱信息量)。信息具有以下特性：

(1)可識(shí)別性。信息是可以識(shí)別的。識(shí)別又可分為直接識(shí)別和間接識(shí)別。直接識(shí)別是指通過感官的識(shí)別，間接識(shí)別是指通過各種測試手段的識(shí)別。不同的信息源有不同的識(shí)別方法。

(2)可存儲(chǔ)性。信息是可以通過各種方法存儲(chǔ)的。

(3)可擴(kuò)充性。信息隨著時(shí)間的變化，將不斷擴(kuò)充。

(4)可壓縮性。人們對信息進(jìn)行加工、整理、概括、歸納就可使之精練，從而濃縮。

(5)可傳遞性。信息的可傳遞性是信息的本質(zhì)特征。

(6)可轉(zhuǎn)換性。信息是可以由一種形態(tài)轉(zhuǎn)換成另一種形態(tài)的。

(7)特定范圍有效性。信息在特定的范圍內(nèi)是有效的，否則是無效的。

2.信息處理

信息處理就是對信息的接收、存儲(chǔ)、轉(zhuǎn)化、傳送和發(fā)布等。信息的接收包括信息的感知、信息的測量、信息的識(shí)別、信息的獲取以及信息的輸入等；信息的存儲(chǔ)就是把接收到的信息及轉(zhuǎn)換、傳送、發(fā)布中間的信息通過存儲(chǔ)設(shè)備進(jìn)行緩沖、保存、備份等處理；信息的轉(zhuǎn)化就是把信息根據(jù)人們的特定需要進(jìn)行分類、計(jì)算、分析、檢索、管理和綜合等處理；信息的傳送就是把信息從一地傳送到另外一地；信息的發(fā)布就是把信息通過各種形式展示出來。信息處理一般是對電信號(hào)進(jìn)行的處理，也有對光信號(hào)、超聲信號(hào)等直接進(jìn)行處理的。在計(jì)算機(jī)技術(shù)不斷發(fā)展的基礎(chǔ)上，如能加上對事物的理解、推理和判斷能力，信息處理的效果就會(huì)有更大的改進(jìn)。

信息處理的目的主要有：提高有效性；提高抗干擾性；改善主觀感覺的效果；對信息進(jìn)行識(shí)別和分類；分離和選擇信息?？傊?，信息處理是為了更好地與信宿的性質(zhì)相匹配，舍棄那些對信宿無關(guān)的部分，突出信宿需要的有用部分。信息處理的一個(gè)基本規(guī)律是信息不增原理。這個(gè)原理表明，對載荷信息的信號(hào)所作的任何處理，都不可能使它所載荷的信息量增加。一般來說，處理的結(jié)果總會(huì)損失信息，而且處理的環(huán)節(jié)和次數(shù)越多這種損失的機(jī)會(huì)就越大，只有在理想處理的情況下，才不會(huì)丟失信息，但是也不能增加信息。

依據(jù)信息處理的目的，信息處理的方法主要有以下幾種：

(1)提高有效性的信息處理方法。根據(jù)信宿的性質(zhì)和特點(diǎn)，壓縮信息量的各種方法都屬于這一類。例如，通過過濾、預(yù)測、信源編碼和閾變換等方法，就可以在一定程度上壓縮頻帶、壓縮動(dòng)態(tài)范圍、壓縮數(shù)據(jù)率。在允許一定失真的條件下，信息率失真理論是這類信息處理技術(shù)的理論基礎(chǔ)。

(2)提高抗干擾性的信息處理方法。為了提高抗干擾的能力，針對干擾的性質(zhì)和特點(diǎn)，對載荷信息的信號(hào)進(jìn)行適當(dāng)?shù)淖儞Q和設(shè)計(jì)。例如，通過過濾和綜合來消除畫面的條紋干擾或孤立斑點(diǎn)；通過適當(dāng)?shù)脑O(shè)計(jì)使信號(hào)具有較強(qiáng)的相關(guān)性來抑制隨機(jī)噪聲的干擾；通過對信號(hào)附加適當(dāng)?shù)娜哂?，使信?hào)具有發(fā)現(xiàn)和糾正錯(cuò)誤的能力等，都是這類信息處理技術(shù)的應(yīng)用實(shí)例。

(3)改善主觀感覺效果的信息處理方法。這類技術(shù)主要應(yīng)用在圖像處理方面。例如，通過灰度變換和修正，通過頻率成分的加重和調(diào)整來改善圖像的質(zhì)量；為了便于觀察圖像各個(gè)部分的差別，把灰度差轉(zhuǎn)換為色彩差，形成假彩色圖等。此外，廣播中的立體聲處理也是改善主觀感覺效果的信息處理技術(shù)。

(4)識(shí)別和分類的信息處理方法。這是信息處理技術(shù)發(fā)展較快的一個(gè)分支，通常稱為模式識(shí)別。這種方法的要點(diǎn)是：根據(jù)用戶要求，合理地抽取模式的特征，然后根據(jù)一定的準(zhǔn)則對模式進(jìn)行識(shí)別和分類。具體實(shí)現(xiàn)的方法主要有兩類：一是基于模式統(tǒng)計(jì)特征和統(tǒng)計(jì)推斷理論的統(tǒng)計(jì)識(shí)別方法；另一類是基于模式結(jié)構(gòu)特征和文法推理的文法識(shí)別方法。統(tǒng)計(jì)識(shí)別方法要求先提取模式的特征，得到原始的特征空間，然后把它變換到低維空間，并根據(jù)一定的準(zhǔn)則(如最小均方誤差準(zhǔn)則、最大熵準(zhǔn)則等)對它進(jìn)行分類(線性分類或非線性分類，后者具有較好的分類效果，但比較復(fù)雜)。文法識(shí)別方法要求先選取模式的元素(即結(jié)構(gòu)特性)，然后進(jìn)行文法分析和推斷，通過樣板匹配的方法，按照相似度準(zhǔn)則來識(shí)別模式。

(5)選擇與分離的信息處理方法。通常從內(nèi)容隨時(shí)增減變動(dòng)的數(shù)據(jù)庫中有選擇地提取信息，或情報(bào)檢索和文字加工等，都屬于信息選擇。另外一類是分離信息，如在多數(shù)人交談的環(huán)境中，只選取一個(gè)人的講話，這需要有發(fā)話者的語聲識(shí)別器。例如，利用基頻和音調(diào)等特征來識(shí)別出選擇的對象，然后再將有關(guān)信息提取出來。在場景識(shí)別中，為了從背景中將活動(dòng)物體圖像分離出來，可以仿照蛙眼識(shí)別活動(dòng)目標(biāo)的原理，通過側(cè)抑制方法來實(shí)現(xiàn)。7.1.2信息處理與信號(hào)處理

由于信息通常加載在一定的信號(hào)上，例如，古代人利用點(diǎn)燃烽火臺(tái)而產(chǎn)生的滾滾狼煙，向遠(yuǎn)方軍隊(duì)傳遞敵人入侵的信息，這屬于光信號(hào)；當(dāng)我們說話時(shí)，聲波傳遞到他人的耳朵，使他人了解我們的意圖，這屬于聲信號(hào)；遨游太空的各種無線電波、四通八達(dá)的電話網(wǎng)中的電流等，都可以用來向遠(yuǎn)方表達(dá)各種信息，這屬于電信號(hào)。人們通過對光、聲、電信號(hào)進(jìn)行接收并分析處理，才知道對方要表達(dá)的信息。信號(hào)是信息的載體，信息通過信號(hào)傳遞。只有通過對接收信號(hào)的處理，才能獲得信息。信號(hào)處理(SignalProcessing)是指對信號(hào)進(jìn)行變換和運(yùn)算。信號(hào)處理的目的是削弱信號(hào)中多余的內(nèi)容，濾除混雜的噪聲和干擾，或者，將信號(hào)變換成容易分析和識(shí)別的形式，便于估計(jì)和選擇它的特征參量。例如，從月球探測器發(fā)來的圖像信號(hào)可能被淹沒在噪聲中，利用信號(hào)處理技術(shù)可以增強(qiáng)有用信號(hào)，濾除噪聲，從而得到清晰的圖像。

與信號(hào)有關(guān)的理化或數(shù)學(xué)過程有：信號(hào)的發(fā)生、信號(hào)的傳送、信號(hào)的接收、信號(hào)的分析、信號(hào)的處理、信號(hào)的存儲(chǔ)、信號(hào)的檢測與控制等。也可以把這些與信號(hào)有關(guān)的過程統(tǒng)稱為信號(hào)處理。信號(hào)處理可以用于溝通人類之間或人與機(jī)器之間的聯(lián)系；可以用來探測我們周圍的環(huán)境，并揭示出那些不易觀察到的狀態(tài)和構(gòu)造細(xì)節(jié)；還可以用來控制和利用能源與信息。

信號(hào)處理分為模擬信號(hào)處理和數(shù)字信號(hào)處理兩大類。

20世紀(jì)80年代以來，由于高速數(shù)字計(jì)算機(jī)的運(yùn)用，大大促進(jìn)了信號(hào)處理研究的發(fā)展，信號(hào)處理在諸如數(shù)據(jù)通信、生物醫(yī)學(xué)工程、語音識(shí)別與合成、圖像數(shù)據(jù)處理、工業(yè)生產(chǎn)自動(dòng)化以及經(jīng)濟(jì)形勢預(yù)測等領(lǐng)域內(nèi)起著關(guān)鍵的作用。

信號(hào)與系統(tǒng)以通信系統(tǒng)和控制系統(tǒng)的基本問題為主要背景，研究信號(hào)經(jīng)系統(tǒng)傳輸或處理的一般規(guī)律。7.2信?號(hào)?與?系?統(tǒng)7.2.1信號(hào)和系統(tǒng)的定義

信號(hào)(signal)是運(yùn)載信息的工具，是信息的載體。從廣義上講，它包含光信號(hào)、聲信號(hào)和電信號(hào)等。

信號(hào)的分類方法很多，信號(hào)按數(shù)學(xué)關(guān)系、取值特征、能量功率、處理分析、所具有的時(shí)間函數(shù)特性、取值是否為實(shí)數(shù)等，可以分為確定性信號(hào)和非確定性信號(hào)(又稱隨機(jī)信號(hào))、連續(xù)信號(hào)和離散信號(hào)、能量信號(hào)和功率信號(hào)、時(shí)域信號(hào)和頻域信號(hào)、時(shí)限信號(hào)和頻限信號(hào)、實(shí)信號(hào)和復(fù)信號(hào)等。

信號(hào)按其幅度和時(shí)間變量的取值特征分為模擬信號(hào)和數(shù)字信號(hào)兩大類。系統(tǒng)(system)是由相互作用相互依賴的若干組成部分結(jié)合而成的，具有特定功能的有機(jī)整體。包括物理系統(tǒng)和非物理系統(tǒng)，人工系統(tǒng)和自然系統(tǒng)。

信號(hào)與系統(tǒng)的關(guān)系如圖7-1所示。

圖7-1信號(hào)與系統(tǒng)關(guān)系框圖系統(tǒng)接收輸入信號(hào)x(t)，或者說，信號(hào)進(jìn)入系統(tǒng)，系統(tǒng)對信號(hào)進(jìn)行處理，即變換和運(yùn)算，得到輸出信號(hào)y(t)，這個(gè)過程常用式(7-1)表示。

y(t)?=?T[x(t)](7-1)

式中T[·]?表示系統(tǒng)。根據(jù)待處理信號(hào)是模擬信號(hào)還是數(shù)字信號(hào)，系統(tǒng)分為模擬系統(tǒng)和數(shù)字系統(tǒng)。

在信息科學(xué)與技術(shù)領(lǐng)域中，常常利用通信系統(tǒng)、控制系統(tǒng)和計(jì)算機(jī)系統(tǒng)進(jìn)行信號(hào)的傳輸、交換和處理。組成通信系統(tǒng)、控制系統(tǒng)和計(jì)算機(jī)系統(tǒng)的主要部件中包括大量的多種類型的電路，這些電路與信號(hào)及系統(tǒng)有著密切的聯(lián)系。信號(hào)作為待傳輸信息的載體，具有一定的形式(模擬的或數(shù)字的)，對于給定形式和傳輸、處理要求的信號(hào)，系統(tǒng)應(yīng)具有相應(yīng)的功能和特性與信號(hào)匹配，而電路應(yīng)具有相應(yīng)的結(jié)構(gòu)和參數(shù)與系統(tǒng)匹配。例如，由一個(gè)電容和一個(gè)電阻構(gòu)成的簡單電路，可以實(shí)現(xiàn)濾波(低通濾波器和高通濾波器)，也可以完成運(yùn)算(微分運(yùn)算和積分運(yùn)算)，這取決于電路結(jié)構(gòu)和信號(hào)的形式；低通濾波器和高通濾波器的通帶截止、微分器和積分器的時(shí)間常數(shù)則取決于電路的參數(shù)。7.2.2

信號(hào)與系統(tǒng)的研究內(nèi)容

信號(hào)分為模擬信號(hào)和數(shù)字信號(hào)兩大類，相應(yīng)的，系統(tǒng)也分為模擬系統(tǒng)和數(shù)字系統(tǒng)；信號(hào)與系統(tǒng)重點(diǎn)講述模擬信號(hào)與模擬系統(tǒng)的分析研究方法，數(shù)字信號(hào)與數(shù)字系統(tǒng)則放在數(shù)字信號(hào)處理中講述。

1.信號(hào)分析

常用的信號(hào)分析方法有時(shí)域分析法和頻域分析法。

以時(shí)間為自變量描述物理量的變化是信號(hào)最基本、最直觀的表達(dá)形式。時(shí)域分析，就是將信號(hào)表示為時(shí)間變量或空間變量的函數(shù)，或者繪出信號(hào)隨時(shí)間或空間變化的圖像，以便于對信號(hào)進(jìn)行運(yùn)算，運(yùn)算包括移位、反褶、尺度(伸縮)變換、微分、積分以及信號(hào)的相加、相乘、統(tǒng)計(jì)特征計(jì)算和相關(guān)性分析等。

對信號(hào)進(jìn)行時(shí)域分析時(shí)，有時(shí)一些信號(hào)的時(shí)域參數(shù)相同，但并不能說明信號(hào)就完全相同。因?yàn)樾盘?hào)不僅隨時(shí)間變化，還與頻率、相位等信息有關(guān)，這就需要進(jìn)一步分析信號(hào)的頻率結(jié)構(gòu)，并在頻率域中對信號(hào)進(jìn)行描述。頻域(FrequencyDomain)是描述信號(hào)在頻率方面特性時(shí)用到的一種坐標(biāo)系，自變量是頻率，即橫軸是頻率，縱軸是該頻率信號(hào)的幅度，也就是通常說的頻譜圖。頻譜圖描述了信號(hào)的頻率結(jié)構(gòu)及頻率與該頻率信號(hào)幅度的關(guān)系。頻域分析則是通過傅里葉級(jí)數(shù)或傅里葉變換將時(shí)域信號(hào)分解成多個(gè)正弦函數(shù)的和或積分，得到信號(hào)的頻譜；即將信號(hào)表示為頻率變量的函數(shù)。1822年，法國數(shù)學(xué)家傅里葉(J.Fourier)在研究熱傳導(dǎo)理論時(shí)發(fā)表了“熱的分析理論”，提出并證明了將周期函數(shù)展開為正弦級(jí)數(shù)的原理，奠定了傅里葉級(jí)數(shù)的理論基礎(chǔ)。泊松(Poisson)、高斯(Guass)等人把這一成果應(yīng)用到電學(xué)中，得到了廣泛應(yīng)用。頻域分析揭示了信號(hào)內(nèi)在的頻率特性以及信號(hào)時(shí)間特性與其頻率特性之間的密切關(guān)系，從而導(dǎo)出了信號(hào)的頻譜、帶寬以及濾波、調(diào)制和頻分復(fù)用等重要概念。

時(shí)域波形與頻域波形的關(guān)系如圖7-2所示。

圖7-2時(shí)域波形與頻域波形的關(guān)系

2.系統(tǒng)分析

系統(tǒng)的理論研究包括系統(tǒng)分析和系統(tǒng)設(shè)計(jì)兩方面。在給定系統(tǒng)的條件下，研究系統(tǒng)對于輸入激勵(lì)信號(hào)所產(chǎn)生的輸出響應(yīng)，這是系統(tǒng)分析；系統(tǒng)設(shè)計(jì)則是已知輸入激勵(lì)信號(hào)和期望的輸出信號(hào)，設(shè)計(jì)滿足要求的系統(tǒng)。信號(hào)與系統(tǒng)主要講述系統(tǒng)分析。

連續(xù)時(shí)間系統(tǒng)通常用微分方程來描述，也就是系統(tǒng)的輸入與輸出之間通過它們的時(shí)間函數(shù)及其對時(shí)間的各階導(dǎo)數(shù)的線性組合聯(lián)系起來。系統(tǒng)分析的方法包括時(shí)域分析、頻域分析和復(fù)頻域分析。系統(tǒng)的時(shí)域分析直接求解系統(tǒng)的微分方程，系統(tǒng)的分析計(jì)算過程均在時(shí)間變量域內(nèi)完成；時(shí)域分析法直觀、物理概念清楚，如果描述系統(tǒng)的微分方程是一階或二階的，求解后可利用時(shí)域指標(biāo)直接評(píng)估系統(tǒng)的性能。時(shí)域分析法是學(xué)習(xí)變換域分析法的基礎(chǔ)。

系統(tǒng)時(shí)域分析法包含兩方面內(nèi)容，一是求解微分方程；二是已知系統(tǒng)的單位沖激響應(yīng)，將沖激響應(yīng)與輸入信號(hào)進(jìn)行卷積積分，求出系統(tǒng)的輸出響應(yīng)。系統(tǒng)的頻域分析法，是將通過式(7-2)所示的傅里葉變換，將時(shí)域輸入信號(hào)分解成多個(gè)正弦函數(shù)的和(或積分)，從而得到輸入信號(hào)的頻譜；然后求系統(tǒng)對各個(gè)正弦分量的響應(yīng)，得到響應(yīng)(即輸出信號(hào))的頻譜；最后通過傅里葉反變換，求得時(shí)域響應(yīng)。

(7-2)頻域分析法是基于頻率特性或頻率響應(yīng)對系統(tǒng)進(jìn)行分析和設(shè)計(jì)的一種方法，故其與時(shí)域分析法相比有較多的優(yōu)點(diǎn)。相對于時(shí)域復(fù)雜的卷積積分計(jì)算，頻域分析法是將卷積計(jì)算轉(zhuǎn)換為乘法運(yùn)算，容易求得系統(tǒng)的響應(yīng)。但是它必須經(jīng)過兩次變換計(jì)算，計(jì)算量比較大。但是在很多情況下，直接給定激勵(lì)信號(hào)的頻譜，且只需要得到響應(yīng)信號(hào)的頻譜，這時(shí)就可以不用或少用變換。

復(fù)頻域也稱拉氏域(S域)，系統(tǒng)的復(fù)頻域分析，是通過式(7-3)所示的拉普拉斯變換，把時(shí)間函數(shù)f?(t)與復(fù)變函數(shù)F(s)聯(lián)系起來，把時(shí)域問題通過數(shù)學(xué)變換為復(fù)頻域問題，把時(shí)間域的高階微分方程變換為復(fù)頻域的代數(shù)方程求解，求出輸出響應(yīng)，再通過拉普拉斯逆變換求出輸出響應(yīng)的時(shí)域函數(shù)。

(7-3)

時(shí)域分析法具有直觀、準(zhǔn)確的優(yōu)點(diǎn)，然而實(shí)際系統(tǒng)往往都是高階的，要建立和求解高階系統(tǒng)的微分方程比較困難。利用拉普拉斯變換可以避開煩瑣的求解微分方程的過程。特別是對于高階微分方程，拉氏變換法可以使計(jì)算量大大減小?！靶盘?hào)與系統(tǒng)”課程的任務(wù)就是研究信號(hào)與系統(tǒng)的基本概念和基本分析方法，初步認(rèn)識(shí)如何建立信號(hào)和系統(tǒng)的數(shù)學(xué)模型，經(jīng)適當(dāng)?shù)臄?shù)學(xué)分析求解，對所得結(jié)果給予物理解釋，賦予物理意義。

數(shù)字信號(hào)處理，是從20世紀(jì)50年代起，隨著信息學(xué)科和計(jì)算機(jī)學(xué)科的高速發(fā)展而迅速發(fā)展起來的一門新興學(xué)科，并成為科學(xué)與技術(shù)領(lǐng)域內(nèi)發(fā)展最為迅速、應(yīng)用最為廣泛的學(xué)科之一。它的重要性在各個(gè)領(lǐng)域的發(fā)展和應(yīng)用中日益表現(xiàn)出來。因此，在國內(nèi)外的高等院校里，“數(shù)字信號(hào)處理”已經(jīng)成為理學(xué)和工學(xué)必修的一門專業(yè)基礎(chǔ)課程。7.3數(shù)字信號(hào)處理在模擬通信中，為了提高信噪比，需要在信號(hào)傳輸過程中對衰減的傳輸信號(hào)進(jìn)行放大，信號(hào)在傳輸過程中不可避免地疊加上的噪聲也被同時(shí)放大。隨著傳輸距離的增加，噪聲累積越來越多，以致使傳輸質(zhì)量嚴(yán)重惡化。如果采用數(shù)字信號(hào)傳輸，由于數(shù)字信號(hào)的幅值是有限位二進(jìn)制數(shù)，在傳輸過程中雖然也受到噪聲的干擾，但當(dāng)信噪比惡化到一定程度時(shí)，即在適當(dāng)?shù)木嚯x采用判決再生的方法，再生成沒有噪聲干擾的和原發(fā)送端一樣的數(shù)字信號(hào)，所以可實(shí)現(xiàn)長距離高質(zhì)量的傳輸。廣義來說，數(shù)字信號(hào)處理是研究用數(shù)字方法對信號(hào)進(jìn)行分析、變換、濾波、檢測、調(diào)制、解調(diào)以及快速算法的一門技術(shù)學(xué)科。7.3.1數(shù)字信號(hào)及系統(tǒng)的定義和分析方法

時(shí)間和幅度取值都是離散的信號(hào)稱為數(shù)字信號(hào)，用有限的二進(jìn)制位數(shù)來表示其幅度值。數(shù)字信號(hào)處理(DigitalSignalProcessing)用運(yùn)算的方法實(shí)現(xiàn)處理數(shù)字信號(hào)的目的，主要的運(yùn)算包括濾波、轉(zhuǎn)換、檢測、估計(jì)、壓縮、識(shí)別等。

1.數(shù)字信號(hào)和數(shù)字系統(tǒng)

連續(xù)信號(hào)的數(shù)字化需要三個(gè)步驟：采樣、量化和編碼。采樣是指用每隔一定時(shí)間的信號(hào)樣值序列來代替原來在時(shí)間上連續(xù)的信號(hào)，也就是在時(shí)間上將模擬信號(hào)離散化。量化是用有限個(gè)幅度值近似原來連續(xù)變化的幅度值，把模擬信號(hào)的連續(xù)幅度變?yōu)橛邢迶?shù)量的有一定間隔的離散值。編碼則是按照一定的規(guī)律，把量化后的值用二進(jìn)制數(shù)字表示，然后轉(zhuǎn)換成二值或多值的數(shù)字信號(hào)。這樣得到的數(shù)字信號(hào)可以通過電纜、微波干線、衛(wèi)星通道等數(shù)字線路傳輸。在接收端則采用與上述模擬信號(hào)數(shù)字化過程相反的處理過程，再經(jīng)過后置濾波恢復(fù)成原來的連續(xù)信號(hào)。處理數(shù)字信號(hào)的系統(tǒng)，稱為數(shù)字系統(tǒng)。

連續(xù)信號(hào)的數(shù)字化處理過程如圖7-3所示。

圖7-3連續(xù)信號(hào)的數(shù)字化處理過程圖中的A/DC是模/數(shù)轉(zhuǎn)換器，包括采樣、量化和編碼三部分，完成將連續(xù)信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。

D/AC是數(shù)/模轉(zhuǎn)換器，通常包括解碼和零階保持器，解碼與A/DC中的編碼對應(yīng)；零階保持器的作用是將采樣時(shí)刻的值保持到下一個(gè)采樣時(shí)刻到來，實(shí)現(xiàn)采樣信號(hào)轉(zhuǎn)換為階梯狀連續(xù)信號(hào)，再通過D/AC后的“平滑濾波器”濾除高頻分量。

由于采樣理論要求A/DC中采樣頻率fs必須大于等于輸入信號(hào)x(t)最高頻率的2倍，否則，經(jīng)D/AC恢復(fù)的信號(hào)會(huì)出現(xiàn)失真。因此，圖7-3所示的系統(tǒng)前端加有“預(yù)濾波器”，預(yù)先濾除輸入信號(hào)中頻率大于fs/2的部分。

與模擬系統(tǒng)相比，數(shù)字系統(tǒng)的優(yōu)點(diǎn)是：體積小、功耗低、精度高、可靠性高、靈活性大、易于大規(guī)模集成、可進(jìn)行二維與多維處理。

由于對模擬信號(hào)采樣后，進(jìn)行量化時(shí)，不可避免的會(huì)引入“量化誤差”，為了避開這些誤差的影響，我們在講述基本理論時(shí)，采用的信號(hào)是量化前的離散信號(hào)，即對模擬信號(hào)采樣后的數(shù)值序列，采樣過程可用式(7-4)表示。

x(n)?=?x(t)?|t?=?nT

n?=?0,1,2…(7-4)

式中，T為采樣間隔，是采樣頻率的倒數(shù)，即T?=?1/fs。

對數(shù)字系統(tǒng)也可以采用離散序列表示。

2.數(shù)字信號(hào)與數(shù)字系統(tǒng)的分析方法

與模擬信號(hào)類似，數(shù)字信號(hào)的分析方法有時(shí)域分析法和頻域分析法，數(shù)字系統(tǒng)的分析方法有時(shí)域分析法、頻域分析法和復(fù)頻域分析法。

時(shí)域分析法是在時(shí)間域?qū)π盘?hào)和系統(tǒng)進(jìn)行分析，對信號(hào)而言，是將信號(hào)表示成離散時(shí)間n的函數(shù)，從而對信號(hào)進(jìn)行運(yùn)算；對系統(tǒng)而言，建立輸入/輸出信號(hào)的差分方程，解差分方程獲得輸出信號(hào)，或者用離散時(shí)間序列表示系統(tǒng)，用輸入信號(hào)與系統(tǒng)的卷積和得到輸出序列。頻域分析法是用傅里葉變換將時(shí)域信號(hào)和系統(tǒng)變換到頻域，可以分析信號(hào)的頻譜，分析系統(tǒng)的頻域特性及用乘法代替卷積求解輸出。

系統(tǒng)的復(fù)頻域(Z域)分析法是用Z變換將離散系統(tǒng)的差分方程變換為代數(shù)方程，再利用Z逆變換將方程的解變換到時(shí)域，得到系統(tǒng)的時(shí)域輸出；也可以將用離散序列表示的系統(tǒng)經(jīng)Z變換得到系統(tǒng)函數(shù)的概念。7.3.2數(shù)字信號(hào)處理的主要內(nèi)容

數(shù)字信號(hào)處理主要研究有關(guān)譜分析方法、離散變換快速算法(快速傅里葉變換)和數(shù)字濾波技術(shù)。

1.譜分析

信號(hào)分析主要包括時(shí)域分析和頻域分析。譜分析就是頻域分析，是在頻域中描述信號(hào)特性的一種分析方法，用的數(shù)學(xué)工具就是傅里葉變換。譜分析就是將信號(hào)源發(fā)出的信號(hào)按頻率順序展開，使其成為頻率的函數(shù)，其目的是把復(fù)雜的時(shí)間歷程波形，經(jīng)過傅里葉變換分解為若干單一的諧波分量來研究，以獲得信號(hào)的頻率結(jié)構(gòu)以及各諧波和相位信息。

離散傅立葉變換(DiscreteFourierTransform，DFT)的快速算法——快速傅里葉變換(FastFourierTransformation，F(xiàn)FT)為頻譜分析提供了一種優(yōu)異的分析手段。

2.快速傅里葉變換(FFT)

1965年，庫利(T.W.Cooley)和圖基(J.W.Tuky)在《計(jì)算機(jī)數(shù)學(xué)》(Math.Computation，Vol.19，1965)雜志上發(fā)表了著名的《機(jī)器計(jì)算傅里葉級(jí)數(shù)的一種算法》論文，首次提出離散傅里葉變換的快速算法，后經(jīng)人們改進(jìn)，很快形成了一套高效運(yùn)算方法，這就是快速傅里葉變換(FFT)。自從有了快速算法，離散傅里葉變換的運(yùn)算次數(shù)大為減少(復(fù)數(shù)乘法次數(shù)由N2次下降至 次，N是待處理信號(hào)的長度)，運(yùn)算效率提高1～2個(gè)數(shù)量級(jí)，為數(shù)字信號(hào)處理技術(shù)應(yīng)用于各種信號(hào)的實(shí)時(shí)處理創(chuàng)造了良好的條件，大大推動(dòng)了數(shù)字信號(hào)處理技術(shù)的發(fā)展?？焖俑道锶~變換還可用來進(jìn)行一系列有關(guān)的快速運(yùn)算，如相關(guān)、褶積、功率譜等運(yùn)算?？焖俑道锶~變換可做成專用設(shè)備，也可以通過軟件實(shí)現(xiàn)。與快速傅里葉變換相似，其他形式的變換，如沃爾什變換、數(shù)論變換等也有其快速算法。

3.數(shù)字濾波器

數(shù)字濾波器是通過一定的運(yùn)算方法改變輸入數(shù)字信號(hào)所含頻率分量的相對比例或?yàn)V除某些頻率分量，從而獲得所需的有用信息的數(shù)字系統(tǒng)。

數(shù)字濾波器根據(jù)其選頻作用分為低通濾波器(Low-PassFilter，LPF)、高通濾波器(High-PassFilter，HPF)、帶通濾波器(Band-PassFilter，BPF)和帶阻濾波器(Band-StopFilter，BSF)等；從實(shí)現(xiàn)方法上分為無限脈沖響應(yīng)(InfiniteImpulseResponse，IIR)數(shù)字濾波器和有限脈沖響應(yīng)(FiniteImpulseResponse，F(xiàn)IR)數(shù)字濾波器；從處理的信號(hào)類型上分為經(jīng)典濾波器和現(xiàn)代濾波器。

圖7-4給出了理想低通、高通、帶通和帶阻數(shù)字濾波器的幅頻特性曲線，圖中ωc為通帶截止頻率，ωcd和ωcu分別為上通帶截止頻率和下通帶截止頻率。

圖7-4理想低通、高通、帶通和帶阻濾波器的幅頻特性數(shù)字濾波器的設(shè)計(jì)就是根據(jù)所需選頻特性來設(shè)計(jì)滿足要求的系統(tǒng)，包括低通濾波器、高通濾波器、帶通濾波器、帶阻濾波器和全通濾波器。具體說就是，根據(jù)給定的通帶截止頻率、通帶允許的最大衰減、阻帶截止頻率和阻帶允許的最小衰減等性能指標(biāo)來設(shè)計(jì)系統(tǒng)。圖7-5所示曲線給出了一個(gè)低通濾波器的幅頻特性曲線。

圖7-5低通濾波器的幅頻特性曲線圖中橫坐標(biāo)表示頻率，單位是kHz；縱坐標(biāo)表示系統(tǒng)的頻率特性，單位是分貝(dB)。該濾波器的通帶和阻帶截止頻率分別為3?kHz和6?kHz，通帶衰減和阻帶衰減分別為2?dB和60dB。系統(tǒng)的性能表明，該系統(tǒng)將輸入信號(hào)中頻率超過6?kHz的頻率分量衰減60?dB，即減小到輸入量的千分之一；頻率小于3?kHz的頻率分量衰減小于2?dB，即減小為輸入量的0.79。這樣的系統(tǒng)可以實(shí)現(xiàn)濾除高頻信號(hào)，保留低頻信號(hào)。

經(jīng)典濾波器是假定輸入信號(hào)x(n)中的有效信號(hào)和噪聲(或干擾)信號(hào)成分各在不同的頻帶，當(dāng)x(n)通過一個(gè)經(jīng)典濾波系統(tǒng)后，可以將噪聲信號(hào)成分有效地去除?？墒?，如果有效信號(hào)和噪聲信號(hào)的頻帶相互重疊，那么經(jīng)典濾波器將無能為力，只有通過現(xiàn)代濾波器濾除噪聲。

數(shù)字濾波器也可以用軟件實(shí)現(xiàn)。軟件實(shí)現(xiàn)方法是借助于通用數(shù)字計(jì)算機(jī)按濾波器的設(shè)計(jì)算法編出程序進(jìn)行數(shù)字濾波計(jì)算。

4.數(shù)字信號(hào)處理器

DSP芯片，也稱數(shù)字信號(hào)處理器，是一種特別適合于進(jìn)行數(shù)字信號(hào)處理、運(yùn)算的微處理器，其主要應(yīng)用是實(shí)時(shí)快速地實(shí)現(xiàn)各種數(shù)字信號(hào)處理算法。根據(jù)數(shù)字信號(hào)處理的要求，DSP芯片一般具有如下主要特點(diǎn)：

(1)在一個(gè)指令周期內(nèi)可完成一次乘法和一次加法。

(2)程序和數(shù)據(jù)空間分開，可以同時(shí)訪問指令和數(shù)據(jù)。

(3)片內(nèi)具有快速RAM，通?？赏ㄟ^獨(dú)立的數(shù)據(jù)總線在兩塊中同時(shí)訪問。

(4)具有低開銷或無開銷循環(huán)及跳轉(zhuǎn)的硬件支持。

(5)快速的中斷處理和硬件I/O支持。

(6)具有在單周期內(nèi)操作的多個(gè)硬件地址產(chǎn)生器。

(7)可以并行執(zhí)行多個(gè)操作。

(8)支持流水線操作，使取指、譯碼和執(zhí)行等操作可以重疊執(zhí)行。

當(dāng)然，與通用微處理器相比，DSP芯片的其他通用功能相對較弱些。7.3.3數(shù)字信號(hào)處理的應(yīng)用

數(shù)字信號(hào)處理的應(yīng)用領(lǐng)域十分廣泛。就所獲取信號(hào)的來源而言，有通訊信號(hào)的處理，雷達(dá)信號(hào)的處理，遙感信號(hào)的處理，控制信號(hào)的處理，生物醫(yī)學(xué)信號(hào)的處理，地球物理信號(hào)的處理，振動(dòng)信號(hào)的處理等。若以所處理信號(hào)的特點(diǎn)來講，又可分為語音信號(hào)處理，圖像信號(hào)處理，一維信號(hào)處理和多維信號(hào)處理等。接下來，主要詳細(xì)介紹以下幾種。

1.語音信號(hào)處理

語音信號(hào)處理是信號(hào)處理中的重要分支之一。它包括的主要方面有：語音的識(shí)別、語言的理解、語音的合成、語音的增強(qiáng)和語音的數(shù)據(jù)壓縮等，各種應(yīng)用均有其特殊問題。

語音識(shí)別是將待識(shí)別的語音信號(hào)的特征參數(shù)即時(shí)地提取出來，與已知的語音樣本進(jìn)行匹配，從而判定出待識(shí)別語音信號(hào)的音素屬性。關(guān)于語音識(shí)別方法，有統(tǒng)計(jì)模式語音識(shí)別，結(jié)構(gòu)和語句模式語音識(shí)別，利用這些方法可以得到共振峰頻率、音調(diào)、嗓音、噪聲等重要參數(shù)。語音理解是人和計(jì)算機(jī)用自然語言對話的理論和技術(shù)基礎(chǔ)。

語音合成的主要目的是使計(jì)算機(jī)能夠講話。首先需要研究清楚在發(fā)音時(shí)語音特征參數(shù)隨時(shí)間的變化規(guī)律，然后利用適當(dāng)?shù)姆椒M發(fā)音的過程，合成為語言。

語音信號(hào)處理是發(fā)展智能計(jì)算機(jī)和智能機(jī)器人的基礎(chǔ)，是制造聲碼器的依據(jù)。

2.圖像信號(hào)處理

圖像信號(hào)處理的應(yīng)用已滲透到各個(gè)科學(xué)技術(shù)領(lǐng)域。在圖像處理的實(shí)際應(yīng)用中，獲得較大成果的有遙感圖像處理技術(shù)、斷層成像技術(shù)、計(jì)算機(jī)視覺技術(shù)和景物分析技術(shù)等。根據(jù)圖像信號(hào)處理的應(yīng)用特點(diǎn)，處理技術(shù)大體可分為圖像增強(qiáng)、恢復(fù)、分割、識(shí)別、編碼和重建等幾個(gè)方面。

3.地球物理信號(hào)處理

為了勘探地下深處所儲(chǔ)藏的石油和天然氣以及其他礦藏，通常采用地振勘探方法來探測地層結(jié)構(gòu)和巖性。這種方法的基本原理是：在一選定的地點(diǎn)施加人為的激振，如用爆炸方法產(chǎn)生一振動(dòng)波向地下傳播，遇到地層分界面即產(chǎn)生反射波，在距離振源一定遠(yuǎn)的地方放置一系列感受器，接收到達(dá)地面的反射波，從反射波的延遲時(shí)間和強(qiáng)度來判斷地層的深度和結(jié)構(gòu)。感受器所接收到的地振記錄是比較復(fù)雜的，需要處理才能進(jìn)行地質(zhì)解釋。處理的方法很多，有反褶積法、同態(tài)濾波法等，這是一個(gè)尚在努力研究的問題。

4.生物醫(yī)學(xué)信號(hào)處理

信號(hào)處理在生物醫(yī)學(xué)方面主要是用來輔助生物醫(yī)學(xué)基礎(chǔ)理論的研究和用于診斷檢查和監(jiān)護(hù)。例如，用于細(xì)胞學(xué)、腦神經(jīng)學(xué)、心血管學(xué)、遺傳學(xué)等方面的基礎(chǔ)理論研究。人的腦神經(jīng)系統(tǒng)由約100億個(gè)神經(jīng)細(xì)胞所組成，是一個(gè)十分復(fù)雜而龐大的信息處理系統(tǒng)。在這個(gè)處理系統(tǒng)中，信息的傳輸與處理是并列進(jìn)行的，并具有特殊的功能，即使系統(tǒng)的某一部分發(fā)生障礙，其他部分仍能工作，這是計(jì)算機(jī)所做不到的。因此，關(guān)于人腦的信息處理模型的研究就成為基礎(chǔ)理論研究的重要課題。此外，神經(jīng)細(xì)胞模型的研究，染色體功能的研究等等，都可借助于信號(hào)處理的原理和技術(shù)來進(jìn)行。

信號(hào)處理用于診斷檢查較為成功的實(shí)例有腦電或心電的自動(dòng)分析系統(tǒng)、斷層成像技術(shù)(CT)等。斷層成像技術(shù)是診斷學(xué)領(lǐng)域中的重大發(fā)明。X射線斷層的基本原理是：X射線穿過被觀測物體后構(gòu)成物體的二維投影，接收器接收后，再經(jīng)過恢復(fù)或重建，即可在一系列的不同方位計(jì)算出二維投影，經(jīng)過運(yùn)算處理即取得實(shí)體的斷層信息，從而在大屏幕上得到斷層造像。信號(hào)處理在生物醫(yī)學(xué)方面的應(yīng)用正處于迅速發(fā)展階段。國際上一般把1965年作為數(shù)字信號(hào)處理這一門學(xué)科的開端，幾十年的時(shí)間，數(shù)字信號(hào)處理形成了完整的理論體系，并且，隨著電子技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展，數(shù)字信號(hào)處理的理論和技術(shù)一直不斷地完善和豐富，更重要的是，數(shù)字信號(hào)處理的理論和技術(shù)是目前現(xiàn)代信號(hào)處理的強(qiáng)有力基礎(chǔ)。附注：

1.數(shù)字信號(hào)處理的核心理論——傅里葉分析方法的建立過程

古巴比倫人利用“三角函數(shù)和”的概念來描述周期性過程，并用來預(yù)測天體運(yùn)動(dòng)。

1748年，歐拉在振動(dòng)弦的研究中得出結(jié)論：如果在某一時(shí)刻振動(dòng)弦的形狀是這些標(biāo)準(zhǔn)振蕩模的線性組合，那么在其后任何時(shí)刻，振動(dòng)弦的形狀也是這些振蕩模的線性組合。

1753年，D.伯努利(D·Bernoulli)聲稱：一根弦的實(shí)際運(yùn)動(dòng)都可以用標(biāo)準(zhǔn)振蕩模的線性組合來表示。

1759年，拉格朗日提出強(qiáng)烈批評(píng)：不可能用三角級(jí)數(shù)來表示一個(gè)具有間斷點(diǎn)的函數(shù)。

1802年，傅立葉構(gòu)思了關(guān)于三角級(jí)數(shù)的想法。熱的傳播和擴(kuò)散現(xiàn)象是傅立葉研究成果的實(shí)際物理背景。

1807年，在論文《熱的傳播》中引入了傅立葉級(jí)數(shù)與積分，拉普拉斯、拉格朗日、勒讓德、孟濟(jì)、拉克勞克斯組成的評(píng)審委員會(huì)雖承認(rèn)傅立葉此成果的新穎和重要性，但卻批評(píng)其缺乏數(shù)學(xué)的嚴(yán)謹(jǐn)，最終由于拉普拉斯的強(qiáng)烈反對未能發(fā)表。

1822年，發(fā)表的專著《熱的分析理論》，全面論述了傅立葉級(jí)數(shù)的思想。

1829年，狄里赫利給出了傅立葉級(jí)數(shù)存在的精確條件，完善了傅立葉級(jí)數(shù)理論。

19th?/?20thcentury出現(xiàn)了兩種Fourier分析方法——Continuous和Discrete。

1965年，IBM的Cooley和BellLab的Tukey發(fā)明了FFT算法，使傅立葉變換得以在計(jì)算機(jī)平臺(tái)上快速實(shí)現(xiàn)。

1978年，出現(xiàn)了第一塊DSP芯片(TI)。

80年代，隨著大規(guī)模集成電路技術(shù)、微電子技術(shù)、半導(dǎo)體技術(shù)的發(fā)展，出現(xiàn)了專用的離散時(shí)間信號(hào)處理高速定點(diǎn)、浮點(diǎn)計(jì)算器。

90年代至今，DSP技術(shù)發(fā)展迅速，滲入到人們學(xué)習(xí)、工作、生活各方各面，同時(shí)出現(xiàn)了新的DSP理論和方法，如現(xiàn)代譜分析、小波等。

2.?20世紀(jì)最偉大的十個(gè)算法

(1)?1946年，由LosAlamos的VonNeumann、StanVlam和NickMetropolis編的Metropolis算法，即MonteCarlo方法。

(2)?1947年，由蘭德公司的GrorgeDantzig創(chuàng)造的線性方案的單純性算法。

(3)1950年，由美國國家標(biāo)準(zhǔn)局?jǐn)?shù)值分析所的MagnusHestenes、EdwardStiefel和CorneliusLanczos創(chuàng)造的Krylovz空間迭代法。

(4)?1951年，由橡樹嶺國家實(shí)驗(yàn)室的AlstonHouseholder矩陣盤算的分解方法。

(5)?1951年，由JohnBackus在IBM領(lǐng)導(dǎo)的小組研制的Fortron最優(yōu)編譯程序。

(6)?1959到1961年，由倫敦的FerrantiLtd的J.G.F.Francis創(chuàng)造的稱為QR的算法的盤算機(jī)本征值。

(7)?1962年，由London的ElliotBrothersLtd的TonyHoare提出的快速(按大小)分類法。

(8)?1965年，由IBM的Cooley與Princeton&Bell提出的基于Turkey的FFT算法。

(9)?1977年，由BrighhamYoung大學(xué)的HelamanFerguson和RodneyForcede提出的整數(shù)關(guān)系偵察算法。

(10)?1987年，由Yale的LeslieGreengard和VladinimirRokhlin創(chuàng)造的快速多級(jí)算法。

最早提出“大數(shù)據(jù)”時(shí)代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來?！?.4大?數(shù)?據(jù)?時(shí)?代早在1980年，著名未來學(xué)家阿爾文·托夫勒便在《第三次浪潮》一書中，將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂章”?！按髷?shù)據(jù)”的概念在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時(shí)日，只是因?yàn)榻陙砘ヂ?lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。

接下來，介紹兩個(gè)例子。

(1)某移動(dòng)公司挽留流失客戶。iPhone進(jìn)入中國后，鐵桿的某移動(dòng)用戶王先生加入了聯(lián)通合約機(jī)大軍。三個(gè)月之后，王先生接到了移動(dòng)公司的客服電話，向他介紹公司的優(yōu)惠資費(fèi)活動(dòng)。一位某移動(dòng)的工作人員稱，運(yùn)營商會(huì)保管用戶數(shù)據(jù)，如果話費(fèi)銳減，基本上就是流失先兆。給數(shù)億用戶建立一個(gè)數(shù)據(jù)庫，通過跟蹤用戶的話費(fèi)消耗情況，運(yùn)營商就能知道哪些用戶在流失。這就是大數(shù)據(jù)的應(yīng)用。

(2)工薪階層如何省小錢。公司職員肖偉，是個(gè)不折不扣的網(wǎng)購專家。區(qū)別于菜市場的費(fèi)力砍價(jià)，肖偉的作法簡單多了，登陸各種比價(jià)網(wǎng)站，然后選擇最便宜的正規(guī)店下單。比價(jià)網(wǎng)站通過海量的產(chǎn)品信息抓取，比如抓京東、天貓、易購的數(shù)據(jù)，然后將價(jià)格由低到高進(jìn)行排列，這也是大數(shù)據(jù)的應(yīng)用。物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無一不是大數(shù)據(jù)的來源或者承載方式。7.4.1大數(shù)據(jù)的概念

大數(shù)據(jù)(BigData)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策及更積極目的的資訊。在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時(shí)代》中，大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑，而采用所有數(shù)據(jù)的方法。因而大數(shù)據(jù)處理數(shù)據(jù)的三大轉(zhuǎn)變：要全體不要抽樣，要效率不要絕對精確，要相關(guān)不要因果。大數(shù)據(jù)同過去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個(gè)V來總結(jié)(Volume、Variety、Value和Velocity)，即體量大、多樣性、價(jià)值密度低、速度快。

第一，數(shù)據(jù)體量巨大。數(shù)據(jù)量已經(jīng)從TB(1024?GB?=?1?TB)級(jí)別躍升到PB(1024?TB?=?

1?PB)、EB(1024?PB?=?1?EB)乃至ZB(1024?EB?=?1?ZB)級(jí)別。

第二，數(shù)據(jù)類型繁多。如網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等。第三，價(jià)值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。

第四，處理速度快。一般要在秒級(jí)時(shí)間范圍內(nèi)給出分析結(jié)果，時(shí)間太長就失去價(jià)值了。這個(gè)速度要求是大數(shù)據(jù)處理技術(shù)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)最大的區(qū)別。

大數(shù)據(jù)到底有多大?一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部內(nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多(相當(dāng)于美國兩年的紙質(zhì)信件數(shù)量)；發(fā)出的社區(qū)帖子達(dá)200萬個(gè)(相當(dāng)于《時(shí)代》雜志770年的文字量)；賣出的手機(jī)為37.8萬臺(tái)，高于全球每天出生的嬰兒數(shù)量37.1萬；…?！按髷?shù)據(jù)”作為時(shí)下IT行業(yè)最火熱的詞匯，隨之而來的數(shù)據(jù)倉庫、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等圍繞大數(shù)據(jù)的商業(yè)價(jià)值的利用逐漸成為行業(yè)人士爭相追捧的利潤焦點(diǎn)。7.4.2大數(shù)據(jù)技術(shù)

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

大數(shù)據(jù)技術(shù)就是指，從各種各樣類型的巨量數(shù)據(jù)中，快速獲得有價(jià)值信息的技術(shù)。解決大數(shù)據(jù)問題的核心是大數(shù)據(jù)技術(shù)。目前所說的“大數(shù)據(jù)”不僅指數(shù)據(jù)本身的規(guī)模，也包括采集數(shù)據(jù)的工具、平臺(tái)和數(shù)據(jù)分析系統(tǒng)。大數(shù)據(jù)研發(fā)的目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域，通過解決巨量數(shù)據(jù)處理問題促進(jìn)其突破性發(fā)展。因此，大數(shù)據(jù)時(shí)代帶來的挑戰(zhàn)不僅體現(xiàn)在如何處理巨量數(shù)據(jù)從中獲取有價(jià)值的信息，也體現(xiàn)在如何加強(qiáng)大數(shù)據(jù)技術(shù)研發(fā)，搶占時(shí)代發(fā)展的前沿。

大數(shù)據(jù)處理的流程可以概括為四步：采集、導(dǎo)入與預(yù)處理、統(tǒng)計(jì)與分析及數(shù)據(jù)挖掘。整個(gè)大數(shù)據(jù)處理滿足這四個(gè)方面的步驟，才能算得上是一個(gè)比較完整的大數(shù)據(jù)處理?！翊髷?shù)據(jù)處理之一：采集

大數(shù)據(jù)的采集是指，利用多個(gè)數(shù)據(jù)庫來接收發(fā)自客戶端(Web、App或者傳感器形式等)的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進(jìn)行簡單的查詢和處理工作。例如，電商會(huì)使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲(chǔ)每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL(非關(guān)系型數(shù)據(jù)庫)也常用于數(shù)據(jù)的采集。

在大數(shù)據(jù)的采集過程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬的用戶來進(jìn)行訪問和操作。如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時(shí)達(dá)到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐，同時(shí)，如何在這些數(shù)據(jù)庫之間進(jìn)行負(fù)載均衡和分片也需要深入思考和設(shè)計(jì)。

●大數(shù)據(jù)處理之二：導(dǎo)入與預(yù)處理

雖然采集端本身會(huì)有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡單的清理和預(yù)處理工作。也有一些用戶會(huì)在導(dǎo)入時(shí)使用來自Twitter的Storm(Storm：Twitter開源的一個(gè)實(shí)時(shí)數(shù)據(jù)處理框架)來對數(shù)據(jù)進(jìn)行流式計(jì)算，來滿足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。

導(dǎo)入與預(yù)處理過程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。

●大數(shù)據(jù)處理之三：統(tǒng)計(jì)與分析

統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫或者分布式計(jì)算集群來對存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求。在這方面，一些實(shí)時(shí)性需求會(huì)用到EMC的GreenPlum、Oracle的Exadata以及基于MySQL的列式存儲(chǔ)Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop(Hadoop：一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序)。

統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會(huì)有極大的占用?！翊髷?shù)據(jù)處理之四：數(shù)據(jù)挖掘

與前面統(tǒng)計(jì)和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(Predict)的效果，進(jìn)而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。比較典型的算法有用于聚類的Kmeans、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout(Mahout是ApacheSoftwareFoundation(ASF)旗下的一個(gè)開源項(xiàng)目，提供一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實(shí)現(xiàn)，旨在幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序)等。該過程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。

大數(shù)據(jù)可分成大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等領(lǐng)域。目前人們談?wù)撟疃嗟氖谴髷?shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用，工程和科學(xué)問題尚未被重視。大數(shù)據(jù)工程指大數(shù)據(jù)的規(guī)劃建設(shè)運(yùn)營管理的系統(tǒng)工程；大數(shù)據(jù)科學(xué)關(guān)注大數(shù)據(jù)網(wǎng)絡(luò)發(fā)展和運(yùn)營過程中發(fā)現(xiàn)和驗(yàn)證大數(shù)據(jù)的規(guī)律及其與自然和社會(huì)活動(dòng)之間的關(guān)系。7.4.3大數(shù)據(jù)的相關(guān)問題

當(dāng)今，大數(shù)據(jù)的到來，已經(jīng)成為現(xiàn)實(shí)生活中無法逃避的挑戰(zhàn)。每當(dāng)我們要做出決策的時(shí)候，大數(shù)據(jù)就無處不在。大數(shù)據(jù)術(shù)語廣泛地出現(xiàn)也使得人們漸漸明白了它的重要性。大數(shù)據(jù)漸漸向人們展現(xiàn)了它給學(xué)術(shù)、工業(yè)和政府帶來的巨大機(jī)遇。與此同時(shí)，大數(shù)據(jù)也向參與的各方提出了巨大的挑戰(zhàn)。

1.技術(shù)問題

(1)利用信息技術(shù)等手段處理非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。

在信息社會(huì)，信息可以劃分為兩大類，一類信息能夠用數(shù)據(jù)或統(tǒng)一的結(jié)構(gòu)加以表示，我們稱之為結(jié)構(gòu)化數(shù)據(jù)，如數(shù)字、符號(hào)；而另一類信息無法用數(shù)字或統(tǒng)一的結(jié)構(gòu)表示，我們稱之為非結(jié)構(gòu)化數(shù)據(jù)，如文本、圖像、聲音、網(wǎng)頁等。而半結(jié)構(gòu)化數(shù)據(jù)是結(jié)構(gòu)化的數(shù)據(jù)，但是結(jié)構(gòu)變化很大，比如員工的簡歷，它不像員工基本信息那樣一致，每個(gè)員工的簡歷大不相同，有的員工的簡歷很簡單，比如只包括教育情況；有的員工的簡歷卻很復(fù)雜，比如包括工作情況、婚姻情況、出入境情況、戶口遷移情況、黨籍情況、技術(shù)技能等等，還有可能有一些我們沒有預(yù)料到的信息。

大數(shù)據(jù)中，結(jié)構(gòu)化數(shù)據(jù)只占15%?左右，其余的85%?都是非結(jié)構(gòu)化的數(shù)據(jù)，它們大量存在于社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)和電子商務(wù)等領(lǐng)域。另一方面，也許有90%?的數(shù)據(jù)來自開源數(shù)據(jù)，其余的被存儲(chǔ)在數(shù)據(jù)庫中。大數(shù)據(jù)的不確定性表現(xiàn)在高維、多變和強(qiáng)隨機(jī)性等方面。股票交易數(shù)據(jù)流是不確定性大數(shù)據(jù)的一個(gè)典型例子。非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的個(gè)體表現(xiàn)、一般性特征和基本原理尚不清晰，這些都需要通過包括數(shù)學(xué)、經(jīng)濟(jì)學(xué)、社會(huì)學(xué)、計(jì)算機(jī)科學(xué)和管理科學(xué)在內(nèi)的多學(xué)科交叉來研究和討論。給定一種半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，如圖像，如何把它轉(zhuǎn)化成多維數(shù)據(jù)表、面向?qū)ο蟮臄?shù)據(jù)模型或者直接基于圖像的數(shù)據(jù)模型?值得注意的是，大數(shù)據(jù)的每一種表示形式都僅呈現(xiàn)數(shù)據(jù)本身的側(cè)面表現(xiàn)，并非全貌。如果把通過數(shù)據(jù)挖掘提取“粗糙知識(shí)”的過程稱為“一次挖掘”過程，那么將粗糙知識(shí)與被量化后的主觀知識(shí)，包括具體的經(jīng)驗(yàn)、常識(shí)、本能、情境知識(shí)和用戶偏好相結(jié)合而產(chǎn)生“智能知識(shí)”的過程就叫做“二次挖掘”。從“一次挖掘”到“二次挖掘”類似事物“量”到“質(zhì)”的飛躍。

由于大數(shù)據(jù)所具有的半結(jié)構(gòu)化和非結(jié)構(gòu)化特點(diǎn)，基于大數(shù)據(jù)的數(shù)據(jù)挖掘所產(chǎn)生的結(jié)構(gòu)化的“粗糙知識(shí)”(潛在模式)也伴有一些新的特征。這些結(jié)構(gòu)化的粗糙知識(shí)可以被主觀知識(shí)加工處理并轉(zhuǎn)化、生成半結(jié)構(gòu)化和非結(jié)構(gòu)化的智能知識(shí)。尋求“智能知識(shí)”反映了大數(shù)據(jù)研究的核心價(jià)值。大數(shù)據(jù)是一種具有隱藏法則的人造自然，尋找大數(shù)據(jù)的科學(xué)模式將帶來對研究大數(shù)據(jù)之美的一般性方法的探究，盡管這樣的探索十分困難，但是如果我們找到了將非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)的方法，已知的數(shù)據(jù)挖掘方法將成為大數(shù)據(jù)挖掘的工具。

(2)大數(shù)據(jù)復(fù)雜性、不確定性特征描述的刻畫方法及大數(shù)據(jù)的系統(tǒng)建模。這一問題的突破是實(shí)現(xiàn)大數(shù)據(jù)知識(shí)發(fā)現(xiàn)的前提和關(guān)鍵。從長遠(yuǎn)角度來看，依照大數(shù)據(jù)的個(gè)體復(fù)雜性和隨機(jī)性所帶來的挑戰(zhàn)將促使大數(shù)據(jù)數(shù)學(xué)結(jié)構(gòu)的形成，從而導(dǎo)致大數(shù)據(jù)統(tǒng)一理論的完備。從短期而言，學(xué)術(shù)界期望發(fā)展一種一般性的結(jié)構(gòu)化數(shù)據(jù)與半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)之間的轉(zhuǎn)化原則，以支持大數(shù)據(jù)的交叉工業(yè)應(yīng)用。已知的最優(yōu)化、數(shù)據(jù)包絡(luò)分析、期望理論、管理科學(xué)中的效用理論將可以被應(yīng)用到研究如何將主觀知識(shí)融合到對數(shù)據(jù)挖掘產(chǎn)生的“粗糙知識(shí)”的“二次挖掘”過程中。

(3)數(shù)據(jù)異構(gòu)性與決策異構(gòu)性的關(guān)系對大數(shù)據(jù)知識(shí)發(fā)現(xiàn)與管理決策的影響。

由于大數(shù)據(jù)本身的復(fù)雜性，這一問題無疑是一個(gè)重要的科研課題，對傳統(tǒng)的數(shù)據(jù)挖掘理論和技術(shù)提出了新的挑戰(zhàn)。在大數(shù)據(jù)環(huán)境下，管理決策面臨著兩個(gè)“異構(gòu)性”問題：“數(shù)據(jù)異構(gòu)性”和“決策異構(gòu)性”。傳統(tǒng)的管理決策模式取決于對業(yè)務(wù)知識(shí)的學(xué)習(xí)和日益積累的實(shí)踐經(jīng)驗(yàn)，而管理決策又是以數(shù)據(jù)分析為基礎(chǔ)的。大數(shù)據(jù)已經(jīng)改變了傳統(tǒng)的管理決策結(jié)構(gòu)的模式，研究大數(shù)據(jù)對管理決策結(jié)構(gòu)的影響會(huì)成為一個(gè)重要的科研問題。除此之外，決策結(jié)構(gòu)的變化要求人們?nèi)ヌ接懭绾螢橹С指邔哟蔚臎Q策而去做“二次挖掘”。無論大數(shù)據(jù)帶來了哪種數(shù)據(jù)異構(gòu)性，大數(shù)據(jù)中的“粗糙知識(shí)”仍可被看作“一次挖掘”的范疇。通過尋找“二次挖掘”產(chǎn)生的“智能知識(shí)”來作為數(shù)據(jù)異構(gòu)性和決策異構(gòu)性之間的橋梁是十分必要的。探索大數(shù)據(jù)環(huán)境下決策結(jié)構(gòu)是如何被改變的，相當(dāng)于研究如何將決策者的主觀知識(shí)參與到?jīng)Q策的過程中。

2.大數(shù)據(jù)的存儲(chǔ)問題

(1)容量問題。這里所說的“大容量”通?？蛇_(dá)到PB級(jí)的數(shù)據(jù)規(guī)模，因此，海量數(shù)據(jù)存儲(chǔ)系統(tǒng)也一定要有相應(yīng)等級(jí)的擴(kuò)展能力。與此同時(shí)，存儲(chǔ)系統(tǒng)的擴(kuò)展一定要簡便，可以通過增加模塊或磁盤柜來增加容量，甚至不需要停機(jī)。

(2)延遲問題?！按髷?shù)據(jù)”應(yīng)用還存在實(shí)時(shí)性的問題。特別是涉及到與網(wǎng)上交易或者金融類相關(guān)的應(yīng)用。有很多“大數(shù)據(jù)”應(yīng)用環(huán)境需要較高的IOPS性能，比如HPC高性能計(jì)算。此外，服務(wù)器虛擬化的普及也導(dǎo)致了對高IOPS的需求，正如它改變了傳統(tǒng)IT環(huán)境一樣。為了迎接這些挑戰(zhàn)，各種模式的固態(tài)存儲(chǔ)設(shè)備應(yīng)運(yùn)而生，小到簡單的在服務(wù)器內(nèi)部做高速緩存，大到全固態(tài)介質(zhì)可擴(kuò)展存儲(chǔ)系統(tǒng)通過高性能閃存存儲(chǔ)，自動(dòng)、智能地對熱點(diǎn)數(shù)據(jù)進(jìn)行讀/寫高速緩存的LSINytro系列產(chǎn)品等等都在蓬勃發(fā)展。

(3)安全問題。某些特殊行業(yè)的應(yīng)用，比如金融數(shù)據(jù)、醫(yī)療信息以及政府情報(bào)等都有自己的安全標(biāo)準(zhǔn)和保密性需求。雖然對于IT管理者來說這些并沒有什么不同，而且都是必須遵從的，但是，大數(shù)據(jù)分析往往需要多類數(shù)據(jù)相互參考，而在過去并不會(huì)有這種數(shù)據(jù)混合訪問的情況，大數(shù)據(jù)應(yīng)用催生出一些新的、需要考慮的安全性問題。

(4)成本問題。對于那些正在使用大數(shù)據(jù)環(huán)境的企業(yè)來說，成本控制是關(guān)鍵的問題。想控制成本，就意味著我們要讓每一臺(tái)設(shè)備都實(shí)現(xiàn)更高的“效率”，同時(shí)還要減少那些昂貴的部件。重復(fù)數(shù)據(jù)刪除等技術(shù)已經(jīng)進(jìn)入到主存儲(chǔ)市場，而且還可以處理更多的數(shù)據(jù)類型，這都可以為大數(shù)據(jù)存儲(chǔ)應(yīng)用帶來更多的價(jià)值，提升存儲(chǔ)效率。

(5)數(shù)據(jù)的積累。許多大數(shù)據(jù)應(yīng)用都會(huì)涉及到法規(guī)遵從問題，這些法規(guī)通常要求數(shù)據(jù)要保存幾年或者幾十年，有些使用大數(shù)據(jù)存儲(chǔ)的用戶希望數(shù)據(jù)能夠保存更長的時(shí)間，因?yàn)槿魏螖?shù)據(jù)都是歷史記錄的一部分，而且數(shù)據(jù)的分析大都是基于時(shí)間段進(jìn)行的。要實(shí)現(xiàn)長期的數(shù)據(jù)保存，就要求存儲(chǔ)廠商開發(fā)出能夠持續(xù)進(jìn)行數(shù)據(jù)一致性檢測的功能以及其他保證長期高可用的特性。同時(shí)還要實(shí)現(xiàn)數(shù)據(jù)直接在原位更新的功能需求。

(6)靈活性。大數(shù)據(jù)存儲(chǔ)系統(tǒng)的基礎(chǔ)設(shè)施規(guī)模通常都很大，因此必須經(jīng)過仔細(xì)設(shè)計(jì)，才能保證存儲(chǔ)系統(tǒng)的靈活性，使其能夠隨著應(yīng)用分析軟件一起擴(kuò)容及擴(kuò)展。在大數(shù)據(jù)存儲(chǔ)環(huán)境中，已經(jīng)沒有必要再做數(shù)據(jù)遷移了，因?yàn)閿?shù)據(jù)會(huì)同時(shí)保存在多個(gè)部署站點(diǎn)。一個(gè)大型的數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施一旦開始投入使用，就很難再調(diào)整了，因此它必須能夠適應(yīng)各種不同的應(yīng)用類型和數(shù)據(jù)場景。

“大數(shù)據(jù)”作為一個(gè)較新的概念，目前尚未直接以專有名詞被我國政府提出來給予政策支持。不過，在2011年12月8日工信部發(fā)布的物聯(lián)網(wǎng)“十二五”規(guī)劃上，把信息處理技術(shù)作為4項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來，其中包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分。而另外3項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程包括：信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù)，也都與“大數(shù)據(jù)”密切相關(guān)。

隨著計(jì)算機(jī)技術(shù)、通信技術(shù)的快速發(fā)展，且日趨緊密地互相結(jié)合，作為數(shù)據(jù)處理的新興技術(shù)——數(shù)據(jù)融合技術(shù)，在近年中得到驚人發(fā)展并已進(jìn)入諸多應(yīng)用領(lǐng)域。數(shù)據(jù)融合是指采集并集成各種信息源、多媒體和多格式信息，從而生成完整、準(zhǔn)確、及時(shí)和有效的綜合信息的過程。7.5數(shù)據(jù)融合技術(shù)數(shù)據(jù)融合起源于1973年美國國防部資助開發(fā)的聲納信號(hào)處理系統(tǒng)，其概念在20世紀(jì)70年代就出現(xiàn)在一些文獻(xiàn)中。

數(shù)據(jù)融合是一個(gè)框架，它是一個(gè)把多源信息，通過合適的方法結(jié)合起來得到一個(gè)更滿意結(jié)果的過程。多傳感器系統(tǒng)是數(shù)據(jù)融合的硬件基礎(chǔ)，多源信息是數(shù)據(jù)融合的對象，協(xié)調(diào)優(yōu)化和綜合處理是數(shù)據(jù)融合的核心。數(shù)據(jù)融合技術(shù)通過組合獲得比單傳感器數(shù)據(jù)更準(zhǔn)確的信息，即通過各個(gè)傳感器之間的協(xié)調(diào)和性能互補(bǔ)來提高整個(gè)多傳感器系統(tǒng)的性能。7.5.1數(shù)據(jù)融合技術(shù)的概念

數(shù)據(jù)融合(DataFusion)也稱信息融合(InformationFusion)，是利用計(jì)算機(jī)技術(shù)對按時(shí)序獲得的多源的觀測信息在一定準(zhǔn)則下加以自動(dòng)分析、綜合以完成所需決策和估計(jì)任務(wù)而進(jìn)行的信息處理過程。它是一種多層次的、多方面的處理過程，這個(gè)過程是對多源數(shù)據(jù)進(jìn)行檢測、結(jié)合、相關(guān)、估計(jì)和組合以達(dá)到精確的狀態(tài)估計(jì)和身份估計(jì)，以及完整、及時(shí)的態(tài)勢評(píng)估和威脅估計(jì)。數(shù)據(jù)融合的基本原理就像人腦綜合處理信息一樣，充分利用多源信息，通過對這些多源的觀測信息的合理支配和使用，把多源信息在空間或時(shí)間上的冗余或互補(bǔ)，依據(jù)某種準(zhǔn)則來進(jìn)行組合，以獲得被測對象的一致性解釋或描述。

1.信息融合過程的簡單描述

首先通過各類傳感器將被測對象轉(zhuǎn)換為電信號(hào)，然后經(jīng)A/D變換器將模擬信號(hào)轉(zhuǎn)換為數(shù)字量，數(shù)字化后的電信號(hào)需經(jīng)預(yù)處理，濾除干擾和噪聲，對處理后的有用信號(hào)做特征量提取，特征量進(jìn)入數(shù)據(jù)融合中心，或者有用信號(hào)直接進(jìn)行數(shù)據(jù)融合，最后輸出融合結(jié)果。信息融合過程如圖7-6所示。

圖7-6信息融合過程傳感器是數(shù)據(jù)的來源，傳感器不一定是物理形式的，數(shù)據(jù)源或者信息源甚至人工數(shù)據(jù)都稱為傳感器；融合是一種數(shù)據(jù)加工過程，融合算法將隨著數(shù)據(jù)源的不同以及融合目標(biāo)的不同而不同。數(shù)據(jù)融合技術(shù)主要有以下幾個(gè)優(yōu)點(diǎn)：

(1)可以提高信息的可信度。由于多傳感器數(shù)據(jù)融合技術(shù)拓展了時(shí)空分辨力，其利用多種傳感器能夠更加準(zhǔn)確地獲得環(huán)境目標(biāo)的某一特征或一組相關(guān)特征，降低了目標(biāo)位置估計(jì)和屬性估計(jì)的不確定性，使整個(gè)系統(tǒng)所獲得的綜合信息具有更高的精度及可靠性。

(2)改進(jìn)了系統(tǒng)探測性能。由于多傳感器數(shù)據(jù)融合技術(shù)是對目標(biāo)多種測量的有效融合，在相同的時(shí)間內(nèi)能獲得更多的信息，特別是在測量運(yùn)動(dòng)速度快的目標(biāo)時(shí)，提高了系統(tǒng)探測的有效性，彌補(bǔ)了手段缺乏而引起的不足。

(3)提供穩(wěn)定的工作性能。多傳感器數(shù)據(jù)融合技術(shù)利用系統(tǒng)固有的冗余度，減少了關(guān)于目標(biāo)或事件的假設(shè)集合，對同一目標(biāo)或事件的同一傳感器在不同的時(shí)序上的多次測量或同一時(shí)刻不同傳感器的獨(dú)立測量進(jìn)行有效綜合分析和處理，可以提高系統(tǒng)檢測的有效性和生存能力。

(4)提高了系統(tǒng)的容錯(cuò)能力。由于多個(gè)傳感器所采集的信息具有冗余性，當(dāng)系統(tǒng)中有一個(gè)甚至幾個(gè)傳感器出現(xiàn)故障時(shí)，盡管某些信息容量減少了，但仍可由其他傳感器獲得有關(guān)信息使系統(tǒng)繼續(xù)運(yùn)行，故經(jīng)過數(shù)據(jù)融合處理無疑會(huì)使系統(tǒng)在利用這些信息時(shí)具有很好的容錯(cuò)性能。

(5)實(shí)現(xiàn)信息的智能化處理。多傳感器數(shù)據(jù)融合技術(shù)為多信息源復(fù)雜系統(tǒng)的智能控制與決策奠定了基礎(chǔ)?？梢允剐畔⑻幚砀奖?、快捷和智能化，數(shù)據(jù)融合技術(shù)可以進(jìn)行更復(fù)雜信號(hào)的檢測處理，提高系統(tǒng)檢測的準(zhǔn)確性。隨著多傳感器數(shù)據(jù)融合技術(shù)的發(fā)展，其應(yīng)用的領(lǐng)域也在不斷擴(kuò)大，多傳感器融合技術(shù)已成功地應(yīng)用于眾多的研究領(lǐng)域。

2.數(shù)據(jù)融合的層次

數(shù)據(jù)融合按照融合對象的層次不同可分為：

(1)數(shù)據(jù)層融合。數(shù)據(jù)融合是直接在采集到的原始數(shù)據(jù)層上進(jìn)行的融合，在各種傳感器的原始測報(bào)未經(jīng)預(yù)處理之前就進(jìn)行數(shù)據(jù)的綜合與分析。數(shù)據(jù)層融合一般采用集中式融合體系進(jìn)行融合處理。這是低層次的融合，例如，成像傳感器中通過對包含同一像素的模糊圖像進(jìn)行圖像處理來確認(rèn)目標(biāo)屬性的過程就屬于數(shù)據(jù)層融合。

(2)特征層融合。特征層融合屬于中間層次的融合，它先對來自傳感器的原始信息進(jìn)行特征提取(特征可以是目標(biāo)的邊緣、方向、速度等)，然后對特征信息進(jìn)行綜合分析和處理。特征層融合的優(yōu)點(diǎn)在于實(shí)現(xiàn)了可觀的信息壓縮，有利于實(shí)時(shí)處理，并且由于所提取的特征直接與決策分析有關(guān)，因而融合結(jié)果能最大限度的給出決策分析所需要的特征信息。特征層融合可分為兩大類：目標(biāo)狀態(tài)融合和目標(biāo)特性融合。

(3)決策層融合。決策層融合通過不同類型的傳感器觀測同一個(gè)目標(biāo)，每個(gè)傳感器在本地完成基本的處理，其中包括預(yù)處理、特征抽取、識(shí)別或判決，以建立對所觀察目標(biāo)的初步結(jié)論，然后通過關(guān)聯(lián)處理進(jìn)行決策層融合判決，最終獲得聯(lián)合推斷結(jié)果。

數(shù)據(jù)融合作為一門交叉學(xué)科，其理論基礎(chǔ)依然是數(shù)學(xué)方面的，在不同領(lǐng)域和不同的應(yīng)用上方法也不盡相同。而所有的基礎(chǔ)都可以看成是對于不確定性問題研究的擴(kuò)展；由于人們已經(jīng)認(rèn)識(shí)到數(shù)據(jù)融合的意義，又由于新的傳感器的出現(xiàn)、處理技術(shù)的提高以及處理軟件的改進(jìn)從而使數(shù)據(jù)的實(shí)時(shí)融合成為可能。

多傳感器數(shù)據(jù)融合作為一種可消除系統(tǒng)的不確定因素、提供準(zhǔn)確的觀測結(jié)果和綜合信息的智能化數(shù)據(jù)處理技術(shù)，已在軍事、工業(yè)監(jiān)控、智能檢測、機(jī)器人、圖像分析、目標(biāo)檢測與跟蹤、自動(dòng)目標(biāo)識(shí)別等領(lǐng)域獲得普遍關(guān)注和廣泛應(yīng)用。數(shù)據(jù)融合必將成為未來復(fù)雜工業(yè)系統(tǒng)智能檢測與故障診斷的重要技術(shù)。另外，如何將基于模糊邏輯、神經(jīng)網(wǎng)絡(luò)、遺傳算法、粗集理論、支持向量機(jī)、小波變換等智能方法有機(jī)結(jié)合起來實(shí)現(xiàn)對當(dāng)前數(shù)據(jù)融合算法的改進(jìn)，也是將來的一個(gè)重要的發(fā)展趨勢。7.5.2數(shù)據(jù)融合算法簡介

數(shù)據(jù)融合作為一種數(shù)據(jù)綜合和處理技術(shù)，實(shí)際上是許多傳統(tǒng)學(xué)科和新技術(shù)的集成和應(yīng)用，其中涉及的知識(shí)包括通信、模式識(shí)別、決策論、不確定性理論、信號(hào)處理、估計(jì)理論、最優(yōu)化技術(shù)、計(jì)算機(jī)科學(xué)、人工智能、神經(jīng)網(wǎng)絡(luò)等，特別是神經(jīng)網(wǎng)絡(luò)和人工智能等新概念、新技術(shù)在多傳感器數(shù)據(jù)融合中將起到越來越重要的作用。多傳感器數(shù)據(jù)融合技術(shù)的核心問題是選擇合適的融合算法，由于信息的多樣性和復(fù)雜性，對數(shù)據(jù)融合方法的基本要求是具有魯棒性(Robustness)和并行處理能力。“魯棒”是Robust的音譯，也就是健壯和強(qiáng)壯的意思，它是在異常和危險(xiǎn)情況下系統(tǒng)生存的關(guān)鍵。所謂“魯棒性”，是指控制系統(tǒng)在一定(結(jié)構(gòu)，大小等)的參數(shù)攝動(dòng)下，維持某些性能的特性。例如，計(jì)算機(jī)軟件在輸入錯(cuò)誤、磁盤故障、網(wǎng)絡(luò)過載或有意攻擊情況下，能否不死機(jī)、不崩潰，就是該軟件的魯棒性。

一般情況下，基于非線性的數(shù)學(xué)方法，如果它具有容錯(cuò)性、自適應(yīng)性、聯(lián)想記憶和并行處理能力，則都可以用來作為融合方法。

多傳感器數(shù)據(jù)融合雖然未形成完整的理論體系和有效的融合算法，但在不少應(yīng)用領(lǐng)域根據(jù)各自的具體應(yīng)用背景，已經(jīng)提出了許多成熟并且有效的融合方法。常用的數(shù)據(jù)融合算法大體上可分成以下三大類。

1.基于統(tǒng)計(jì)理論的融合算法

基于統(tǒng)計(jì)理論的融合算法包括經(jīng)典推理法、貝葉斯估計(jì)法和證據(jù)理論法(Dempster-Shafer法)。

經(jīng)典推理法在早期的數(shù)據(jù)融合中得到了廣泛的應(yīng)用，由于其完全依賴數(shù)學(xué)理論，因此形式簡單、易操作。其缺點(diǎn)是必須已知先驗(yàn)知識(shí)和計(jì)算先驗(yàn)概率密度分布函數(shù)，同時(shí)一次僅能估計(jì)兩個(gè)假設(shè)，因此用于多變量統(tǒng)計(jì)時(shí)計(jì)算非常復(fù)雜。貝葉斯估計(jì)法比經(jīng)典推理法有了較大的進(jìn)步，它可以處理多個(gè)假設(shè)問題，貝葉斯估計(jì)法的傳感器信息依據(jù)概率原則進(jìn)行組合，測量不確定性以條件概率表示，當(dāng)傳感器組的觀測坐標(biāo)一致時(shí)，可以直接對傳感器的數(shù)據(jù)進(jìn)行融合。但大多數(shù)情況下，傳感器測量的數(shù)據(jù)要以間接方式采用貝葉斯估計(jì)進(jìn)行數(shù)據(jù)融合。

D-S證據(jù)推理法是貝葉斯估計(jì)法的重要推廣和擴(kuò)充，其主要有三個(gè)基本要點(diǎn)：基本概率賦值函數(shù)、信任函數(shù)和似然函數(shù)，其用置信區(qū)間代替概率，用集合表示事件，用D-S組合規(guī)則代替貝葉斯公式來更新置信函數(shù)。其自上而下的推理結(jié)構(gòu)分為目標(biāo)合成、推斷和更新三級(jí)。D-S理論的優(yōu)點(diǎn)是解決了一般水平的不確定性分配問題，能夠很好地表示“不確定性”、“不知道”等認(rèn)知學(xué)上的重要概念，因此具有很大的應(yīng)用前景。

2.基于信息論的融合算法

基于信息論的融合算法包括模板法、聚類分析法和人工神經(jīng)網(wǎng)絡(luò)等，這些方法的共同點(diǎn)是將自然分組和目標(biāo)類型相聯(lián)系。

模板法通過對觀測數(shù)據(jù)與先驗(yàn)?zāi)０暹M(jìn)行匹配處理，來確定觀測數(shù)據(jù)是否支持已有模板所表征的假設(shè)。根據(jù)具體的時(shí)域、頻域或小波域的數(shù)據(jù)或圖像與預(yù)先存儲(chǔ)的目標(biāo)特征或預(yù)測的目標(biāo)模型作比較，通過計(jì)算預(yù)測數(shù)據(jù)和實(shí)測數(shù)據(jù)的關(guān)聯(lián)，若兩者的相關(guān)系數(shù)超過了一個(gè)預(yù)先設(shè)定的閾值，則認(rèn)為兩者存在匹配關(guān)系。模板法由于計(jì)算量大，在非實(shí)時(shí)環(huán)境中有很好的效果，而在實(shí)時(shí)環(huán)境中可能無法滿足要求。

聚類分析法根據(jù)預(yù)先指定的相似標(biāo)準(zhǔn)把觀測分為一些自然組或聚集，再把自然組與目標(biāo)預(yù)測類型相關(guān)，需要定義一個(gè)相似性函數(shù)或關(guān)聯(lián)度量以提供一個(gè)表示任何兩個(gè)特征向量之間“接近”程度或不相似程度的值，其缺點(diǎn)是本身的啟發(fā)性使得數(shù)據(jù)排列方式、相似性參數(shù)的選擇、聚類算法的選擇等都對聚類有影響。人工神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的容錯(cuò)性以及自學(xué)習(xí)、自組織及自適應(yīng)能力，能夠模擬復(fù)雜的非線性映射。神經(jīng)網(wǎng)絡(luò)的這些特性和強(qiáng)大的非線性處理能力，恰好滿足了多傳感器數(shù)據(jù)融合技術(shù)處理的要求。神經(jīng)網(wǎng)絡(luò)根據(jù)當(dāng)前系統(tǒng)所接受的樣本相似性確定分類標(biāo)準(zhǔn)，這種確定方法主要表現(xiàn)在網(wǎng)絡(luò)的權(quán)值分布上，同時(shí)，可以采用神經(jīng)網(wǎng)絡(luò)特定的學(xué)習(xí)算法來獲取知識(shí)，得到不確定性推理機(jī)制；利用神經(jīng)網(wǎng)絡(luò)的信號(hào)處理能力和自動(dòng)推理功能，實(shí)現(xiàn)了多傳感器數(shù)據(jù)融合。當(dāng)輸入數(shù)據(jù)中混有噪聲時(shí)，人工神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)更加突出。

3.基于認(rèn)識(shí)模型的融合算法

基于認(rèn)識(shí)模型的融合算法是試圖模仿人類進(jìn)行實(shí)體辨別的過程，其中包括模糊集合理論、邏輯模板法和專家系統(tǒng)等。

模糊集合理論應(yīng)用廣義的集合論來確定指定集合所具有的隸屬關(guān)系。模糊集合理論對模糊集合及其元素提供了一個(gè)集合變換代數(shù)算法(如并集、邏輯或等)。這些算法建立在一組可變的模糊“IF-THEN”規(guī)則基礎(chǔ)上的。這些規(guī)則的來源既可以是專家的信息也可以通過輸入——輸出數(shù)據(jù)對的映射得到?！癐F-THEN”規(guī)則的模糊概念是以隸屬函數(shù)來表達(dá)的，通過使某些指標(biāo)函數(shù)取得最優(yōu)值以獲得最佳辨識(shí)效果。該方法的難點(diǎn)在于如何構(gòu)造合理有效的隸屬函數(shù)和指標(biāo)函數(shù)。

邏輯模板法是基于邏輯的識(shí)別技術(shù)的總稱，其主要將通過模糊邏輯推理方法應(yīng)在系統(tǒng)匹配模型中，主要用于時(shí)間探測或態(tài)勢估計(jì)所進(jìn)行的多傳感器數(shù)據(jù)融合的應(yīng)用中。專家系統(tǒng)是試圖模擬專家對專業(yè)進(jìn)行決策和推理的能力，其知識(shí)庫包含事實(shí)、經(jīng)驗(yàn)規(guī)則和啟發(fā)性信息，使用觀測數(shù)據(jù)，再根據(jù)知識(shí)庫進(jìn)行推理。專家系統(tǒng)或知識(shí)庫系統(tǒng)適于實(shí)現(xiàn)較高水平的推理。由于專家系統(tǒng)方法依賴于知識(shí)的表示，因此其先驗(yàn)知識(shí)庫的有效建立決定了專家系統(tǒng)應(yīng)用的成敗。

數(shù)據(jù)融合的算法非常多，除了以上常見的數(shù)據(jù)融合算法外，還有基本的加權(quán)平均法、卡爾曼濾波法、品質(zhì)因數(shù)法，隨著科學(xué)技術(shù)的飛速發(fā)展，一些智能方法如粗集理論、小波分析理論和支持向量機(jī)等也不斷的出現(xiàn)，必將在多傳感器數(shù)據(jù)融合中將起到越來越重要的作用。7.5.3數(shù)據(jù)融合技術(shù)的用途及發(fā)展

高速、低成本及高可靠性的數(shù)據(jù)融合技術(shù)不僅在軍事領(lǐng)域得到越來越廣泛的應(yīng)用，而且在自動(dòng)化制造領(lǐng)域、商業(yè)部門乃至家庭都有極其廣闊的應(yīng)用前景。如自動(dòng)化制造過程中的實(shí)時(shí)過程控制、傳感器控制元件、工作站以及機(jī)器人和操作裝置控制等均離不開數(shù)據(jù)融合技術(shù)的應(yīng)用。多傳感器數(shù)據(jù)融合在以下領(lǐng)域具有十分重要的應(yīng)用價(jià)值和廣闊的應(yīng)用前景。

1.防御系統(tǒng)

防御系統(tǒng)是專門對進(jìn)入所管轄領(lǐng)域的各類目標(biāo)進(jìn)行探測、跟蹤和目標(biāo)識(shí)別的系統(tǒng)。其監(jiān)視對象主要是進(jìn)入所管轄領(lǐng)域的各類飛機(jī)、反飛機(jī)武器和傳感器平臺(tái)等。希望要以較高的探測概率發(fā)現(xiàn)目標(biāo)，要對所發(fā)現(xiàn)的目標(biāo)進(jìn)行連續(xù)跟蹤，不僅能夠識(shí)別出大、中、小飛機(jī)，而且最好能夠識(shí)別出目標(biāo)的種類。監(jiān)視范圍大約由幾千米到幾百千米，所采用的傳感器主要有雷達(dá)(RADAR)、紅外(IR)、激光(LASER)、無線電子支援測量系統(tǒng)(ESM)、敵我識(shí)別(IFF)傳感器、光電(EO)傳感器等。

2.機(jī)器人控制

目前，一個(gè)功能較強(qiáng)的智能機(jī)器人通常配置有立體視覺、聽覺、距離和接近覺傳感器、力/力矩傳感器、多功能觸覺傳感器等。多傳感器系統(tǒng)采得的信息將大大增加，而這些信息在時(shí)間、空間、可信度、表達(dá)方式上各不相同，這些對信息的處理和管理工作提出了新的要求。若對各種不同的傳感器采集的信息進(jìn)行單獨(dú)、獨(dú)立地加工，不僅會(huì)導(dǎo)致信息處理工作量的增加，而且切斷了各傳感器信息間的內(nèi)在聯(lián)系，丟失信息有機(jī)組合可能蘊(yùn)含的有關(guān)環(huán)境特征，從而造成信息資源的浪費(fèi)。從另一方面看，由于傳感器感知的是同一環(huán)境下不同(或相同)側(cè)面的有關(guān)信息，所以這些信息的相關(guān)是必然的，由此，多傳感器系統(tǒng)要求采用與之相應(yīng)的信息綜合處理技術(shù)，以協(xié)調(diào)各傳感器間的工作。以往，對機(jī)器人的智能領(lǐng)域的研究中，人們把更多的精力集中到研究和開發(fā)機(jī)器人的各種外部傳感器上。盡管在現(xiàn)有的智能機(jī)器人和自主式系統(tǒng)中，大多數(shù)使用了多個(gè)不同類型的傳感器，但并沒有把這些傳感器作為一個(gè)整體加以分析，更像是一個(gè)多傳感器的拼合系統(tǒng)。

3.醫(yī)療診斷

無論是中醫(yī)的“望、聞、問、切”，還是西醫(yī)的“視、觸、叩、聽”，都說明醫(yī)療診斷是多種信息的融合。而近年來隨著大量高新技術(shù)的發(fā)展和應(yīng)用，各種醫(yī)療設(shè)備獲得的醫(yī)學(xué)圖像以非常直觀的方式展示人體內(nèi)部的形態(tài)結(jié)構(gòu)或有關(guān)生理參數(shù)的空間分布，成為近代醫(yī)學(xué)中的一種不可缺少的診斷手段。由于各種醫(yī)學(xué)設(shè)備的成像原理不同，得到的圖像所體現(xiàn)的信息也不同，而把不同圖像進(jìn)行融合，可得到單獨(dú)任何一幅圖像無法獲得的信息。如CT(ComputedTomography，計(jì)算機(jī)X射線斷層掃描)圖像和MRI(MagneticResonanceImaging，核磁共振成像)圖像的融合，CT對密度差異較大的組織效果好，MRI可以很好地識(shí)別軟組織，所以CT與MRI醫(yī)學(xué)圖像融合具有廣泛的臨床應(yīng)用價(jià)值。

4.遙感

遙感應(yīng)用主要是對地面目標(biāo)或?qū)嶓w進(jìn)行監(jiān)視、識(shí)別與定位。其中包括對自然資源，如水力資源、森林資源和礦產(chǎn)資源等的調(diào)查與定位；對自然災(zāi)害、原油泄漏、核泄漏、森林火災(zāi)和自然環(huán)境變化進(jìn)行監(jiān)測等。例如，一個(gè)農(nóng)業(yè)資源監(jiān)視系統(tǒng)不僅可以對農(nóng)作物的生產(chǎn)情況、種植面積、是否發(fā)生病蟲害等進(jìn)行監(jiān)測和了解，而且還可以對農(nóng)作物進(jìn)行估產(chǎn)；一個(gè)氣象衛(wèi)星上的遙感傳感器要全天候地對天氣與氣候變化進(jìn)行監(jiān)測、預(yù)測，還要實(shí)時(shí)獲得氣象云圖。遙感使用的傳感器主要有合成孔徑雷達(dá)，主要是一些利用多譜傳感器的圖像系統(tǒng)，在利用多源圖像進(jìn)行融合時(shí)，要利用像素級(jí)配準(zhǔn)。

數(shù)據(jù)融合的發(fā)展受多方面科學(xué)技術(shù)發(fā)展成果的推動(dòng)，主要有以下兩個(gè)方面：

(1)傳感技術(shù)取得飛速發(fā)展，多傳感器系統(tǒng)設(shè)備的設(shè)計(jì)和生產(chǎn)能力提高，使得傳感器性能大大提高，例如，更高的分辨率、更遠(yuǎn)距離上更高的探測概率和更快的反應(yīng)速度等等。因此，各種面向復(fù)雜應(yīng)用背景的軍用或民用多傳感器系統(tǒng)隨之大量涌現(xiàn)，這使得多傳感器系統(tǒng)的處理方式發(fā)生了根本性改變，如何處理數(shù)量龐大，種類繁多的信息成為多傳感器系統(tǒng)首先要考慮的問題。

(2)信號(hào)處理、模式識(shí)別、圖形圖像處理、人工智能和神經(jīng)網(wǎng)絡(luò)等相關(guān)學(xué)科的飛速發(fā)展。隨著相關(guān)理論和技術(shù)的發(fā)展，數(shù)據(jù)融合的算法和技術(shù)也將越來越完善，也將在更多領(lǐng)域得到應(yīng)用。

通過前面幾節(jié)的學(xué)習(xí)，我們知道，在現(xiàn)代科學(xué)技術(shù)領(lǐng)域，電子信息系統(tǒng)的應(yīng)用范圍極為廣泛，如通信、導(dǎo)航、聲納、地震勘測、醫(yī)學(xué)儀器和射電天文等。系統(tǒng)的發(fā)展進(jìn)程常常和信息的利用程度不可分割，而信息的利用程度又和信號(hào)與信息處理技術(shù)的發(fā)展緊密聯(lián)系。7.6現(xiàn)代信號(hào)處理經(jīng)典信號(hào)處理技術(shù)假設(shè)待處理信號(hào)及其背景噪聲是高斯的和平穩(wěn)的；待分析系統(tǒng)限于時(shí)不變(或緩慢)、線性、因果、最小相位的系統(tǒng)；信號(hào)分析方法只限于一、二階矩特性和傅里葉變換?，F(xiàn)在，信號(hào)處理進(jìn)入了一個(gè)新的發(fā)展階段，信號(hào)處理的一些重要領(lǐng)域，如優(yōu)化、自適應(yīng)、高分辨、多維和多通道等，其理論和方法均日趨系統(tǒng)化，對系統(tǒng)的分析不再限于理想模型，而要考慮實(shí)際因素，同時(shí)對系統(tǒng)也不再限于定性描述，而要作出統(tǒng)計(jì)性能評(píng)價(jià)，使理論和實(shí)際在更高的水平上密切結(jié)合，非線性理論和非線性技術(shù)也得到了發(fā)展和應(yīng)用。這就是現(xiàn)代信號(hào)處理的理論和技術(shù)。7.6.1傅里葉變換的局限性

法國工程師傅里葉于1807年提出了傅里葉級(jí)數(shù)的概念，即任一周期信號(hào)可分解為復(fù)正弦信號(hào)的迭加。1822年，傅里葉又提出了非周期信號(hào)分解的概念，這就是傅里葉變換。經(jīng)過100多年的發(fā)展，傅里葉變換不但已經(jīng)形成了一個(gè)重要的數(shù)學(xué)分支，同時(shí)也在信號(hào)分析與信號(hào)處理中起到了重要的作用。正是由于傅里葉變換，原本對比較抽象的“頻率”