大數(shù)據(jù)相關(guān)理論和技術(shù)

大數(shù)據(jù)相關(guān)理論和技術(shù)（2）胡經(jīng)國二、大數(shù)據(jù)技術(shù)相關(guān)文獻對大數(shù)據(jù)技術(shù)進行了簡要論述，現(xiàn)將其介紹于下，供讀者參考。本文在篇章結(jié)構(gòu)、內(nèi)容和文字上對原文獻做了修改和補充，并且添加了一些小標題，特此說明。大數(shù)據(jù)技術(shù)包括數(shù)據(jù)采集、數(shù)據(jù)存取、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、模型預測和結(jié)果呈現(xiàn)等。1、數(shù)據(jù)采集ETL是數(shù)據(jù)Extract（抽取）、Transform（轉(zhuǎn)換）、Load（加載）的簡寫，它是指將OLTP系統(tǒng)中的數(shù)據(jù)抽取出來；并將不同數(shù)據(jù)源的數(shù)據(jù)進行轉(zhuǎn)換和整合，得出一致性的數(shù)據(jù)；然后加載到數(shù)據(jù)倉庫中?；蛘哒f，ETL（Extract-Transform-Load，抽取一轉(zhuǎn)換一加載）工具負責將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)，如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等，抽取到臨時中間層；并進行清洗、轉(zhuǎn)換、集成；最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。OLTP（On-LineTransactionProcessing，聯(lián)機事務處理過程，也稱為面向交易的處理過程）的基本特征是：在前臺接收的用戶數(shù)據(jù)可以立即傳送到計算中心進行處理，并且在很短的時間內(nèi)給出處理結(jié)果，是對用戶操作快速響應的方式之一。OLTP系統(tǒng)，即是聯(lián)機事務處理系統(tǒng)，又稱為面向交易的處理系統(tǒng)，或?qū)崟r系統(tǒng)（RealtimeSystem）。其基本特征是用戶的原始數(shù)據(jù)可以立即傳送到計算中心進行處理，并且在很短的時間內(nèi)給出處理結(jié)果。這樣做的最大優(yōu)點是可以即時地處理輸入的數(shù)據(jù)，及時地回答用戶。衡量聯(lián)機事務處理系統(tǒng)的一個重要性能指標是系統(tǒng)性能，具體體現(xiàn)為實時響應時間（ResponseTime），即用戶在終端上送入數(shù)據(jù)之后直到計算機對這個請求給出答復所需要的時間。2、數(shù)據(jù)存取通過關(guān)系型數(shù)據(jù)庫、NOSQL（“不使用SQL”的數(shù)據(jù)庫，即非關(guān)系型數(shù)據(jù)庫）、SQL（在關(guān)系型數(shù)據(jù)庫中用于檢索數(shù)據(jù)的一種編程語言）等進行數(shù)據(jù)的存取。3、基礎(chǔ)架構(gòu)大數(shù)據(jù)技術(shù)的基礎(chǔ)架構(gòu)包括云存儲、分布式文件存儲等。其中：分布式文件系統(tǒng)（DistributedFileSystem，DFS），是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點上，而是通過計算機網(wǎng)絡與節(jié)點(可簡單的理解為一臺計算機或服務器)相連。分布式文件系統(tǒng)的設計基于客戶機/服務器模式。計算機通過文件系統(tǒng)管理和存儲數(shù)據(jù)。而在信息爆炸時代，人們可以獲取的數(shù)據(jù)成指數(shù)倍地增長，單純通過增加硬盤個數(shù)來擴展計算機文件系統(tǒng)的存儲容量的方式，在容量大小、容量增長速度、數(shù)據(jù)備份、數(shù)據(jù)安全等方面的表現(xiàn)都不如人意。分布式文件系統(tǒng)可以有效解決數(shù)據(jù)的存儲和管理難題。它將固定于某個地點的某個文件系統(tǒng)，擴展到任意多個地點/多個文件系統(tǒng)，眾多的節(jié)點組成一個文件系統(tǒng)網(wǎng)絡。這些節(jié)點可以分布在不同的地點，通過網(wǎng)絡進行節(jié)點間的通信和數(shù)據(jù)傳輸。人們在使用分布式文件系統(tǒng)時，無需關(guān)心數(shù)據(jù)是存儲在哪個節(jié)點上、或者是從哪個節(jié)點中獲取的，只需要像使用本地文件系統(tǒng)一樣管理和存儲文件系統(tǒng)中的數(shù)據(jù)。4、數(shù)據(jù)處理自然語言處理(NaturalLanguageProcessing，NLP)，是研究人與計算機交互的語言問題的一門學科。處理自然語言的關(guān)鍵是要讓計算機“理解”自然語言。所以，自然語言處理又叫做自然語言理解(NaturalLanguageUnderstanding，NLU)，又稱為計算語言學(ComputationalLinguistics)o一方面它是語言信息處理的一個分支；另一方面它是人工智能(ArtificialIntelligence，AI)的核心課題之一。我們知道，數(shù)據(jù)(Data)是對事實、概念或指令的一種表達形式，可以由人工或自動化裝置進行處理。數(shù)據(jù)在經(jīng)過解釋并賦予一定的意義之后便成為信息。數(shù)據(jù)處理(DataProcessing)是對數(shù)據(jù)的采集、存儲、檢索、加工、變換和傳輸。數(shù)據(jù)處理的基本目的是從大量的、可能是雜亂無章的、難以理解的數(shù)據(jù)中抽取并推導出對于某些特定的人們來說是有價值、有意義的數(shù)據(jù)。數(shù)據(jù)處理是系統(tǒng)工程和自動控制的基本環(huán)節(jié)。數(shù)據(jù)處理貫穿于社會生產(chǎn)和社會生活的各個領(lǐng)域。數(shù)據(jù)處理技術(shù)的發(fā)展及其應用的廣度和深度，極大地影響著人類社會發(fā)展的進程。5、統(tǒng)計分析⑴、統(tǒng)計分析法的概念統(tǒng)計分析法是指通過對研究對象的規(guī)模、速度、范圍、程度等數(shù)量關(guān)系的分析研究，認識和揭示事物之間的相互關(guān)系、變化規(guī)律和發(fā)展趨勢，借以達到對事物的正確解釋和預測的一種研究方法。世間任何事物都有質(zhì)和量兩個方面，要認識事物的本質(zhì)必須掌握事物的量的規(guī)律。目前，數(shù)學已滲透到一切科技領(lǐng)域，使科技日趨量化；電子計算的推廣和應用，量度設計和計算技術(shù)的改進和發(fā)展，促進了數(shù)量研究法的形成。它已成為自然科學和社會科學研究中不可缺少的一種研究方法。統(tǒng)計分析法就是運用數(shù)學方式建立數(shù)學模型，對通過調(diào)查獲取的各種數(shù)據(jù)及資料進行數(shù)理統(tǒng)計和分析，從而形成定量的結(jié)論。統(tǒng)計分析法是目前廣泛使用的現(xiàn)代科學方法，是一種比較科學、精確和客觀的測評方法。其具體應用方法很多，在實踐中使用較多的是指標評分法和圖表測評法等。⑵、大數(shù)據(jù)統(tǒng)計分析具體應用方法大數(shù)據(jù)統(tǒng)計分析的具體應用方法很多，包括：假設檢驗、顯著性檢驗、差異分析、相關(guān)分析、T檢驗、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、Logistic(邏輯)回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優(yōu)尺度分析)、Bootstrap技術(shù)等等。其中，Bootstrap是美國Twitter公司開發(fā)的簡潔、直觀、功能強大的前端開發(fā)框架，使得Web開發(fā)更加快捷。6、數(shù)據(jù)挖掘⑴、數(shù)據(jù)挖掘的概念數(shù)據(jù)挖掘是人工智能和數(shù)據(jù)庫領(lǐng)域研究的熱點問題。所謂數(shù)據(jù)挖掘是指從數(shù)據(jù)庫的大量數(shù)據(jù)中揭示出隱含的、先前未知的、具有潛在價值的信息的復雜過程。數(shù)據(jù)挖掘是一種決策支持過程。它主要基于人工智能、機器學習、模式識別、統(tǒng)計學、數(shù)據(jù)庫、可視化技術(shù)等，能夠高度自動化地分析企業(yè)的數(shù)據(jù)，作出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調(diào)整市場策略，減少風險，作出正確的決策。數(shù)據(jù)挖掘是知識發(fā)現(xiàn)過程的重要環(huán)節(jié)之一。知識發(fā)現(xiàn)過程由以下三個環(huán)節(jié)組成：數(shù)據(jù)準備、數(shù)據(jù)挖掘以及結(jié)果表達和解釋。數(shù)據(jù)挖掘可以與用戶或知識庫交互。⑵、數(shù)據(jù)挖掘過程數(shù)據(jù)挖掘是通過分析每個數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)。它主要有數(shù)據(jù)準備、規(guī)律尋找和規(guī)律表示三個步驟。其中，數(shù)據(jù)準備是指從相關(guān)的數(shù)據(jù)源中選取所需的數(shù)據(jù)并整合成為用于數(shù)據(jù)挖掘的數(shù)據(jù)集；規(guī)律尋找是指用某種方法將數(shù)據(jù)集所含的規(guī)律找出來；規(guī)律表示是指盡可能以用戶可以理解的方式(如可視化)將找出的規(guī)律表示出來。數(shù)據(jù)挖掘的任務有關(guān)聯(lián)分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。⑶、數(shù)據(jù)挖掘分析方法數(shù)據(jù)挖掘分析方法分為有指導的數(shù)據(jù)挖掘和無指導的數(shù)據(jù)挖掘。其中，有指導的數(shù)據(jù)挖掘是利用可用的數(shù)據(jù)建立一個模型，這個模型是對一個特定屬性的描述。無指導的數(shù)據(jù)挖掘是在所有的屬性中尋找某種關(guān)系。具體而言，分類(Classification)、估值(Estimation)和預測(Prediction)屬于有指導的數(shù)據(jù)挖掘；相關(guān)性分組或關(guān)聯(lián)規(guī)則(AffinityGroupingorAssociationRules)和聚類(Clustering)屬于無指導的數(shù)據(jù)挖掘。此外，數(shù)據(jù)挖掘分析方法還包括描述和可視化(DescriptionandVisualization)、復雜數(shù)據(jù)類型挖掘(如Text，Web，圖形圖像，視頻，音頻等)。7、模型預測模型預測方法，是指一種利用數(shù)學模型推測事物未來發(fā)展狀況的定量預測方法。一個過程、設備或概念用一些變量作出數(shù)學表示的形式，稱為數(shù)學模型(MathematicalModel)o例如，下面是一個生產(chǎn)系統(tǒng)的投入一產(chǎn)出模型：AX+Y=X。其中，X為生產(chǎn)矢量；Y為最終需求矢量；A為投入系數(shù)，表示完成單位生產(chǎn)額所必須的投入額。這個模型既可以對該生產(chǎn)系統(tǒng)做出描述和解釋，又可以做出預測，而且預測功能是多方面的。首先計算確立投入系數(shù)A；然后可根據(jù)總投入和總產(chǎn)品，預測最終產(chǎn)品市場的供應量；再根據(jù)最終產(chǎn)品市場，預測各部門生產(chǎn)量；還可根據(jù)最終產(chǎn)品市場，預測中間產(chǎn)品需求量。大數(shù)據(jù)模型預測包括：預測模型、機器學習、建模仿真。⑴、預測模型在采用定量預測法進行預測的時候，最重要的工作就是建立預測(數(shù)學)模型。預測模型(PredictionModel)，是指用于預測的、用數(shù)學語言或公式所描述的事物之間的數(shù)量關(guān)系。它在一定程度上揭示了事物之間的內(nèi)在規(guī)律性；在具體預測時把它作為計算預測值的直接依據(jù)。因此，它對預測準確度有極大的影響。任何一種具體的預測方法都是以其特定的預測模型為特征。預測方法的種類很多，各有相應的預測模型。⑵、機器學習機器學習是一門多學科交叉科學，涵蓋概率論知識、統(tǒng)計學知識、近似理論知識和復雜算法知識；使用計算機作為工具；致力于真實實時地模擬人類學習方式，并通過將現(xiàn)有內(nèi)容進行知識結(jié)構(gòu)劃分來有效提高學習效率。機器學習有下面幾種定義：①、機器學習是一門人工智能科學，該領(lǐng)域的主要研究對象是人工智能，特別是如何在經(jīng)驗學習中改善具體算法的性能。②、機器學習是對能通過經(jīng)驗自動改進的計算機算法的研究。③、機器學習是用數(shù)據(jù)或以往的經(jīng)驗，以此優(yōu)化計算機程序的性能標準。⑶、建模仿真、建模建模就是建立模型，就是為了理解事物而對事物做出的一種抽象，是對事物的一種無歧義的書面描述。建立系統(tǒng)模型的過程稱為模型化。建模是研究系統(tǒng)的重要手段和前提。凡是用模型描述系統(tǒng)的因果關(guān)系或相互關(guān)系的過程都屬于建模。因描述的關(guān)系各異，所以實現(xiàn)這一過程的手段和方法也是多種多樣的。可以通過對系統(tǒng)本身運動規(guī)律的分析，根據(jù)事物的機理來建模；也可以通過對系統(tǒng)的實驗或統(tǒng)計數(shù)據(jù)的處理，并根據(jù)關(guān)于系統(tǒng)的已有的知識和經(jīng)驗來建模。還可以同時使用幾種方法來建模。、仿真仿真(Simulation)，又叫做模擬，是指利用模型來復現(xiàn)實際系統(tǒng)中發(fā)生的本質(zhì)過程，并通過對系統(tǒng)模型的實驗來研究存在的或設計中的系統(tǒng)。這里所指的模型，包括物理的和數(shù)學的，靜態(tài)的和動態(tài)的，連續(xù)的和離散的各種模型；所指的系統(tǒng)也很廣泛，包括電氣、機械、化工、水力、熱力等系統(tǒng)，也包括社會、經(jīng)濟、生態(tài)、管理等系統(tǒng)。當所研究的系統(tǒng)造價昂貴、實驗的危險性大或需要很長的時間才能了解系統(tǒng)參數(shù)變化所引起的后果時，仿真是一種特別有效的研究手段。仿真的重要工具是計算機。仿真與數(shù)值計算、求解方法的區(qū)別在于它首先是一種實驗技術(shù)。仿真的過程包括建立仿真模型和進行仿真實驗兩個主要步驟。8、結(jié)果呈現(xiàn)大數(shù)據(jù)挖掘、分析、處理的結(jié)果呈現(xiàn)技術(shù)主要是云計算、標簽云、關(guān)系圖等。其中：⑴、標簽云標簽云(TagClouds)是一套相關(guān)的標簽以及與此相應的權(quán)重。典型的標簽云有30?150個標簽。權(quán)重影響使用的字體大小或其他視覺效果。同時，直方圖或餅圖表是最常用的，代表約12種不同的權(quán)數(shù)。因此，