“大數(shù)據(jù)”的摩爾定律

“大數(shù)據(jù)”的摩爾定律測試和測量應(yīng)用中，工程師和科學(xué)家們每一天每一秒都可收集到大量的數(shù)據(jù)。歐洲核子研究中心的大型強(qiáng)子對(duì)撞機(jī)每運(yùn)行一秒鐘，就可以產(chǎn)生40兆兆字節(jié)(1E12)的數(shù)據(jù)。波音噴氣引擎每運(yùn)行30分鐘就可產(chǎn)生10兆兆字節(jié)的運(yùn)行信息。一架四引擎巨型噴氣式飛機(jī)單程飛越大西洋可生成640兆兆字節(jié)的數(shù)據(jù)，將該數(shù)字乘以每天飛行的兩萬五千多架飛機(jī)，您就可以得到一個(gè)非常龐大的數(shù)據(jù)。事實(shí)上，一個(gè)被稱之為“大數(shù)據(jù)”(BigData)的時(shí)代已經(jīng)來臨，人們可能不關(guān)心使用什么型號(hào)的傳感器或者數(shù)據(jù)采集設(shè)備，唯一關(guān)心的是如何從這些“大數(shù)據(jù)”中獲取能為他們所用的信息。數(shù)據(jù)生成量每兩年增長一倍這一事實(shí)與電子領(lǐng)域的一個(gè)著名定律極其相似：摩爾定律。1965年，GordonMoore提出：IC上可容納的晶體管數(shù)目大約每兩年便會(huì)增加一倍，這種趨勢將持續(xù)“至少10年”。45年之后，摩爾定律仍在影響著整個(gè)信息和電子產(chǎn)業(yè)。該定律引發(fā)的結(jié)果之一是，尖端科技產(chǎn)品的成本越來越低，逐步可以為廣大民眾所接受，而這些最新的技術(shù)更加能夠幫助工程師和科學(xué)家以前所未有的速度捕捉、分析和存儲(chǔ)數(shù)據(jù)。試想一下,1995年全球制造的總硬盤空間僅為20拍字節(jié)(1E15)?，F(xiàn)在，Google每天就要處理超過24拍字節(jié)的信息。當(dāng)然，這些數(shù)據(jù)存儲(chǔ)本身的成本也呈指數(shù)下降，從1998年的228美元/千兆字節(jié)(1E9)下降到2010年的0.06美元/千兆字節(jié)。如此變化加上摩爾定律引發(fā)的技術(shù)進(jìn)步正在不斷地加劇海量數(shù)據(jù)的出現(xiàn)。然而從如此大量的數(shù)據(jù)中得出精確且有意義的結(jié)論是一個(gè)日益嚴(yán)峻的挑戰(zhàn)，而“大數(shù)據(jù)”這個(gè)詞描述的正是這種現(xiàn)象。海量數(shù)據(jù)為數(shù)據(jù)分析、搜索、數(shù)據(jù)整合、報(bào)告生成和系統(tǒng)維護(hù)帶來了新的挑戰(zhàn)，必須解決這一挑戰(zhàn)才能跟上數(shù)據(jù)的指數(shù)增長步伐。技術(shù)調(diào)研公司IDC最近開展了一項(xiàng)關(guān)于數(shù)字?jǐn)?shù)據(jù)的研究，包括測量文件、視頻、音樂文件等。該研究預(yù)計(jì)這些數(shù)據(jù)每兩年增長一倍。根據(jù)AdamHadhazy于2010年5月在《生活科學(xué)》上發(fā)表的文章《全球數(shù)據(jù)超載，需以澤字節(jié)為單位》中寫到：僅僅曇011年就產(chǎn)生了1.8澤字節(jié)(1E21字節(jié))的數(shù)據(jù)。要想了解這個(gè)數(shù)據(jù)量的含義，我們假設(shè)：如果全球70億人口加入微博，并連續(xù)不斷地轉(zhuǎn)發(fā)并評(píng)論連續(xù)一百年，這樣產(chǎn)生的數(shù)據(jù)為1澤字節(jié)，然而僅僅2011年生成的數(shù)據(jù)就幾乎是該數(shù)據(jù)量的兩倍。ShawnRogers于2011年9月在《信息管理》上發(fā)表的文章《海量數(shù)據(jù)正在改變商業(yè)智能和分析學(xué)》中提到：應(yīng)對(duì)海量模擬數(shù)據(jù)挑戰(zhàn)需要一個(gè)三層解決方案，包括：傳感器或執(zhí)行器、分布式自動(dòng)化測試節(jié)點(diǎn)，以及IT基礎(chǔ)設(shè)施或海量數(shù)據(jù)分析/挖掘。廿君或白辿址Jim節(jié)涇it■敕議分析ft囪耳呆第和何i圖7應(yīng)對(duì)海量模擬數(shù)據(jù)挑戰(zhàn)三層解決方案：傳感器或執(zhí)行器、分布式自動(dòng)化測試節(jié)點(diǎn)，以及IT基礎(chǔ)設(shè)施或海量數(shù)據(jù)分析挖掘從另一個(gè)角度來看，小型數(shù)據(jù)集通常會(huì)限制結(jié)論和預(yù)測的精確度。這就好比一個(gè)金礦，你所能知道的不過只是目前所看到的，剩下的金礦都被埋藏在塵土里不得而知，甚至無法估量。倘若要了解整個(gè)金礦的價(jià)值，就需要繼續(xù)進(jìn)行挖掘。數(shù)據(jù)領(lǐng)域是類似的，首先你要獲得足夠多的原始數(shù)據(jù)，然后才是去粗取精，去偽存真，將金礦上的塵土拂去，獲得有用的有價(jià)值的海量數(shù)據(jù)有很多個(gè)來源。但是，工程師和科學(xué)家們最感興趣的是來自于物理世界的數(shù)據(jù)。這些數(shù)據(jù)是捕捉到且經(jīng)過數(shù)字化的模擬數(shù)據(jù)；因此，它們可以被稱為“海量模擬數(shù)據(jù)”，其來源可以是振動(dòng)、RF信號(hào)、溫度、壓力、聲音、圖像、光、磁、電壓等測量值。在測試和測量領(lǐng)域，人類每天以高達(dá)數(shù)澤字節(jié)的速率進(jìn)行數(shù)據(jù)采集。海量模擬數(shù)據(jù)問題對(duì)于自動(dòng)化測試和分析系統(tǒng)來說是一個(gè)日益嚴(yán)峻的挑戰(zhàn)。如果是多個(gè)待測設(shè)備的情況，則需要許多分布式自動(dòng)化測試節(jié)點(diǎn)(DATN),這些節(jié)點(diǎn)往往以并聯(lián)方式連接到計(jì)算機(jī)網(wǎng)絡(luò)。由于DATN是具有軟件驅(qū)動(dòng)程序和圖像的高效計(jì)算機(jī)系統(tǒng)，因此基于遠(yuǎn)程網(wǎng)絡(luò)的系統(tǒng)管理工具需要自動(dòng)進(jìn)行配置、維護(hù)和升級(jí)°PXI系統(tǒng)具有不斷演進(jìn)的數(shù)據(jù)運(yùn)算能力以及數(shù)據(jù)傳輸帶寬，是一個(gè)非常理想的DATN的選擇方案。更進(jìn)一步，各大儀器廠商都在PXI平臺(tái)上持續(xù)投入，為PXI提供了非常豐富的I/O板卡選擇。對(duì)于一些需要高密度運(yùn)算的應(yīng)用，美國NI公司將FPGA以及PXI分布式運(yùn)算引入到PXI平臺(tái)，大大強(qiáng)化了每一個(gè)DATN節(jié)點(diǎn)的運(yùn)算能力。不斷增長的測試和測量數(shù)據(jù)量迫使跨國公司需要不斷為更多的工程師提供數(shù)據(jù)訪問權(quán)。這需要可滿足多用戶訪問需求的網(wǎng)絡(luò)設(shè)備和數(shù)據(jù)管理系統(tǒng)，進(jìn)而刺激了根據(jù)地域來分布數(shù)據(jù)和訪問權(quán)的需求。提供分布式數(shù)據(jù)訪問權(quán)的一個(gè)日益普及的方法是使用云技術(shù)。海量模擬數(shù)據(jù)應(yīng)用程序?qū)Ψ?wù)器、存儲(chǔ)空間和網(wǎng)絡(luò)等IT設(shè)備具有極大的依賴性。此外，管理、組織和分析數(shù)據(jù)均需要軟件。因此，傳統(tǒng)IT技術(shù)屬于用戶捕捉數(shù)據(jù)后整體解決方案的一部分，用于確保動(dòng)態(tài)和靜態(tài)數(shù)據(jù)的高效傳送、備份以及分析和視覺化。Averna、Virinco、NI和OptimalTest等供應(yīng)商已提供可幫助管理海量模擬數(shù)據(jù)解決方案的產(chǎn)品。為了分析和管理來自數(shù)百萬個(gè)文件的數(shù)十億個(gè)數(shù)據(jù)點(diǎn)，工程師和科學(xué)家可使用NIDIAdem來挖掘、檢查和生成相關(guān)測量數(shù)據(jù)的報(bào)告。他們還可以借助DIAdem來連接現(xiàn)有IT解決方案或創(chuàng)建可全局訪問的新服務(wù)器，以更快速地根據(jù)數(shù)據(jù)做出決策。對(duì)于制造業(yè)，Averna開發(fā)的Proligent和Virinco開發(fā)的WATS提供了產(chǎn)品質(zhì)量、測試設(shè)備、流程和操作的可視化和控制解決方案。Qualcomm成功利用了OptimalTest開發(fā)的工具來優(yōu)化器測試流程，該測試流程每個(gè)季度可

積累多達(dá)4澤字節(jié)的數(shù)據(jù)。（《評(píng)估工程》，2011年10月24日），并且將可執(zhí)行測試數(shù)據(jù)可視化以幫助工程師確定趨勢并積極做出決策。隨著高速捕捉海量數(shù)據(jù)成為