大數(shù)據(jù)與并行計(jì)算

《大數(shù)據(jù)處理》

大數(shù)據(jù)與并行計(jì)算中南大學(xué)信息科學(xué)與工程學(xué)院大數(shù)據(jù)時(shí)代：是變革還是煩惱

《科學(xué)畫報(bào)》,2013.101.解讀大數(shù)據(jù)

a.2009年，“大數(shù)據(jù)”脫穎而出

b.手機(jī)、平板電腦；物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)……

c.定義：大而復(fù)雜、難以用現(xiàn)有數(shù)據(jù)庫(kù)管理工具處理的數(shù)據(jù)集。

2.BigData內(nèi)涵

a.數(shù)量巨大、來(lái)源多樣化、類型多樣化

b.新型數(shù)據(jù)處理和分析技術(shù)

c.運(yùn)用新型數(shù)據(jù)分析技術(shù)所形成的具有價(jià)值的結(jié)果

3.實(shí)現(xiàn)準(zhǔn)確的預(yù)測(cè)d.亞馬孫賣書的推薦系統(tǒng)2007年.90%以上都已數(shù)字信息化7/25/20247/25/2024HypeCycleforEmergingTechnologies7/25/2024并行計(jì)算多核多處理器分布式計(jì)算7/25/20247/25/2024多核的發(fā)展必然7/25/20247/25/20247/25/2024多核編程內(nèi)容多核編程內(nèi)容OpenMP用于共享內(nèi)存并行系統(tǒng)的多線程程序設(shè)計(jì)的一套指導(dǎo)性的編譯處理方案。OpenMP支持的編程語(yǔ)言包括C語(yǔ)言、C++和Fortran。OpenMP提供了對(duì)并行算法的高層的抽象描述，程序員通過(guò)在源代碼中加入專用的pragma來(lái)指明自己的意圖，由此編譯器可以自動(dòng)將程序進(jìn)行并行化，并在必要之處加入同步互斥以及通信。MPI作為消息傳遞機(jī)制，在PC、工作站、以及各種并行機(jī)上運(yùn)行7/25/2024并行計(jì)算機(jī)7/25/20247/25/2024技術(shù)墻7/25/2024結(jié)論分布式計(jì)算是大數(shù)據(jù)時(shí)代的必然趨勢(shì)！7/25/2024分布式計(jì)算是大數(shù)據(jù)時(shí)代的必然趨勢(shì)所謂分布式計(jì)算是一門計(jì)算機(jī)科學(xué)，它研究如何把一個(gè)需要非常巨大的計(jì)算能力才能解決的問(wèn)題分成許多小的部分，然后把這些部分分配給許多計(jì)算機(jī)進(jìn)行處理，最后把這些計(jì)算結(jié)果綜合起來(lái)得到最終的結(jié)果。7/25/2024非常巨大的計(jì)算能力才能解決的問(wèn)題解決較為復(fù)雜的數(shù)學(xué)問(wèn)題研究尋找最為安全的密碼系統(tǒng),如密碼破解生物病理研究,研究蛋白質(zhì)折疊，誤解，聚合及由此引起的相關(guān)疾病各種各樣疾病的藥物研究，尋找對(duì)抗癌癥的有效的藥物信號(hào)處理