大數(shù)據(jù)的存儲(chǔ)與管理

大數(shù)據(jù)的存儲(chǔ)與管理

近年來，隨著物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等新技術(shù)的快速發(fā)展，數(shù)據(jù)逐漸增加，而且隨著規(guī)模的增加，出現(xiàn)了大量的數(shù)據(jù)。大數(shù)據(jù)是繼云計(jì)算之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)革命。它貫穿于整個(gè)社會(huì),正處于成長階段,大數(shù)據(jù)引起了產(chǎn)業(yè)界、科技界和政府機(jī)構(gòu)的廣泛關(guān)注。大數(shù)據(jù)隨著新型SNS網(wǎng)絡(luò)的發(fā)展等在肥沃的土壤中更加迅速地成長?，F(xiàn)在,大數(shù)據(jù)時(shí)代占據(jù)了大部分市場和企業(yè),規(guī)模不斷壯大。一、國內(nèi)互聯(lián)網(wǎng)企業(yè)設(shè)計(jì)能力i生物隨著網(wǎng)絡(luò)技術(shù)、信息技術(shù)的發(fā)展,人類產(chǎn)生的數(shù)據(jù)成指數(shù)增長。資料顯示,2011年,全球數(shù)據(jù)規(guī)模為1.8ZB,可以填滿575億個(gè)32GB的iPad。到2020年,全球數(shù)據(jù)達(dá)到40ZB。我國,2010年新存儲(chǔ)的數(shù)據(jù)為250PB,2012年中國的數(shù)據(jù)存儲(chǔ)量達(dá)到364EB,約為日本的60%,北美的7%。全球互聯(lián)網(wǎng)行業(yè)巨頭以百度、阿里巴巴、騰訊等為代表的國內(nèi)互聯(lián)網(wǎng)企業(yè)開始創(chuàng)建自己的數(shù)據(jù)中心,并在IT基礎(chǔ)設(shè)施和創(chuàng)新方面有顯著的成就。由此看來,大數(shù)據(jù)慢慢走向成熟,即將成為社會(huì)、生活不可缺少的一部分。二、大數(shù)據(jù)的特點(diǎn)大數(shù)據(jù)(BigData),可以認(rèn)為,它所涉及的資料量規(guī)模巨大,通過一些方法和手段,在合理時(shí)間內(nèi)達(dá)到獲取、管理、處理并整理這些大量的資料數(shù)據(jù),進(jìn)一步幫助企業(yè)高層做出經(jīng)營決策?！按髷?shù)據(jù)”的出現(xiàn)不是偶然事件,它是在社會(huì)發(fā)展的推動(dòng)下,逐漸網(wǎng)絡(luò)化、信息化。比如各種二維碼、虹膜等都可以認(rèn)為是大數(shù)據(jù)。對(duì)于數(shù)據(jù)的識(shí)別和分析是很有難度的。大數(shù)據(jù)的特點(diǎn)如下。(1)數(shù)據(jù)類別大。大數(shù)據(jù)一般包括以事務(wù)為代表的結(jié)構(gòu)化數(shù)據(jù),以網(wǎng)頁為代表的半結(jié)構(gòu)化數(shù)據(jù)和以視頻和語音信息為代表的非結(jié)構(gòu)多類數(shù)據(jù),并且它們的處理和分析方式區(qū)別很大。(2)數(shù)據(jù)量大。通過各種方式,比如市場、信息、網(wǎng)絡(luò)等產(chǎn)生的一系列大量數(shù)據(jù)。所謂大數(shù)據(jù),數(shù)量肯定是很大的了。(3)數(shù)據(jù)快速化。有些數(shù)據(jù)是具有時(shí)效性的。比如電商行業(yè),數(shù)據(jù)是有時(shí)間限制的,否則數(shù)據(jù)無意義,或者會(huì)造成誤差。(4)數(shù)據(jù)的靈活性與復(fù)雜性。數(shù)據(jù)更新迅速,是變化的,數(shù)據(jù)的類型、用途不同,分析方式的不同、需求的不同導(dǎo)致了數(shù)據(jù)的靈活性和復(fù)雜性。三、基本組織設(shè)計(jì)大數(shù)據(jù)的處理主要是從一大堆的數(shù)據(jù)當(dāng)中篩選出有價(jià)值的數(shù)據(jù),然后進(jìn)行對(duì)比、分析、處理等。解決大數(shù)據(jù)問題的核心是大數(shù)據(jù)技術(shù),主要可分為:數(shù)據(jù)采集、數(shù)據(jù)存取、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、模型預(yù)測、結(jié)果呈現(xiàn)等8種技術(shù)。大數(shù)據(jù)技術(shù)主要形成了批處理、流處理和交互分析三種計(jì)算模式。大數(shù)據(jù)的關(guān)鍵技術(shù)主要還是對(duì)海量數(shù)據(jù)的存儲(chǔ)和計(jì)算處理等,特別是對(duì)數(shù)據(jù)的分類,根據(jù)用途需求的不同,篩選出對(duì)于某一個(gè)領(lǐng)域某一個(gè)用途有意義、有價(jià)值的一系列數(shù)據(jù),拋棄相對(duì)而言無用的數(shù)據(jù)。四、大數(shù)據(jù)面臨的機(jī)遇和挑戰(zhàn)1.讀取個(gè)人信息比如日常生活中我們經(jīng)常使用的微信、旺信以及一些其他如淘粉吧、團(tuán)購網(wǎng)等需要授權(quán)的網(wǎng)站和軟件應(yīng)用,都需要讀取使用者的個(gè)人信息等數(shù)據(jù),有可能會(huì)導(dǎo)致數(shù)據(jù)的泄露。2.相對(duì)價(jià)值與相對(duì)價(jià)值相結(jié)合的發(fā)展趨勢特別是大數(shù)據(jù)中的價(jià)值數(shù)據(jù),當(dāng)然價(jià)值包括數(shù)據(jù)本身的價(jià)值和其使用價(jià)值,價(jià)值也分為絕對(duì)價(jià)值和相對(duì)價(jià)值,企業(yè)可以通過這些數(shù)據(jù)分析未來的發(fā)展趨勢。國內(nèi)三大巨頭BAT坐擁數(shù)據(jù)金礦,我們來看百度、阿里巴巴、騰訊三大巨頭的大數(shù)據(jù)利用以及三者的不同之處(如下頁表1)。3.創(chuàng)造潛在的潛在價(jià)值大數(shù)據(jù)的重心將從存儲(chǔ)和傳輸,過渡到數(shù)據(jù)的挖掘和應(yīng)用。索取我們的個(gè)人位置信息可創(chuàng)造潛在價(jià)值6000億美元。沃爾瑪為其網(wǎng)站W(wǎng)自行設(shè)計(jì)了最新的搜索引擎Polaris,利用語義分析、數(shù)據(jù)挖掘等使得購物完成率提升了10%~20%,這意味著數(shù)十億的金額。五、如何適應(yīng)“大數(shù)據(jù)”時(shí)代1.聯(lián)合域合作智慧城加強(qiáng)各個(gè)領(lǐng)域之間的合作關(guān)系,加強(qiáng)企業(yè)商業(yè)智能、社會(huì)服務(wù)、市場營銷等各大領(lǐng)域的合作。企業(yè)服務(wù)于民眾和政府,政府也推動(dòng)企業(yè)的發(fā)展,激勵(lì)市場的需求,企業(yè)根據(jù)商業(yè)智能對(duì)數(shù)據(jù)的分析了解當(dāng)今市場發(fā)展趨勢,進(jìn)行產(chǎn)品的生產(chǎn)和市場分配,根據(jù)用戶的需求了解當(dāng)今社會(huì)的發(fā)展要求,政府把握公民動(dòng)態(tài),了解民生。2.數(shù)據(jù)安全問題防止數(shù)據(jù)被非法交易、倒賣、竊取、泄漏或者纂改。大量的數(shù)據(jù)通過云端存儲(chǔ),數(shù)據(jù)管理比較分散。數(shù)據(jù)從產(chǎn)生到獲取,再到分析、處理等每一個(gè)過程都牽扯用戶的隱私和安全問題,整個(gè)過程中,如不采取相應(yīng)措施,非法用戶容易入侵,竊取和纂改數(shù)據(jù),數(shù)據(jù)的正確性沒有了保障。因此,如何保證大數(shù)據(jù)的安全以及分析結(jié)果的可靠是信息安全領(lǐng)域所要解決的問題。3.企業(yè)員工進(jìn)行自我能力的培養(yǎng)。對(duì)于能力和能力。在對(duì)于大數(shù)據(jù)發(fā)展離不開人才的需求。大數(shù)據(jù)興起的時(shí)間不算長,這方面的人才還是急缺的?？梢愿鶕?jù)社會(huì)的需求培養(yǎng)具有大數(shù)據(jù)思維和創(chuàng)新能力的復(fù)合型人才,企業(yè)可以根據(jù)企業(yè)自身的需要對(duì)企業(yè)內(nèi)部人員進(jìn)行教育培訓(xùn),另外可以通過招聘引進(jìn)一些具有大數(shù)據(jù)經(jīng)驗(yàn)的人士。引導(dǎo)員工職業(yè)發(fā)展,采用員工激勵(lì)制等,鼓勵(lì)員工不斷地學(xué)習(xí)提升自我。加強(qiáng)大數(shù)據(jù)人才的培養(yǎng)也是大數(shù)據(jù)發(fā)展的重點(diǎn)之一。六、大數(shù)據(jù)在中小企業(yè)教學(xué)中的應(yīng)用大數(shù)據(jù)通過互聯(lián)網(wǎng)渠道,遍布全球的各個(gè)角落?；ヂ?lián)網(wǎng)企業(yè)與其他數(shù)據(jù)傳播手段相比,開展大數(shù)據(jù)應(yīng)用存在“近水樓臺(tái)先得月”的優(yōu)勢。百度、阿里巴巴、騰訊、谷歌、亞馬遜等都擁有強(qiáng)大的數(shù)據(jù)資源和數(shù)據(jù)技術(shù)平臺(tái)。美國等先進(jìn)國家政府部門投資2億美元開展大數(shù)據(jù)應(yīng)用。我們要向美國學(xué)習(xí)推進(jìn)大數(shù)據(jù)的應(yīng)用實(shí)踐。大數(shù)據(jù)的應(yīng)用主要體現(xiàn)在互聯(lián)網(wǎng)應(yīng)用、電信應(yīng)用、金融應(yīng)用和政府應(yīng)用。大數(shù)據(jù)應(yīng)用的核心思想是將數(shù)學(xué)算法運(yùn)用到海量數(shù)據(jù)中預(yù)測事情發(fā)生的可能性。作為高校的一名教師,我們可以將大數(shù)據(jù)運(yùn)用到高校教學(xué)中,以院系的軟件工程專業(yè)為例(圖1),該專業(yè)的學(xué)生畢業(yè)初期76.52%都是選擇在公司處理IT編程相關(guān)領(lǐng)域,4.45%選擇了考研,5.27%選擇考公務(wù)員等,五年之后他們的選擇又如何,仍然堅(jiān)守在IT崗位上的人又有多少?這些數(shù)據(jù),我們都可以進(jìn)行統(tǒng)計(jì)分析,了解每一年的畢業(yè)生就業(yè)情況。大數(shù)據(jù)在大學(xué)生就業(yè)中的應(yīng)用體現(xiàn)在:根據(jù)畢業(yè)生的就業(yè)情況統(tǒng)計(jì)出的數(shù)據(jù)反映社會(huì)對(duì)軟件技術(shù)專業(yè)人才的需求以及學(xué)生就業(yè)選擇的方向,發(fā)現(xiàn)未來軟件方向的就業(yè)趨勢。同時(shí),在高校開設(shè)的《職業(yè)生涯規(guī)劃課》上可以根據(jù)往屆學(xué)生的就業(yè)情況給予新生更好地引導(dǎo),讓學(xué)生產(chǎn)生良好的認(rèn)識(shí),不會(huì)盲目地做出選擇。大數(shù)據(jù)應(yīng)用在畢業(yè)生就業(yè)上的指導(dǎo)有一定參考性,數(shù)據(jù)證明了趨勢,更加生動(dòng)、真實(shí)。七、大數(shù)據(jù)時(shí)代人才培養(yǎng)的幾點(diǎn)基大數(shù)據(jù)已被越來越多的人熟悉,在未來的日子里,大數(shù)據(jù)將迎來一場激烈的競爭。我們應(yīng)該抓住大數(shù)據(jù)的關(guān)鍵點(diǎn),跟上時(shí)