大數(shù)據(jù)的發(fā)展及應(yīng)用獲獎(jiǎng)科研報(bào)告

大數(shù)據(jù)的發(fā)展及應(yīng)用獲獎(jiǎng)科研報(bào)告【關(guān)鍵詞】大數(shù)據(jù);發(fā)展;應(yīng)用

引言：

隨著社會(huì)信息技術(shù)的高速發(fā)展以及網(wǎng)絡(luò)、云計(jì)算在現(xiàn)代人們的日常生活中應(yīng)用的普及，大量的非結(jié)構(gòu)化的數(shù)據(jù)就隨之產(chǎn)生了出來(lái)。這些非結(jié)構(gòu)化的數(shù)據(jù)就成為了我們了解、認(rèn)知、改造世界提供了重要的依據(jù)。不管是企業(yè)還是個(gè)人在通過(guò)計(jì)算機(jī)、移動(dòng)設(shè)備或者網(wǎng)絡(luò)等工具制造出對(duì)應(yīng)的數(shù)據(jù)并且傳輸產(chǎn)生了大量的信息，這些信息中不僅包括了企業(yè)的數(shù)據(jù)，還包括了個(gè)人以及其他事物的數(shù)據(jù)，這個(gè)信息量還在不斷的繁衍并且增大。大數(shù)據(jù)在潛移默化中就悄悄的融入到我們的生活中來(lái)，并且在不停地影響著我們。如何利用、組織這些種類繁雜的數(shù)據(jù)并且要保證在傳遞和使用過(guò)程中的安全就成了我們要重視的問(wèn)題。

一、大數(shù)據(jù)的概念以及定義

對(duì)大量結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析和處理，從中獲得新的信息價(jià)值，其特點(diǎn)有數(shù)據(jù)量巨大，數(shù)據(jù)類型眾多、處理要求快以及價(jià)值密度低等明顯的特點(diǎn)，這就需要用到大量的存貯設(shè)備和分析計(jì)算力。

隨著IOT、SNS、移動(dòng)網(wǎng)絡(luò)以及云計(jì)算等技術(shù)的不斷應(yīng)用和更新，在當(dāng)今這個(gè)高速發(fā)展的信息數(shù)據(jù)化的社會(huì)中，大量可視化數(shù)據(jù)給我們的現(xiàn)有生活帶來(lái)了極大的便利性[1]。不僅在提高我們的工作效率和日常生活的便利的同時(shí)，還對(duì)著科學(xué)發(fā)展模式的變革起到了重要的作用，但是在這些好處的背后，我們也看到了一些大數(shù)據(jù)時(shí)代的一些問(wèn)題，比如數(shù)據(jù)安全、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理等一些還存在一定隱患的部分。在大數(shù)據(jù)在給我們的生活和工作提供便利性，提高生產(chǎn)力帶來(lái)更多財(cái)富的同時(shí)，我們也要去關(guān)注它的隱患風(fēng)險(xiǎn)點(diǎn)，更好的去控制它才能讓大數(shù)據(jù)更好的為我們服務(wù)。

大數(shù)據(jù)即bigdata一詞是描述以電子的方式傳輸和存儲(chǔ)巨量的信息，也是形容不斷被人類創(chuàng)造的非結(jié)構(gòu)化巨量數(shù)據(jù)，是指不能在可承受的時(shí)間范圍內(nèi)用普通的軟件工具盡心搜集、管理和處理的體量巨大的數(shù)據(jù)集合體。這種技術(shù)可以在不同的種類、體量巨大的數(shù)據(jù)中，高效且方便的篩選出有效的高價(jià)值數(shù)據(jù)資源。在我們一般的認(rèn)知里大數(shù)據(jù)是包括了搜集數(shù)據(jù)的設(shè)備、系統(tǒng)和數(shù)據(jù)的分析平臺(tái)組成的。

二、大數(shù)據(jù)的特點(diǎn)以及應(yīng)用

大數(shù)據(jù)一般就是指大量非結(jié)構(gòu)和半結(jié)構(gòu)化的數(shù)據(jù)，它一般是指那些遠(yuǎn)超過(guò)正常的數(shù)據(jù)庫(kù)處理系統(tǒng)和管理系統(tǒng)所能夠承載的數(shù)據(jù)[2]。所以不是所有信息技術(shù)產(chǎn)生的數(shù)據(jù)都會(huì)屬于大數(shù)據(jù)，在Forrester提出的數(shù)據(jù)源分類四大特征中，大數(shù)據(jù)有4個(gè)非常明顯的公認(rèn)特征，即數(shù)據(jù)容量大、數(shù)據(jù)涌入快、數(shù)據(jù)種類多、數(shù)據(jù)價(jià)值密度低。

（一）數(shù)據(jù)容量大

大數(shù)據(jù)必然是巨量的，在目前按照維基百科的定義來(lái)說(shuō)，當(dāng)前的大數(shù)據(jù)的字節(jié)規(guī)模是幾十個(gè)太字節(jié)到數(shù)個(gè)柏字節(jié)的，這個(gè)“大”是和數(shù)據(jù)類型有關(guān)的大，在預(yù)測(cè)中，這個(gè)數(shù)據(jù)量的大小，在隨著計(jì)算機(jī)領(lǐng)域的技術(shù)發(fā)展，有可能向艾字節(jié)發(fā)展。就目前的大數(shù)據(jù)規(guī)模，數(shù)據(jù)庫(kù)能夠存貯這么大的數(shù)據(jù)，成本的昂貴也是無(wú)法想象的。

（二）數(shù)據(jù)涌入快

大數(shù)據(jù)會(huì)非?？斓幕蛘邔?shí)時(shí)的將數(shù)據(jù)傳輸進(jìn)來(lái)，就需要對(duì)大數(shù)據(jù)流來(lái)進(jìn)行及時(shí)有效的分析處理，甚至?xí)霈F(xiàn)因?yàn)閿?shù)據(jù)傳輸太快太多，就需要舍棄一部分?jǐn)?shù)據(jù)。

（三）數(shù)據(jù)種類多

作為結(jié)構(gòu)性、非結(jié)構(gòu)性以及半結(jié)構(gòu)性數(shù)據(jù)三大類組成的大數(shù)據(jù)，在類別的不同上有著不同的處理方法，目前全球的大數(shù)據(jù)里，80%是非結(jié)構(gòu)性和半結(jié)構(gòu)性的數(shù)據(jù)，這兩種是不符合標(biāo)準(zhǔn)關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)的，不是屬于可以直接進(jìn)行處理的數(shù)據(jù)類型，所以無(wú)法使用傳統(tǒng)模式進(jìn)行處理，只能使用固定格式的數(shù)據(jù)庫(kù)工作來(lái)進(jìn)行分析。

（四）數(shù)據(jù)價(jià)值密度低

大數(shù)據(jù)中的大多數(shù)數(shù)據(jù)是重復(fù)的，如果涌入數(shù)據(jù)過(guò)快，忽略其中一部分重復(fù)內(nèi)容是不會(huì)影響分析結(jié)構(gòu)的[3]。這些大數(shù)據(jù)在被匯總和分析之前都是一些低價(jià)值的數(shù)據(jù)，或者說(shuō)是價(jià)值密度低的數(shù)據(jù)，只有匯總后處理、分析才能讓這些數(shù)據(jù)具有價(jià)值。所以，大數(shù)據(jù)的價(jià)值就像淘金一樣，需要把雜質(zhì)過(guò)濾掉之后，剩下的才是有價(jià)值的信息。雖然大數(shù)據(jù)的容量大，價(jià)值的絕對(duì)值可能很大，但是和數(shù)據(jù)的總量來(lái)性對(duì)比的話，相對(duì)值是很低的。

在應(yīng)用方面，大數(shù)據(jù)的使用對(duì)企業(yè)來(lái)說(shuō)可以在對(duì)大數(shù)據(jù)的挖掘和利用以后，整合系統(tǒng)的大量數(shù)據(jù)進(jìn)行分析有效的價(jià)值，不僅可以提高企業(yè)的競(jìng)爭(zhēng)力度，改善企業(yè)營(yíng)銷的策略，對(duì)客戶的定位和產(chǎn)品創(chuàng)新的方面也能對(duì)比大數(shù)據(jù)的信息進(jìn)行篩選處理，在工作流程優(yōu)化、人力資源管理等方面的管控也是可以通過(guò)系統(tǒng)分析后將每個(gè)方面進(jìn)行細(xì)致規(guī)劃進(jìn)行統(tǒng)籌處理。目前，不僅是計(jì)算機(jī)和電子產(chǎn)品，在制造、零食、能源方面，更多的企業(yè)會(huì)采用大數(shù)據(jù)的分析和應(yīng)用結(jié)果進(jìn)行著營(yíng)銷的決策，并且都能獲得更高的利潤(rùn)。在交通、醫(yī)療等民生的領(lǐng)域，間接的推動(dòng)了社會(huì)信息化服務(wù)水平，不僅也是提高了行政部門的辦事效率，也同時(shí)保證了人民群眾的生活便利。筆者所在城市的醫(yī)療保險(xiǎn)繳納，已經(jīng)從排隊(duì)等號(hào)人工繳納到現(xiàn)在的刷身份證就可以辦理，也就說(shuō)明現(xiàn)代政府部門也在朝著大數(shù)據(jù)的便利性上轉(zhuǎn)變，不僅是方便了民眾的便捷，也讓工作人員的勞作壓力變小。

信息是具備著兩個(gè)屬性的，物理屬性和內(nèi)容屬性，在信息革命60年，一直在邊緣，從未觸及它的核心。在如今的大數(shù)據(jù)應(yīng)用分析理，讓我們看到和處理的不再是信息的物理屬性，二是信息的內(nèi)容屬性。使得信息成為了和材料、能源同列的現(xiàn)代人類社會(huì)發(fā)展的三大基本資源。

三、大數(shù)據(jù)應(yīng)用方面的挑戰(zhàn)

大數(shù)據(jù)在提供了便捷性的今天，也在應(yīng)用方面讓我們看到一部分隱患。這些隱患是包含了提高數(shù)據(jù)計(jì)算模型的計(jì)算力、保護(hù)數(shù)據(jù)的安全隱私和計(jì)算機(jī)的硬件更新?lián)Q代等。

上文已知，大數(shù)據(jù)的巨量化特性，且目前的存貯成本十分高昂。在隨著社交網(wǎng)絡(luò)不斷的升級(jí)擴(kuò)容，里面的數(shù)據(jù)將會(huì)變得更多[4]。再加上處理大量低價(jià)值數(shù)據(jù)的及時(shí)性上需要更高效信息分析處理設(shè)備，這就使得在計(jì)算機(jī)的軟件、硬件方面進(jìn)行革命性的升級(jí)，才能滿足當(dāng)下大數(shù)據(jù)的整合、處理需求。在網(wǎng)絡(luò)病毒泛濫、黑客的無(wú)孔不入、以及一些相關(guān)利益鏈之間的數(shù)據(jù)買賣就成了我們面臨的一個(gè)問(wèn)題點(diǎn)，我們?cè)谏钪械乃行畔⒍紩?huì)被記錄，并且被倒賣，既有可能對(duì)我們?nèi)蘸蟮纳钪袔?lái)一定的風(fēng)險(xiǎn)，這就需要政府制定一系列的政策和法律法規(guī)來(lái)去約束、管理不法的個(gè)人、機(jī)構(gòu)和團(tuán)體。從而避免數(shù)據(jù)的濫用和保護(hù)公民隱私安全的暴露。

結(jié)語(yǔ)：

在大數(shù)據(jù)應(yīng)用的今天，大數(shù)據(jù)的應(yīng)用已然滲透了我們的生活并且完美的融入了社會(huì)中的各行業(yè)之中。大數(shù)據(jù)的分析和數(shù)據(jù)的處理地位已經(jīng)被廣泛的應(yīng)用，借助云計(jì)算平臺(tái)對(duì)這些數(shù)據(jù)的分析，在變革的新方面推動(dòng)了工業(yè)和商業(yè)的創(chuàng)新，并且在生產(chǎn)創(chuàng)造力的提