大數(shù)據(jù)技術(shù)的應(yīng)用現(xiàn)狀與未來(lái)展望分析

1、大數(shù)據(jù)技術(shù)的應(yīng)用現(xiàn)狀與未來(lái)展望分析摘要：大數(shù)據(jù)技術(shù)一般指能夠?qū)?shù)量龐大、類型復(fù)雜的數(shù)據(jù)進(jìn)行有效處理，挖 掘其中有效信息的技術(shù)。隨著信息大爆炸時(shí)代的到來(lái)，全世界范圍內(nèi)的數(shù)據(jù)量快 速增長(zhǎng)，傳統(tǒng)數(shù)據(jù)技術(shù)己經(jīng)無(wú)法對(duì)海量技術(shù)進(jìn)行有效處理，大數(shù)據(jù)技術(shù)因而在近 年來(lái)得以快速發(fā)展和廣泛應(yīng)用。關(guān)鍵詞：大數(shù)據(jù)技術(shù)；應(yīng)用現(xiàn)狀；未來(lái)展望1大數(shù)據(jù)處理流程數(shù)據(jù)要發(fā)揮作用，需經(jīng)過一定的處理。大數(shù)據(jù)的處理流程如下：（1）數(shù)據(jù)采 集：采用ETL技術(shù)，從各個(gè)數(shù)據(jù)產(chǎn)生源頭，搜集數(shù)據(jù)。數(shù)據(jù)采集過程中，力求數(shù) 據(jù)全面無(wú)死角、完整不丟失。（2）數(shù)據(jù)清洗：按照一定的規(guī)則，對(duì)數(shù)據(jù)進(jìn)行去 重操作、異常處理和歸一化處理。（3）數(shù)據(jù)預(yù)處理：這個(gè)過

2、程，猶如給貓梳毛 一樣，朝著一個(gè)方向，清理脫節(jié)的數(shù)據(jù)，處理不和諧的數(shù)據(jù)，使得數(shù)據(jù)具有一致 性和有效性。（4）數(shù)據(jù)存儲(chǔ)：將經(jīng)過優(yōu)化的數(shù)據(jù)，按需集中存儲(chǔ)。（5）統(tǒng)計(jì)分 析與數(shù)據(jù)挖掘：基于不同的目的，建立不同的模型，采用一系列算法，開展數(shù)據(jù) 的關(guān)聯(lián)、對(duì)比、排序等不同維度的分析，尋找其中的規(guī)律，發(fā)現(xiàn)潛在的奧秘。（6）數(shù)據(jù)可視化：大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家，同時(shí)還有普通用戶, 但是他們二者對(duì)于大數(shù)據(jù)分析最基本的要求就是可視化分析，因?yàn)榭梢暬治瞿?夠直觀的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常容易被讀者所接受，就如同看圖說話一 樣簡(jiǎn)單明了。2大數(shù)據(jù)處理方法2.1數(shù)據(jù)挖掘法收集大數(shù)據(jù)的方法主要采用數(shù)據(jù)挖掘，

3、它是目前數(shù)據(jù)庫(kù)領(lǐng)域和人工智能研究 的熱點(diǎn)問題。數(shù)據(jù)挖掘通俗上講是海量數(shù)據(jù)有用價(jià)值的發(fā)現(xiàn)，它是指將隱藏的、 先前未知的有潛在價(jià)值信息從眾多數(shù)據(jù)中挖掘出來(lái)的一種曲折的過程。數(shù)據(jù)挖掘 利用多種技術(shù)融合而成，主要基于機(jī)器學(xué)習(xí)、人工智能、模式識(shí)別、統(tǒng)計(jì)學(xué)、數(shù) 據(jù)庫(kù)技術(shù)等，在眾多數(shù)據(jù)中去除干擾的數(shù)據(jù)項(xiàng)后進(jìn)行分類分析、推理和歸納總結(jié), 從中獲取潛在的可用價(jià)值的數(shù)據(jù)，進(jìn)而幫助領(lǐng)導(dǎo)決策層調(diào)整市場(chǎng)運(yùn)作風(fēng)險(xiǎn)，精準(zhǔn) 制定策略，獲取更大的利益。其任務(wù)是將數(shù)據(jù)進(jìn)行分類，然后通過數(shù)據(jù)分析對(duì)未 來(lái)進(jìn)行預(yù)判。分類法在圖像模式識(shí)別、醫(yī)療診斷等領(lǐng)域有著廣泛的應(yīng)用。分類的 方法有：機(jī)器學(xué)習(xí)法；統(tǒng)計(jì)法；神經(jīng)網(wǎng)絡(luò)法；還有粗糙集法等。2.

4、2用戶畫像體系法用戶畫像體系也是一個(gè)有效處理大數(shù)據(jù)的方法。該方法是企業(yè)利用大數(shù)據(jù)技 術(shù)的基本方式，每個(gè)企業(yè)根據(jù)需求要對(duì)用戶進(jìn)行畫像，用戶畫像的提出，根本上 是源于企業(yè)對(duì)用戶認(rèn)知的需求：產(chǎn)品設(shè)計(jì)經(jīng)理，需要了解用戶的特征，來(lái)完善產(chǎn) 品的功能；營(yíng)銷精英們，需要篩選目標(biāo)用戶，對(duì)產(chǎn)品進(jìn)行精準(zhǔn)投放。什么是用戶畫像呢？簡(jiǎn)單地說，將不同的用戶信息分別進(jìn)行標(biāo)簽化，生產(chǎn)者 通過數(shù)據(jù)挖掘、處理分析消費(fèi)者的消費(fèi)觀念、日常生活起居習(xí)慣和社會(huì)交往關(guān)系 等特征數(shù)據(jù)之后，完美地勾勒出一個(gè)用戶的立體全貌。企業(yè)通過用戶畫像獲取足 夠的信息基礎(chǔ)，能夠快速找到精準(zhǔn)用戶群體以及用戶需求等更為廣泛的反饋信息。 標(biāo)簽化是用戶畫像的工作焦點(diǎn)

5、，而一個(gè)標(biāo)簽的選取通常是通過人為制定的標(biāo)準(zhǔn) 提取出來(lái)的特征標(biāo)識(shí)，比如性別、年齡、地域、生活習(xí)慣、消費(fèi)行為等，然后將 用戶的所有標(biāo)簽綜合來(lái)看，最后經(jīng)過數(shù)據(jù)分析，便可以勾勒出該用戶的立體畫 像。3大數(shù)據(jù)技術(shù)應(yīng)用領(lǐng)域3.1電信行業(yè)分析用戶行為，實(shí)施客戶離網(wǎng)預(yù)測(cè)，掌握客戶離網(wǎng)或換更換手機(jī)的傾向，出 臺(tái)客戶挽留措施，改善客戶對(duì)電信業(yè)務(wù)的用戶體驗(yàn)，借以提升客戶滿意度和忠誠(chéng) 度。3.2能源行業(yè)以電力系統(tǒng)為例，在全面掌握海量用戶用電信息的基礎(chǔ)上，分析用戶的用電 特征，構(gòu)建用戶的用電模型，降低電網(wǎng)損耗，提升電力需求的響應(yīng)能力，確保電 網(wǎng)的高效安全運(yùn)行。3.3物流行業(yè)改善物流路線，優(yōu)化物流網(wǎng)絡(luò)，提升物流效能，提高

6、物流效率，降低物流成 本。3.4城市管理實(shí)現(xiàn)智能交通、環(huán)保監(jiān)測(cè)、城市規(guī)劃和智能安防等。比如在智能交通方面， 使用大數(shù)據(jù)技術(shù)，研充車輛通行效率與紅綠燈的分片時(shí)間、車輛車速、道路擁堵 等的關(guān)系，建立紅綠燈管理模型，進(jìn)而達(dá)到提高車輛通行效率、緩解交通擁堵等 的目的。3.5大數(shù)據(jù)技術(shù)應(yīng)用在交通物流領(lǐng)域交通物流大數(shù)據(jù)的來(lái)源是安裝在物流交通工具上的遠(yuǎn)程通信傳感器，這些傳 感器能夠傳回動(dòng)態(tài)的物流信息，包括：行車速度、行駛方向、剎車狀況以及動(dòng)力 性能等方面的數(shù)據(jù)。如果將各種感應(yīng)器、掃描器、傳感器等裝置與射頻識(shí)別 （RFID）技術(shù)、全球定位系統(tǒng)聯(lián)合起來(lái)，實(shí)時(shí)采集各種數(shù)據(jù)信息，同時(shí)結(jié)合互聯(lián) 網(wǎng)技術(shù)形成一個(gè)龐大的網(wǎng)

7、絡(luò)，我們稱之為物聯(lián)網(wǎng)。它實(shí)現(xiàn)了物與人、物與物，物 與互聯(lián)網(wǎng)的連接，方便識(shí)別、管理和處置。同時(shí)物聯(lián)網(wǎng)乂是一個(gè)非常強(qiáng)大的數(shù)據(jù) 來(lái)源，它所搭建的萬(wàn)物互聯(lián)網(wǎng)絡(luò)會(huì)令數(shù)據(jù)量呈爆炸性的增長(zhǎng)。這些數(shù)據(jù)的價(jià)值, 就需要用到大數(shù)據(jù)技術(shù)對(duì)其進(jìn)行挖掘和分析，從而整理出有價(jià)值的信息，幫助公 司重新設(shè)計(jì)物流交通路線，將其再應(yīng)用導(dǎo)航地圖等領(lǐng)域，不斷更新、優(yōu)化交通物 流線路的收貨和配送，給物流交通帶來(lái)極大的方便性。此外，大數(shù)據(jù)還在醫(yī)療和 教育領(lǐng)域、能源領(lǐng)域、制造業(yè)領(lǐng)域、金融領(lǐng)域、文化傳媒領(lǐng)域有著極其廣泛的應(yīng) 用。3.6生物醫(yī)學(xué)幫助醫(yī)護(hù)人員實(shí)現(xiàn)流行病預(yù)測(cè)、智慧醫(yī)療、健康管理，同時(shí)還可以幫助科研 人員解讀DNA,探索更多更深層次

8、的生命奧秘。在2020年初的新冠病毒疫情中, 大數(shù)據(jù)技術(shù)在病情預(yù)測(cè)、病患管控、病情發(fā)揮了重要作用。4大數(shù)據(jù)未來(lái)展望分析4.1關(guān)鍵技術(shù)發(fā)展趨勢(shì)大數(shù)據(jù)關(guān)鍵技術(shù)主要包括數(shù)據(jù)采集、存儲(chǔ)與分析技術(shù)。當(dāng)前大數(shù)據(jù)采集主要 包括軟采與硬采兩種，未來(lái)軟采將形成統(tǒng)一數(shù)據(jù)采集框架，從而實(shí)現(xiàn)對(duì)海量數(shù)據(jù) 地快速、可靠采集，并且能夠?qū)Σ杉瘮?shù)據(jù)進(jìn)行自動(dòng)化的預(yù)處理，保障采集質(zhì)量； 硬采則會(huì)逐漸向低功耗智能傳感器發(fā)展。大數(shù)據(jù)存儲(chǔ)技術(shù)發(fā)展趨勢(shì)主要表現(xiàn)為高 可用性以及低成本性，即能夠以更低的存儲(chǔ)器成本存儲(chǔ)更多高質(zhì)量數(shù)據(jù)，確保這 些數(shù)據(jù)能夠被快速訪問且不會(huì)丟失。大數(shù)據(jù)分析技術(shù)的發(fā)展則主要表現(xiàn)在云計(jì)算 平臺(tái)、機(jī)器學(xué)習(xí)及人工神經(jīng)網(wǎng)絡(luò)等方

9、面，以低成本實(shí)現(xiàn)高性能分析的同時(shí)推動(dòng)大 數(shù)據(jù)智能分析發(fā)展。另外大數(shù)據(jù)技術(shù)發(fā)展還會(huì)與其他新技術(shù)相結(jié)合，如人工智能、 機(jī)器學(xué)習(xí)、區(qū)塊鏈等都能推動(dòng)大數(shù)據(jù)技術(shù)創(chuàng)新發(fā)展。4.2產(chǎn)業(yè)發(fā)展趨勢(shì)就當(dāng)前的產(chǎn)業(yè)發(fā)展情況來(lái)看，大數(shù)據(jù)產(chǎn)業(yè)在未來(lái)發(fā)展必然會(huì)更受政府政策體 系支持，這點(diǎn)由當(dāng)前我國(guó)對(duì)大數(shù)據(jù)技術(shù)的重視程度便能窺得一二。與此同時(shí)，大 戶數(shù)產(chǎn)業(yè)規(guī)模將會(huì)隨著發(fā)展繼續(xù)擴(kuò)大，而且保持高速增長(zhǎng)趨勢(shì)，預(yù)計(jì)2020年大 數(shù)據(jù)產(chǎn)業(yè)便能突破1萬(wàn)億規(guī)模，是2017年的2倍有余。另外大數(shù)據(jù)開放共享程 度將進(jìn)一步加強(qiáng)。當(dāng)前數(shù)據(jù)流通性較弱，在很大程度上限制了大數(shù)據(jù)技術(shù)應(yīng)用， 不過隨著相關(guān)政策支持以及技術(shù)發(fā)展，這一現(xiàn)象必將得到改善。在大數(shù)據(jù)產(chǎn)業(yè)快 速發(fā)展的情況下，我國(guó)相關(guān)立法進(jìn)程必然也會(huì)加速推進(jìn)，為產(chǎn)業(yè)健康發(fā)展提供法 律保護(hù)。結(jié)論當(dāng)前大數(shù)據(jù)技術(shù)己經(jīng)逐步成為各行業(yè)支撐型的基礎(chǔ)設(shè)施，大數(shù)據(jù)體系的底層 技術(shù)框架看起來(lái)相對(duì)比較成熟穩(wěn)定，但是由于業(yè)務(wù)對(duì)效率上的不斷追求，其發(fā)展 方向也開始向提升效率轉(zhuǎn)變，大數(shù)據(jù)其實(shí)正在往快數(shù)據(jù)的軌道上轉(zhuǎn)換，一些行業(yè) 專家甚至認(rèn)為大數(shù)據(jù)己經(jīng)是昨日黃花，快數(shù)據(jù)才是未來(lái)，本文討論的內(nèi)容也只是 為了達(dá)成快數(shù)據(jù)所