《智能建造技術(shù)與裝備》 課件 第三章 大數(shù)據(jù)技術(shù)與應(yīng)用

智能建造技術(shù)與裝備第三章：大數(shù)據(jù)技術(shù)與應(yīng)用目錄一、大數(shù)據(jù)技術(shù)概述二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外發(fā)展現(xiàn)狀三、典型大數(shù)據(jù)技術(shù)四、大數(shù)據(jù)技術(shù)在智能建造的應(yīng)用目錄一、大數(shù)據(jù)技術(shù)概述二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外發(fā)展現(xiàn)狀三、典型大數(shù)據(jù)技術(shù)四、大數(shù)據(jù)技術(shù)在智能建造的應(yīng)用一、大數(shù)據(jù)技術(shù)概述——大數(shù)據(jù)的概念大數(shù)據(jù)技術(shù)

本質(zhì)上是從類型各異、內(nèi)容龐大的數(shù)據(jù)中快速獲得有價(jià)值信息的技術(shù)海量用戶的一次次的行為數(shù)據(jù)形成巨大的數(shù)據(jù)集合通過(guò)處理與分析的數(shù)據(jù)，結(jié)合各行各業(yè)的應(yīng)用場(chǎng)景和業(yè)務(wù)需求，提供處理依據(jù)和應(yīng)用依據(jù)在維克托·邁爾—舍恩伯格及肯尼斯·庫(kù)克耶編寫(xiě)的《大數(shù)據(jù)時(shí)代》中，大數(shù)據(jù)是指不用隨機(jī)分析法這樣捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理的方式。其中，作者還指出，大數(shù)據(jù)技術(shù)的核心就是預(yù)測(cè)。包括分布式計(jì)算、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等關(guān)鍵技術(shù)，這些技術(shù)被設(shè)計(jì)用來(lái)處理海量數(shù)據(jù)，并從中提取有價(jià)值的知識(shí)和見(jiàn)解數(shù)據(jù)技術(shù)應(yīng)用大數(shù)據(jù)技術(shù)=“數(shù)據(jù)+技術(shù)+應(yīng)用”成熟期2001—2010年一、大數(shù)據(jù)技術(shù)概述——大數(shù)據(jù)的發(fā)展歷程大數(shù)據(jù)基礎(chǔ)技術(shù)成熟之后，學(xué)術(shù)界及企業(yè)界紛紛開(kāi)始轉(zhuǎn)向應(yīng)用研究，2013年大數(shù)據(jù)技術(shù)開(kāi)始向商業(yè)、醫(yī)療、政府、教育及社會(huì)的各個(gè)領(lǐng)域滲透，因此2013年也被稱為大數(shù)據(jù)元年。03大數(shù)據(jù)作為一個(gè)新興名詞開(kāi)始被理論界所關(guān)注，其概念和特點(diǎn)被進(jìn)一步豐富，相關(guān)的數(shù)據(jù)處理技術(shù)相繼出現(xiàn)，大數(shù)據(jù)開(kāi)始展現(xiàn)活力。02大數(shù)據(jù)作為一種構(gòu)想或者假設(shè)被極少數(shù)的學(xué)者進(jìn)行僅限于數(shù)據(jù)量的研究和討論，并沒(méi)有進(jìn)一步探索數(shù)據(jù)的收集、處理和存儲(chǔ)等問(wèn)題。萌芽期20世紀(jì)90年代—21世紀(jì)初01大規(guī)模應(yīng)用期2001—2010年大數(shù)據(jù)技術(shù)的發(fā)展歷程可以分為3個(gè)階段：萌芽期、成熟期和大規(guī)模應(yīng)用期目錄一、大數(shù)據(jù)技術(shù)概述二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外發(fā)展現(xiàn)狀三、典型大數(shù)據(jù)技術(shù)四、大數(shù)據(jù)技術(shù)在智能建造的應(yīng)用二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀——國(guó)外研究現(xiàn)狀美國(guó)大數(shù)據(jù)技術(shù)發(fā)展“大數(shù)據(jù)”這一概念最早由美國(guó)科學(xué)家約翰·馬西(JohnMashey)，在1998年的一個(gè)國(guó)際會(huì)議報(bào)告中指出：隨著數(shù)據(jù)量的快速增長(zhǎng)，必將出現(xiàn)數(shù)據(jù)難理解、難獲取、難處理和難組織等四個(gè)難題，并用“BigData(大數(shù)據(jù))”來(lái)描述這一挑戰(zhàn)，在計(jì)算領(lǐng)域引發(fā)思考。1989年8月所召開(kāi)的第11屆國(guó)際人工智能聯(lián)合會(huì)議KDD(KnowledgeDiscoveryinDatabases)，其應(yīng)用部分的數(shù)據(jù)挖掘(DataMining)則是知識(shí)發(fā)現(xiàn)(KDD)的核心部分。知識(shí)發(fā)現(xiàn)是指利用深度學(xué)習(xí)從觀測(cè)數(shù)據(jù)或?qū)嶒?yàn)數(shù)據(jù)中挖掘控制方程，推進(jìn)人類認(rèn)知。在教育領(lǐng)域，美國(guó)教育部教育技術(shù)辦公室利用大數(shù)據(jù)分析來(lái)監(jiān)測(cè)在線課程學(xué)習(xí)的學(xué)生是否出現(xiàn)困惑，并適時(shí)給予指導(dǎo)，幫助學(xué)生調(diào)整學(xué)習(xí)方向。此外，他們還能通過(guò)學(xué)生的按鍵點(diǎn)擊模式判斷其對(duì)課程的興趣度，以便適時(shí)調(diào)整教學(xué)內(nèi)容。在執(zhí)法領(lǐng)域，波士頓馬拉松爆炸案?jìng)赊k中，大數(shù)據(jù)技術(shù)發(fā)揮了關(guān)鍵作用。警方利用大數(shù)據(jù)技術(shù)快速分析了48萬(wàn)多幅圖像，這些圖像屬于非結(jié)構(gòu)化數(shù)據(jù)。通過(guò)對(duì)嫌疑犯的特征描述，分析人員編寫(xiě)了代碼和算法，快速分析了這些圖像，尋找異常情況與特定模式。在美國(guó)的先進(jìn)制藥行業(yè)，藥物開(kāi)發(fā)領(lǐng)域的最新前沿技術(shù)是機(jī)器學(xué)習(xí)，即算法利用數(shù)據(jù)和經(jīng)驗(yàn)教會(huì)自己辨別哪種化合物同哪個(gè)靶點(diǎn)相結(jié)合，并且發(fā)現(xiàn)對(duì)人眼來(lái)說(shuō)不可見(jiàn)的模式。二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀——國(guó)外研究現(xiàn)狀美國(guó)大數(shù)據(jù)技術(shù)發(fā)展美國(guó)政府將大數(shù)據(jù)視為強(qiáng)化美國(guó)競(jìng)爭(zhēng)力的關(guān)鍵因素之一，把大數(shù)據(jù)研究和生產(chǎn)計(jì)劃提高到國(guó)家戰(zhàn)略層面。美國(guó)在大數(shù)據(jù)技術(shù)應(yīng)用上有很多典型案例：二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀——國(guó)外研究現(xiàn)狀歐盟大數(shù)據(jù)技術(shù)發(fā)展歐盟對(duì)于大數(shù)據(jù)時(shí)代中數(shù)據(jù)對(duì)各方面的重要意義以及歐洲在數(shù)據(jù)方面的潛力具有深刻認(rèn)識(shí)。目前，歐盟在大數(shù)據(jù)方面的活動(dòng)主要涉及四方面內(nèi)容：研究數(shù)據(jù)價(jià)值鏈戰(zhàn)略因素1實(shí)施開(kāi)放數(shù)據(jù)政策2資助“大數(shù)據(jù)”和“開(kāi)放數(shù)據(jù)”領(lǐng)域的研究和創(chuàng)新活動(dòng)3促進(jìn)公共資助科研實(shí)驗(yàn)成果和數(shù)據(jù)的使用及再利用4二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀——國(guó)外研究現(xiàn)狀歐盟大數(shù)據(jù)技術(shù)發(fā)展法案要求互聯(lián)網(wǎng)平臺(tái)對(duì)虛假信息采取更有力的措施。及時(shí)刪除非法和有害的在線內(nèi)容，包括仇恨言論、虛假信息和假貨交易信息等。法案規(guī)定了對(duì)數(shù)字服務(wù)提供商的追責(zé)新標(biāo)準(zhǔn)。要求他們?cè)诎l(fā)現(xiàn)其在線平臺(tái)出現(xiàn)非法內(nèi)容后必須在24小時(shí)內(nèi)予以刪除，并檢查供應(yīng)商的商品真?zhèn)危詼p少假冒產(chǎn)品的出現(xiàn)。法案提出了一個(gè)共同監(jiān)管框架。要求相關(guān)平臺(tái)保護(hù)用戶基本權(quán)利、公共利益、公共衛(wèi)生和安全，鼓勵(lì)刪除有害信息和內(nèi)容，防止超大型數(shù)字平臺(tái)被濫用。歐盟在大數(shù)據(jù)技術(shù)的發(fā)展上，注重保護(hù)個(gè)人隱私、促進(jìn)數(shù)據(jù)共享與開(kāi)放、推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)化、關(guān)注數(shù)據(jù)治理和倫理以及加強(qiáng)數(shù)據(jù)安全和網(wǎng)絡(luò)安全方面的工作?；谝陨?，歐盟在2022年10月27日提出《數(shù)字服務(wù)法案》。二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀——國(guó)外研究現(xiàn)狀英國(guó)大數(shù)據(jù)技術(shù)發(fā)展英國(guó)在多個(gè)領(lǐng)域廣泛應(yīng)用了大數(shù)據(jù)技術(shù)：財(cái)政監(jiān)督：英國(guó)財(cái)政部利用社交媒體，如Twitter和圖片分享網(wǎng)站Flickr公布政府財(cái)政信息，實(shí)現(xiàn)了財(cái)政透明度，并允許公眾隨時(shí)查看政府的支出情況；防范詐騙：英國(guó)政府通過(guò)大數(shù)據(jù)技術(shù)檢測(cè)行為模式，成功追回了數(shù)十億美元的逃稅和詐騙資金。這種分析技術(shù)在發(fā)放許可證之前，通過(guò)分析公民的行為模式來(lái)判斷其是否有資格獲得許可。精準(zhǔn)農(nóng)業(yè)：英國(guó)啟動(dòng)了“農(nóng)業(yè)技術(shù)戰(zhàn)略”，旨在利用大數(shù)據(jù)和信息技術(shù)提高農(nóng)業(yè)生產(chǎn)效率。該策略的核心是建立一個(gè)基于農(nóng)業(yè)信息技術(shù)和可持續(xù)發(fā)展指標(biāo)的農(nóng)業(yè)創(chuàng)新中心，并實(shí)施開(kāi)放數(shù)據(jù)政策，以便所有參與者能夠共享數(shù)據(jù)和成果。城市規(guī)劃：英國(guó)政府利用大數(shù)據(jù)技術(shù)進(jìn)行城市規(guī)劃，通過(guò)研究客觀環(huán)境數(shù)據(jù)來(lái)優(yōu)化城市設(shè)計(jì)和管理。在政府的戰(zhàn)略設(shè)計(jì)中，大數(shù)據(jù)被列為英國(guó)的八大領(lǐng)先科技之一。英國(guó)大數(shù)據(jù)技術(shù)的發(fā)展起源可以追溯到20世紀(jì)80年代，英國(guó)在大數(shù)據(jù)領(lǐng)域的發(fā)展受到政府的高度重視和支持，并逐漸形成了完整的產(chǎn)業(yè)鏈。二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀——國(guó)外研究現(xiàn)狀各國(guó)大數(shù)據(jù)技術(shù)發(fā)展許多國(guó)家的政府和國(guó)際組織都認(rèn)識(shí)到了大數(shù)據(jù)的重要作用，紛紛將開(kāi)發(fā)利用大數(shù)據(jù)作為奪取新一輪競(jìng)爭(zhēng)制高點(diǎn)的重要抓手，實(shí)施大數(shù)據(jù)戰(zhàn)略，對(duì)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展有著高度的熱情。法國(guó)

政府發(fā)布《數(shù)字化路線圖》，表示將大力支持“大數(shù)據(jù)”在內(nèi)的戰(zhàn)略性高新技術(shù)，法國(guó)軟件聯(lián)盟曾號(hào)召政府部門(mén)和私人企業(yè)共同合作，投入3億歐元資金用于推動(dòng)大數(shù)據(jù)領(lǐng)域的發(fā)展。法國(guó)政府投資這些項(xiàng)目的目的在于，通過(guò)發(fā)展創(chuàng)新性解決方案并實(shí)踐，促進(jìn)法國(guó)在大數(shù)據(jù)領(lǐng)域的發(fā)展。日本

2013年6月安倍內(nèi)閣正式公布了新IT戰(zhàn)略“創(chuàng)建最尖端IT國(guó)家宣言”?！靶浴比骊U述了2013～2020年期間以發(fā)展開(kāi)放公共數(shù)據(jù)和大數(shù)據(jù)為核心的日本新IT國(guó)家戰(zhàn)略，提出要把日本建設(shè)成為一個(gè)具有“世界最高水準(zhǔn)的廣泛運(yùn)用信息產(chǎn)業(yè)技術(shù)的社會(huì)”。印度

2016年，印度全國(guó)軟件與服務(wù)企業(yè)協(xié)會(huì)預(yù)計(jì)，印度大數(shù)據(jù)行業(yè)規(guī)模在3年內(nèi)將到12億美元，是當(dāng)前規(guī)模的6倍，同時(shí)還是全球大數(shù)據(jù)行業(yè)平均增長(zhǎng)速度的兩倍。在數(shù)據(jù)開(kāi)放方面，印度效仿美國(guó)政府的做法，制定了一個(gè)一站式政府?dāng)?shù)據(jù)門(mén)戶網(wǎng)站datagovin，把政府收集的所有非涉密數(shù)據(jù)集中起來(lái)，包括全國(guó)的人口、經(jīng)濟(jì)和社會(huì)信息。二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀——國(guó)外研究現(xiàn)狀國(guó)外大數(shù)據(jù)技術(shù)在城市建設(shè)領(lǐng)域的應(yīng)用迪比克市：迪比克市政府與IBM合作，計(jì)劃利用大數(shù)據(jù)技術(shù)將城市的所有資源數(shù)字化并連接起來(lái)，含水、電、油、氣、交通、公共服務(wù)等。通過(guò)監(jiān)測(cè)、分析和整合各種數(shù)據(jù)智能化地響應(yīng)市民的需求，并降低城市的能耗和成本。美國(guó)：紐約市：紐約市消防部門(mén)通過(guò)大數(shù)據(jù)分析，預(yù)測(cè)可能發(fā)生火災(zāi)的建筑物，并采取相應(yīng)的預(yù)防措施。他們將可能導(dǎo)致房屋起火的因素細(xì)分為60個(gè)，如貧困家庭、建筑年代、是否有電梯等，并通過(guò)特定算法對(duì)城市中的建筑物進(jìn)行打分，計(jì)算火災(zāi)危險(xiǎn)指數(shù)，劃分出重點(diǎn)監(jiān)測(cè)和檢查對(duì)象。大數(shù)據(jù)與市民需求大數(shù)據(jù)與火災(zāi)預(yù)測(cè)二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀——國(guó)外研究現(xiàn)狀國(guó)外大數(shù)據(jù)技術(shù)在城市建設(shè)領(lǐng)域的應(yīng)用悉尼：悉尼在城市建設(shè)中通過(guò)收集和分析城市的各種數(shù)據(jù)，如交通流量、空氣質(zhì)量、能源消耗等，來(lái)優(yōu)化城市規(guī)劃和管理。例如，通過(guò)分析交通數(shù)據(jù)，優(yōu)化道路設(shè)計(jì)和交通信號(hào)燈配置，緩解交通擁堵；通過(guò)分析能源數(shù)據(jù)，優(yōu)化能源供應(yīng)和使用，減少能源浪費(fèi)。澳大利亞：大數(shù)據(jù)與城市資源分配大數(shù)據(jù)與交通狀況新加坡是全球智慧城市建設(shè)的先驅(qū)之一，大力推廣大數(shù)據(jù)技術(shù)在城市建設(shè)中的應(yīng)用。例如，通過(guò)收集和分析交通數(shù)據(jù)，優(yōu)化公共交通系統(tǒng)，提高出行效率；通過(guò)收集和分析環(huán)境數(shù)據(jù)，實(shí)時(shí)監(jiān)測(cè)空氣質(zhì)量，采取相應(yīng)的措施改善環(huán)境質(zhì)量。新加坡：二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀——國(guó)內(nèi)研究現(xiàn)狀我國(guó)大數(shù)據(jù)技術(shù)的發(fā)展中國(guó)的大數(shù)據(jù)技術(shù)起源可以追溯到20世紀(jì)90年代末和本世紀(jì)初，當(dāng)時(shí)數(shù)據(jù)的產(chǎn)生速度和規(guī)模急劇增長(zhǎng)，傳統(tǒng)的數(shù)據(jù)處理方法已經(jīng)無(wú)法滿足需求。為了有效地處理和利用這些數(shù)據(jù)，中國(guó)開(kāi)始關(guān)注和研究大數(shù)據(jù)技術(shù)。2000年：中國(guó)開(kāi)始在大數(shù)據(jù)領(lǐng)域進(jìn)行研究，但還處于起步階段。2006年：中國(guó)政府提出“國(guó)家信息化”戰(zhàn)略，將大數(shù)據(jù)作為戰(zhàn)略重點(diǎn)發(fā)展方向。2010年：中國(guó)開(kāi)始建設(shè)國(guó)家級(jí)大數(shù)據(jù)產(chǎn)業(yè)園區(qū)，并出臺(tái)相關(guān)政策支持大數(shù)據(jù)技術(shù)發(fā)展。2014年：中國(guó)政府發(fā)布《中國(guó)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，明確了大數(shù)據(jù)發(fā)展的目標(biāo)和重點(diǎn)領(lǐng)域。2015年：中國(guó)成立了國(guó)家大數(shù)據(jù)（深圳）綜合試驗(yàn)區(qū)，推動(dòng)大數(shù)據(jù)技術(shù)在實(shí)踐中的應(yīng)用。2017年：中國(guó)政府發(fā)布《國(guó)家大數(shù)據(jù)戰(zhàn)略》，提出了加快發(fā)展大數(shù)據(jù)產(chǎn)業(yè)的政策措施。2018年：中國(guó)成立了國(guó)家大數(shù)據(jù)管理局，負(fù)責(zé)統(tǒng)籌大數(shù)據(jù)發(fā)展和管理工作。2019年：中國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模達(dá)到5.5萬(wàn)億元人民幣，成為全球最大的大數(shù)據(jù)市場(chǎng)之一。2020年：中國(guó)在大數(shù)據(jù)領(lǐng)域取得了一些重要的科研成果，如人工智能、云計(jì)算等技術(shù)的快速發(fā)展。起步階段重點(diǎn)發(fā)展階段飛速發(fā)展階段二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀——國(guó)內(nèi)研究現(xiàn)狀我國(guó)大數(shù)據(jù)技術(shù)的發(fā)展目前，中國(guó)在大數(shù)據(jù)技術(shù)領(lǐng)域已經(jīng)取得了一些重要的成果。例如：阿里巴巴集團(tuán)——分布式計(jì)算框架Hadoop和分布式數(shù)據(jù)庫(kù)Ocean

Base騰訊公司——實(shí)時(shí)計(jì)算引擎Flink和分布式存儲(chǔ)系統(tǒng)TBase百度公司——深度學(xué)習(xí)框架Paddle

Paddle等。中國(guó)的大數(shù)據(jù)技術(shù)起初主要側(cè)重于數(shù)據(jù)的存儲(chǔ)和處理能力。隨著技術(shù)的不斷進(jìn)步和創(chuàng)新，中國(guó)的大數(shù)據(jù)技術(shù)逐漸發(fā)展成為一個(gè)完整的生態(tài)系統(tǒng)，包括數(shù)據(jù)采集、存儲(chǔ)、處理、分析和應(yīng)用等各個(gè)環(huán)節(jié)。分布式計(jì)算框架Hadoop深度學(xué)習(xí)框架Paddle

Paddle二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀——國(guó)內(nèi)研究現(xiàn)狀大數(shù)據(jù)產(chǎn)業(yè)現(xiàn)狀及技術(shù)發(fā)展趨勢(shì)中國(guó)擁有全球最龐大的數(shù)據(jù)生產(chǎn)群體，目前大數(shù)據(jù)平臺(tái)軟件市場(chǎng)規(guī)模發(fā)展迅速，預(yù)測(cè)在2025年市場(chǎng)規(guī)模能達(dá)到約3600億美元。中國(guó)大數(shù)據(jù)平臺(tái)軟件市場(chǎng)規(guī)模及預(yù)測(cè)圖我國(guó)大數(shù)據(jù)企業(yè)主要分布受政策環(huán)境、人才創(chuàng)新、資金資源等因素的影響較大中國(guó)大數(shù)據(jù)企業(yè)分布情況中國(guó)大數(shù)據(jù)技術(shù)的未來(lái)發(fā)展趨勢(shì)主要在數(shù)據(jù)融合與數(shù)據(jù)價(jià)值挖掘、產(chǎn)業(yè)物聯(lián)網(wǎng)提速、與云計(jì)算/人工智能等前沿技術(shù)的深度融合、應(yīng)用領(lǐng)域的擴(kuò)展等方面。中國(guó)大數(shù)據(jù)技術(shù)的未來(lái)發(fā)展將呈現(xiàn)出快速發(fā)展、廣泛應(yīng)用、技術(shù)融合和創(chuàng)新驅(qū)動(dòng)的特點(diǎn)，同時(shí)也面臨著數(shù)據(jù)安全、隱私保護(hù)等挑戰(zhàn)。目錄一、大數(shù)據(jù)技術(shù)概述二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外發(fā)展現(xiàn)狀三、典型大數(shù)據(jù)技術(shù)四、大數(shù)據(jù)技術(shù)在智能建造的應(yīng)用展示技術(shù)三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)采集技術(shù)大數(shù)據(jù)采集技術(shù)

是指通過(guò)RFID數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)。運(yùn)營(yíng)數(shù)據(jù)庫(kù)社交網(wǎng)絡(luò)感知設(shè)備系統(tǒng)日志的采集網(wǎng)絡(luò)數(shù)據(jù)的采集數(shù)據(jù)庫(kù)的采集數(shù)據(jù)來(lái)源數(shù)據(jù)采集采集技術(shù)預(yù)處理技術(shù)存儲(chǔ)及管理技術(shù)處理模式分析及挖掘全局常量屬性均值可能值填充直接忽略該數(shù)據(jù)三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)預(yù)處理技術(shù)大數(shù)據(jù)預(yù)處理技術(shù)

主要是指完成對(duì)已接收數(shù)據(jù)的辨析、抽取、清洗、填補(bǔ)、平滑、合并、規(guī)格化及檢查一致性等操作。數(shù)據(jù)清理01分箱聚類計(jì)算機(jī)人工檢查回歸

遺漏值處理

噪音數(shù)據(jù)處理

不一致數(shù)據(jù)處理手動(dòng)更正數(shù)據(jù)集成02變換及數(shù)據(jù)規(guī)約03模式匹配數(shù)據(jù)冗余數(shù)據(jù)值沖突檢測(cè)與處理數(shù)據(jù)屬性命名的不一致——皮爾遜積矩，衡量數(shù)值屬性離散數(shù)據(jù)——卡方檢驗(yàn)，檢測(cè)兩個(gè)屬性之間的關(guān)聯(lián)數(shù)據(jù)變換：平滑→聚集→數(shù)據(jù)泛化→規(guī)范化→屬性構(gòu)造數(shù)據(jù)規(guī)約：數(shù)據(jù)方聚集、維規(guī)約、數(shù)據(jù)壓縮、數(shù)值規(guī)約和概念分層等。展示技術(shù)采集技術(shù)預(yù)處理技術(shù)存儲(chǔ)及管理技術(shù)處理模式分析及挖掘三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)存儲(chǔ)及管理技術(shù)大數(shù)據(jù)存儲(chǔ)及管理

主要目的是用存儲(chǔ)器把采集到的數(shù)據(jù)存儲(chǔ)起來(lái)，建立相應(yīng)的數(shù)據(jù)庫(kù)，并進(jìn)行管理和調(diào)用。技術(shù)難題：從多渠道獲得的原始數(shù)據(jù)常常缺乏一致性，數(shù)據(jù)結(jié)構(gòu)混雜，并且數(shù)據(jù)不斷增長(zhǎng)，導(dǎo)致傳統(tǒng)的處理和存儲(chǔ)技術(shù)失去可行性。大數(shù)據(jù)存儲(chǔ)及管理技術(shù)重點(diǎn)研究：復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)管理與處理技術(shù)解決關(guān)鍵問(wèn)題：海量文件的存儲(chǔ)與管理海量小文件的存儲(chǔ)、索引和管理海量大文件的分塊與存儲(chǔ)系統(tǒng)可擴(kuò)展性與可靠性大數(shù)據(jù)存儲(chǔ)及管理平臺(tái)功能架構(gòu)展示技術(shù)采集技術(shù)預(yù)處理技術(shù)存儲(chǔ)及管理技術(shù)處理模式分析及挖掘三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)的處理模式大數(shù)據(jù)的處理模式

可以分為流處理模式和批處理模式兩種。數(shù)據(jù)流本身具有持續(xù)到達(dá)、速度快、規(guī)模巨大通常不會(huì)對(duì)所有的數(shù)據(jù)進(jìn)行永久化存儲(chǔ)系統(tǒng)很難準(zhǔn)確掌握整個(gè)數(shù)據(jù)的全貌依賴于在內(nèi)存中設(shè)計(jì)巧妙的概要數(shù)據(jù)結(jié)構(gòu)流處理是將數(shù)據(jù)直接處理——流處理模式將數(shù)據(jù)視為流，將源源不斷的數(shù)據(jù)組成數(shù)據(jù)流，新的數(shù)據(jù)到來(lái)時(shí)就立刻處理并返回所需的結(jié)果?；纠砟睿簲?shù)據(jù)的價(jià)值會(huì)隨著時(shí)間的流逝而不斷減少。主要目標(biāo)：盡可能快地對(duì)最新的數(shù)據(jù)做出分析并給出結(jié)果。應(yīng)用場(chǎng)景：網(wǎng)頁(yè)點(diǎn)擊數(shù)的實(shí)時(shí)統(tǒng)計(jì)，傳感器網(wǎng)絡(luò)，金融中的高頻交易等。內(nèi)存容量是限制流處理模式的一個(gè)主要瓶頸技術(shù)特點(diǎn)展示技術(shù)采集技術(shù)預(yù)處理技術(shù)存儲(chǔ)及管理技術(shù)處理模式分析及挖掘三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)的處理模式大數(shù)據(jù)的處理模式

可以分為流處理模式和批處理模式兩種。MapReduce模型運(yùn)行示意圖將問(wèn)題分而治之，把待處理的數(shù)據(jù)分成多個(gè)模塊分別交給多個(gè)Map任務(wù)去并發(fā)處理用計(jì)算推導(dǎo)數(shù)據(jù)而不是把數(shù)據(jù)堆到計(jì)算，從而有效地避免數(shù)據(jù)傳輸過(guò)程中產(chǎn)生的大量通信開(kāi)銷Google公司在2004年提出的MapReduce編程模型是最具代表性的批處理模式MapReduce的核心設(shè)計(jì)思想批處理是先存儲(chǔ)后處理的處理模式展示技術(shù)采集技術(shù)預(yù)處理技術(shù)存儲(chǔ)及管理技術(shù)處理模式分析及挖掘該方法可產(chǎn)生一個(gè)將數(shù)據(jù)項(xiàng)，映射到一個(gè)實(shí)值預(yù)測(cè)變量的函數(shù)，發(fā)現(xiàn)變量或?qū)傩蚤g的依賴關(guān)系主要研究問(wèn)題包括數(shù)據(jù)序列的趨勢(shì)特征、數(shù)據(jù)序列的預(yù)測(cè)及數(shù)據(jù)間的相關(guān)關(guān)系等三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)分析及挖掘技術(shù)大數(shù)據(jù)分析及挖掘技術(shù)

目的是從海量的數(shù)據(jù)信息中獲取更多智能的、深入的、有價(jià)值的信息分類找出數(shù)據(jù)庫(kù)中一組數(shù)據(jù)對(duì)象的共同特點(diǎn)并按照分類模式將其劃分為不同的類通過(guò)分類模型，將數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到某個(gè)給定的類別聚類聚類是把一組數(shù)據(jù)按照相似性和差異性分為幾個(gè)類別其目的是使得屬于同一類別的數(shù)據(jù)間的相似性盡可能大，不同類別中的數(shù)據(jù)間的相似性盡可能小回歸分析關(guān)聯(lián)規(guī)則描述數(shù)據(jù)庫(kù)中數(shù)據(jù)項(xiàng)之間所存在的關(guān)系的規(guī)則根據(jù)一個(gè)事務(wù)中某些項(xiàng)的出現(xiàn)可推導(dǎo)出另一些項(xiàng)在同一事務(wù)中也會(huì)出現(xiàn)，即隱藏在數(shù)據(jù)間的關(guān)聯(lián)或相互關(guān)系展示技術(shù)采集技術(shù)預(yù)處理技術(shù)存儲(chǔ)及管理技術(shù)處理模式分析及挖掘三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)展示技術(shù)大數(shù)據(jù)展示技術(shù)

目的是通過(guò)清晰的圖形、圖像展示，直觀地反映出最終結(jié)果，將數(shù)據(jù)更加直觀地展現(xiàn)給用戶展示技術(shù)采集技術(shù)預(yù)處理技術(shù)存儲(chǔ)及管理技術(shù)處理模式分析及挖掘可視化技術(shù)是最佳的結(jié)果展示方式之一傳統(tǒng)的數(shù)據(jù)可視化工具僅僅將數(shù)據(jù)加以組合，通過(guò)不同的展現(xiàn)方式提供給用戶。新型的數(shù)據(jù)可視化產(chǎn)品實(shí)現(xiàn)了快速收集、篩選、歸納、分析、展現(xiàn)決策者所需要的信息，并根據(jù)新增的數(shù)據(jù)進(jìn)行實(shí)時(shí)更新。實(shí)時(shí)性直觀易用豐富的展現(xiàn)形式多種數(shù)據(jù)集成支持方式兼用性數(shù)據(jù)交互性三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)技術(shù)特點(diǎn)大數(shù)據(jù)技術(shù)具有五大特點(diǎn)（5V）容量大(Volume）1多樣性(Variety)2快速化(Velocity）3價(jià)值性(Value)4真實(shí)性(Veracity)5三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)技術(shù)特點(diǎn)容量大隨著信息化技術(shù)的高速發(fā)展，數(shù)據(jù)開(kāi)始爆發(fā)性增長(zhǎng)，從數(shù)據(jù)存儲(chǔ)的單位的變化可以得知。1多樣性多樣性主要體現(xiàn)在數(shù)據(jù)來(lái)源多樣性、數(shù)據(jù)類型多樣性和數(shù)據(jù)之間關(guān)聯(lián)性強(qiáng)三個(gè)方面。2快速化大數(shù)據(jù)技術(shù)是對(duì)處理數(shù)據(jù)實(shí)時(shí)分析而非批量分析，數(shù)據(jù)輸入、處理與丟棄立刻見(jiàn)效，幾乎無(wú)延遲。數(shù)據(jù)的增長(zhǎng)速度和處理速度是大數(shù)據(jù)快速化的重要體現(xiàn)。3價(jià)值性大數(shù)據(jù)技術(shù)可以從大量不相關(guān)的各種類型的數(shù)據(jù)中，挖掘出有價(jià)值的數(shù)據(jù)，并通過(guò)深度分析，將數(shù)據(jù)運(yùn)用于各個(gè)領(lǐng)域，以期創(chuàng)造更大的價(jià)值。4真實(shí)性大數(shù)據(jù)的質(zhì)量具有真實(shí)性，因?yàn)樵摂?shù)據(jù)是基于真實(shí)的交易與行為產(chǎn)生的。5大數(shù)據(jù)技術(shù)具有五大特點(diǎn)（5V）目錄一、大數(shù)據(jù)技術(shù)概述二、大數(shù)據(jù)技術(shù)的國(guó)內(nèi)外發(fā)展現(xiàn)狀三、典型大數(shù)據(jù)技術(shù)四、大數(shù)據(jù)技術(shù)在智能建造的應(yīng)用四、大數(shù)據(jù)在智能建造的應(yīng)用——智能建造中大數(shù)據(jù)的應(yīng)用價(jià)值大數(shù)據(jù)技術(shù)可以為智能建筑的構(gòu)建和運(yùn)行提供有效參考和指導(dǎo)，促使其能夠在多個(gè)方面符合智能建筑運(yùn)行要求，具備智慧化特點(diǎn)。為建筑內(nèi)部系統(tǒng)，如安防系統(tǒng)、家居系統(tǒng)、能源管理系統(tǒng)等，提供較為豐富全面的數(shù)據(jù)信息資料支持，實(shí)現(xiàn)系統(tǒng)的協(xié)調(diào)與配合借助于海量數(shù)據(jù)信息分析結(jié)果，促使各個(gè)系統(tǒng)和設(shè)備的運(yùn)用符合人的預(yù)期，可以為智能建筑使用者做出更大貢獻(xiàn)，服務(wù)性能更強(qiáng)通過(guò)收集和分析應(yīng)用數(shù)據(jù)，更好優(yōu)化建筑各個(gè)智能系統(tǒng)的運(yùn)行參數(shù)，便于促使其更為符合節(jié)能環(huán)保訴求，降低整個(gè)建筑的能耗損失協(xié)調(diào)各個(gè)系統(tǒng)人性化特點(diǎn)優(yōu)化系統(tǒng)運(yùn)行參數(shù)01020304大數(shù)據(jù)技術(shù)在智能建造中的應(yīng)用價(jià)值預(yù)測(cè)事故對(duì)建筑中的數(shù)據(jù)進(jìn)行分析，可實(shí)現(xiàn)事故預(yù)測(cè)、預(yù)警，案件分析、規(guī)劃和引導(dǎo)等智能應(yīng)用，還能將這些大數(shù)據(jù)信息與移動(dòng)智能端相連，同步享有各種信息。四、大數(shù)據(jù)在智能建造的應(yīng)用——大數(shù)據(jù)在智能建造選址中的應(yīng)用建筑選址對(duì)于建筑自身價(jià)值至關(guān)重要，建筑要與周圍環(huán)境和人相適應(yīng)和諧，充分考慮到各因素之間的相互關(guān)系和影響，確保在技術(shù)實(shí)施上具有可行性。

結(jié)合氣候特點(diǎn)制定合理的產(chǎn)業(yè)定位建筑的合理分布大型基礎(chǔ)場(chǎng)館公共建筑選址統(tǒng)計(jì)當(dāng)?shù)氐臍夂颦h(huán)境特點(diǎn)，優(yōu)化設(shè)計(jì)方案，減少室內(nèi)設(shè)備使用率，優(yōu)化建筑布局，提高建筑對(duì)風(fēng)能、太陽(yáng)能等自然能源的利用率綜合分析所選地區(qū)的數(shù)據(jù)信息，并與同類型的城市將進(jìn)行有效比較，從而制定合理的產(chǎn)業(yè)定位，挖掘出海量數(shù)據(jù)之中的潛在價(jià)值信息，有針對(duì)性制定營(yíng)銷策略。通過(guò)大數(shù)據(jù)技術(shù)對(duì)范圍內(nèi)居民的消費(fèi)傾向、活動(dòng)意愿、行為目的等方面數(shù)據(jù)進(jìn)行整合、分析，從而為建筑的合理分布提供直觀的規(guī)劃。通過(guò)大數(shù)據(jù)技術(shù)的應(yīng)用，預(yù)測(cè)片區(qū)的人口規(guī)模、人流變化、人群結(jié)構(gòu)、房屋供給量和需求量，基于這些數(shù)據(jù)進(jìn)行公共場(chǎng)館資源配置和商業(yè)建筑開(kāi)發(fā)等收集并分析片區(qū)社會(huì)環(huán)境和人文環(huán)境的數(shù)據(jù)，掌握該區(qū)域的政治文化、教育、城市配套等資源配比情況