《物聯(lián)網(wǎng)應(yīng)用基礎(chǔ)》課件 第五章-智慧城市系統(tǒng)中的關(guān)鍵技術(shù)

第五章智慧城市系統(tǒng)中的關(guān)鍵技術(shù)《物聯(lián)網(wǎng)應(yīng)用基礎(chǔ)》1背景概述2云計(jì)算本章要點(diǎn)34人工智能大數(shù)據(jù)5.1背景概述智慧城市是以具有科學(xué)城市治理理念的智慧型服務(wù)政府為主導(dǎo)，建構(gòu)在信息泛在基礎(chǔ)之上的新型城市發(fā)展模式。智慧城市基于泛在化的信息網(wǎng)絡(luò)、智能的感知技術(shù)和信息安全基礎(chǔ)設(shè)施，透明、充分地獲取城市管理、行業(yè)、公眾用戶海量數(shù)據(jù)，為公眾提供共享信息，打造智能生活、智能產(chǎn)業(yè)、智能管理的城市信息化應(yīng)用。（1）國(guó)內(nèi)智慧城市發(fā)展情況目前國(guó)內(nèi)智慧城市建設(shè)主要分以下幾類：①以發(fā)展智慧產(chǎn)業(yè)為核心②創(chuàng)新推進(jìn)智慧城市建設(shè)③以發(fā)展智慧管理和智慧服務(wù)為重點(diǎn)④以發(fā)展智慧技術(shù)和智慧基礎(chǔ)設(shè)施為路徑⑤以發(fā)展智慧人文和智慧生活為目標(biāo)（2）國(guó)外智慧城市發(fā)展情況美國(guó)：“智慧地球”概念；日本：U-Japan；新加坡：“智慧國(guó)2015計(jì)劃”。5.1背景概述（3）智慧城市總體架構(gòu)

“三個(gè)基礎(chǔ)、兩大體系、一大平臺(tái)、多項(xiàng)應(yīng)用”5.1背景概述智慧城市總體架構(gòu)1）城市基礎(chǔ)設(shè)施：深度三網(wǎng)融合，建成多層次、立體化、高帶寬、全覆蓋的無(wú)線基礎(chǔ)網(wǎng)絡(luò)。

2）城市公共資源數(shù)據(jù)中心：處理公共計(jì)算網(wǎng)絡(luò)中的信息，形成規(guī)范化的、可以直接提供使用的幾大類公共數(shù)據(jù)庫(kù)：

①基礎(chǔ)數(shù)據(jù)庫(kù)②業(yè)務(wù)數(shù)據(jù)庫(kù)③服務(wù)數(shù)據(jù)庫(kù)3）城市公共信息平臺(tái)：城市公共資源數(shù)據(jù)中心的數(shù)據(jù)主要包括在城市公共計(jì)算網(wǎng)絡(luò)的原始數(shù)據(jù)和經(jīng)過公共資源數(shù)據(jù)中心處理后的公共數(shù)據(jù)庫(kù)。5.1背景概述（1）政務(wù)城域網(wǎng)絡(luò)針對(duì)各部門單位原有電于政務(wù)網(wǎng)絡(luò)繁雜無(wú)序、各自為政、重復(fù)投資建設(shè)等問題，對(duì)政務(wù)專網(wǎng)進(jìn)行整合，建立起黨政機(jī)關(guān)、事業(yè)單位的政務(wù)城域網(wǎng)。整個(gè)網(wǎng)絡(luò)系統(tǒng)主要包括：中心核心網(wǎng)絡(luò)、專網(wǎng)接入網(wǎng)絡(luò)、互聯(lián)網(wǎng)接入網(wǎng)絡(luò)及服務(wù)器存儲(chǔ)網(wǎng)絡(luò)。5.1.1智慧城市的基礎(chǔ)網(wǎng)絡(luò)建設(shè)（2）行業(yè)應(yīng)用專網(wǎng)行業(yè)應(yīng)用專網(wǎng)向下接入所有行業(yè)內(nèi)部網(wǎng)點(diǎn)，其核心節(jié)點(diǎn)通過內(nèi)外網(wǎng)安全隔離設(shè)備，采用雙鏈路連接到中心節(jié)點(diǎn)的雙路由交換設(shè)備。（3）無(wú)線網(wǎng)絡(luò)建設(shè)

分區(qū)域、按步驟部署無(wú)線寬帶接入網(wǎng)絡(luò)，加快實(shí)施4G無(wú)線寬帶網(wǎng)絡(luò)的廣度和深度覆蓋。（4）寬帶網(wǎng)絡(luò)建設(shè)

在寬帶網(wǎng)絡(luò)全覆蓋的基礎(chǔ)上，積極推進(jìn)下一代互聯(lián)網(wǎng)，建設(shè)基于IP6的下一代高速寬帶網(wǎng)絡(luò)及城域高速互聯(lián)。5.1.1智慧城市的基礎(chǔ)網(wǎng)絡(luò)建設(shè)（1）智慧城市的數(shù)據(jù)庫(kù)公共基礎(chǔ)數(shù)據(jù)庫(kù)是智慧城市公共基礎(chǔ)數(shù)據(jù)中心，主要包括城市公共基礎(chǔ)數(shù)據(jù)庫(kù)群、城市公共應(yīng)用數(shù)據(jù)庫(kù)群以及城市專項(xiàng)服務(wù)數(shù)據(jù)庫(kù)群。（2）智慧城市的公共信息平臺(tái)公共信息平臺(tái)的目標(biāo)是實(shí)現(xiàn)全市性的共性問題的統(tǒng)一處理，解決某個(gè)應(yīng)用單位或機(jī)構(gòu)難以獨(dú)立完成的城市管理或公共服務(wù)問題，為政府、企業(yè)和公眾的各類應(yīng)用及其協(xié)同提供平臺(tái)支撐。5.1.2智慧城市的數(shù)據(jù)庫(kù)及平臺(tái)智慧城市的公共信息平臺(tái)

公共信息平臺(tái)是智慧城市系統(tǒng)的基礎(chǔ)設(shè)施，其作用體現(xiàn)為如下三點(diǎn)：1）公共信息平臺(tái)具備支撐多級(jí)平臺(tái)應(yīng)用能力。2）公共信息平臺(tái)通過接口與服務(wù)系統(tǒng)實(shí)現(xiàn)城市公共數(shù)據(jù)的服務(wù)共享。3）通過數(shù)據(jù)交換服務(wù)系統(tǒng)和數(shù)據(jù)整合服務(wù)系統(tǒng)實(shí)現(xiàn)城市公共數(shù)據(jù)的采集、對(duì)比、清洗、加工和整合等。5.1.2智慧城市的數(shù)據(jù)庫(kù)及平臺(tái)應(yīng)用單位接入規(guī)范提出了應(yīng)用單位接入公共信息平臺(tái)所需的環(huán)境要求、技術(shù)要求、管理要求等規(guī)范要求。1）支撐數(shù)據(jù)

2）數(shù)據(jù)交換服務(wù)3）數(shù)據(jù)整合服務(wù)

4）時(shí)空信息承載服務(wù)5）目錄管理與服務(wù)

6）接口與服務(wù)7）平臺(tái)門戶5.1.2智慧城市的數(shù)據(jù)庫(kù)及平臺(tái)（3）智慧城市的應(yīng)用平臺(tái)1）空間信息服務(wù)平臺(tái)：

指在城市信息化進(jìn)程中，用以滿足各個(gè)行業(yè)進(jìn)行與地理空間相關(guān)信息的采集、應(yīng)用、交互、共享，并能提供標(biāo)準(zhǔn)框架數(shù)據(jù)及運(yùn)行環(huán)境的集合，是城市各行業(yè)、各單位和部門進(jìn)行數(shù)據(jù)共享和數(shù)據(jù)交換的公共平臺(tái)。5.1.2智慧城市的數(shù)據(jù)庫(kù)及平臺(tái)空間信息服務(wù)平臺(tái)

城市空間信息服務(wù)平臺(tái)用于存儲(chǔ)公用的空間數(shù)據(jù)，并通過城域網(wǎng)與各部門進(jìn)行連接，為它們的業(yè)務(wù)應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)，形成一種分布式的空間數(shù)據(jù)共享應(yīng)用環(huán)境。5.1.2智慧城市的數(shù)據(jù)庫(kù)及平臺(tái)2）位置服務(wù)信息平臺(tái)：

智慧位置服務(wù)信息平臺(tái)建設(shè)包括底層關(guān)鍵技術(shù)集成、智慧位置服務(wù)引擎平臺(tái)及系統(tǒng)搭建以及上層LBS（定位服務(wù)）應(yīng)用系統(tǒng)的開發(fā)。移動(dòng)終端應(yīng)用系統(tǒng)建設(shè)與研發(fā)可以包括如下方面：①商品互動(dòng)點(diǎn)評(píng)與推薦②特殊人監(jiān)護(hù)應(yīng)用系統(tǒng)5.1.2智慧城市的數(shù)據(jù)庫(kù)及平臺(tái)3）城市數(shù)據(jù)共享與交換平臺(tái)

采用“云計(jì)算”理念和技術(shù)，打造信息化建設(shè)的私有云計(jì)算平臺(tái)，實(shí)現(xiàn)跨行業(yè)的數(shù)據(jù)集中、共享和交換；建立智慧城市資源池，并且為管理中心和市政、城管、社管、交通、照明等單位提供主要為IaaS和PaaS等的服務(wù)。

4）城市運(yùn)行綜合體征評(píng)價(jià)平臺(tái)

5）領(lǐng)導(dǎo)監(jiān)督和輔助決策平臺(tái)5.1.2智慧城市的數(shù)據(jù)庫(kù)及平臺(tái)

智慧城市的產(chǎn)業(yè)鏈上包括政府、運(yùn)營(yíng)商、設(shè)備供應(yīng)商、軟件應(yīng)用提供商四個(gè)角色，具體分工如下：（1）政府主導(dǎo)（2）設(shè)備供應(yīng)商介入（3）運(yùn)營(yíng)商機(jī)遇與挑戰(zhàn)共存（4）軟件應(yīng)用提供商積極參與社會(huì)各方合力提供應(yīng)用能力，促進(jìn)產(chǎn)業(yè)成熟、健康、可持續(xù)發(fā)展。5.1.3智慧城市的運(yùn)營(yíng)模式分析（1）重要地點(diǎn)邊界監(jiān)控系統(tǒng)及城市視頻監(jiān)控系統(tǒng)

該系統(tǒng)采用復(fù)合傳感器、智能視頻相結(jié)合的方式，通過傳送網(wǎng)絡(luò)，對(duì)政府、軍事單位等重要地點(diǎn)周邊邊界和區(qū)域內(nèi)重要場(chǎng)所進(jìn)行全天候、全方位的監(jiān)控。（2）危險(xiǎn)源監(jiān)控系統(tǒng)

該系統(tǒng)通過建立危險(xiǎn)源數(shù)據(jù)采集及監(jiān)控系統(tǒng)，來(lái)實(shí)現(xiàn)報(bào)警、監(jiān)控、管理和執(zhí)法監(jiān)管水平的提高（3）交通管理及公交、環(huán)衛(wèi)、救護(hù)、城管等特種車輛定位系統(tǒng)

可以智能化解決交通擁堵和停車問題，盡量減少噪聲和空氣污染。5.1.4智慧城市的運(yùn)營(yíng)模式分析5.2.1概述

云計(jì)算（CloudComputing），它是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過這種方式，共享的軟硬件資源和信息可以按需提供給計(jì)算機(jī)和其他設(shè)備。

5.2云計(jì)算典型的云計(jì)算提供商往往提供通用的網(wǎng)絡(luò)業(yè)務(wù)應(yīng)用，可以通過瀏覽器等軟件或者其他Web服務(wù)來(lái)訪問，而軟件和數(shù)據(jù)都存儲(chǔ)在服務(wù)器上。狹義云計(jì)算是指IT基礎(chǔ)設(shè)施的交付和使用模式。廣義云計(jì)算是指服務(wù)的交付和使用模式。5.2.1概述

（1）云計(jì)算的發(fā)展背景云計(jì)算是繼20世紀(jì)80年代大型計(jì)算機(jī)到客戶端-服務(wù)器大轉(zhuǎn)變之后的又一種巨變。

（2）云計(jì)算的演化云計(jì)算主要經(jīng)歷了四個(gè)階段才發(fā)展到現(xiàn)在這樣比較成熟的水平，這四個(gè)階段依次是電廠模式、效用計(jì)算、網(wǎng)格計(jì)算和云計(jì)算。5.2.2云計(jì)算的發(fā)展背景和演化云計(jì)算可以認(rèn)為包括以下幾個(gè)層次的服務(wù)：基礎(chǔ)設(shè)施即服務(wù)（IaaS，即設(shè)施云）、平臺(tái)即服務(wù)（PaaS，即平臺(tái)云）和軟件即服務(wù)（SaaS，即應(yīng)用云）。除了上述三種常用服務(wù)形態(tài)之外，還有一種ACaaS（AccessControl-as-a-Service），門禁即服務(wù)。5.2.3云計(jì)算常用服務(wù)形態(tài)解析（1）IaaS

IaaS（Infrastructure-as-aService）即基礎(chǔ)設(shè)施即服務(wù)，消費(fèi)者通過Internet可以從完善的計(jì)算機(jī)基礎(chǔ)設(shè)施獲得服務(wù)。5.2.3云計(jì)算常用服務(wù)形態(tài)解析（2）PaaS

PaaS（Platform-as-a-Service）即平臺(tái)即服務(wù)。平臺(tái)通常包括操作系統(tǒng)、編程語(yǔ)言的運(yùn)行環(huán)境、數(shù)據(jù)庫(kù)和Web服務(wù)器。5.2.3云計(jì)算常用服務(wù)形態(tài)解析（3）SaaS

SaaS（Software-as-a-Service）即軟件即服務(wù)。它是一種通過Internet提供軟件的模式，用戶無(wú)需購(gòu)買軟件，而是向提供商租用基于Web的軟件，來(lái)管理企業(yè)經(jīng)營(yíng)活動(dòng)。5.2.3云計(jì)算常用服務(wù)形態(tài)解析（1）MapReduce產(chǎn)生的背景：

MapReduce采用了“分而治之”的思想，具體來(lái)說，其處理過程可以高度概括為兩個(gè)函數(shù)：Map（）和Reduce（）。Map函數(shù)的任務(wù)是進(jìn)行初始任務(wù)的分解，使之成為多個(gè)子任務(wù)，而Reduce函數(shù)主要負(fù)責(zé)的是把這些子任務(wù)分解處理后的結(jié)果給匯總起來(lái)。5.2.4計(jì)算的MapReduce編程模型（2）Google的MapReduce框架：在Google框架的實(shí)現(xiàn)機(jī)制中，有兩個(gè)工作節(jié)點(diǎn)比較特殊：一個(gè)是工作機(jī)（Worker），用于運(yùn)行Map（）或Reduce（）任務(wù)，另一個(gè)是主控程序（Master），用于將Map（）和Re-duce（）分配到的合適的工作機(jī)上。5.2.4計(jì)算的MapReduce編程模型（3）Hadoop上MapReduce的工作機(jī)制：

相比較于Google的MapReduce框架，Hadoop項(xiàng)目編寫了大量的代碼以實(shí)現(xiàn)計(jì)算任務(wù)的分發(fā)、調(diào)度、運(yùn)行、容錯(cuò)等機(jī)制。主要包含了以下幾個(gè)獨(dú)立的大類組件：①Client

②JobTracker

③MapTaskTracker

④ReduceTaskTracker⑤分布式文件存儲(chǔ)系統(tǒng)

⑥Job（作業(yè)）

⑦Task（任務(wù)）5.2.4計(jì)算的MapReduce編程模型（4）MapReduce作業(yè)運(yùn)行流程：1）作業(yè)提交2）作業(yè)初始化3）任務(wù)分配4）Map任務(wù)執(zhí)行5）Reduce任務(wù)執(zhí)行6）作業(yè)完成5.2.4計(jì)算的MapReduce編程模型（5）進(jìn)程和狀態(tài)的更新：

因?yàn)镸apReduce框架要處理的數(shù)據(jù)是面向集群的批處理作業(yè)，所以所有的描述實(shí)時(shí)狀態(tài)的信息在作業(yè)期間是不斷變化的。最后，JobClient每秒查淘JobTracker從而來(lái)接收最新的狀態(tài)。而客戶端也可以通過JobClient中GetJob（）方法來(lái)得到一個(gè)RunningJob的實(shí)例，其中也包含了作業(yè)的全部狀態(tài)信息。5.2.4計(jì)算的MapReduce編程模型（6）Hadoop提供的3種作業(yè)調(diào)度：對(duì)作業(yè)調(diào)度的實(shí)現(xiàn)，Hadoop為了支持用戶擴(kuò)展自己的調(diào)度器而采用了可插拔的設(shè)計(jì)。Hadoop提供了3種默認(rèn)的調(diào)度器，分為先進(jìn)先出（FIFO）調(diào)度器、公平（Fair）調(diào)度器和能力（Capacity）調(diào)度器。

先進(jìn)先出調(diào)度器提供的優(yōu)先級(jí)機(jī)制不支持資源搶占，因?yàn)橹灰呀?jīng)開始執(zhí)行的作業(yè)，不論其優(yōu)先級(jí)高低，都不會(huì)被未執(zhí)行的作業(yè)所打斷。

公平調(diào)度器還具有支持資源搶占、每個(gè)資源池自定義調(diào)度方式等高級(jí)特性。

能力調(diào)度器使用的是多隊(duì)列的方式來(lái)將集群中的計(jì)算資源得以組織。5.2.4計(jì)算的MapReduce編程模型（7）MapReduce容錯(cuò)機(jī)制：因?yàn)镸apReduce在通常情況下都是在大型集群系統(tǒng)中進(jìn)行海量數(shù)據(jù)的處理，所以容錯(cuò)機(jī)制對(duì)其來(lái)說也是必不可少的。1）Master容錯(cuò)：Master節(jié)點(diǎn)控制任務(wù)調(diào)度。Master節(jié)點(diǎn)是用來(lái)保存元數(shù)據(jù)的，它會(huì)周期性地設(shè)置檢查點(diǎn)（CheckPoint），隨之將Master中的數(shù)據(jù)信息導(dǎo)出。2）Worker容錯(cuò)：Worker節(jié)點(diǎn)負(fù)責(zé)計(jì)算任務(wù)的執(zhí)行。若Master發(fā)送的ping命令沒有得到回應(yīng)，就說明該Worker節(jié)點(diǎn)已經(jīng)失效，Master會(huì)將此節(jié)點(diǎn)狀態(tài)設(shè)置為空閑并且把這個(gè)Worker任務(wù)分配給其他的Worker節(jié)點(diǎn)來(lái)再次執(zhí)行。5.2.4計(jì)算的MapReduce編程模型（1）云計(jì)算的主要特征1）資源配置動(dòng)態(tài)化2）需求服務(wù)自助化

3）以網(wǎng)絡(luò)為中心4）服務(wù)可計(jì)量化

5）資源的池化和透明化（2）云計(jì)算的核心特性1）快速、低價(jià)獲得技術(shù)架構(gòu)資源。2）具有應(yīng)用程序界面API，允許軟件與云以類似“人機(jī)交互”的方式來(lái)進(jìn)行信息交換。3）允許用戶通過網(wǎng)頁(yè)瀏覽器來(lái)獲取資源而無(wú)需關(guān)注用戶自身是通過何種設(shè)備或在何地介入資源（如PC、移動(dòng)設(shè)備等）。4）一種稱為多租戶的軟件架構(gòu)技術(shù)允許在多用戶池下共享資源與消耗5）如果多個(gè)冗余站點(diǎn)被使用，則改進(jìn)了可靠性。6）無(wú)需用戶對(duì)峰值負(fù)載進(jìn)行工程構(gòu)造。5.2.5云計(jì)算的主要特征與核心特征云計(jì)算意味著數(shù)據(jù)被轉(zhuǎn)移到用戶主權(quán)掌控范圍外的機(jī)器上，也就是云計(jì)算服務(wù)提供商的手中。具體發(fā)展趨勢(shì)如下：

（1）私有云不會(huì)消失，而會(huì)獲得大發(fā)展。

（2）混合云仍將是大多數(shù)組織的務(wù)實(shí)選擇。

（3）PaaS將贏得開發(fā)者的芳心。

（4）服務(wù)中斷事故將使消費(fèi)者意識(shí)到服務(wù)質(zhì)量的差異。5.2.6云計(jì)算的發(fā)展趨勢(shì)5.3.1概述“大數(shù)據(jù)”（BigData）作為時(shí)下最火熱的IT行業(yè)的詞匯，隨之而來(lái)的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等圍繞大數(shù)據(jù)的商業(yè)價(jià)值的利用逐漸成為行業(yè)人士爭(zhēng)相追捧的利潤(rùn)焦點(diǎn)。各種數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來(lái)發(fā)展，雖然現(xiàn)在企業(yè)可能并沒有意識(shí)到數(shù)據(jù)爆炸性增長(zhǎng)帶來(lái)的隱患，但是隨著時(shí)間的推移，人們將越來(lái)越多地意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性。大數(shù)據(jù)時(shí)代對(duì)人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。5.3大數(shù)據(jù)“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。（1）大數(shù)據(jù)四個(gè)特性：

海量性、多樣性、高速性、易變性（2）大數(shù)據(jù)三個(gè)特征：①數(shù)據(jù)類型繁多②數(shù)據(jù)價(jià)值密度相對(duì)較低③處理速度快，時(shí)效性要求高5.3.2大數(shù)據(jù)的定義物聯(lián)網(wǎng)的發(fā)展離不開大數(shù)據(jù)，依靠大數(shù)據(jù)可以提供足夠豐富的資源。大數(shù)據(jù)除了經(jīng)濟(jì)方面的影響，同時(shí)也能在政治、文化等方面產(chǎn)生深遠(yuǎn)的影響，大數(shù)據(jù)可以幫助人們開啟循“數(shù)”管理的模式，也是我們當(dāng)下“大社會(huì)”的集中體現(xiàn)，三分技術(shù)，七分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。在個(gè)人隱私的方面，大量數(shù)據(jù)經(jīng)常含有一些詳細(xì)的潛在的能夠展示有關(guān)我們的信息，逐漸引起了我們對(duì)個(gè)人隱私的擔(dān)憂。5.3.3大數(shù)據(jù)對(duì)生活、工作的影響（1）數(shù)據(jù)倉(cāng)庫(kù)概念：

數(shù)據(jù)倉(cāng)庫(kù)就是面向主題的、集成的、不可更新的（穩(wěn)定的）、隨時(shí)間不斷變化的數(shù)據(jù)集合。（2）數(shù)據(jù)倉(cāng)庫(kù)的特征：

1）面向主題

2）集成性3）相對(duì)穩(wěn)定4）反映歷史變化（3）數(shù)據(jù)倉(cāng)庫(kù)的分析技術(shù)：

1）OLAP（聯(lián)機(jī)分析處理）的概念：

OLAP是數(shù)據(jù)處理的一種技術(shù)概念。基本目的是使企業(yè)的決策者能靈活地掌握企業(yè)的數(shù)據(jù)，以多維的形式從多面角度來(lái)觀察企業(yè)的狀態(tài)了解企業(yè)的變化。5.3.4數(shù)據(jù)挖掘技術(shù)2）聯(lián)機(jī)分析處理與數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系：

隨著數(shù)據(jù)倉(cāng)庫(kù)理論的發(fā)展，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)已逐步成為新型的決策管理信息系統(tǒng)的解決方案。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心是聯(lián)機(jī)分析處理，但數(shù)據(jù)倉(cāng)庫(kù)包括更為廣泛的內(nèi)容。①數(shù)據(jù)層。②應(yīng)用層。③表現(xiàn)層。

應(yīng)用：

聯(lián)機(jī)分析處理、

傳統(tǒng)的報(bào)表、數(shù)理統(tǒng)計(jì)、

人工智能5.3.4數(shù)據(jù)挖掘技術(shù)（4）數(shù)據(jù)挖掘的處理過程：數(shù)據(jù)挖掘，又稱數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)，是指從大型數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中提取隱含的、未知的、非平凡的及有潛在應(yīng)用價(jià)值的信息或模式。數(shù)據(jù)挖掘技術(shù)主要包括以下幾步：

準(zhǔn)備、數(shù)據(jù)選擇、數(shù)據(jù)預(yù)處理、數(shù)據(jù)縮減、確定數(shù)據(jù)挖掘的目標(biāo)、確定知識(shí)發(fā)現(xiàn)算法、數(shù)據(jù)挖掘、模式解釋、知識(shí)評(píng)價(jià)。5.3.4數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)主要有四種開采任務(wù)：①

數(shù)據(jù)總結(jié)是對(duì)數(shù)據(jù)進(jìn)行濃縮，給出它的緊湊描述。②

分類是運(yùn)用分類器把數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到給定類別中的某一個(gè)，用于對(duì)未來(lái)數(shù)據(jù)進(jìn)行預(yù)測(cè)。③

聚類是把一組個(gè)體按照相似性歸成若干類別，使得屬于同一類別的個(gè)體之間的距離盡可能小，而不同類別的個(gè)體的距離盡可能大。④

關(guān)聯(lián)規(guī)則是指事物之間的聯(lián)系具有多大的支持度和可信度。5.3.4數(shù)據(jù)挖掘技術(shù)雖然大數(shù)據(jù)目前在國(guó)內(nèi)還處于初級(jí)階段，但是商業(yè)價(jià)值已經(jīng)顯現(xiàn)出來(lái)。未來(lái)，數(shù)據(jù)可能成為最大的交易商品。大數(shù)據(jù)的發(fā)展趨勢(shì)主要體現(xiàn)在幾個(gè)方面：大數(shù)據(jù)與學(xué)術(shù)，大數(shù)據(jù)與人類的活動(dòng)，大數(shù)據(jù)的安全隱私、關(guān)鍵應(yīng)用、系統(tǒng)處理和整個(gè)產(chǎn)業(yè)的影響。數(shù)據(jù)資源化，大數(shù)據(jù)在國(guó)家、企業(yè)和社會(huì)層面成為重要的戰(zhàn)略資源，成為新的戰(zhàn)略制高點(diǎn)和搶購(gòu)的新焦點(diǎn)。5.3.5大數(shù)據(jù)的發(fā)展方向5.4.1人工智能的誕生（1）控制論與早期神經(jīng)網(wǎng)絡(luò)：20世紀(jì)30年代末到50年代初，一系列科學(xué)進(jìn)展交匯引發(fā)最初的人工智能研究。神經(jīng)學(xué)研究發(fā)現(xiàn)大腦是由神經(jīng)元組成的電子網(wǎng)絡(luò)。1953年IBM推出IBM702，成為第一代AI研究者使用的電腦。1956年，人工智能才被確立為一門學(xué)科。5.4人工智能（2）游戲AI：游戲AI一直被認(rèn)為是評(píng)價(jià)AI發(fā)展水平的一種標(biāo)準(zhǔn)。（3）圖靈測(cè)試：1950年，圖靈發(fā)表了一篇?jiǎng)潟r(shí)代的論文，文中預(yù)言了創(chuàng)造具有真正智能機(jī)器的可能性。他提出了著名的圖靈測(cè)試：如果一臺(tái)機(jī)器能夠與人類展開對(duì)話（通過電傳設(shè)備）而不被辨別出其機(jī)器身份，那么稱這臺(tái)機(jī)器具有智能。圖靈測(cè)試是人工智能在哲學(xué)方面第一個(gè)嚴(yán)肅的提案。5.4.1人工智能的誕生（4）符號(hào)推理與“邏輯理論家”程序：20世紀(jì)50年代中期，一些科學(xué)家直覺地感到符號(hào)操作可能是人類思維的本質(zhì)。1955年，紐厄爾和西蒙開發(fā)了“邏輯理論家”這個(gè)程序能夠證明《數(shù)學(xué)原理》中前2個(gè)定理中的38個(gè)。（5）1956年達(dá)特茅斯會(huì)議：AI的誕生：會(huì)議提出的斷言之一是“學(xué)習(xí)或者智能的任何其他特性的每一個(gè)方面都應(yīng)能被精確地加以描述，使得機(jī)器可以對(duì)其進(jìn)行模擬”。人工智能是研究開發(fā)能夠模擬、延伸和擴(kuò)展人類智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。5.4.1人工智能的誕生年達(dá)特茅斯會(huì)議：AI的誕生

人工智能研究目的是促使智能機(jī)器會(huì)聽（語(yǔ)音識(shí)別、識(shí)別人說話、機(jī)器翻譯）、會(huì)看（圖像識(shí)別、文字識(shí)別、車牌識(shí)別）、會(huì)說（語(yǔ)音合成、人機(jī)對(duì)話）、會(huì)思考（人機(jī)對(duì)弈、定理證明、醫(yī)療診斷）、會(huì)學(xué)習(xí)（機(jī)器學(xué)習(xí)、知識(shí)表示）、會(huì)行動(dòng)（機(jī)器人、自動(dòng)駕駛汽車、無(wú)人機(jī)）。5.4.1人工智能的誕生（1）人工智能的發(fā)展階段人工智能發(fā)展并不是一帆風(fēng)順的，我們將人工智能的發(fā)展歷程劃分為六個(gè)階段：起步發(fā)展期、反思發(fā)展期、應(yīng)用發(fā)展期、低迷發(fā)展期、穩(wěn)步發(fā)展期和蓬勃發(fā)展期。5.4.1人工智能的發(fā)展1）起步發(fā)展期（1956年至20世紀(jì)60年代初）人工智能概念提出后，相繼取得了一批令人矚目的研究成果，如機(jī)器定理證明、跳棋程序等，掀起了人工智能發(fā)展的第一個(gè)高潮。2）反思發(fā)展期（20世紀(jì)60年代至70年代初）人工智能發(fā)展初期的突破性進(jìn)展大大提高了人們對(duì)人工智能的期望，人們開始嘗試更具挑戰(zhàn)性的任務(wù)，并提出了一些不切實(shí)際的研發(fā)目標(biāo)。5.4.1人工智能的發(fā)展3）應(yīng)用發(fā)展期（20世紀(jì)70年代初至80年代中）20世紀(jì)70年代出現(xiàn)的專家系統(tǒng)，通過模擬人類專家的知識(shí)和經(jīng)驗(yàn)來(lái)解決特定領(lǐng)域的問題，實(shí)現(xiàn)了人工智能從理論研究走向?qū)嶋H應(yīng)用，從一般推理策略探討轉(zhuǎn)向運(yùn)用專門知識(shí)的重大突破。4）低迷發(fā)展期（20世紀(jì)80年代中至90年代中）隨著人工智能的應(yīng)用規(guī)模不斷擴(kuò)大，專家系統(tǒng)存在的應(yīng)用領(lǐng)域狹窄、缺乏常識(shí)性知識(shí)、知識(shí)獲取困難、推理方法單一、缺乏分布式功能難以與現(xiàn)有數(shù)據(jù)庫(kù)兼容等問題逐漸暴露出來(lái)。5.4.1人工智能的發(fā)展5）穩(wěn)步發(fā)展期（20世紀(jì)90年代中至2010年）由于網(wǎng)絡(luò)技術(shù)特別是互聯(lián)網(wǎng)技術(shù)的發(fā)展，加速了人工智能的創(chuàng)新研究，促使人工智能技術(shù)進(jìn)一步走向?qū)嵱没?）蓬勃發(fā)展期（2011年至今）隨著大數(shù)據(jù)、云計(jì)算、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展，泛在感知數(shù)據(jù)和圖形處理器等計(jì)算平臺(tái)推動(dòng)以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)飛速發(fā)展，大幅跨越了科學(xué)與應(yīng)用之間的“技術(shù)鴻溝”。5.4.2人工智能的發(fā)展（2）人工智能史上的關(guān)鍵事件：

人工智能經(jīng)過60年的曲折發(fā)展，這一期間經(jīng)歷了一些關(guān)鍵事件：

1946年，全球第一ENIAC臺(tái)通用計(jì)算機(jī)誕生。

1950年，艾倫·圖靈提出“圖靈測(cè)試”。

1956年，“人工智能”概念首次被提出。

1959年，首臺(tái)工業(yè)機(jī)器人誕生。

1964年，首臺(tái)聊天機(jī)器人誕生。

1965年，專家系統(tǒng)首次亮相。

1968年，首臺(tái)人工智能機(jī)器人誕生。

1970年，能夠分析語(yǔ)義、理解語(yǔ)言的系統(tǒng)誕生。

1976年，專家系統(tǒng)廣泛使用。5.4.2人工智能的發(fā)展1981年，第五代計(jì)算機(jī)項(xiàng)目研發(fā)。

1984年，大百科全書（Cyc）項(xiàng)目。

1997年，“深藍(lán)”戰(zhàn)勝國(guó)際象棋世界冠軍。

2011年，Watson參加智力問答節(jié)目。

2016-2017年，AlphaGo戰(zhàn)勝圍棋冠軍。

2017年，深度學(xué)習(xí)大熱。5.4.2人工智能的發(fā)展（3）人工智能的關(guān)鍵技術(shù)：人工智能產(chǎn)業(yè)鏈的關(guān)鍵技術(shù)，主要分為三個(gè)核心層：基礎(chǔ)層、技術(shù)層和應(yīng)用層。5.4.2人工智能的發(fā)展

人工智能的關(guān)鍵技術(shù)：

基礎(chǔ)層：大數(shù)據(jù)管理和云計(jì)算技術(shù)得到廣泛的運(yùn)用，為人工智能技術(shù)的實(shí)現(xiàn)和人工智能應(yīng)用的落地提供了基礎(chǔ)的后臺(tái)保障，是一切人工智能應(yīng)用得以實(shí)現(xiàn)的大前提。

技術(shù)層：聚焦于人機(jī)交互、計(jì)算機(jī)視覺、深度學(xué)習(xí)等領(lǐng)域。

應(yīng)用層：聚焦于智能語(yǔ)音、智能醫(yī)療、機(jī)器人、智能家居、汽車電子等領(lǐng)域，當(dāng)前正處于由專業(yè)應(yīng)用向通用應(yīng)用過渡的發(fā)展階段。5.4.2人工智能的發(fā)展

人工智能的關(guān)鍵技術(shù)：人工智能技術(shù)包含了機(jī)器學(xué)習(xí)、知識(shí)圖譜、自然語(yǔ)言處理、人機(jī)交互、計(jì)算機(jī)視覺、生物特征識(shí)別、AR/VR七個(gè)關(guān)鍵技術(shù)。1）機(jī)器學(xué)習(xí)：機(jī)器學(xué)習(xí)是一門涉及統(tǒng)計(jì)學(xué)、系統(tǒng)辨識(shí)、逼近理論、神經(jīng)網(wǎng)絡(luò)、優(yōu)化理論、計(jì)算機(jī)科學(xué)、腦科學(xué)等諸多領(lǐng)域的交叉學(xué)科，研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能基于數(shù)據(jù)的機(jī)器學(xué)習(xí)是現(xiàn)代智能技術(shù)的重要方法之一。5.4.2人工智能的發(fā)展2）知識(shí)圖譜：知識(shí)圖譜達(dá)到的主要目標(biāo)是描述真實(shí)世界中間存在的各種實(shí)體和概念以及它們之間的關(guān)聯(lián)關(guān)系，如國(guó)家間的知識(shí)圖譜。5.4.2人工智能的發(fā)展

3）自然語(yǔ)言處理：自然語(yǔ)言處理就是開發(fā)能夠理解人類語(yǔ)言的應(yīng)用程序或服務(wù)，實(shí)現(xiàn)人機(jī)間的信息交流。自然語(yǔ)言處理機(jī)制涉及兩個(gè)流程，分別為自然語(yǔ)言理解和自然語(yǔ)言生成。

自然語(yǔ)言理解：計(jì)算機(jī)能夠理解自然語(yǔ)言文本的意義。自然語(yǔ)言生成：計(jì)算機(jī)能以自然語(yǔ)言文本來(lái)表達(dá)給定的意圖。5.4.2人工智能的發(fā)展

自然語(yǔ)言處理面臨的四大挑戰(zhàn)如下：①在詞法、句法、語(yǔ)義、語(yǔ)用和語(yǔ)音等不同層面存在不確定性；②新的詞匯、術(shù)語(yǔ)、語(yǔ)義和語(yǔ)法導(dǎo)致未知語(yǔ)言現(xiàn)象的不可預(yù)測(cè)性；③數(shù)據(jù)資源的不充分使其難以覆蓋復(fù)雜的語(yǔ)言現(xiàn)象；④語(yǔ)義知識(shí)的模糊性和錯(cuò)綜復(fù)雜的關(guān)聯(lián)性難以用簡(jiǎn)單的數(shù)學(xué)模型描述，語(yǔ)義計(jì)算需要參數(shù)龐大的非線性計(jì)算。5.4.2人工智能的發(fā)展（4）人機(jī)交互：人機(jī)交互是指人與計(jì)算機(jī)之間使用某種對(duì)話語(yǔ)言，以一定的交互方式完成確定任務(wù)的人與計(jì)算機(jī)之間的信息交換過程。人機(jī)交互的一個(gè)重要問題是：要考慮不同的計(jì)算機(jī)用戶具有不同的使用風(fēng)格。但人機(jī)交互應(yīng)用潛力巨大。5.4.2人工智能的發(fā)展（5）計(jì)算機(jī)視覺：計(jì)算機(jī)視覺是指使用計(jì)算機(jī)來(lái)模仿人類視覺系統(tǒng)的科