物聯(lián)網(wǎng)導(dǎo)論-第13章-物聯(lián)網(wǎng)中的智能決策v1135

物聯(lián)網(wǎng)導(dǎo)論-第13章_物聯(lián)網(wǎng)中的智能決策v1135內(nèi)容提要智能決策是物聯(lián)網(wǎng)“智慧”的來源。本章將介紹數(shù)據(jù)挖掘的基本流程，基本類型和典型算法。第12章介紹了搜索引擎的相關(guān)知識搜索引擎的基本組成搜索引擎的體系結(jié)構(gòu)（信息采集，索引技術(shù)，搜索服務(wù)）物聯(lián)網(wǎng)中搜索引擎的挑戰(zhàn)本章介紹數(shù)據(jù)挖掘的基本流程（預(yù)處理，數(shù)據(jù)挖掘，知識評估與表示），重點介紹幾種典型的數(shù)據(jù)挖掘算法，最后討論物聯(lián)網(wǎng)中智能決策的新特點。內(nèi)容回顧13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘的基本類型和算法*13.3智能決策與物聯(lián)網(wǎng)什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘有哪三個步驟？本章內(nèi)容13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘（DataMining）從大量數(shù)據(jù)中獲取潛在有用的并且可以被人們理解的模式的過程是一個反復(fù)迭代的人機交互和處理的過程，歷經(jīng)多個步驟，并且在一些步驟中需要由用戶提供決策數(shù)據(jù)挖掘的過程：數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘和對挖掘結(jié)果的評估與表示每一個階段的輸出結(jié)果成為下一個階段的輸入13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘的過程數(shù)據(jù)預(yù)處理階段數(shù)據(jù)準備：了解領(lǐng)域特點，確定用戶需求數(shù)據(jù)選?。簭脑紨?shù)據(jù)庫中選取相關(guān)數(shù)據(jù)或樣本數(shù)據(jù)預(yù)處理：檢查數(shù)據(jù)的完整性及一致性，消除噪聲等數(shù)據(jù)變換：通過投影或利用其他操作減少數(shù)據(jù)量數(shù)據(jù)挖掘階段確定挖掘目標：確定要發(fā)現(xiàn)的知識類型選擇算法：根據(jù)確定的目標選擇合適的數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘：運用所選算法，提取相關(guān)知識并以一定的方式表示知識評估與表示階段模式評估：對在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式(知識)進行評估知識表示：使用可視化和知識表示相關(guān)技術(shù)，呈現(xiàn)所挖掘的知識13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘的過程13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘的基本類型和算法*13.3智能決策與物聯(lián)網(wǎng)數(shù)據(jù)挖掘的基本類型和算法有那些？本章內(nèi)容13.2數(shù)據(jù)挖掘的基本類型和算法數(shù)據(jù)挖掘的基本類型關(guān)聯(lián)分析(AssociationAnalysis)聚類分析(ClusteringAnalysis)離群點分析(OutlierAnalysis)分類與預(yù)測(ClassificationandPrediction)演化分析(EvolutionAnalysis)描述性挖掘任務(wù)：刻劃數(shù)據(jù)庫中數(shù)據(jù)的一般特性預(yù)測性挖掘任務(wù)：在當前數(shù)據(jù)上進行推斷和預(yù)測關(guān)聯(lián)分析關(guān)聯(lián)分析的目標是從給定的數(shù)據(jù)中發(fā)現(xiàn)頻繁出現(xiàn)的模式，即關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則通常的表述形式是XY，表示“數(shù)據(jù)庫中滿足條件X的記錄(元組)可能也滿足條件Y”以某電器商場銷售記錄為例：含義：4%(支持度)的顧客的年齡在20至29歲且月收入在3000至5000元，且這樣的顧客中，65%(置信度)的人購買了筆記本電腦關(guān)聯(lián)分析挖掘關(guān)聯(lián)規(guī)則，需要置信度和支持度越高越好基本概念項集：滿足若干條件的數(shù)據(jù)項的集合，如果條件數(shù)為k，則稱k-項集滿足年齡(顧客,“20~29”)的項集是1-項集滿足年齡(顧客,“20~29”)收入(顧客,“3000~5000”)的項集是2-項集計算步驟首先找到具備足夠支持度的項集，即頻繁項集然后由頻繁項集構(gòu)成關(guān)聯(lián)規(guī)則，并計算置信度關(guān)聯(lián)分析如何尋找頻繁項集Apriori算法基本思想：利用已求出的k-項集來計算(k+1)-項集首先計算頻繁1-項集然后根據(jù)兩個頻繁k-項集{p1,p2,...,pk}，{q1,q2,...,qk}計算頻繁(k+1)-項集，其中pi=qi，1<=i<=k-1，且該(k+1)-項集為{p1,p2,...,pk,qk}最后判定該(k+1)-項集是否頻繁即可缺點：可能產(chǎn)生大量候選項集，并需要重復(fù)地掃描數(shù)據(jù)庫FP-Growth算法利用樹狀結(jié)構(gòu)保存項集，從而減小了計算頻繁項集所需的存儲空間關(guān)聯(lián)分析如何由頻繁項集構(gòu)造關(guān)聯(lián)規(guī)則，并計算置信度關(guān)聯(lián)規(guī)AB的置信度其中count(AANDB)為滿足條件A以及B的數(shù)據(jù)項數(shù)目，count(A)為滿足條件A的數(shù)據(jù)項數(shù)目計算步驟對于每一個頻繁項集S，計算S的所有非空子集對于每個S的非空子集F，若大于給定置信度閾值，則得到一個關(guān)聯(lián)規(guī)則分類和預(yù)測分類和預(yù)測的目標是找出描述和區(qū)分不同數(shù)據(jù)類或概念的模型或函數(shù)，以便能夠使用模型預(yù)測數(shù)據(jù)類或標記未知的對象所獲得的分類模型可以采用多種形式加以描述輸出分類規(guī)則判定樹數(shù)學(xué)公式神經(jīng)網(wǎng)絡(luò)…分類與預(yù)測的區(qū)別：分類通常指預(yù)測數(shù)據(jù)對象屬于哪一類，而當被預(yù)測的值是數(shù)值數(shù)據(jù)時，通常稱為預(yù)測分類和預(yù)測以判定樹方法為例，簡要介紹分類的基本步驟和結(jié)果表示問題實例：假定商場需要向潛在的客戶郵寄新產(chǎn)品資料和促銷信息?？蛻魯?shù)據(jù)庫描述的客戶屬性包括姓名、年齡、收入、職業(yè)和信用記錄。我們可以按是否會在商場購買計算機將客戶分為兩類，只將促銷材料郵寄給那些會購買計算機的客戶，從而降低成本。

分類和預(yù)測用于預(yù)測客戶是否可能購買計算機的判定樹，其中每個非樹葉節(jié)點表示一個屬性上的測試，每個樹葉節(jié)點代表預(yù)測結(jié)果分類和預(yù)測如何構(gòu)造上述判定樹？基本概念：n個客戶中有a個購買了計算機的期望信息建立樹節(jié)點時，選取合適的判定屬性，以最大化期望信息增益應(yīng)某種屬性上的信息增益大小反映了該屬性區(qū)分給定數(shù)據(jù)的的能力強弱10條客戶記錄，其中6人購買了計算機，4人沒有購買。這10位客戶中有3人的職業(yè)是學(xué)生，其中有2人購買計算機，而非學(xué)生客戶購買計算機的有4人。在選擇區(qū)分屬性以前，數(shù)據(jù)的期望信息為，用職業(yè)區(qū)分之后的期望信息為，則選擇職業(yè)作為區(qū)分屬性的信息增益為聚類分析聚類的目的是將數(shù)據(jù)對象劃分為多個類或簇，在同一個簇中的對象之間具有較高的相似度，而不同簇中的對象差別較大聚類與分類的區(qū)別：要劃分的類是事先未知的聚類分析的應(yīng)用聚類分析聚類分析的方法劃分方法：要求事先給定聚類的數(shù)目k。首先創(chuàng)建一個初始劃分，然后通過對劃分中心點的反復(fù)迭代來改進劃分。典型算法包括k-means算法和k-medoids算法等層次方法：對給定數(shù)據(jù)集合進行逐層遞歸的合并或者分裂，因此可以被分為合并或分裂方法。合并方法首先將每個對象都作為獨立的類，然后持續(xù)合并相近的類，直到達到終止條件為止。分裂方法首先將所有的數(shù)據(jù)對象置于一個類中，然后反復(fù)迭代并判定當前的類是否可以被繼續(xù)分裂，直到達到終止條件為止基于密度的方法：只要某區(qū)域數(shù)據(jù)密度超過閾值，就將該區(qū)域的數(shù)據(jù)進行聚類。其優(yōu)勢在于噪音數(shù)據(jù)下的抗干擾能力，并能夠發(fā)現(xiàn)任意形狀的聚類聚類分析聚類分析的方法（續(xù)）基于網(wǎng)格的方法：把對象空間量化為具有規(guī)則形狀的單元格，從而形成一個網(wǎng)格狀結(jié)構(gòu)。在聚類的時候，將每個單元格當作一條數(shù)據(jù)進行處理。優(yōu)點是處理速度很快，因處理時間與數(shù)據(jù)對象數(shù)目無關(guān)，而只與量化空間中的單元格數(shù)目相關(guān)基于模型的方法：如果事先已知數(shù)據(jù)是根據(jù)潛在的概率分布生成的，基于模型的方法便可為每個聚類構(gòu)建相關(guān)的數(shù)據(jù)模型，然后尋找數(shù)據(jù)對給定模型的最佳匹配。主要分兩類：統(tǒng)計學(xué)方法和神經(jīng)網(wǎng)絡(luò)方法離群點分析離群點(Outlier)：數(shù)據(jù)集合中存在的一些數(shù)據(jù)對象，它們與其余絕大多數(shù)數(shù)據(jù)的特性或模型不一致尋找離群點的意義發(fā)現(xiàn)信用卡詐騙。通過檢測購物地點、商品種類或者購物金額和頻率，能夠發(fā)現(xiàn)與絕大多數(shù)正常消費不一樣的記錄，這種行為就有可能屬于信用卡詐騙性使用預(yù)防網(wǎng)絡(luò)詐騙。在網(wǎng)絡(luò)銷售的時候，詐騙者往往冒充商家，出售報價比正常價格低出許多的商品，這樣的行為也是可以通過離群點分析被找到的離群點分析尋找離群點的方法基于統(tǒng)計的方法：需要事先已知數(shù)據(jù)的分布或概率模型(例如一個正態(tài)分布)，然后根據(jù)數(shù)據(jù)點與該模型的不一致性檢驗來確定離群點基于距離的方法：不需要數(shù)據(jù)模型，而是將那些沒有足夠鄰居的數(shù)據(jù)對象看作是離群點，這里的鄰居是基于距給定對象的距離來定義的?，F(xiàn)有的基于距離的離群點探測算法又分為基于索引的算法，嵌套循環(huán)算法和基于單元的算法，其目的都是為了減小計算和I/O開銷基于偏移的方法：不采用統(tǒng)計檢驗或基于距離的度量值來確定異常對象。相反，它通過檢查數(shù)據(jù)對象的一組主要特征來確定離群點。偏離事先給出的特征描述的數(shù)據(jù)對象被認為是離群點演化分析演化分析的目的是挖掘隨時間變化的數(shù)據(jù)對象的變化規(guī)律和趨勢，并對其建模，進而為相關(guān)決策提供參考演化分析的應(yīng)用對股票的演化分析可以得出整個股票市場和特定的公司的股票變化規(guī)律，為投資者決策提供幫助對生態(tài)和氣候的演化分析可以知道人類活動對自然的影響程度，為環(huán)境保護提供重要依據(jù)…建模方法：除了關(guān)聯(lián)分析和分類分析，還包括與時間相關(guān)的數(shù)據(jù)分析方法，主要包括趨勢分析、相似搜索、序列模式挖掘和與周期分析演化分析與時間相關(guān)的數(shù)據(jù)分析方法趨勢分析：確定趨勢的常見方法是計算數(shù)據(jù)n階的變化平均值，或者采用最小二乘法等方法平滑數(shù)據(jù)變化曲線相似搜索：相似搜索用于找出與給定序列最接近的數(shù)據(jù)序列序列模式挖掘：挖掘相對時間或其它維屬性出現(xiàn)頻率高的模式周期分析：挖掘具有周期的模式或者關(guān)聯(lián)規(guī)則，例如”若每周六公司的下班時間比平時晚半小時以上，則選擇打車回家的人數(shù)大約增加20%”13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘的基本類型和算法*13.3智能決策與物聯(lián)網(wǎng)數(shù)據(jù)挖掘在物聯(lián)網(wǎng)背景下有著廣泛的需求本章內(nèi)容13.3智能決策與物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)在物聯(lián)網(wǎng)中的需求精準農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析…精準農(nóng)業(yè)精準農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析通過植入土壤或暴露在空氣中的傳感器監(jiān)控土壤性狀和環(huán)境狀況。數(shù)據(jù)通過物聯(lián)網(wǎng)傳輸?shù)竭h程控制中心，可及時查清當前農(nóng)作物的生長環(huán)境現(xiàn)狀和變化趨勢，確定農(nóng)作物的生產(chǎn)目標。通過數(shù)據(jù)挖掘的方法，可以知道：環(huán)境溫度濕度和土壤各項參數(shù)等因素是如何影響農(nóng)作物產(chǎn)量的，如何調(diào)節(jié)它們才能夠最大限度地提高農(nóng)作物產(chǎn)量市場行銷精準農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析利用數(shù)據(jù)挖掘技術(shù)通過對用戶數(shù)據(jù)的分析，可以得到關(guān)于顧客購物取向和興趣的信息，從而為商業(yè)決策提供依據(jù)數(shù)據(jù)庫行銷(DatabaseMarketing)通過交互式查詢、數(shù)據(jù)分割和模型預(yù)測等方法來選擇潛在的顧客以便向它們推銷產(chǎn)品預(yù)測采用何種銷售渠道和優(yōu)惠條件，使得用戶最有可能被打動貨籃分析(BasketAnalysis)通過分析市場銷售數(shù)據(jù)(例如POS數(shù)據(jù)庫)來發(fā)現(xiàn)顧客的購買行為模式智能家居精準農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析以獲取天氣信息為例：一方面，智能設(shè)備隨時關(guān)注氣象信息，并針對雨天發(fā)出報警提醒；另一方面，另外一些智能終端會隨時跟蹤主人的行蹤，并通過數(shù)據(jù)挖掘方法由主人的歷史行動特征數(shù)據(jù)預(yù)測他的去向一旦預(yù)測到主人要出門，那么就在合適的時候由相應(yīng)的智能終端提醒他不要忘記帶雨傘。例如，如果主人在門口，就將由安裝在門上的智能設(shè)備向他發(fā)出提醒，如果在車內(nèi)，則由車載計算機發(fā)出提醒金融安全精準農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析由于金融投資的風(fēng)險很大，所以在進行投資決策時，需要通過對各種投資方向的數(shù)據(jù)進行分析，以選擇最佳的投資方向。數(shù)據(jù)挖掘可以通過對已有數(shù)據(jù)的處理，找到數(shù)據(jù)對象之間的關(guān)系，然后利用學(xué)習(xí)得到的模式進行合理的預(yù)測金融欺詐識別主要是通過分析正常行為和詐騙行為的數(shù)據(jù)和模式，得到詐騙行為的一些特性，這樣當某項業(yè)務(wù)記錄符合這樣的特征時，識別系統(tǒng)可以向決策人員提出警告產(chǎn)品制造和質(zhì)量監(jiān)控精準農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析隨著科技進步，制造業(yè)已不是簡單的手工勞動，而是集成了多種先進科技的流水作業(yè)。在產(chǎn)品的生產(chǎn)制造過程中常常伴隨有大量的數(shù)據(jù)，如產(chǎn)品的各種加工條件或控制參數(shù)(如時間、溫度等)。通過各種監(jiān)控儀器收集的這些數(shù)據(jù)反映了每個生產(chǎn)環(huán)節(jié)的狀態(tài)，對生產(chǎn)的順利進行起著這關(guān)重要的作用。通過數(shù)據(jù)挖掘?qū)?shù)據(jù)進行分析，可以得到產(chǎn)品質(zhì)量與這些參數(shù)之間的關(guān)系，從而能獲得針對性很強的建議以改進