Matlab 數(shù)據(jù)分析 課件 康海剛 第1-5章 數(shù)據(jù)的基本概念及其應(yīng)用-數(shù)據(jù)探索與分析

Matlab數(shù)據(jù)分析第1章數(shù)據(jù)的基本概念及其應(yīng)用第2章Matlab基礎(chǔ)第3章隨機(jī)模擬第4章數(shù)據(jù)預(yù)處理第5章數(shù)據(jù)探索與分析第6章多元線(xiàn)性回歸模型第7章聚類(lèi)分析第8章分類(lèi)第1章數(shù)據(jù)的基本概念及其應(yīng)用1.1數(shù)據(jù)與數(shù)據(jù)處理1.1.1數(shù)據(jù)的相關(guān)基本概念1.數(shù)據(jù)2.大數(shù)據(jù)（1）Volume（大量）數(shù)據(jù)存儲(chǔ)單位從過(guò)去的GB、TB，到現(xiàn)在的PB、EB、ZB量級(jí)了。（2）Velocity（高速）生活中每個(gè)人都離不開(kāi)互聯(lián)網(wǎng)，每個(gè)人每天都在向大數(shù)據(jù)中心提供大量的信息，通過(guò)互聯(lián)網(wǎng)傳輸，大數(shù)據(jù)的產(chǎn)生非常迅速。（3）Variety（多樣）廣泛的數(shù)據(jù)來(lái)源決定了大數(shù)據(jù)形式的多樣性，任何形式的數(shù)據(jù)都可以產(chǎn)生作用。（4）Value（價(jià)值）大數(shù)據(jù)最大的價(jià)值在于通過(guò)從大量不相關(guān)的各種類(lèi)型的數(shù)據(jù)中，挖掘出對(duì)未來(lái)趨勢(shì)與模式的預(yù)測(cè)分析有價(jià)值的數(shù)據(jù)。3.信息1.1數(shù)據(jù)與數(shù)據(jù)處理4.信息量1.1.2數(shù)據(jù)處理的主要概念1.算法2.數(shù)據(jù)挖掘3.機(jī)器學(xué)習(xí)1.1數(shù)據(jù)與數(shù)據(jù)處理1.1.3數(shù)據(jù)處理的流程第一階段：制定目標(biāo)?該組織或單位什么要設(shè)立和研究該項(xiàng)目？缺少什么以及需要什么？?該組織或單位正在做什么事情來(lái)解決問(wèn)題？什么還不夠好？是否有可借鑒的經(jīng)驗(yàn)？?你需要什么種類(lèi)的數(shù)據(jù)以及需要多少？團(tuán)隊(duì)需要什么人員、哪些技術(shù)、多少時(shí)問(wèn)？計(jì)算資源是什么？?該組織或單位如何實(shí)施和應(yīng)用你的結(jié)果？為了成功地應(yīng)用部署，必須滿(mǎn)足哪些約束條件？1.1數(shù)據(jù)與數(shù)據(jù)處理第二階段：數(shù)據(jù)準(zhǔn)備?什么數(shù)據(jù)可以我所用？?這些數(shù)據(jù)是否有助于解決問(wèn)題？?這些數(shù)據(jù)是否足夠多？?數(shù)據(jù)的質(zhì)量是否足夠好？第三階段：建立模型1）特征化。2）打分。3）排序。4）關(guān)聯(lián)。5）分類(lèi)。1.1數(shù)據(jù)與數(shù)據(jù)處理6）聚類(lèi)。7）異常檢測(cè)。第四階段：評(píng)價(jià)與批判模型?對(duì)你的需求來(lái)說(shuō)是否足夠準(zhǔn)確？它是否能很好地概括需求？?它是否比“直觀(guān)猜測(cè)”表現(xiàn)得更好？比你當(dāng)前使用的任何估計(jì)都表現(xiàn)得更好？比之前使用的模型方法是否更好？?模型結(jié)果（系數(shù)、聚簇、規(guī)則）在專(zhuān)業(yè)領(lǐng)域的情景是否有意義？也就是說(shuō)，模型給出的結(jié)果是否符合實(shí)際情況？?模型是否足夠精確？是否有更好的方式？第五階段：展示結(jié)果和文檔第六階段：模型實(shí)施與維護(hù)1.1數(shù)據(jù)與數(shù)據(jù)處理1.1.4數(shù)據(jù)處理的誤區(qū)1.不要用單一類(lèi)型的數(shù)據(jù)去評(píng)價(jià)全局2.不要夸大偶然事件，認(rèn)為帶來(lái)必然結(jié)果3.避免唯數(shù)據(jù)論4.不是從問(wèn)題實(shí)際出發(fā)，寄希望于軟件“黑箱”工具1.2數(shù)據(jù)處理涉及的主要領(lǐng)域1.2.1統(tǒng)計(jì)學(xué)1.2.2數(shù)據(jù)挖掘1）處理的數(shù)據(jù)規(guī)模十分龐大，達(dá)到GB、TB數(shù)量級(jí)。2）查詢(xún)一般是決策制定者提出的即時(shí)查詢(xún)，往往不能形成精確的查詢(xún)要求，需要靠系統(tǒng)本身尋找其可能感興趣的內(nèi)容。3）在一些應(yīng)用領(lǐng)域，由于數(shù)據(jù)變化迅速，因此要求數(shù)據(jù)挖掘能快速做出相應(yīng)反應(yīng)以隨時(shí)提供決策支持。4）數(shù)據(jù)挖掘中，規(guī)則的發(fā)現(xiàn)基于統(tǒng)計(jì)規(guī)律。5）數(shù)據(jù)挖掘所發(fā)現(xiàn)的規(guī)則是動(dòng)態(tài)的，它只反映了當(dāng)前狀態(tài)的數(shù)據(jù)庫(kù)具有的規(guī)則，隨著不斷地向數(shù)據(jù)庫(kù)中加入新數(shù)據(jù)，需要隨時(shí)對(duì)其進(jìn)行更新。1.2數(shù)據(jù)處理涉及的主要領(lǐng)域1.2.3云計(jì)算（1）超大規(guī)模“云”具有相當(dāng)?shù)囊?guī)模，Google云計(jì)算已經(jīng)擁有100多萬(wàn)臺(tái)服務(wù)器，Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬(wàn)臺(tái)服務(wù)器。（2）虛擬化云計(jì)算支持用戶(hù)在任意位置、使用各種終端獲取應(yīng)用服務(wù)。（3）高可靠性“云”使用了數(shù)據(jù)多副本容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施來(lái)保障服務(wù)的高可靠性，使用云計(jì)算比使用本地計(jì)算機(jī)可靠。（4）通用性云計(jì)算不針對(duì)特定的應(yīng)用，在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用，同一個(gè)“云”可以同時(shí)支撐不同的應(yīng)用運(yùn)行。（5）高可擴(kuò)展性“云”的規(guī)?？梢詣?dòng)態(tài)伸縮，滿(mǎn)足應(yīng)用和用戶(hù)規(guī)模增長(zhǎng)的需要。（6）按需服務(wù)“云”是一個(gè)龐大的資源池，可按需購(gòu)買(mǎi)；云可以像白來(lái)水、電、煤氣那樣計(jì)費(fèi)。（7）極其廉價(jià)由于“云”的特殊容錯(cuò)性，可以采用極其廉價(jià)的節(jié)點(diǎn)來(lái)構(gòu)成云，“云”的自動(dòng)化集中式管理使大量企業(yè)無(wú)須負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本，“云”的通用性使資源的利用率較之1.2數(shù)據(jù)處理涉及的主要領(lǐng)域傳統(tǒng)系統(tǒng)大幅提升，因此用戶(hù)可以充分享受“云”的低成本優(yōu)勢(shì)，經(jīng)常只要花費(fèi)幾百美元、幾天時(shí)間就能完成以前需要數(shù)萬(wàn)美元、數(shù)月時(shí)間才能完成的任務(wù)。（8）潛在的危險(xiǎn)性云計(jì)算除了提供計(jì)算服務(wù)外，還必然提供了存儲(chǔ)服務(wù)。常見(jiàn)的云計(jì)算平臺(tái)有以下9個(gè)：（1）GoogleAppEngine

GoogleAppEngine是Google提供的服務(wù)，允許開(kāi)發(fā)者在Google的基礎(chǔ)架構(gòu)上運(yùn)行網(wǎng)絡(luò)應(yīng)用程序。（2）AmazonElasticBeanstalkElasticBeanstalk為在A(yíng)WS（AmazonWebServices）云中部署和管理應(yīng)用提供了一種方法。（3）微軟云Azure云計(jì)算服務(wù)平臺(tái)可以使客戶(hù)選擇的權(quán)力部署在以云計(jì)算基礎(chǔ)的互聯(lián)網(wǎng)服務(wù)上，或通過(guò)服務(wù)器，或把它們混合起來(lái)以任何方式提供給需要的業(yè)務(wù)。（4）阿里云與傳統(tǒng)的操作系統(tǒng)相比，依托云計(jì)算的阿里云OS具有明顯的優(yōu)勢(shì)。1.2數(shù)據(jù)處理涉及的主要領(lǐng)域（5）百度BAE平臺(tái)針對(duì)大數(shù)據(jù)的規(guī)模大、類(lèi)型多、價(jià)值密度低等特征，百度云平臺(tái)提供的BAE（百度應(yīng)用引擎）將提供高并發(fā)的處理能力，以滿(mǎn)足處理速度快的要求。（6）新浪SAE云計(jì)算平臺(tái)作為典型的云計(jì)算，SAE采用“所付即所用，所付僅所用”的計(jì)費(fèi)理念，通過(guò)日志和統(tǒng)計(jì)中心精確地計(jì)算每個(gè)應(yīng)用的資源消耗（包括CPU、內(nèi)存、磁盤(pán)等）。（7）騰訊云騰訊云有著深厚的基礎(chǔ)架構(gòu)，并且有著多年對(duì)海量互聯(lián)網(wǎng)服務(wù)的經(jīng)驗(yàn)，可以為開(kāi)發(fā)者及企業(yè)提供云服務(wù)器、云存儲(chǔ)、云數(shù)據(jù)庫(kù)和彈性Web引擎等整體一站式服務(wù)方案。（8）華為云華為云通過(guò)基于瀏覽器的云管理平臺(tái)，以互聯(lián)網(wǎng)線(xiàn)上自助服務(wù)的方式，為用戶(hù)提供云計(jì)算IT基礎(chǔ)設(shè)施服務(wù)。（9）盛大云盛大云是一個(gè)安全、快捷、自助化Taas和Paas服務(wù)的門(mén)戶(hù)入口。1.3數(shù)據(jù)處理的主要方法1.3.1數(shù)據(jù)采集（1）數(shù)據(jù)抓取通過(guò)程序從現(xiàn)有的網(wǎng)絡(luò)資源中提取相關(guān)信息，錄入到數(shù)據(jù)庫(kù)中。（2）數(shù)據(jù)導(dǎo)入將指定的數(shù)據(jù)源導(dǎo)入數(shù)據(jù)庫(kù)中，通常支持的數(shù)據(jù)源包括Excel表格、數(shù)據(jù)庫(kù)文件、XMI文檔、文本文件以及常用的數(shù)據(jù)庫(kù)（如SQLServer、Oracle、MySQL等）。（3）傳感設(shè)備自動(dòng)采集數(shù)據(jù)有關(guān)數(shù)據(jù)或信息通過(guò)傳感設(shè)備傳輸?shù)街骺匕?，主控板?duì)數(shù)據(jù)或信息進(jìn)行信號(hào)解析、算法分析和數(shù)據(jù)量化，將數(shù)據(jù)通過(guò)無(wú)線(xiàn)通信方式進(jìn)行傳輸。1.3.2數(shù)據(jù)預(yù)處理（1）數(shù)據(jù)清理它是通過(guò)填寫(xiě)缺失的值、光滑噪聲數(shù)據(jù)、識(shí)別或刪除離群點(diǎn)并解決不一致性來(lái)“清理”數(shù)據(jù)的。（2）數(shù)據(jù)集成將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來(lái)并統(tǒng)一存儲(chǔ)，建立數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程實(shí)際上就是數(shù)據(jù)集成。1.3數(shù)據(jù)處理的主要方法（3）數(shù)據(jù)變換通過(guò)平滑聚集、數(shù)據(jù)概化、規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。（4）數(shù)據(jù)歸約數(shù)據(jù)挖掘時(shí)往往數(shù)據(jù)量非常大，在少量數(shù)據(jù)上進(jìn)行挖掘分析需要很長(zhǎng)的時(shí)間，數(shù)據(jù)歸約技術(shù)可以用來(lái)得到數(shù)據(jù)集的歸約表示，這就使數(shù)據(jù)量小得多，但仍然接近于保持原數(shù)據(jù)的完整性，使結(jié)果與歸約前結(jié)果相同或幾乎相同。1.3.3數(shù)據(jù)分析1）老七種工具，即排列圖、因果圖、分層法、調(diào)查表、散步圖、直方圖、控制圖。2）新七種工具，即關(guān)聯(lián)圖、系統(tǒng)圖、矩陣圖、KJ法、計(jì)劃評(píng)審技術(shù)、PDPC法、矩陣數(shù)據(jù)圖。1.描述性數(shù)據(jù)分析2.探索性數(shù)據(jù)分析3.驗(yàn)證性數(shù)據(jù)分析1.3數(shù)據(jù)處理的主要方法1.3.4數(shù)據(jù)挖掘算法1.3數(shù)據(jù)處理的主要方法1.監(jiān)督學(xué)習(xí)模型（1）決策樹(shù)決策樹(shù)是用于分類(lèi)和預(yù)測(cè)的主要技術(shù)之一，決策樹(shù)學(xué)習(xí)是以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)算法，它著眼于從一組無(wú)次序、無(wú)規(guī)則的實(shí)例中推理出以決策樹(shù)表示的分類(lèi)規(guī)則。（2）貝葉斯算法貝葉斯（Bayes）算法是一類(lèi)利用概率統(tǒng)計(jì)知識(shí)進(jìn)行分類(lèi)的算法，如樸素貝葉斯（NaiveBayes）算法。（3）神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是一種具有類(lèi)似于大腦神經(jīng)突觸連接結(jié)構(gòu)并能進(jìn)行信息處理等應(yīng)用的數(shù)學(xué)模型。（4）支持向量機(jī)（SupportVectorMachine,SVM）支持向量機(jī)是根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種新的學(xué)習(xí)方法，它的最大特點(diǎn)是根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則，以最大化分類(lèi)間隔構(gòu)造最優(yōu)分類(lèi)超平面來(lái)提高學(xué)習(xí)機(jī)的泛化能力，較好地解決了非線(xiàn)性、高維數(shù)、局部極小點(diǎn)等問(wèn)題。（5）集成學(xué)習(xí)分類(lèi)模型集成學(xué)習(xí)是一種機(jī)器學(xué)習(xí)范式，它試圖通過(guò)連續(xù)調(diào)用單個(gè)的學(xué)習(xí)算法，獲得不同的基學(xué)習(xí)器，然后根據(jù)規(guī)則組合這些學(xué)習(xí)器來(lái)解決同一個(gè)問(wèn)題，可以顯著地提高學(xué)習(xí)系統(tǒng)的1.3數(shù)據(jù)處理的主要方法泛化能力。（6）其他分類(lèi)學(xué)習(xí)模型此外還有l(wèi)ogistics回歸模型、隱馬爾科夫分類(lèi)模型（HMM）、基于規(guī)則的分類(lèi)模型等眾多的分類(lèi)模型，對(duì)于處理不同的數(shù)據(jù)、分析不同的問(wèn)題，各種模型都有自己的特性和優(yōu)勢(shì)。2.無(wú)監(jiān)督學(xué)習(xí)模型（1）k-means聚類(lèi)k-means算法的基本思想是初始隨機(jī)給定K個(gè)簇中心，按照最鄰近原則把待分類(lèi)樣本點(diǎn)分到各個(gè)簇，然后按平均法重新計(jì)算各個(gè)簇的質(zhì)心，從而確定新的簇心，一直迭代，直到簇心的移動(dòng)距離小于某個(gè)給定的值。（2）基于密度的聚類(lèi)根據(jù)密度完成對(duì)象的聚類(lèi)。（3）層次聚類(lèi)層次聚類(lèi)就是對(duì)給定的數(shù)據(jù)集進(jìn)行層次分解，直到滿(mǎn)足某種條件為止。（4）譜聚類(lèi)譜聚類(lèi)（SpectralClustering,SC）是一種基于圖論的聚類(lèi)方法———將帶權(quán)無(wú)向圖劃分為兩個(gè)或兩個(gè)以上的最優(yōu)子圖，使子圖內(nèi)部盡量相似，而子圖間距離盡量較遠(yuǎn)，以達(dá)到常見(jiàn)聚類(lèi)1.3數(shù)據(jù)處理的主要方法的目的。第2章Matlab基礎(chǔ)2.1

Matlab簡(jiǎn)介2.1

Matlab簡(jiǎn)介2.1.1Matlab的特點(diǎn)1）Matlab是一個(gè)交互式軟件系統(tǒng)，輸入一條命令，立即就可以得到該命令的結(jié)果。2）具有強(qiáng)大的數(shù)值計(jì)算功能。3）Matlab符號(hào)運(yùn)算功能。4）Matlab繪圖功能。5）編程功能。6）豐富的APPS。7）源程序開(kāi)放。2.1.2Matlab窗口簡(jiǎn)介?命令窗口（CommandWindow）?歷史命令窗口（HistoryCommandWindow）2.1

Matlab簡(jiǎn)介?編輯調(diào)試窗口（Edit/DebugWindow）?圖像窗口（FigureWindow）?工作空間（Workspace）?當(dāng)前目錄文件夾（CurrentFolder）?幫助窗口（HelpBrowser）?當(dāng)前路徑窗口（CurrentDirectoryBrowser）本節(jié)將簡(jiǎn)單介紹其中幾個(gè)窗口的基本操作方式。2.1

Matlab簡(jiǎn)介1.命令窗口（CommandWindow）2.1

Matlab簡(jiǎn)介2.1

Matlab簡(jiǎn)介2.歷史命令窗口（HistoryCommandWindow）3.編輯調(diào)試窗口（Edit/DebugWindow）2.1

Matlab簡(jiǎn)介4.圖像窗口（FigureWindow）2.1

Matlab簡(jiǎn)介5.工作空間（Workspace）2.1

Matlab簡(jiǎn)介2.1

Matlab簡(jiǎn)介6.當(dāng)前目錄文件夾（CurrentFolder）2.1

Matlab簡(jiǎn)介2.2數(shù)組及其運(yùn)算2.2.1變量和數(shù)組1.數(shù)值的記述2.變量命名規(guī)則1）變量名、函數(shù)名對(duì)字母大小寫(xiě)是敏感的，如變量myvar和MyVar表示兩個(gè)不同的變量。2）變量名的第一個(gè)字符必須是英文字母，最多可包含63個(gè)字符（英文、數(shù)字和下連符），如myvar201是合法的變量名。3）變量名中不得包含空格、標(biāo)點(diǎn)、運(yùn)算符，但可以包含下連符。4）盡量避免與預(yù)定義變量名相同。3.Matlab默認(rèn)的預(yù)定義變量2.2數(shù)組及其運(yùn)算①如果用戶(hù)對(duì)表中任何一個(gè)預(yù)定義變量進(jìn)行賦值，則該變量的默認(rèn)值將被用戶(hù)新賦的值“臨時(shí)”覆蓋。②在遵循IEEE算法規(guī)則的機(jī)器上，被0除是允許的。2.2數(shù)組及其運(yùn)算4.數(shù)組2.2數(shù)組及其運(yùn)算5.數(shù)據(jù)類(lèi)型2.2數(shù)組及其運(yùn)算2.2.2變量的初始化1）用賦值語(yǔ)句初始化變量。2）用input函數(shù)從鍵盤(pán)輸入初始化變量。3）從文件讀取一個(gè)數(shù)據(jù)。1.用賦值語(yǔ)句初始化變量2.用捷徑表達(dá)式賦值3.用內(nèi)置函數(shù)來(lái)初始化2.2數(shù)組及其運(yùn)算4.用關(guān)鍵字input初始化變量2.2.3多維數(shù)組1.多維數(shù)組在內(nèi)存中的存儲(chǔ)2.2數(shù)組及其運(yùn)算2.用單個(gè)下標(biāo)訪(fǎng)問(wèn)多標(biāo)數(shù)組2.2數(shù)組及其運(yùn)算2.2.4子數(shù)組1.end函2.子數(shù)組在左邊的賦值語(yǔ)句的使用3.用一標(biāo)量來(lái)給子數(shù)組賦值4.子數(shù)組的刪除2.2.5單元陣列2.2數(shù)組及其運(yùn)算2.2數(shù)組及其運(yùn)算2.2.6顯示輸出數(shù)據(jù)1.改變默認(rèn)格式2.2數(shù)組及其運(yùn)算2.disp函數(shù)3.用fprintf函數(shù)格式化輸出數(shù)據(jù)2.2.7數(shù)據(jù)文件2.2.8數(shù)組運(yùn)算和矩陣運(yùn)算2.2數(shù)組及其運(yùn)算2.2數(shù)組及其運(yùn)算2.2.9內(nèi)置函數(shù)1.常用內(nèi)置函數(shù)2.2數(shù)組及其運(yùn)算2.其他內(nèi)置函數(shù)（1）randrand產(chǎn)生一個(gè)在（0，1）之間的均勻分布的數(shù)。（2）randnrandn產(chǎn)生一個(gè)服從N（0，1）正態(tài)分布的隨機(jī)數(shù)。（3）find找出非0元素，也可以查找指定條件的元素，并返回元素所在位置索引。1）示例1：2）示例2：2.2數(shù)組及其運(yùn)算3）示例3：(4)sort［Y,1］=sort（x）返回索引矩陣I，如果x是一個(gè)向量，則Y=x（I）。（5）fprintf格式化數(shù)據(jù)輸出與C語(yǔ)言中的printf函數(shù)用法相似，常見(jiàn)的數(shù)值處理函數(shù)見(jiàn)表2-8。2.2數(shù)組及其運(yùn)算2.3作圖入門(mén)2.3作圖入門(mén)2.3.1簡(jiǎn)單的直角坐標(biāo)系作圖1.基本作圖操作2.3作圖入門(mén)2.3作圖入門(mén)2.3作圖入門(mén)2.聯(lián)合作圖2.3作圖入門(mén)2.3作圖入門(mén)2.3作圖入門(mén)2.3.2作圖的附加特性1.圖例2.3作圖入門(mén)2.3作圖入門(mén)2.控制坐標(biāo)軸范圍2.3作圖入門(mén)3.在同一坐標(biāo)系內(nèi)畫(huà)出多個(gè)圖像2.3作圖入門(mén)2.3作圖入門(mén)4.創(chuàng)建多個(gè)圖像窗口5.子窗口2.3作圖入門(mén)2.3作圖入門(mén)6.對(duì)畫(huà)線(xiàn)的增強(qiáng)控制2.3作圖入門(mén)2.3作圖入門(mén)7.極坐標(biāo)圖像2.4

Matlab程序設(shè)計(jì)2.4.1關(guān)系運(yùn)算符和邏輯運(yùn)算符1.關(guān)系運(yùn)算符2.4

Matlab程序設(shè)計(jì)2.邏輯運(yùn)算符2.4

Matlab程序設(shè)計(jì)3.邏輯函數(shù)2.4.2選擇結(jié)構(gòu)1.if結(jié)構(gòu)2.4

Matlab程序設(shè)計(jì)例2.1求一元二次方程的根。步驟1打開(kāi)Script文件，在CommandWindow中輸入edit命令或按“Ctrl+N”組合鍵。步驟2在edit文件中輸入下述命令：步驟3保存Script文件。步驟4運(yùn)行和調(diào)試Script文件。2.switch結(jié)構(gòu)例2.2編寫(xiě)一個(gè)學(xué)生成績(jī)管理程序。3.try/catch結(jié)構(gòu)2.4

Matlab程序設(shè)計(jì)2.4.3循環(huán)結(jié)構(gòu)1.

while循環(huán)例2.3使用歐幾里得算法求兩個(gè)整數(shù)的最大公約數(shù)，偽代碼如下：2.4

Matlab程序設(shè)計(jì)2.for循環(huán)1）在for循環(huán)開(kāi)始時(shí)，Matlab產(chǎn)生了控制表達(dá)式。2）第一次進(jìn)入循環(huán)，程序把循環(huán)控制表達(dá)式的第一列賦值于循環(huán)變量index，然后執(zhí)行循環(huán)體內(nèi)的語(yǔ)句。3）在循環(huán)體的語(yǔ)句被執(zhí)行后，程序把循環(huán)控制表達(dá)式的下一列賦值于循環(huán)變量index，程序?qū)⒃僖淮螆?zhí)行循環(huán)體語(yǔ)句。4）只要在循環(huán)控制表達(dá)式中還有剩余的列，步驟3）將會(huì)重復(fù)執(zhí)行。例2.4階乘（factorial）函數(shù)。例2.5輸入一系列的測(cè)量數(shù)，計(jì)算它們的平均數(shù)和標(biāo)準(zhǔn)差。1）在2.2節(jié)已經(jīng)學(xué)過(guò)，用賦值的方法可以擴(kuò)展一個(gè)已知的數(shù)組。2）用for循環(huán)和向量計(jì)算是非常常見(jiàn)的。2.4

Matlab程序設(shè)計(jì)例2.6為了比較循環(huán)和向量算法執(zhí)行程序所用的時(shí)間，分別用這兩種方法編程，測(cè)試3個(gè)運(yùn)算所花的時(shí)間。1）用for循環(huán)計(jì)算1~10000之間的每個(gè)整數(shù)的平方，而事先不初始化平方數(shù)組。2）用for循環(huán)計(jì)算1~10000之間的每個(gè)整數(shù)的平方，而事先初始化平方數(shù)組。3）用向量算法計(jì)算1~10000之間的每個(gè)整數(shù)的平方。3.break和continue語(yǔ)句例2.7for循環(huán)中的continue語(yǔ)句：2.4

Matlab程序設(shè)計(jì)4.循環(huán)嵌套例2.8用兩重for循環(huán)嵌套來(lái)計(jì)算。例2.9在for循環(huán)嵌套中包含break語(yǔ)句。2.5自定義函數(shù)（1）子程序的獨(dú)立檢測(cè)每個(gè)子程序都可以當(dāng)作一個(gè)獨(dú)立的單元來(lái)編寫(xiě)。（2）代碼的可復(fù)用性在許多情況下，一個(gè)基本的子程序可應(yīng)用在程序的許多地方。（3）遠(yuǎn)離意外副作用函數(shù)通過(guò)輸入?yún)?shù)列表（inputargumentlist）從程序中讀取輸入值，通過(guò)輸出參數(shù)列表（outputargumentlist）給程序返回結(jié)果。例2.10自定義函數(shù)dist2，用于計(jì)算笛卡兒坐標(biāo)系中的點(diǎn)（x1，y1）與點(diǎn)（x2，y2）之間的距離。第3章隨機(jī)模擬3.1隨機(jī)數(shù)的生成1.模擬均勻分布隨機(jī)變量的函數(shù)2.模擬指數(shù)分布隨機(jī)變量的函數(shù)3.模擬正態(tài)分布隨機(jī)變量的函數(shù)3.2蒙特卡羅模擬3.2.1蒙特卡羅模擬估計(jì)面積3.2蒙特卡羅模擬3.2蒙特卡羅模擬3.2.2蒙特卡羅模擬尋求近似圓周率3.2蒙特卡羅模擬3.2.3蒙特卡羅模擬解決生日問(wèn)題3.3隨機(jī)行為的模擬1.一枚正規(guī)硬幣2.一個(gè)不正規(guī)的骰子3.3隨機(jī)行為的模擬3.3隨機(jī)行為的模擬3.布朗運(yùn)動(dòng)3.4蒙特卡羅模擬應(yīng)用案例：理發(fā)店系統(tǒng)研究1.問(wèn)題分析2.模型假設(shè)1）60%的顧客只需剪發(fā)，40%的顧客既要剪發(fā)又要洗發(fā)。2）每個(gè)服務(wù)員剪發(fā)需要的時(shí)間為5min，既剪發(fā)又洗發(fā)則需要8min。3）顧客的到達(dá)間隔時(shí)間服從指數(shù)分布。4）服務(wù)過(guò)程中服務(wù)員不休息。3.變量說(shuō)明4.模型建立5.系統(tǒng)模擬（1）狀態(tài)（變量）3.4蒙特卡羅模擬應(yīng)用案例：理發(fā)店系統(tǒng)研究1）等待服務(wù)的顧客數(shù)。2）A是否正在服務(wù)。3）B是否正在服務(wù)。（2）實(shí)體兩名服務(wù)員和多名顧客。（3）事件1）一名新顧客的到達(dá)2）A開(kāi)始服務(wù)3）A結(jié)束服務(wù)4）B開(kāi)始服務(wù)5）B結(jié)束服務(wù)（4）活動(dòng)1）顧客排隊(duì)時(shí)間3.4蒙特卡羅模擬應(yīng)用案例：理發(fā)店系統(tǒng)研究2）顧客們到達(dá)的間隔時(shí)間3）A的服務(wù)時(shí)間4）B的服務(wù)時(shí)間6.系統(tǒng)模擬算法設(shè)計(jì)7.系統(tǒng)模擬程序第4章數(shù)據(jù)預(yù)處理4.1認(rèn)識(shí)數(shù)據(jù)4.1.1屬性4.1.2離散屬性和連續(xù)屬性4.2數(shù)據(jù)預(yù)處理概述1）數(shù)據(jù)清洗是通過(guò)填寫(xiě)缺失的值、光滑噪聲數(shù)據(jù)、識(shí)別或刪除離群點(diǎn)，并解決不一致性等方式來(lái)“清洗”數(shù)據(jù)的。2）數(shù)據(jù)集成是把不同來(lái)源、格式、性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中，以便更方便地進(jìn)行數(shù)據(jù)挖掘工作，數(shù)據(jù)集成通過(guò)數(shù)據(jù)交換而達(dá)到，主要解決數(shù)據(jù)的分布性和異構(gòu)性的問(wèn)題。3）數(shù)據(jù)歸約就是得到數(shù)據(jù)集的簡(jiǎn)化表示，雖然小得多，但能夠產(chǎn)生同樣的（或幾乎同樣的）分析結(jié)果。4.2數(shù)據(jù)預(yù)處理概述4）數(shù)據(jù)變換是將數(shù)據(jù)從一種表現(xiàn)形式變?yōu)榱硪环N表現(xiàn)形式的過(guò)程。4.2.1數(shù)據(jù)清洗1.缺失值處理（1）刪除法刪除法是對(duì)缺失值進(jìn)行處理的最原始方法，它將存在缺失值的記錄刪除。（2）插補(bǔ)法它的思想來(lái)源是以最可能的值來(lái)插補(bǔ)缺失值，比全部刪除不完全樣本所產(chǎn)生的信息丟失要少。1）均值插補(bǔ)。2）回歸插補(bǔ)。3）極大似然估計(jì)。2．噪聲過(guò)濾（1）回歸法回歸法是用函數(shù)擬合數(shù)據(jù)來(lái)光滑數(shù)據(jù)的。4.2數(shù)據(jù)預(yù)處理概述（2）均值平滑法均值平滑法是指對(duì)于具有序列特征的變量用鄰近若干數(shù)據(jù)的均值來(lái)替換原始數(shù)據(jù)的方法，如圖4-3所示。（3）離群點(diǎn)分析法離群點(diǎn)分析法是通過(guò)聚類(lèi)等方法來(lái)檢測(cè)離群點(diǎn)，并將其刪除，從而實(shí)現(xiàn)去噪的方法。4.2數(shù)據(jù)預(yù)處理概述（4）小波去噪法在數(shù)學(xué)上，小波去噪的本質(zhì)是一個(gè)函數(shù)逼近問(wèn)題，即如何在由小波母函數(shù)伸縮和平移所展成的函數(shù)空間中，根據(jù)提出的衡量準(zhǔn)則，尋找對(duì)原信號(hào)的最佳逼近，以完成原信號(hào)和噪聲信號(hào)的區(qū)分。4.2.2數(shù)據(jù)集成4.2數(shù)據(jù)預(yù)處理概述4.2.3數(shù)據(jù)歸約1）屬性選擇是通過(guò)刪除不相關(guān)或冗余的屬性（或維）來(lái)減少數(shù)據(jù)量的。2）樣本選擇也就是數(shù)據(jù)抽樣。4.2.4數(shù)掘變換1.標(biāo)準(zhǔn)化2.離散化4.3

Matlab與Excel的數(shù)據(jù)交互4.3.1以交互方式導(dǎo)入數(shù)據(jù)1）Matlab工具條：在主頁(yè)選項(xiàng)卡中的變量部分，單擊導(dǎo)入數(shù)據(jù)。2）Matlab命令提示符：輸入“uiimport”，在彈出的窗口中選擇需要導(dǎo)入的數(shù)據(jù)文件，如圖4-5所示。4.3

Matlab與Excel的數(shù)據(jù)交互4.3.2炭取和寫(xiě)入表1.用readtable讀取表格數(shù)據(jù)2.用writetable寫(xiě)入表格數(shù)據(jù)4.3

Matlab與Excel的數(shù)據(jù)交互4.3.3大型文件和大型數(shù)據(jù)簡(jiǎn)介4.3.4數(shù)據(jù)的清理、平滑和分組等1.清除表中的雜亂數(shù)據(jù)和缺失數(shù)據(jù)（1）加載樣本數(shù)據(jù)從一個(gè)逗號(hào)分隔的文本文件messy.csv加載樣本數(shù)據(jù)。（2）匯總表使用summary函數(shù)創(chuàng)建匯總表來(lái)查看每個(gè)變量的數(shù)據(jù)類(lèi)型、說(shuō)明、單位和其他描述性統(tǒng)計(jì)量。（3）查找具有缺失值的行顯示表T中至少含有一個(gè)具有缺失值的行子集。（4）替換缺失值指示符清除相應(yīng)數(shù)據(jù)，將代碼-99所指示的缺失值替換標(biāo)準(zhǔn)的Matlab數(shù)值缺失值指示符NaN。（5）刪除具有缺失值的行創(chuàng)建一個(gè)新表T3，該表僅包含T中不帶缺失值的行。（6）組織數(shù)據(jù)先根據(jù)C列以降序?qū)3的行進(jìn)行排序，然后根據(jù)A列以升序排序。4.3

Matlab與Excel的數(shù)據(jù)交互2.數(shù)據(jù)平滑和離群值檢測(cè)（1）移動(dòng)均值方法移動(dòng)均值方法是分批處理數(shù)據(jù)的方法，通常是為了從統(tǒng)計(jì)角度表示數(shù)據(jù)中的相鄰點(diǎn)。4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互（2）其他的平滑方法1）smoothdata函數(shù)提供幾種平滑選項(xiàng)，如Savitzky-Golay方法，這是一種常用的信號(hào)處理平滑技術(shù)。2）穩(wěn)健的Lowess方法是另一種平滑方法，尤其適用于同時(shí)包含噪聲和離群值的數(shù)據(jù)。（3）檢測(cè)離群值數(shù)據(jù)中的離群值可能使數(shù)據(jù)處理結(jié)果和其他計(jì)算量嚴(yán)重失真。4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互（4）非均勻數(shù)據(jù)并非所有數(shù)據(jù)都由等間隔的點(diǎn)組成，這會(huì)影響數(shù)據(jù)處理的方法。4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互3.拆分?jǐn)?shù)據(jù)變量及應(yīng)用（1）加載電力中斷數(shù)據(jù)示例文件outages.csv包含表示美國(guó)電力中斷的數(shù)據(jù)。（2）計(jì)算最大電力損失確定每個(gè)地區(qū)因電力中斷而造成的最大電力損失。（3）計(jì)算受影響客戶(hù)的數(shù)量確定不同原因和地區(qū)的電力中斷對(duì)客戶(hù)的影響。（4）計(jì)算電力中斷的平均持續(xù)時(shí)間確定美國(guó)的所有電力中斷的平均持續(xù)時(shí)間（以小時(shí)為單位）。第5章數(shù)據(jù)探索與分析5.1數(shù)據(jù)的特征統(tǒng)計(jì)量5.1.1中心度量趨勢(shì)：均值、中位數(shù)、眾數(shù)5.1.2常用的變異程度度量1.極差2.方差3.標(biāo)準(zhǔn)差4.標(biāo)準(zhǔn)差系數(shù)5.四分位數(shù)間距5.1數(shù)據(jù)的特征統(tǒng)計(jì)量6.百分位數(shù)5.1.3分布形態(tài)5.2基本統(tǒng)計(jì)描述的可視化5.2.1分類(lèi)型數(shù)據(jù)頻數(shù)分布及其可視化例5.1表5-1是X公司員工收入基本狀況調(diào)查表，用此表數(shù)據(jù)來(lái)說(shuō)明對(duì)于分類(lèi)型數(shù)據(jù)的頻數(shù)統(tǒng)計(jì)及其數(shù)據(jù)可視化。5.2基本統(tǒng)計(jì)描述的可視化例5.2使用Matlab數(shù)據(jù)統(tǒng)計(jì)信息。（1）打開(kāi)“數(shù)據(jù)統(tǒng)計(jì)信息對(duì)話(huà)框”“數(shù)據(jù)統(tǒng)計(jì)信息”對(duì)話(huà)框可幫助您計(jì)算和繪制數(shù)據(jù)的描述性統(tǒng)計(jì)量。5.2基本統(tǒng)計(jì)描述的可視化5.2基本統(tǒng)計(jì)描述的可視化5.2基本統(tǒng)計(jì)描述的可視化（2）設(shè)置繪圖上數(shù)據(jù)統(tǒng)計(jì)量的格式“數(shù)據(jù)統(tǒng)計(jì)信息”對(duì)話(huà)框使用顏色和線(xiàn)型將統(tǒng)計(jì)量與繪圖上的數(shù)據(jù)區(qū)分開(kāi)來(lái)。1）在Matlab窗口中，單擊工具欄中的（編輯繪圖）按鈕。2）雙擊要編輯其顯示屬性的繪圖上的統(tǒng)計(jì)量，例如，雙擊表示Station2均值的水平線(xiàn)。（3）將統(tǒng)計(jì)量保存到Matlab工作區(qū)執(zhí)行下列步驟可將統(tǒng)計(jì)量保存到Matlab工作區(qū)。5.2基本統(tǒng)計(jì)描述的可視化（4）查看新結(jié)構(gòu)體變量可輸入變量名稱(chēng)：5.2基本統(tǒng)計(jì)描述的可視化（5）生成代碼文件示例的此部分顯示如何從圖形生成Matlab代碼文件，再將代碼應(yīng)用至新數(shù)據(jù)以重新生成相同格式的繪圖和統(tǒng)計(jì)量。5.2.2直方圖1.histogram函數(shù)繪制直方圖5.2基本統(tǒng)計(jì)描述的可視化例5.3創(chuàng)建直方圖。1）生成10000個(gè)隨機(jī)數(shù)并創(chuàng)建直方圖。2）對(duì)分類(lèi)為25個(gè)等距離散化的10000個(gè)隨機(jī)數(shù)繪制直方圖，如圖5-13所示。5.2基本統(tǒng)計(jì)描述的可視化3）生1000個(gè)隨機(jī)數(shù)并創(chuàng)建直方圖。5.2基本統(tǒng)計(jì)描述的可視化2.確定基本概率分布1）生成5000個(gè)均值5、標(biāo)準(zhǔn)差力2的正態(tài)分布隨機(jī)數(shù)。2）對(duì)于均值為5、標(biāo)準(zhǔn)差為2的正態(tài)分布，疊加一個(gè)概率密度函數(shù)圖，如圖5-17所示。5.2基本統(tǒng)計(jì)描述的可視化例5.4對(duì)分類(lèi)數(shù)據(jù)進(jìn)行繪圖。1）工作區(qū)變量Location是一個(gè)字符向量單元數(shù)組，它包含患者就醫(yī)的3個(gè)唯一醫(yī)療機(jī)構(gòu)。2）工作區(qū)變量。3）繪制直方圖。4）僅為健康狀況評(píng)估為Fair或Poor的患者繪制醫(yī)院位置直方圖，如圖5-19所示。5.2基本統(tǒng)計(jì)描述的可視化5）創(chuàng)建餅圖。5.2基本統(tǒng)計(jì)描述的可視化6）創(chuàng)建帕累托圖。5.2基本統(tǒng)計(jì)描述的可視化7）創(chuàng)建散點(diǎn)圖。5.2.3分位數(shù)圖和經(jīng)驗(yàn)累計(jì)分布函數(shù)5.2基本統(tǒng)計(jì)描述的可視化5.2.4分位數(shù)-分位數(shù)圖——q-q圖5.2基本統(tǒng)計(jì)描述的可視化5.2基本統(tǒng)計(jì)描述的可視化5.2.5箱形圖1）最小值。2）第一個(gè)四分位數(shù)（Q1）。3）中位數(shù)（Q2）。4）第三個(gè)四分位數(shù)（Q3）。5）最大值。例5.5對(duì)于下述這組數(shù)據(jù)：331033353450348034803490352035403550

36503730

3925，作出箱形圖。1）畫(huà)箱形圖時(shí)，把第和第三四分位數(shù)作力箱體的邊緣，Q1=3465