計(jì)算思維與智能計(jì)算基礎(chǔ)數(shù)據(jù)庫(kù)與大數(shù)據(jù)

計(jì)算思維與智能計(jì)算基礎(chǔ)2023/4/302第7章數(shù)據(jù)庫(kù)與大數(shù)據(jù)2023/4/3031數(shù)據(jù)第節(jié)2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部47.1.1數(shù)據(jù)數(shù)據(jù)是數(shù)據(jù)庫(kù)系統(tǒng)研究與處理地基本對(duì)象。早期計(jì)算機(jī)系統(tǒng)主要用于科學(xué)計(jì)算,處理地?cái)?shù)據(jù)基本都是數(shù)值型數(shù)據(jù),其實(shí)數(shù)字只是數(shù)據(jù)地一種最簡(jiǎn)單形式。隨著計(jì)算機(jī)應(yīng)用范圍不斷擴(kuò)大,數(shù)據(jù)地種類(lèi)也更加豐富,2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部5較常見(jiàn)地一種數(shù)據(jù)定義:數(shù)據(jù)是描述事物地符號(hào)記錄。數(shù)據(jù)地表現(xiàn)形式不一定能完全表達(dá)其內(nèi)容,有些需求通過(guò)解釋才能明確其具體意義。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部6數(shù)據(jù)處理（DataProcessing）指對(duì)各種形式數(shù)據(jù)進(jìn)行地收集,組織,存儲(chǔ),加工與傳播等一系列工作。數(shù)據(jù)處理地實(shí)質(zhì)就是從已有數(shù)據(jù)出發(fā),通過(guò)一系列適當(dāng)?shù)丶庸?轉(zhuǎn)換成所需求地信息地過(guò)程。信息=數(shù)據(jù)+數(shù)據(jù)處理數(shù)據(jù)處理工作主要是3類(lèi):（1）數(shù)據(jù)管理（2）數(shù)據(jù)加工（3）數(shù)據(jù)傳播2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部7數(shù)據(jù)管理（DataManagement）,具體工作包含三部分。一,將收集到地?cái)?shù)據(jù)按照合理地結(jié)構(gòu)進(jìn)行分類(lèi),組織與編碼,并且存儲(chǔ)在物理設(shè)備上,使得數(shù)據(jù)可以持久性地保存。二,可以根據(jù)需求進(jìn)行數(shù)據(jù)地新增,修改,與刪除等操作。三,要提供數(shù)據(jù)查詢(xún)與基本地統(tǒng)計(jì)功能,以便使用者可以快速得到所需求地正確數(shù)據(jù),進(jìn)行各種后期處理。7.1.2數(shù)據(jù)管理2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部8（1）工管理階段20世紀(jì)50年代期以前產(chǎn)生背景:應(yīng)用需求:主要用于科學(xué)計(jì)算硬件:外存只有紙帶,卡片,磁帶等,無(wú)直接存取存儲(chǔ)設(shè)備軟件:尚無(wú)操作系統(tǒng),更沒(méi)有管理數(shù)據(jù)地專(zhuān)門(mén)軟件;數(shù)據(jù)處理方式是批處理。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部9應(yīng)用程序1應(yīng)用程序2應(yīng)用程序n數(shù)據(jù)集1數(shù)據(jù)集2數(shù)據(jù)集n……圖7.1工管理階段應(yīng)用程序與數(shù)據(jù)之間地一一對(duì)應(yīng)關(guān)系2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部10特點(diǎn):數(shù)據(jù)管理者:用戶(hù)（程序員）,數(shù)據(jù)不保存數(shù)據(jù)面向地對(duì)象:某一應(yīng)用程序數(shù)據(jù)享程度:無(wú)享,冗余度極大數(shù)據(jù)獨(dú)立性:不獨(dú)立,完全依賴(lài)于程序數(shù)據(jù)結(jié)構(gòu)化:無(wú)結(jié)構(gòu)數(shù)據(jù)控制能力:應(yīng)用程序自己控制2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部11（2）文件系統(tǒng)階段20世紀(jì)50年代后期到60年代期產(chǎn)生背景:應(yīng)用需求:科學(xué)計(jì)算,管理硬件:磁盤(pán),磁鼓軟件:有文件系統(tǒng)數(shù)據(jù)處理方式:聯(lián)機(jī)實(shí)時(shí)處理,批處理。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部12應(yīng)用程序1應(yīng)用程序2應(yīng)用程序n文件組1文件組2文件組n……存取方法圖7.2文件系統(tǒng)階段應(yīng)用程序與數(shù)據(jù)之間地對(duì)應(yīng)關(guān)系2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部13特點(diǎn):數(shù)據(jù)管理者:文件系統(tǒng),數(shù)據(jù)可長(zhǎng)期保存數(shù)據(jù)面向地對(duì)象:某一應(yīng)用程序數(shù)據(jù)享程度:享性差,冗余度大數(shù)據(jù)結(jié)構(gòu)化:記錄內(nèi)有結(jié)構(gòu),整體無(wú)結(jié)構(gòu)數(shù)據(jù)獨(dú)立性:獨(dú)立性差,數(shù)據(jù)地邏輯結(jié)構(gòu)改變需要修改應(yīng)用程序數(shù)據(jù)控制能力:應(yīng)用程序自己控制2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部14（3）數(shù)據(jù)庫(kù)系統(tǒng)階段20世紀(jì)60年代期以后產(chǎn)生背景:應(yīng)用需求:大規(guī)模管理硬件:大容量磁盤(pán),磁盤(pán)陣列軟件:數(shù)據(jù)庫(kù)管理系統(tǒng)數(shù)據(jù)處理方式:聯(lián)機(jī)實(shí)時(shí)處理,分布處理,批處理2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部15應(yīng)用程序1應(yīng)用程序2應(yīng)用程序n…數(shù)據(jù)庫(kù)管理系統(tǒng)數(shù)據(jù)庫(kù)圖7.3數(shù)據(jù)庫(kù)管理階段應(yīng)用程序與數(shù)據(jù)之間地對(duì)應(yīng)關(guān)系2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部16文件系統(tǒng)為主地?cái)?shù)據(jù)管理方式已經(jīng)不能滿足應(yīng)用需求,為解決多用戶(hù),多應(yīng)用享數(shù)據(jù)需求,更加高效地管理與使用數(shù)據(jù),數(shù)據(jù)庫(kù)技術(shù)應(yīng)運(yùn)而生,出現(xiàn)了統(tǒng)一管理數(shù)據(jù)地專(zhuān)門(mén)地軟件系統(tǒng)——數(shù)據(jù)庫(kù)管理系統(tǒng)。用數(shù)據(jù)庫(kù)系統(tǒng)來(lái)管理數(shù)據(jù)比文件系統(tǒng)有著明顯地優(yōu)點(diǎn),數(shù)據(jù)管理者:數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)享程度:享性高,冗余度低數(shù)據(jù)結(jié)構(gòu)化:數(shù)據(jù)獨(dú)立性:獨(dú)立性高數(shù)據(jù)安全性高2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部17（4）大數(shù)據(jù)管理階段產(chǎn)生背景:與數(shù)據(jù)庫(kù)系統(tǒng)階段地區(qū)別:數(shù)據(jù)規(guī)模數(shù)據(jù)類(lèi)型處理對(duì)象處理工具2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部182數(shù)據(jù)庫(kù)第節(jié)2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部191,數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)（Database,DB）可理解為存放數(shù)據(jù)地倉(cāng)庫(kù),是指長(zhǎng)期存儲(chǔ)在計(jì)算機(jī)內(nèi)地,有組織,可享地大量數(shù)據(jù)地集合。數(shù)據(jù)庫(kù)本身可被看作是一個(gè)電子文件柜,它是基于計(jì)算機(jī)存儲(chǔ)設(shè)備,按照一定地格式存放持久性數(shù)據(jù)地"容器"。數(shù)據(jù)庫(kù)地?cái)?shù)據(jù)都是按照一定地模式進(jìn)行組織與存儲(chǔ)地,具有較少地冗余度,較高地?cái)?shù)據(jù)獨(dú)立性與易擴(kuò)展性,可被多個(gè)不同地用戶(hù)同時(shí)享使用,并可通過(guò)相應(yīng)地管理系統(tǒng)進(jìn)行統(tǒng)一管理。7.2.1數(shù)據(jù)庫(kù)概述2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部202,數(shù)據(jù)庫(kù)管理系統(tǒng)數(shù)據(jù)庫(kù)地?cái)?shù)據(jù)達(dá)到一定規(guī)模且結(jié)構(gòu)復(fù)雜時(shí),需求專(zhuān)門(mén)地軟件系統(tǒng)進(jìn)行科學(xué)地組織與管理。數(shù)據(jù)庫(kù)管理系統(tǒng)（DatabaseManagementSystem,DBMS）就是位于用戶(hù)與操作系統(tǒng)之間地一層數(shù)據(jù)管理軟件,可以高效地組織,存儲(chǔ),管理與維護(hù)數(shù)據(jù)。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部21DBMS功能數(shù)據(jù)定義數(shù)據(jù)組織存儲(chǔ),管理數(shù)據(jù)操作數(shù)據(jù)控制其它2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部223,數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)（DatabaseSystem,DBS）是存儲(chǔ),管理,處理與維護(hù)數(shù)據(jù)地計(jì)算機(jī)系統(tǒng),包含了計(jì)算機(jī)硬件,數(shù)據(jù)庫(kù),數(shù)據(jù)庫(kù)管理系統(tǒng)（與其應(yīng)用開(kāi)發(fā)工具）,應(yīng)用系統(tǒng)與所有數(shù)據(jù)庫(kù)用戶(hù)。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部23用戶(hù)用戶(hù)用戶(hù)應(yīng)用開(kāi)發(fā)工具與應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)具操作系統(tǒng)數(shù)據(jù)庫(kù)硬件數(shù)據(jù)庫(kù)管理員應(yīng)用程序員圖7.5數(shù)據(jù)庫(kù)系統(tǒng)2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部244,數(shù)據(jù)庫(kù)系統(tǒng)有關(guān)員分3類(lèi):1.數(shù)據(jù)庫(kù)管理員DBA全面管理數(shù)據(jù)庫(kù)系統(tǒng)。2.應(yīng)用程序開(kāi)發(fā)員編寫(xiě)數(shù)據(jù)庫(kù)應(yīng)用程序。3.最終用戶(hù)通過(guò)應(yīng)用程序使用數(shù)據(jù)庫(kù)。

用戶(hù)用戶(hù)用戶(hù)應(yīng)用開(kāi)發(fā)工具與應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)具操作系統(tǒng)數(shù)據(jù)庫(kù)硬件數(shù)據(jù)庫(kù)管理員應(yīng)用程序員圖7.5數(shù)據(jù)庫(kù)系統(tǒng)2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部255,云數(shù)據(jù)庫(kù)云數(shù)據(jù)庫(kù)是指被優(yōu)化或部署到"云端"地?cái)?shù)據(jù)庫(kù),可以實(shí)現(xiàn)按需付費(fèi),按需擴(kuò)展,高可用性以與存儲(chǔ)整合等優(yōu)勢(shì)。云數(shù)據(jù)庫(kù)地安裝,部署等工作,都是在云端完成地,非常便捷。特性有:實(shí)例創(chuàng)建快速,支持只讀實(shí)例,讀寫(xiě)分離,故障自動(dòng)切換,數(shù)據(jù)備份,Binlog備份,SQL審計(jì),訪問(wèn)白名單,監(jiān)控與消息通知等。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部26模型是對(duì)現(xiàn)實(shí)世界客觀存在事物特征地抽象。現(xiàn)實(shí)世界地具體事物不可能被計(jì)算機(jī)直接處理,因此們需要先把具體事物轉(zhuǎn)換成計(jì)算機(jī)可以處理地?cái)?shù)據(jù)。數(shù)據(jù)庫(kù)技術(shù),同樣是在對(duì)現(xiàn)實(shí)世界進(jìn)行抽象后用數(shù)據(jù)模型（DataModel）地概念來(lái)描述數(shù)據(jù)庫(kù)地結(jié)構(gòu)與定義。數(shù)據(jù)模型,是數(shù)據(jù)庫(kù)系統(tǒng)地核心與基礎(chǔ),是用來(lái)描述數(shù)據(jù),組織數(shù)據(jù)與對(duì)數(shù)據(jù)進(jìn)行操作地。7.2.2數(shù)據(jù)模型2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部27關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)采用關(guān)系模型作為數(shù)據(jù)地組織方式1970年美IBM公司SanJose研究室地研究員E.F.Codd首次提出了數(shù)據(jù)庫(kù)系統(tǒng)地關(guān)系模型計(jì)算機(jī)廠商推出地?cái)?shù)據(jù)庫(kù)管理系統(tǒng)幾乎都支持關(guān)系模型。三種重要地?cái)?shù)據(jù)模型,分別是層次模型,網(wǎng)狀模型,關(guān)系模型。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部28關(guān)系模型建立在嚴(yán)格地?cái)?shù)學(xué)概念基礎(chǔ)上。從用戶(hù)觀點(diǎn),關(guān)系模型是由一組關(guān)系組成地,而每個(gè)關(guān)系地?cái)?shù)據(jù)邏輯結(jié)構(gòu)是一張二維表。關(guān)系:一個(gè)關(guān)系對(duì)應(yīng)一張二維表。一般表名對(duì)應(yīng)著關(guān)系名。學(xué)號(hào)姓名年齡性別學(xué)院20150046李強(qiáng)20男計(jì)算機(jī)20150082王倩19女外語(yǔ)20150128張飛19男體育……………學(xué)生登記表2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部29記錄:表地一行即為一個(gè)記錄,有地系統(tǒng)也稱(chēng)為元組。屬性:表地一列為一個(gè)屬性,每一列地名稱(chēng)即屬性名。學(xué)號(hào)姓名年齡性別學(xué)院20150046李強(qiáng)20男計(jì)算機(jī)20150082王倩19女外語(yǔ)20150128張飛19男體育……………學(xué)生登記表2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部30關(guān)鍵字:表地一個(gè)屬性或若干個(gè)屬性地組合,它可以唯一確定一條記錄。如表Student地學(xué)號(hào)可以唯一確定一個(gè)學(xué)生,因?yàn)閷W(xué)號(hào)不會(huì)重復(fù),但姓名會(huì)重名,因此學(xué)號(hào)是一個(gè)關(guān)鍵字。學(xué)號(hào)姓名年齡性別學(xué)院20150046李強(qiáng)20男計(jì)算機(jī)20150082王倩19女外語(yǔ)20150128張飛19男體育……………學(xué)生登記表2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部31域:域是一個(gè)或多個(gè)屬性允許地值地集合。屬性地取值范圍來(lái)自某個(gè)域。例如大學(xué)生年齡屬性地域是（15～45歲）,性別地域是（男,女）。學(xué)號(hào)姓名年齡性別學(xué)院20150046李強(qiáng)20男計(jì)算機(jī)20150082王倩19女外語(yǔ)20150128張飛19男體育……………學(xué)生登記表2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部321,建立數(shù)據(jù)庫(kù)建立數(shù)據(jù)庫(kù)語(yǔ)句地簡(jiǎn)化格式為:CREATEDATABASE<數(shù)據(jù)庫(kù)名>;刪除數(shù)據(jù)庫(kù)語(yǔ)句地一般格式為:DROPDATABASE<數(shù)據(jù)庫(kù)名>;例7-1為學(xué)生選課管理系統(tǒng)建立名稱(chēng)為School地?cái)?shù)據(jù)庫(kù)。CREATEDATABASESchool;7.2.3數(shù)據(jù)庫(kù)地基本操作2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部332,建立數(shù)據(jù)表定義基本表語(yǔ)句地一般格式為:CREATETABLE<表名>(<列名><數(shù)據(jù)類(lèi)型>[列級(jí)完整性約束條件][,<列名><數(shù)據(jù)類(lèi)型>[列級(jí)完整性約束條件]]…[,<表級(jí)完整性約束條件>]);2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部34例7-2在School數(shù)據(jù)庫(kù)創(chuàng)建"學(xué)生"表Student,包含學(xué)號(hào)（Sno）,姓名（Sname）,性別（Ssex）,年齡（Sage）與所在學(xué)院（Sdept）屬性。CREATETABLEStudent(SnoCHAR(10)PRIMARYKEY,SnameCHAR(20)UNIQUE,SsexCHAR(2),SageSMALLINT,SdeptCHAR(30));2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部35同樣可以創(chuàng)建"課程"表Course,包含課程號(hào)（o）,課程名（ame）與學(xué)分（Ccredit）屬性,其課程號(hào)為該關(guān)系地關(guān)鍵字。CREATETABLECourse(oCHAR(4)PRIMARYKEY,ameCHAR(40)NOTNULL,CcreditSMALLINT,);2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部36刪除基本表語(yǔ)句地一般格式為:DROPTABLE<表名>說(shuō)明:一個(gè)基本表一旦被刪除后,這個(gè)表地所有數(shù)據(jù)以與在此表基礎(chǔ)上建立地索引,視圖都會(huì)被刪除。因此,執(zhí)行表刪除操作時(shí),一定要格外小心。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部373,數(shù)據(jù)更新選定基本表,可以對(duì)表數(shù)據(jù)進(jìn)行增加,修改,刪除操作,對(duì)應(yīng)著SQL地命令分別是INSERT,UPDATE與DELETE。（1）,插入數(shù)據(jù)（INSERT）插入數(shù)據(jù)語(yǔ)句地一般格式為:INSERTINTO<表名>[(列名1)[,(列名2)…]]VALUES(常量1[,常量2…])說(shuō)明:上述語(yǔ)句地功能是將新記錄插入指定表。其,新記錄地屬性列1取值為常量1,屬性列2取值為常量2,…。INTO子句沒(méi)有出現(xiàn)地屬性列,新記錄在這些列上將取空值。但是需求注意,若該列在定義時(shí)說(shuō)明了NOTNULL地話,會(huì)出錯(cuò)。INTO子句若不指定列名,則給所有列都插入值,且需要一一對(duì)應(yīng)。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部38例7-4向Student表插入如圖所示地學(xué)生信息。INSERTINTOStudentVALUES('20150001','張三','男',20,'計(jì)算機(jī)');INSERTINTOStudentVALUES('20150002','王倩','女',19,'外語(yǔ)');INSERTINTOStudentVALUES('20150003','張飛','男',19,'體育');INSERTINTOStudentVALUES('20150004','高軍軍','男',18,'計(jì)算機(jī)');INSERTINTOStudentVALUES('20150005','趙雪','女',18,'計(jì)算機(jī)');2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部39（2）,修改數(shù)據(jù)（UPDATE）修改數(shù)據(jù)語(yǔ)句地一般格式為:UPDATE<表名>SET<列名1>=<表達(dá)式1>[,<列名1>=<表達(dá)式1>]…[WHERE<條件>];說(shuō)明:該語(yǔ)句功能是修改指定表滿足WHERE子句條件地記錄,其SET子句給出表達(dá)式地值用于取代相應(yīng)地屬性列值。如果省略WHERE子句,則表示要修改表所有記錄。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部40例7-5將學(xué)號(hào)為20150005地學(xué)生所在學(xué)院改為軟件。UPDATEStudentSETSdept='軟件'WHERESno='20150005';2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部41（3）,刪除數(shù)據(jù)（DELETE）刪除數(shù)據(jù)語(yǔ)句地一般格式為:DELETEFROM<表名>[WHERE<條件>];說(shuō)明:該語(yǔ)句功能是刪除指定表滿足WHERE子句條件地記錄,若省略WHERE子句,表示刪除表全部記錄。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部42例7-6從Course表刪除編號(hào)為00003104地課程。例7-7刪除SC表地全部選課記錄。DELETEFROMCourseWHEREo='00003104';DELETEFROMSC;2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部434,數(shù)據(jù)查詢(xún)數(shù)據(jù)庫(kù)最常用操作,按照用戶(hù)需求從數(shù)據(jù)庫(kù)提取數(shù)據(jù)。SQL提供了方式靈活,功能豐富地查詢(xún)語(yǔ)句。查詢(xún)語(yǔ)句地一般格式為:SELECT[ALL|DISTINCT]<目地列表達(dá)式>[,<目地列表達(dá)式>]…FROM<表名或視圖名>[,<表名或視圖名>…][WHERE<條件表達(dá)式>][GROUPBY<列名>[HAVING<條件表達(dá)式>]][ORDERBY<列名>[ASC|DESC]];2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部441,單表查詢(xún)例7-11查詢(xún)所有學(xué)生地姓名,學(xué)號(hào),所在學(xué)院。SELECTSname,Sno,SdeptFROMStudent;注:各列地輸出順序可以與表順序不同,根據(jù)用戶(hù)需求可更改。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部45例7-9查詢(xún)?nèi)w學(xué)生地姓名與其出生年份,出生年份地列名用BIRTHDAY表示,并在出生年份前加入一新列,新列地每行數(shù)據(jù)均為"出生年份"常量值。SELECTSname,'出生年份',2015-SageAsBIRTHDAYFROMStudent;注:查詢(xún)結(jié)果目地列表達(dá)式可以是常量,也可以是表達(dá)式或函數(shù)。用戶(hù)還可以通過(guò)指定別名來(lái)改變查詢(xún)結(jié)果地列標(biāo)題,格式為:列名|表達(dá)式[As]列別名。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部46例7-10SC表查詢(xún)考試不與格學(xué)生地學(xué)號(hào),課程號(hào)與成績(jī)。SELECT*FROMSCWHEREGrade<60;2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部472,連接查詢(xún)FROM子句后面地查詢(xún)對(duì)象不僅僅僅僅局限于一個(gè)表,可以在一個(gè)查詢(xún)同時(shí)涉與兩個(gè)或兩個(gè)以上地表,稱(chēng)為連接查詢(xún)。連接查詢(xún)地WHERE子句可用來(lái)表示兩個(gè)表地連接條件,若有多個(gè)條件,可用邏輯運(yùn)算符進(jìn)行連接。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部48例7-12查詢(xún)所有學(xué)生地學(xué)號(hào),姓名,選修課程號(hào),選修課程名,成績(jī),并且按照成績(jī)降序排列。SELECTStudent.Sno,Sname,SC.o,ame,GradeFROMStudent,SCWHEREStudent.Sno=SC.SnoANDSC.o=Course.oORDERBYGradeDESC;2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部49例7-13查詢(xún)學(xué)號(hào)20150001地學(xué)生選修課成績(jī)大于80分課程地課程名,成績(jī)與該學(xué)生學(xué)號(hào)。SELECTame,Grade,SnoFROMCourse,SCWHERECourse.o=SC.oANDSno=’20150001’ANDGrade>802023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部503大數(shù)據(jù)第節(jié)2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部511.大數(shù)據(jù)地起源與發(fā)展2.大數(shù)據(jù)地概念大數(shù)據(jù)是一個(gè)極其龐大而復(fù)雜地?cái)?shù)據(jù)集,以致無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)地?cái)?shù)據(jù)處理方式對(duì)其進(jìn)行獲取,管理,分析與傳遞等操作,需求新地處理模式才能具有更強(qiáng)地洞察力與決策力。7.3.1大數(shù)據(jù)概述30/4/2023太原理工大學(xué).計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院.計(jì)算機(jī)基礎(chǔ)教學(xué)部52規(guī)模性(Volume)10T高速性(Velocity)多樣性(Variety)真實(shí)性(Veracity)價(jià)值性(Value)3.大數(shù)據(jù)地特征大數(shù)據(jù)（BigData,BD）是一個(gè)抽象地概念,它不僅僅僅僅表示數(shù)據(jù)規(guī)模地龐大,還反映在數(shù)據(jù)地模態(tài)類(lèi)型,傳遞速度,潛在價(jià)值等方面。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部53大數(shù)據(jù)地處理過(guò)程,其實(shí)就是利用合適地工具采集數(shù)據(jù)源,按照一定地標(biāo)準(zhǔn)對(duì)其存儲(chǔ),再利用有關(guān)地?cái)?shù)據(jù)分析技術(shù)進(jìn)行分析,從而提取出有價(jià)值地?cái)?shù)據(jù)展示給客戶(hù)。通常,大數(shù)據(jù)處理過(guò)程主要包含數(shù)據(jù)采集,數(shù)據(jù)管理,數(shù)據(jù)預(yù)處理,數(shù)據(jù)分析與數(shù)據(jù)可視化。7.3.2大數(shù)據(jù)地處理過(guò)程2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部541.數(shù)據(jù)采集數(shù)據(jù)源主要來(lái)自商業(yè),互聯(lián)網(wǎng)與傳感器。根據(jù)數(shù)據(jù)源地不同,數(shù)據(jù)地采集方法也不同,常用地?cái)?shù)據(jù)采集方法如下。①傳感器采集方法。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部55②系統(tǒng)日志采集方法。大型企業(yè)積累了大量地軟硬件資源,包含:交換機(jī),路由器,防火墻,服務(wù)器,各類(lèi)業(yè)務(wù)應(yīng)用系統(tǒng),間件,數(shù)據(jù)庫(kù)等。這些設(shè)備持續(xù)不斷地記錄了大量地日志文件。大型企業(yè)網(wǎng)絡(luò),日志源眾多,格式不一,體量龐大,長(zhǎng)期存儲(chǔ)地?cái)?shù)據(jù)量可達(dá)TB或PB級(jí)別。因此,很多企業(yè)都有自己地海量數(shù)據(jù)采集工具,多用于系統(tǒng)日志收集,如Hadoop地Chukwa,Cloudera地ApacheFlume,Facebook地Scribe等,2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部56③網(wǎng)絡(luò)數(shù)據(jù)采集方法。網(wǎng)絡(luò)爬蟲(chóng)（Webcrawler）,是一種按照一定地規(guī)則,自動(dòng)地抓取萬(wàn)維網(wǎng)信息地程序或者腳本,它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其它類(lèi)似網(wǎng)站,可以自動(dòng)采集所有其可以訪問(wèn)到地頁(yè)面內(nèi)容,以獲取或更新這些網(wǎng)站地內(nèi)容。爬蟲(chóng)程序從一個(gè)或若干初始網(wǎng)頁(yè)地URL（統(tǒng)一資源定位器）開(kāi)始,獲得初始網(wǎng)頁(yè)地URL,在抓取網(wǎng)頁(yè)地過(guò)程,不斷地從當(dāng)前頁(yè)面上抽取新地URL放入隊(duì)列,直到滿足系統(tǒng)地一定條件才停止。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部57爬蟲(chóng)程序從一個(gè)或若干初始網(wǎng)頁(yè)地URL（統(tǒng)一資源定位器）開(kāi)始,獲得初始網(wǎng)頁(yè)地URL,在抓取網(wǎng)頁(yè)地過(guò)程,不斷地從當(dāng)前頁(yè)面上抽取新地URL放入隊(duì)列,直到滿足系統(tǒng)地一定條件才停止。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部582.數(shù)據(jù)管理數(shù)據(jù)管理主要是對(duì)數(shù)據(jù)進(jìn)行分類(lèi),編碼,存儲(chǔ),索引與查詢(xún)。在大數(shù)據(jù)時(shí)代,由于處理地?cái)?shù)據(jù)量激增,且數(shù)據(jù)類(lèi)型種類(lèi)繁多,出現(xiàn)Hadoop。Hadoop是一個(gè)分布式計(jì)算平臺(tái),用戶(hù)可以在它上面輕松地開(kāi)發(fā)與運(yùn)行處理海量數(shù)據(jù)地程序。Hadoop由很多部分組成,核心部分就是HDFS與MapReduce。Hadoop地最底層是HDFS（HadoopDistributedFileSystem）分布式文件系統(tǒng),它是谷歌文件系統(tǒng)GFS地開(kāi)源實(shí)現(xiàn),它可以存儲(chǔ)大規(guī)模地?cái)?shù)據(jù)集,具有高容錯(cuò)性,并且支持Hadoop所有服務(wù)。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部593.數(shù)據(jù)預(yù)處理大數(shù)據(jù)采集過(guò)程通常有一個(gè)或多個(gè)數(shù)據(jù)源,這些數(shù)據(jù)源易受到噪聲數(shù)據(jù),數(shù)據(jù)值缺失,數(shù)據(jù)沖突等影響,通常是不完整地,有噪聲地,不一致地,因此需對(duì)采集到地大數(shù)據(jù)集合進(jìn)行數(shù)據(jù)預(yù)處理。大數(shù)據(jù)地預(yù)處理主要包含數(shù)據(jù)清洗,數(shù)據(jù)集成,數(shù)據(jù)變換與數(shù)據(jù)規(guī)約等環(huán)節(jié)。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部60數(shù)據(jù)清洗主要功能是補(bǔ)充部分?jǐn)?shù)據(jù)缺失地屬性值,統(tǒng)一數(shù)據(jù)格式,編碼與度量,還有檢測(cè)與刪除異常數(shù)據(jù),無(wú)關(guān)數(shù)據(jù)。數(shù)據(jù)集成是將多個(gè)數(shù)據(jù)源地?cái)?shù)據(jù)結(jié)合起來(lái)存儲(chǔ)。數(shù)據(jù)變換是把原始數(shù)據(jù)轉(zhuǎn)換成適合進(jìn)行數(shù)據(jù)挖掘地形式。數(shù)據(jù)規(guī)約是指在盡量保持?jǐn)?shù)據(jù)原貌地基礎(chǔ)上,精簡(jiǎn)數(shù)據(jù)量。這樣,在規(guī)約后地?cái)?shù)據(jù)集上進(jìn)行分析與數(shù)據(jù)挖掘更有效率。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部614.數(shù)據(jù)分析數(shù)據(jù)分析地主要功能是進(jìn)行一般地統(tǒng)計(jì)查詢(xún),從數(shù)據(jù)挖掘特定地模式,還有進(jìn)行預(yù)測(cè)性分析。針對(duì)大數(shù)據(jù)處理地主要計(jì)算模型有MapReduce分布式計(jì)算系統(tǒng),分布式內(nèi)存計(jì)算系統(tǒng),分布式流計(jì)算系統(tǒng)等。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部62

MapReduce是一個(gè)批處理地分布式計(jì)算系統(tǒng),是Hadoop地核心。MapReduce來(lái)源于函數(shù)式語(yǔ)言地內(nèi)置函數(shù)map與reduce,它利用函數(shù)式編程地思想,將對(duì)數(shù)據(jù)地處理過(guò)程分為Map與Reduce兩個(gè)階段。MapReduce處理過(guò)程通俗來(lái)說(shuō),就是把一堆雜亂無(wú)章地?cái)?shù)據(jù)按照某種特征歸納起來(lái),然后處理并得到最后地結(jié)果。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部635.數(shù)據(jù)可視化數(shù)據(jù)可視化是指將大數(shù)據(jù)分析與預(yù)測(cè)結(jié)果以計(jì)算機(jī)圖形或圖像地直觀方式顯示給用戶(hù),并與用戶(hù)進(jìn)行交互式處理。大數(shù)據(jù)可視化,除了可以使用Python地Matplotlib繪圖庫(kù)外,還有高維數(shù)據(jù)可視化工具Tableau,文本可視化工具Wordle,網(wǎng)絡(luò)可視化工具Gephi與可編程可視化工具D3。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部641.商業(yè)智能商業(yè)智能指用現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)技術(shù),線上分析技術(shù),數(shù)據(jù)挖掘等技術(shù)進(jìn)行數(shù)據(jù)分析來(lái)實(shí)現(xiàn)商業(yè)價(jià)值。商業(yè)智能是較早地大數(shù)據(jù)應(yīng)用,可以在多個(gè)方面提升企業(yè)地生產(chǎn)效率與競(jìng)爭(zhēng)力。7.3.3大數(shù)據(jù)典型應(yīng)用2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部652.智慧城市智慧城市就是運(yùn)用信息與通信技術(shù)手段感測(cè),分析,整合城市運(yùn)行核心系統(tǒng)地各項(xiàng)關(guān)鍵信息,從而對(duì)包含生,環(huán)保,公安全,城市服務(wù),工商業(yè)活動(dòng)在內(nèi)地各種需求做出智能響應(yīng)。其實(shí)質(zhì)是利用先進(jìn)地信息技術(shù),實(shí)現(xiàn)城市智慧式管理與運(yùn)行,進(jìn)而為城市地創(chuàng)造更美好地生活,促進(jìn)城市地與諧,可持續(xù)成長(zhǎng)。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部663.在線社交網(wǎng)絡(luò)在線社交網(wǎng)絡(luò)是一種在信息網(wǎng)絡(luò)上由社會(huì)個(gè)體集合與個(gè)體之間地連接關(guān)系構(gòu)成地社會(huì)性結(jié)構(gòu),其數(shù)據(jù)主要來(lái)源于即時(shí)消息,在線社交,微博與享空間4大類(lèi)應(yīng)用。在線社交網(wǎng)絡(luò)大數(shù)據(jù)分析是從網(wǎng)絡(luò)結(jié)構(gòu),群體互動(dòng)與信息傳播3個(gè)維度通過(guò)基于數(shù)學(xué),信息學(xué),社會(huì)學(xué),管理學(xué)等多個(gè)學(xué)科地融合理論與方法,為理解類(lèi)社會(huì)存在地各種關(guān)系提供地一種可計(jì)算地分析方法。目前,在線社交網(wǎng)絡(luò)大數(shù)據(jù)地應(yīng)用包含網(wǎng)絡(luò)輿情分析,網(wǎng)絡(luò)情報(bào)搜集與分析,社會(huì)化營(yíng)銷(xiāo),政府決策支持,在線教育等。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部674.健康醫(yī)療健康醫(yī)療大數(shù)據(jù)是指所有與醫(yī)療衛(wèi)生與生命健康活動(dòng)有關(guān)地?cái)?shù)據(jù)集合,既包含個(gè)從出生到死亡地全生命周期過(guò)程,因免疫,體檢,治療,運(yùn)動(dòng),飲食等健康有關(guān)活動(dòng)所產(chǎn)生地大數(shù)據(jù),又涉與醫(yī)療服務(wù),疾病防控,健康保障與食品安全,養(yǎng)生保健等多方面數(shù)據(jù)地集合。2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部68例7-14利用Python對(duì)下面一段文章制作詞云圖。原文如下:魯肅見(jiàn)了諸葛亮。諸葛亮說(shuō):"三天之內(nèi)要造十萬(wàn)支箭,得請(qǐng)妳幫幫我地忙。"魯肅說(shuō):"都是妳自找地,我怎么幫得了妳地忙？"諸葛亮說(shuō):"妳借給我二十條船,每條船上要三十多名軍士。船用青布幔子遮起來(lái),還要一千多個(gè)草把子,排在船地兩邊。我自有妙用。第三天管保有十萬(wàn)支箭。不過(guò)不能讓都督知道。它要是知道了,我地計(jì)劃就完了。"魯肅答應(yīng)了。它不知道諸葛亮借船有什么用,回來(lái)報(bào)告周瑜,果然不提借船地事,只說(shuō)諸葛亮不用竹子,翎毛,膠漆這些材料。周瑜疑惑起來(lái),說(shuō):"到了第三天,看它怎么辦！"7.3.4大數(shù)據(jù)Python分析實(shí)例2023/4/30信息與計(jì)算機(jī)學(xué)院計(jì)算機(jī)基礎(chǔ)教學(xué)部69制作步驟如下:1．搭建環(huán)境本例,首先需求下載并安裝Anaconda軟件,該軟件是一個(gè)開(kāi)源地Python環(huán)境,一鍵安裝,簡(jiǎn)單好用,其包含了