圖書館數(shù)據(jù)挖掘方法課件

圖書館數(shù)據(jù)挖掘方法、二具與梟例分析圖書館數(shù)據(jù)挖掘方法、1大綱口數(shù)據(jù)挖掘概述口數(shù)據(jù)挖掘的過程口數(shù)據(jù)挖掘方法與工具口圖書館數(shù)據(jù)挖掘案例分析口圖書館數(shù)據(jù)挖掘?qū)嵺`大綱2數(shù)據(jù)挖掘的發(fā)展動力需要是發(fā)明之母口信息技術(shù)的發(fā)展使得數(shù)據(jù)的收集和存儲簡單,且價格低廉。導(dǎo)致了:數(shù)據(jù)極大豐富(datarich),知識極其匱乏(knowledgepoor),事實上,多數(shù)數(shù)據(jù)被閑置?？跀?shù)據(jù)量太大,無法用傳統(tǒng)的統(tǒng)計方法進(jìn)行處理(包括實現(xiàn)算法)如同大型搜索引擎進(jìn)行數(shù)據(jù)組織時使用倒排索引,而不是使用數(shù)據(jù)庫一樣?？诮鉀Q方法:數(shù)據(jù)挖掘技術(shù),將傳統(tǒng)的數(shù)據(jù)分析方法與處理海量數(shù)據(jù)的復(fù)雜算法相結(jié)合。(面向?qū)嶋H應(yīng)用,強(qiáng)調(diào)高性能算法的實現(xiàn)。而統(tǒng)計更多的強(qiáng)調(diào)其理論特性如大數(shù)定理,假設(shè)檢驗等)■數(shù)據(jù)挖掘:在大量的數(shù)據(jù)中挖掘感興趣的知識(規(guī)則,規(guī)律,或模式)數(shù)據(jù)挖掘的發(fā)展動力3數(shù)據(jù)挖掘的案例:“啤酒”和“尿布”口一則廣為流傳的案例:啤漍和尿布的故事口美國加州某個超市連鎖店發(fā)現(xiàn):在下班后前來購買嬰兒尿布的顧客多數(shù)是男性他們往往也同時購買啤洇?？谔幚?重新布置了貨架,啤潤類商品、嬰兒尿布、土豆片之類的佐酒小食品、男士們?nèi)粘Ｉ钣闷肪徒贾谩？诮Y(jié)果:上述幾種商品的銷量幾乎馬上成倍增長。數(shù)據(jù)挖掘的案例:“啤酒”和“尿布”4數(shù)據(jù)、信息、知識、理解和先知口系統(tǒng)學(xué)專家RussellAckoff博士認(rèn)為人類大腦包涵的內(nèi)容,分為五類:數(shù)據(jù)(Data):符號(Symbols)的集合,未加工、較為原始的形態(tài)信息(Information):數(shù)據(jù)經(jīng)過處理后,有意義的,具有利用價值的,能夠回答4W為("who","what","where",and"when")等問題知識(Knowledge):實踐申產(chǎn)生、經(jīng)過實踐檢驗的一種客觀規(guī)律。(信息經(jīng)過加工和改造成為知識),能夠回答“how的間題理解(Understanding):why"的正確評價先知(Wisdom):理解的進(jìn)一步提升數(shù)據(jù)、信息、知識、理解和先知5數(shù)據(jù)、信息、知識和先知的關(guān)系comectecmesswisdom/understandingknowledgeprinciplesunderstandingpattenunderstandingrelationsdataUnderstanding數(shù)據(jù)、信息、知識和先知的關(guān)系6什么是數(shù)據(jù)挖掘?口從大量數(shù)據(jù)中提取或發(fā)現(xiàn)(挖掘)知識的過程?？趶臄?shù)據(jù)集中識別出有效的、新穎的、潛在有用的,以及最終可理解的模式的非平凡過程。數(shù)據(jù)集:一組事實F,如關(guān)系數(shù)據(jù)庫中的記錄模式:一個用語言L表示的一個表達(dá)式E,它可以用來描述數(shù)據(jù)集F的一個子集F·E作為一個模式要求它比對數(shù)據(jù)子集F的枚舉要簡單(所用的描述信息量要少)。如:y=f(x)■過程:需要多階段的處理,涉及數(shù)據(jù)準(zhǔn)備、模式搜索、知識評價以及反復(fù)的修改求精。什么是數(shù)據(jù)挖掘?7什么是數(shù)據(jù)挖掘?口從數(shù)據(jù)集中識別出有效的、新穎的、潛在有用的,以及最終可理解的模式的非平凡過程。非平凡(的過程):有一定的智能性、自動性(僅僅給出所有數(shù)據(jù)之和不能算做一個發(fā)現(xiàn)過程)。有效性:所發(fā)現(xiàn)的模式對新的數(shù)據(jù)仍保持一定的可信度。■新穎性:所發(fā)現(xiàn)的模式應(yīng)該是新的。潛在有用性:所發(fā)現(xiàn)的模式將來有實際的效用最終可理解性:能被用戶理解,如:簡潔性口有趣性:有效性、新穎性、潛在有用性、最終可理解性的綜合。什么是數(shù)據(jù)挖掘?8數(shù)據(jù)挖掘:多個學(xué)科的融合數(shù)據(jù)庫系統(tǒng)統(tǒng)計學(xué)機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘可視化算法其他學(xué)科數(shù)據(jù)挖掘:多個學(xué)科的融合9數(shù)據(jù)挖掘的步驟口觀點:數(shù)據(jù)挖掘是數(shù)據(jù)庫中的知識發(fā)現(xiàn)(KDD)的一個步驟。指挖掘的算法口粗略理解三部曲:數(shù)據(jù)準(zhǔn)備(datapreparation)、數(shù)據(jù)挖掘(datamining)一指挖掘的算法結(jié)果的解釋評估(interpretationandevaluation)數(shù)據(jù)挖掘的步驟10圖書館數(shù)據(jù)挖掘方法課件11圖書館數(shù)據(jù)挖掘方法課件12圖書館數(shù)據(jù)挖掘方法課件13圖書館數(shù)據(jù)挖掘方法課件14圖書館數(shù)據(jù)挖掘方法課件15圖書館數(shù)據(jù)挖掘方法課件16圖書館數(shù)據(jù)挖掘方法課件17圖書館數(shù)據(jù)挖掘方法課件18圖書館數(shù)據(jù)挖掘方法課件19圖書館數(shù)據(jù)挖掘方法課件20圖書館數(shù)據(jù)挖掘方法課件21圖書館數(shù)據(jù)挖掘方法課件22圖書館數(shù)據(jù)挖掘方法課件23圖書館數(shù)據(jù)挖掘方法課件24圖書館數(shù)據(jù)挖掘方法課件25圖書館數(shù)據(jù)挖掘方法課件26圖書館數(shù)據(jù)挖掘方法課件27圖書館數(shù)據(jù)挖掘方法課件28圖書館數(shù)據(jù)挖掘方法課件29圖書館數(shù)據(jù)挖掘方法課件30圖書館數(shù)據(jù)挖掘方法課件31圖書館數(shù)據(jù)挖掘方法課件32圖書館數(shù)據(jù)挖掘方法課件33圖書館數(shù)據(jù)挖掘方法課件34圖書館數(shù)據(jù)挖掘方法課件35圖書館數(shù)據(jù)挖掘方法課件36圖書館數(shù)據(jù)挖掘方法課件37圖書館數(shù)據(jù)挖掘方法課件38圖書館數(shù)據(jù)挖掘方法課件39圖書館數(shù)據(jù)挖掘方法課件40圖書館數(shù)據(jù)挖掘方法課件41圖書館數(shù)據(jù)挖掘方法課件42圖書館數(shù)據(jù)挖掘方法課件43圖書館數(shù)據(jù)挖掘方法課件44圖書館數(shù)據(jù)挖掘方法課件45圖書館數(shù)據(jù)挖掘方法課件46圖書館數(shù)據(jù)挖掘方法課件47圖書館數(shù)據(jù)挖掘方法課件48圖書館數(shù)據(jù)挖掘方法課件49圖書館數(shù)據(jù)挖掘方法課件50圖書館數(shù)據(jù)挖掘方法課件51圖書館數(shù)據(jù)挖掘方法課件52圖書館數(shù)據(jù)挖掘方法課件53圖書館數(shù)據(jù)挖掘方法課件54圖書館數(shù)據(jù)挖掘方法課件55圖書館數(shù)據(jù)挖掘方法課件56圖書館數(shù)據(jù)挖掘方法課件57圖書館數(shù)據(jù)挖掘方法課件58圖書館數(shù)據(jù)挖掘方法課件59圖書館數(shù)據(jù)挖掘方法課件60圖書館數(shù)據(jù)挖掘方法課件61圖書館數(shù)據(jù)挖掘方法課件62圖書館數(shù)據(jù)挖掘方法課件63圖書館數(shù)據(jù)挖掘方法課件64圖書館數(shù)據(jù)挖掘方法課件65圖書館數(shù)據(jù)挖掘方法課件66圖書館數(shù)據(jù)挖掘方法課件67圖書館數(shù)據(jù)挖掘方法課件68圖書館數(shù)據(jù)挖掘方法課件69圖書館數(shù)據(jù)挖掘方法課件70圖書館數(shù)據(jù)挖掘方法課件71圖書館數(shù)據(jù)挖掘方法課件72圖書館數(shù)據(jù)挖掘方法課件73圖書館數(shù)據(jù)挖掘方法課件74圖書館數(shù)據(jù)挖掘方法課件75圖書館數(shù)據(jù)挖掘方法課件76圖書館數(shù)據(jù)挖掘方法課件77圖書館數(shù)據(jù)挖掘方法課件78圖書館數(shù)據(jù)挖掘方法、二具與梟例分析圖書館數(shù)據(jù)挖掘方法、79大綱口數(shù)據(jù)挖掘概述口數(shù)據(jù)挖掘的過程口數(shù)據(jù)挖掘方法與工具口圖書館數(shù)據(jù)挖掘案例分析口圖書館數(shù)據(jù)挖掘?qū)嵺`大綱80數(shù)據(jù)挖掘的發(fā)展動力需要是發(fā)明之母口信息技術(shù)的發(fā)展使得數(shù)據(jù)的收集和存儲簡單,且價格低廉。導(dǎo)致了:數(shù)據(jù)極大豐富(datarich),知識極其匱乏(knowledgepoor),事實上,多數(shù)數(shù)據(jù)被閑置。口數(shù)據(jù)量太大,無法用傳統(tǒng)的統(tǒng)計方法進(jìn)行處理(包括實現(xiàn)算法)如同大型搜索引擎進(jìn)行數(shù)據(jù)組織時使用倒排索引,而不是使用數(shù)據(jù)庫一樣?？诮鉀Q方法:數(shù)據(jù)挖掘技術(shù),將傳統(tǒng)的數(shù)據(jù)分析方法與處理海量數(shù)據(jù)的復(fù)雜算法相結(jié)合。(面向?qū)嶋H應(yīng)用,強(qiáng)調(diào)高性能算法的實現(xiàn)。而統(tǒng)計更多的強(qiáng)調(diào)其理論特性如大數(shù)定理,假設(shè)檢驗等)■數(shù)據(jù)挖掘:在大量的數(shù)據(jù)中挖掘感興趣的知識(規(guī)則,規(guī)律,或模式)數(shù)據(jù)挖掘的發(fā)展動力81數(shù)據(jù)挖掘的案例:“啤酒”和“尿布”口一則廣為流傳的案例:啤漍和尿布的故事口美國加州某個超市連鎖店發(fā)現(xiàn):在下班后前來購買嬰兒尿布的顧客多數(shù)是男性他們往往也同時購買啤洇?？谔幚?重新布置了貨架,啤潤類商品、嬰兒尿布、土豆片之類的佐酒小食品、男士們?nèi)粘Ｉ钣闷肪徒贾谩？诮Y(jié)果:上述幾種商品的銷量幾乎馬上成倍增長。數(shù)據(jù)挖掘的案例:“啤酒”和“尿布”82數(shù)據(jù)、信息、知識、理解和先知口系統(tǒng)學(xué)專家RussellAckoff博士認(rèn)為人類大腦包涵的內(nèi)容,分為五類:數(shù)據(jù)(Data):符號(Symbols)的集合,未加工、較為原始的形態(tài)信息(Information):數(shù)據(jù)經(jīng)過處理后,有意義的,具有利用價值的,能夠回答4W為("who","what","where",and"when")等問題知識(Knowledge):實踐申產(chǎn)生、經(jīng)過實踐檢驗的一種客觀規(guī)律。(信息經(jīng)過加工和改造成為知識),能夠回答“how的間題理解(Understanding):why"的正確評價先知(Wisdom):理解的進(jìn)一步提升數(shù)據(jù)、信息、知識、理解和先知83數(shù)據(jù)、信息、知識和先知的關(guān)系comectecmesswisdom/understandingknowledgeprinciplesunderstandingpattenunderstandingrelationsdataUnderstanding數(shù)據(jù)、信息、知識和先知的關(guān)系84什么是數(shù)據(jù)挖掘?口從大量數(shù)據(jù)中提取或發(fā)現(xiàn)(挖掘)知識的過程?？趶臄?shù)據(jù)集中識別出有效的、新穎的、潛在有用的,以及最終可理解的模式的非平凡過程。數(shù)據(jù)集:一組事實F,如關(guān)系數(shù)據(jù)庫中的記錄模式:一個用語言L表示的一個表達(dá)式E,它可以用來描述數(shù)據(jù)集F的一個子集F·E作為一個模式要求它比對數(shù)據(jù)子集F的枚舉要簡單(所用的描述信息量要少)。如:y=f(x)■過程:需要多階段的處理,涉及數(shù)據(jù)準(zhǔn)備、模式搜索、知識評價以及反復(fù)的修改求精。什么是數(shù)據(jù)挖掘?85什么是數(shù)據(jù)挖掘?口從數(shù)據(jù)集中識別出有效的、新穎的、潛在有用的,以及最終可理解的模式的非平凡過程。非平凡(的過程):有一定的智能性、自動性(僅僅給出所有數(shù)據(jù)之和不能算做一個發(fā)現(xiàn)過程)。有效性:所發(fā)現(xiàn)的模式對新的數(shù)據(jù)仍保持一定的可信度?！鲂路f性:所發(fā)現(xiàn)的模式應(yīng)該是新的。潛在有用性:所發(fā)現(xiàn)的模式將來有實際的效用最終可理解性:能被用戶理解,如:簡潔性口有趣性:有效性、新穎性、潛在有用性、最終可理解性的綜合。什么是數(shù)據(jù)挖掘?86數(shù)據(jù)挖掘:多個學(xué)科的融合數(shù)據(jù)庫系統(tǒng)統(tǒng)計學(xué)機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘可視化算法其他學(xué)科數(shù)據(jù)挖掘:多個學(xué)科的融合87數(shù)據(jù)挖掘的步驟口觀點:數(shù)據(jù)挖掘是數(shù)據(jù)庫中的知識發(fā)現(xiàn)(KDD)的一個步驟。指挖掘的算法口粗略理解三部曲:數(shù)據(jù)準(zhǔn)備(datapreparation)、數(shù)據(jù)挖掘(datamining)一指挖掘的算法結(jié)果的解釋評估(interpretationandevaluation)數(shù)據(jù)挖掘的步驟88圖書館數(shù)據(jù)挖掘方法課件89圖書館數(shù)據(jù)挖掘方法課件90圖書館數(shù)據(jù)挖掘方法課件91圖書館數(shù)據(jù)挖掘方法課件92圖書館數(shù)據(jù)挖掘方法課件93圖書館數(shù)據(jù)挖掘方法課件94圖書館數(shù)據(jù)挖掘方法課件95圖書館數(shù)據(jù)挖掘方法課件96圖書館數(shù)據(jù)挖掘方法課件97圖書館數(shù)據(jù)挖掘方法課件98圖書館數(shù)據(jù)挖掘方法課件99圖書館數(shù)據(jù)挖掘方法課件100圖書館數(shù)據(jù)挖掘方法課件101圖書館數(shù)據(jù)挖掘方法課件102圖書館數(shù)據(jù)挖掘方法課件103圖書館數(shù)據(jù)挖掘方法課件104圖書館數(shù)據(jù)挖掘方法課件105圖書館數(shù)據(jù)挖掘方法課件106圖書館數(shù)據(jù)挖掘方法課件107圖書館數(shù)據(jù)挖掘方法課件108圖書館數(shù)據(jù)挖掘方法課件109圖書館數(shù)據(jù)挖掘方法課件110圖書館數(shù)據(jù)挖掘方法課件111圖書館數(shù)據(jù)挖掘方法課件112圖書館數(shù)據(jù)挖掘方法課件113圖書館數(shù)據(jù)挖掘方法課件114圖書館數(shù)據(jù)挖掘方法課件115圖書館數(shù)據(jù)挖掘方法課件116圖書館數(shù)據(jù)挖掘方法課件117圖書館數(shù)據(jù)挖掘方法課件118圖書館數(shù)據(jù)挖掘方法課件119圖書館數(shù)據(jù)挖掘方法課件120圖書館數(shù)據(jù)挖掘方法課件121圖書館數(shù)據(jù)挖掘方法課件122圖書館數(shù)據(jù)挖掘方法課件123圖書館數(shù)據(jù)挖掘方法課件124圖書館數(shù)據(jù)挖掘方法課件125圖書館數(shù)據(jù)挖掘方法課件126圖書館數(shù)據(jù)挖掘方法課件127圖書館數(shù)據(jù)挖掘方法課件128圖書館數(shù)據(jù)挖掘方法課件129圖書館數(shù)據(jù)挖掘方法課件130圖書館數(shù)據(jù)挖掘方法課件131圖書館數(shù)據(jù)挖掘方法課件132圖書館數(shù)據(jù)挖掘方法課件133圖書館數(shù)據(jù)挖掘方法課件134圖書館數(shù)據(jù)挖掘方法課件135圖書館數(shù)據(jù)挖掘方法課件136圖書館數(shù)據(jù)挖掘方法課件137圖書館數(shù)據(jù)挖掘方法課件138圖書館數(shù)據(jù)挖掘方法課件