信息分析與數(shù)據(jù)挖掘理論

1、第節(jié) 課程概述1. 基本內(nèi)容1-1 信息分析理論教材前三章：緒論（信息分析的內(nèi)涵、領(lǐng)域、方法論、信息分析職業(yè)人員的理想素質(zhì)結(jié)構(gòu)、產(chǎn)生與發(fā)展）、信息分析的工作框架（選題與規(guī)劃、信息收集、整理與評(píng)價(jià)、信息分析的六個(gè)步驟）、信息分析建模（模型與模型方法、信息分析建模的一般過(guò)程、定性模型、定量模型）。1-2 信息分析方法主要介紹幾種常用的定量方法（相關(guān)分析與回歸分析、時(shí)間序列分析、馬爾可夫分析等）、定性方法（德?tīng)柗品椒ǎ┘岸ㄐ远肯嘟Y(jié)合的方法（數(shù)據(jù)包絡(luò)分析、層次分析法等）。1-3 信息分析技術(shù)對(duì)常用的分析軟件做簡(jiǎn)單介紹：SPSS軟件、DEA計(jì)算軟件等。2. 參考書(shū)目2-1 信息分析沙勇忠、牛春華等，信

2、息分析，科學(xué)出版社，2009年第一版。2-2 計(jì)量經(jīng)濟(jì)學(xué)古扎拉蒂，計(jì)量經(jīng)濟(jì)學(xué)（第三版），中國(guó)人民大學(xué)出版社，2000年林少宮翻譯第一版。2-3 運(yùn)籌學(xué)魏權(quán)齡、胡顯佑，運(yùn)籌學(xué)基礎(chǔ)教材，中國(guó)人民大學(xué)出版社，2008年第二版。3. 考核要求、方式4-1 期末考試：閉卷，重點(diǎn)考察信息分析方法特別是計(jì)量方法、時(shí)間序列方法、層次分析方法、DEA方法的理解與應(yīng)用。4-2 平時(shí)考核：出勤、作業(yè)（含信息分析全程的課程論文）。平時(shí)點(diǎn)名5次，全缺者取消考試資格。4-3 總評(píng)成績(jī)：期末卷面成績(jī)出勤作業(yè)。第一節(jié) 緒論1. 信息分析的內(nèi)涵1-1 信息分析的概念：是情報(bào)研究范圍的擴(kuò)展和社會(huì)信息化發(fā)展的結(jié)果，是針對(duì)特定的需求

3、，對(duì)信息進(jìn)行深度分析和加工，提供有用的信息與情報(bào)。信息分析的本質(zhì)是將信息轉(zhuǎn)換為情報(bào)。過(guò)程闡述一：事實(shí)符號(hào)數(shù)據(jù)信息知識(shí)情報(bào)過(guò)程闡述二：信息源信息收集信息整理信息分析信息產(chǎn)品信息利用1-2 信息分析與相關(guān)研究的關(guān)系A(chǔ). 信息分析與科學(xué)研究：信息分析是一種面向應(yīng)用的科學(xué)研究，是科學(xué)研究的前提或基礎(chǔ)；兩者研究對(duì)象不同、研究目的不同、研究功用不同、研究性質(zhì)不同。B. 信息分析與軟科學(xué)研究：兩者都涉及到信息的分析和加工，都是為決策和行動(dòng)提供依據(jù)和參考；軟科學(xué)側(cè)重于對(duì)策研究，信息分析的研究范圍更為廣泛，軟科學(xué)研究以信息分析為基礎(chǔ)，信息分析借鑒軟科學(xué)的對(duì)策研究方法是一種趨勢(shì)。C. 信息分析與咨詢(xún)服務(wù)：二者的基

4、礎(chǔ)活動(dòng)都是信息的采集、加工、傳遞和反饋，都是為客戶(hù)決策和行動(dòng)提供智力支持服務(wù)，都是面向市場(chǎng)的商業(yè)信息活動(dòng)；咨詢(xún)服務(wù)更強(qiáng)調(diào)專(zhuān)業(yè)性，更注重咨詢(xún)?nèi)藛T的專(zhuān)業(yè)經(jīng)驗(yàn)和具體研究以解決客戶(hù)實(shí)際問(wèn)題。信息分析正迅速融入咨詢(xún)業(yè)而形成信息咨詢(xún)業(yè)。D. 信息分析與競(jìng)爭(zhēng)情報(bào)：競(jìng)爭(zhēng)情報(bào)是信息分析的組成部分，是面向企業(yè)的信息研究，競(jìng)爭(zhēng)情報(bào)以市場(chǎng)競(jìng)爭(zhēng)為內(nèi)容，以競(jìng)爭(zhēng)對(duì)手分析為核心，具有強(qiáng)烈的對(duì)抗性與針對(duì)性。1-3 信息分析的工作目標(biāo)A. 從混沌的信息中萃取有用信息。實(shí)現(xiàn)這一目標(biāo)的常用方法有：比較、鑒別、檢索、相關(guān)分析等。B. 從表層信息中發(fā)現(xiàn)相關(guān)的隱蔽信息，實(shí)現(xiàn)這一目標(biāo)的常用方法有：內(nèi)容分析、聚類(lèi)分析、數(shù)據(jù)挖掘、知識(shí)發(fā)現(xiàn)等。C

5、. 從過(guò)去和現(xiàn)在的信息中推演未來(lái)的信息。實(shí)現(xiàn)這一目標(biāo)的常用方法有：特爾菲法、情景分析法、對(duì)策法等。D. 從局部信息推知總體信息。實(shí)現(xiàn)這一目標(biāo)的常用方法有：統(tǒng)計(jì)學(xué)方法、系統(tǒng)辨識(shí)、內(nèi)容分析等。E. 運(yùn)用相關(guān)信息對(duì)事物的狀態(tài)、性能和效果進(jìn)行評(píng)價(jià)。實(shí)現(xiàn)這一目標(biāo)的常用方法有：層次分析法、數(shù)據(jù)包絡(luò)分析法等。2. 信息分析的領(lǐng)域1-1 按功能進(jìn)行劃分 信息分析跟蹤性信息分析比較性信息分析預(yù)測(cè)性信息分析評(píng)價(jià)性信息分析對(duì)策性信息分析綜合性信息分析1-2 按工作領(lǐng)域劃分信息分析科技信息分析經(jīng)濟(jì)信息分析社會(huì)信息分析3. 信息分析方法論3-1 方法與方法論 A. 方法論是方法的系統(tǒng)知識(shí)，它把方法作為直接對(duì)象從理論上進(jìn)

6、行系統(tǒng)研究和梳理，方法論研究方法的性質(zhì)、作用和發(fā)展規(guī)律，研究不同方法之間的差別和聯(lián)系，研究每一種方法在方法系統(tǒng)中的地位以及正確運(yùn)用各種方法所需要遵循的基本程序和原則等。B. 方法是方法論的原材料，是方法論的基礎(chǔ)；方法論是方法的理論概括和總結(jié)，是系統(tǒng)化了的方法體系，對(duì)具體的方法具有指導(dǎo)作用。C. 從方法論的角度來(lái)講，研究方法是分層次的，按照其概括的普遍程度和適用范圍的大小，按從高到低的水平，可以分為彼此不同但有緊密聯(lián)系的三個(gè)層次：哲學(xué)方法、一般方法、專(zhuān)門(mén)方法體現(xiàn)某學(xué)科的特殊規(guī)定性；是該學(xué)科的核心方法，具備獨(dú)特的應(yīng)用效能；具體方法一經(jīng)確立，就必然沖出本學(xué)科的范圍，為其他學(xué)科所方法采用。上層的方法作

7、用范圍更大，作用時(shí)間更長(zhǎng)，但也越不具體；下層的方法作用范圍更小、更專(zhuān)門(mén)，操作性更強(qiáng)。方法體系哲學(xué)方法一般方法專(zhuān)門(mén)方法矛盾的觀點(diǎn)發(fā)展的觀點(diǎn)聯(lián)系的觀點(diǎn)歸納演繹3-2 信息分析的方法來(lái)源A. 邏輯學(xué)的方法B. 系統(tǒng)分析的方法C. 圖書(shū)情報(bào)學(xué)方法D. 社會(huì)學(xué)方法E. 數(shù)學(xué)統(tǒng)計(jì)學(xué)的方法F. 經(jīng)濟(jì)管理學(xué)的方法3-3 信息分析方法的體系結(jié)構(gòu) 根據(jù)信息分析的理論追求和職業(yè)需要，對(duì)信息分析領(lǐng)域所積累的研究方法按照某種標(biāo)準(zhǔn)進(jìn)行系統(tǒng)化和結(jié)構(gòu)化。另外，從技術(shù)手段來(lái)說(shuō)，計(jì)算機(jī)輔助信息分析日益普遍。信息分析方法相關(guān)分析方法內(nèi)容分析法、引文分析法、因子分析法、聚類(lèi)分析法、關(guān)聯(lián)樹(shù)法等。預(yù)測(cè)分析方法時(shí)間序列法、回歸分析法、德?tīng)?/p>

8、菲法、情景分析法、馬爾可夫法等。評(píng)估分析方法模糊綜合評(píng)估法、層次分析法。指數(shù)評(píng)估法、數(shù)據(jù)包絡(luò)分析法。其他分析方法問(wèn)題診斷、對(duì)策研究、數(shù)據(jù)庫(kù)開(kāi)發(fā)等功能。仿真法、動(dòng)態(tài)規(guī)劃法、博弈論方法、神經(jīng)網(wǎng)絡(luò)方法、社會(huì)調(diào)查法等。4. 信息分析職業(yè)人員的理想素質(zhì)結(jié)構(gòu)4-1 兩類(lèi)知識(shí)顯性知識(shí)與隱性知識(shí)：前者通過(guò)學(xué)習(xí)獲得，后者通過(guò)生活經(jīng)驗(yàn)獲得。4-2 兩類(lèi)思維 發(fā)散性思維與收斂性思維：前者具有非習(xí)常性、無(wú)規(guī)范性，后者則遵循一定規(guī)則，具有可靠的程序。4-3 兩類(lèi)方法 定性方法與定量方法：前者強(qiáng)調(diào)對(duì)所要研究的對(duì)象從整體上進(jìn)行把握，認(rèn)為研究應(yīng)當(dāng)是開(kāi)放和多元的。4-4 必要的張力 在兩類(lèi)知識(shí)、兩種思維、兩類(lèi)方法之間保持必要的

9、張力，形成不偏倚、非極端的均衡結(jié)構(gòu)。信息分析需要科學(xué)與藝術(shù)相結(jié)合的雙重素質(zhì)。素質(zhì)結(jié)構(gòu)科學(xué)硬功夫藝術(shù)軟功夫顯性知識(shí)收斂性思維定量方法隱性知識(shí)發(fā)散性思維定性方法5. 信息分析的發(fā)展趨勢(shì)5-1 信息分析服務(wù)的市場(chǎng)化、產(chǎn)業(yè)化5-2 信息分析內(nèi)容的專(zhuān)深化5-3 信息分析手段的現(xiàn)代化第二節(jié) 信息分析的工作流程1. 信息分析課題選題與規(guī)劃1-1 課題選題A. 選題就是明確信息分析的對(duì)象、內(nèi)容與目的。B選題來(lái)源：從現(xiàn)實(shí)生活中選題（現(xiàn)實(shí)需要、社會(huì)熱點(diǎn)難點(diǎn)問(wèn)題、實(shí)踐項(xiàng)目）；從理論研究中選題（彌補(bǔ)研究空白、開(kāi)拓研究問(wèn)題、過(guò)去研究不足）；從個(gè)人經(jīng)歷中選題（個(gè)人好奇心、個(gè)人興趣）；從不同學(xué)派、觀點(diǎn)的學(xué)術(shù)爭(zhēng)論中選題；從學(xué)

10、科滲透、交叉中選題；從直覺(jué)思維、意外發(fā)現(xiàn)中選題；建議或者指派。C選題原則：必要性和可行性；綜合性與針對(duì)性；及時(shí)性與預(yù)見(jiàn)性；科學(xué)性與創(chuàng)新性。D選題步驟：課題提出；課題分析；初步調(diào)查；課題論證；課題選定；開(kāi)題報(bào)告。1-2 課題規(guī)劃制定相應(yīng)的研究計(jì)劃，一般包括如下內(nèi)容：課題目的；調(diào)查大綱；預(yù)計(jì)成果形式；組織分工；完成時(shí)間與實(shí)施步驟；其他。2. 信息收集、整理與評(píng)價(jià)2-1 信息源根據(jù)信息存在的三種形式，信息源可分為三個(gè)方面：文獻(xiàn)信息、口頭和實(shí)物信息、網(wǎng)絡(luò)信息。2-2 信息收集信息收集原則：全面系統(tǒng)性、針對(duì)適用性、真實(shí)可靠性、及時(shí)新穎性、計(jì)劃預(yù)見(jiàn)性。信息收集方法如下圖所示：信息收集方法文獻(xiàn)信息收集方法口

11、頭實(shí)物信息收集方法網(wǎng)絡(luò)信息收集方法信息檢索預(yù)定采購(gòu)交換索要觀察法問(wèn)卷調(diào)查訪問(wèn)交談參觀考察專(zhuān)家評(píng)估直接訪問(wèn)網(wǎng)頁(yè)網(wǎng)絡(luò)數(shù)據(jù)庫(kù)搜索引擎2-3 信息整理對(duì)收集到的繁雜無(wú)序的原始信息，經(jīng)篩選、分類(lèi)、歸納、排序，成為便于研究的形式表達(dá)并存儲(chǔ)起來(lái)。整理即序化過(guò)程，目的是減少信息的混亂程度?；痉椒ㄓ校篈. 分類(lèi)與篩選B閱讀與摘錄C序化處理D改編與重組2-4 信息評(píng)價(jià)信息評(píng)價(jià)三個(gè)指標(biāo)：可靠性、先進(jìn)性、適用性，可分別從多個(gè)角度進(jìn)行評(píng)價(jià)。針對(duì)上述指標(biāo)，可考慮文獻(xiàn)信息、口頭和實(shí)物信息、網(wǎng)絡(luò)信息評(píng)價(jià)的基本出發(fā)點(diǎn)。3. 信息分析3-1 瀏覽、閱讀已搜集和整理的原始資料。3-2 創(chuàng)造最初的假設(shè)。假設(shè)必須具體、明確，最好表達(dá)

12、為5W1H的形式：人物、事物、時(shí)間、地理位置、操作方法、動(dòng)機(jī)。比如：在一定時(shí)間、地點(diǎn)范圍內(nèi)，消費(fèi)者為追求效用最大化，消費(fèi)商品總是按照等邊際效用法則進(jìn)行。3-3 再搜集、整理和評(píng)價(jià)信息。目的是驗(yàn)證最初的假設(shè)。3-4 確定前提。3-5 驗(yàn)證假設(shè)并形成推論。3-6 形成最終的結(jié)論。4. 信息分析產(chǎn)品的制作與傳播4-1 產(chǎn)品類(lèi)型及制作。三種類(lèi)型：系統(tǒng)資料類(lèi)產(chǎn)品；動(dòng)態(tài)報(bào)道類(lèi)產(chǎn)品；研究報(bào)告類(lèi)（題目、緒言、正文、結(jié)論、參考文獻(xiàn)、附錄）。注意其內(nèi)容及格式。4-2 信息分析產(chǎn)品的評(píng)價(jià)。評(píng)價(jià)的必要性及主要評(píng)價(jià)指標(biāo)（針對(duì)性、準(zhǔn)確性、創(chuàng)造性、新穎性、加工度、產(chǎn)品制作水平、效益性等）。4-3 信息產(chǎn)品傳播、利用與反饋。

13、兩種傳播方式（單向被動(dòng)傳播與單向主動(dòng)傳播）。影響傳播的因素（產(chǎn)品定價(jià)、市場(chǎng)因素、政府調(diào)控等）。第三節(jié) 信息分析建模1. 模型與模型方法的概念1-1 模型就是通過(guò)對(duì)問(wèn)題現(xiàn)象的分解，利用我們考察得來(lái)的原理，吸收一切主要因素，略去一切不主要的因素所創(chuàng)造出來(lái)的一副圖畫(huà)。模型是現(xiàn)實(shí)原型的一種抽象或模擬。1-2 由于研究對(duì)象的復(fù)雜性、不可分解性、不可逆性和難操作性，需要通過(guò)模型研究原型。1-3 模型方法就是主體通過(guò)構(gòu)建模型來(lái)研究客體的方法。2. 模型的分類(lèi)2-1 模型的第一種分類(lèi)：按照人們對(duì)實(shí)際問(wèn)題的了解程度劃分。模型白箱模型灰箱模型黑箱模型對(duì)實(shí)際問(wèn)題的了解程度2-2 模型的第二種分類(lèi)：按照模型替代原型的

14、方式劃分。 模型物質(zhì)模型理想模型替代原型的方式直觀模型物理模型思維模型符號(hào)模型數(shù)學(xué)模型歷史模型2-3 模型的第三種分類(lèi)：按照建立模型目的劃分。模型描述模型預(yù)報(bào)模型優(yōu)化模型建立模型的目的決策模型控制模型2-5 模型的第四種分類(lèi)：按照模型的應(yīng)用領(lǐng)域或所屬學(xué)科劃分。模型經(jīng)濟(jì)學(xué)模型社會(huì)學(xué)模型人口學(xué)模型模型應(yīng)用領(lǐng)域交通模型其他3. 模型建立的一般過(guò)程3-1 信息分析建模需考慮的主要問(wèn)題：對(duì)實(shí)際問(wèn)題的分析與理解；定量與定性方法的選擇。3-2 信息分析建?；静襟E：準(zhǔn)備；簡(jiǎn)化與假設(shè)；模型表述；模型求解；模型的分析、檢驗(yàn)與修正；模型的應(yīng)用。準(zhǔn)備階段簡(jiǎn)化假設(shè)模型表述模型求解分析檢驗(yàn)?zāi)Ｐ蛻?yīng)用模型修正4. 信息分析典型模型SWOT模型。4-1 由美國(guó)舊金山大學(xué)Heinz Weihrich于20世紀(jì)80年代提出。S代表企業(yè)長(zhǎng)處或優(yōu)勢(shì)，W代表企業(yè)的弱點(diǎn)或劣勢(shì)，0表示企業(yè)外部環(huán)境中存在的機(jī)會(huì)，T表示企業(yè)所面臨的外部環(huán)境威脅。SWOT模型用系統(tǒng)的