數(shù)據(jù)挖掘課程論文

1、.M*海南大學(xué)數(shù)據(jù)挖掘論文目:股票令易日線數(shù)據(jù)校掘號(hào):名:業(yè):2010060231000210信管指導(dǎo)老師:分?jǐn)?shù):目錄目錄21 .數(shù)據(jù)挖掘目的32 .相關(guān)基礎(chǔ)知識(shí)32.1 股票基礎(chǔ)知識(shí)32.2 數(shù)據(jù)挖掘基礎(chǔ)知識(shí)42.2.2數(shù)據(jù)挖掘的任務(wù).53 .數(shù)據(jù)挖掘方案63.1 數(shù)據(jù)挖掘軟件簡(jiǎn)介.63.2 股票數(shù)據(jù)選擇73.3 待驗(yàn)證的股票規(guī)律74 .數(shù)據(jù)挖掘流84.1 數(shù)據(jù)挖掘流圖84.2 規(guī)律驗(yàn)證94.2.2 規(guī)律2驗(yàn)證104.2.3 規(guī)律三驗(yàn)證124.3 主要節(jié)點(diǎn)說(shuō)明145 .小結(jié)151 .數(shù)據(jù)挖掘目的數(shù)據(jù)挖掘的目的就是得出隱藏在數(shù)據(jù)中的有價(jià)值的信息，發(fā)現(xiàn)數(shù)據(jù)之間的內(nèi)在聯(lián)系與規(guī)律。對(duì)于本次數(shù)據(jù)挖掘來(lái)

2、說(shuō)，其目的就是學(xué)會(huì)用clementine對(duì)股票的歷史數(shù)據(jù)進(jìn)行挖掘，通過(guò)數(shù)據(jù)的分析，找出存在股票歷史數(shù)據(jù)中的規(guī)律，或者驗(yàn)證已存在的股票規(guī)律。同時(shí)也加深自己對(duì)股票知識(shí)的了解和對(duì)clementine軟件的應(yīng)用能力。為人們決策提供指導(dǎo)性信息，為公司找出其中的客戶為公司帶來(lái)利潤(rùn)的規(guī)律，如二八原則、啤酒與尿布的現(xiàn)象等。2 .相關(guān)基礎(chǔ)知識(shí)2.1 股票基礎(chǔ)知識(shí)2.1.1 股票是一種有價(jià)證券，是股份公司在籌集資本時(shí)向出資人公開(kāi)或私下發(fā)行的、用以證明出資人的股本身份和權(quán)利，并根據(jù)持有人所持有的股份數(shù)享有權(quán)益和承擔(dān)義務(wù)的憑證。股票代表著其持有人（股東）對(duì)股份公司的所有權(quán)，每一股同類型股票所代表的公司所有權(quán)是相等的，

3、即“同股同權(quán)”。股票可以公開(kāi)上市，也可以不上市。在股票市場(chǎng)上，股票也是投資和投機(jī)的對(duì)象。對(duì)股票的某些投機(jī)炒作行為，例如無(wú)貨沽空，可以造成金融市場(chǎng)的動(dòng)蕩。2.1.2 開(kāi)盤價(jià)開(kāi)盤價(jià)又稱開(kāi)市價(jià)，是指某種證券在證券交易所每個(gè)交易日開(kāi)市后的第一筆買賣成交價(jià)格。世界上大多數(shù)證券交易所都采用成交額最大原則來(lái)確定開(kāi)盤價(jià)。2.1.3 收盤價(jià)收盤價(jià)是指某種證券在證券交易所一天交易活動(dòng)結(jié)束前最后一筆交易的成交價(jià)格。如當(dāng)日沒(méi)有成交，則采用最近一次的成交價(jià)格作為收盤價(jià)，因?yàn)槭毡P價(jià)是當(dāng)日行情的標(biāo)準(zhǔn)，又是下一個(gè)交易日開(kāi)盤價(jià)的依據(jù)，可據(jù)以預(yù)測(cè)未來(lái)證券市場(chǎng)行情；所以投資者對(duì)行情分析時(shí)，一般采用收盤價(jià)作為計(jì)算依據(jù)。2.1.4 最

4、高價(jià)指某種證券在每個(gè)交易日從開(kāi)始到收市的交易過(guò)程中所產(chǎn)生的最高價(jià)。2.1.5 最低價(jià)指某種證券在每個(gè)交易日從開(kāi)始到收市的交易過(guò)程中所產(chǎn)生的最低價(jià)。2.1.6 成交量成交量是指一個(gè)時(shí)間單位內(nèi)對(duì)某項(xiàng)交易成交的數(shù)量。一般情況下，成交量大且價(jià)格上漲的股票，趨勢(shì)向好。成交量持續(xù)低迷時(shí)，一般出現(xiàn)在熊市或股票整理階段，市場(chǎng)交投不活躍。成交量是判斷股票走勢(shì)的重要依據(jù)，對(duì)分析主力行為提供了重要的依據(jù)。2.1.7 K線K線圖這種圖表源處于日本德川幕府時(shí)代(16031867年),被當(dāng)時(shí)日本米市的商人用來(lái)記錄米市的行情與價(jià)格波動(dòng)，后因其細(xì)膩獨(dú)到的標(biāo)畫方式而被引入到股市及期貨市場(chǎng)。通過(guò)K線圖，我們能夠把每日或某一周期的

5、市況現(xiàn)完全記錄下來(lái)，股價(jià)經(jīng)過(guò)一段時(shí)間的盤檔后，在圖上即形成一種特殊區(qū)域或形態(tài)，不同的形態(tài)顯示出不同意義。插入線、抱線和利好刺激線這三種K線組合是最常見(jiàn)的經(jīng)典見(jiàn)底形態(tài)。2.1.8 日線任何一天的開(kāi)盤價(jià)收盤價(jià)最高價(jià)最低價(jià)，劃出的一跟中間粗一些，兩端細(xì)一些的線，就是日線，日線是每天一根的K線.5PMA10PMA,20PMA分別代表5日、10日、20日均線。黃色的是5PMA即5日均線；紫色的是10PMA即10日均線；綠色的是20PMA即20日均線。2.2 數(shù)據(jù)挖掘基礎(chǔ)知識(shí)2.2.1 數(shù)據(jù)挖掘數(shù)據(jù)挖掘(DataMining)是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不

6、知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。隨著信息技術(shù)的高速發(fā)展，人們積累的數(shù)據(jù)量急劇增長(zhǎng)，動(dòng)輒以TB計(jì)，如何從海量的數(shù)據(jù)中提取有用的知識(shí)成為當(dāng)務(wù)之急。數(shù)據(jù)挖掘就是為順應(yīng)這種需要應(yīng)運(yùn)而生發(fā)展起來(lái)的數(shù)據(jù)處理技術(shù)。是知識(shí)發(fā)現(xiàn)(KnowledgeDiscoveryinDatabase)的關(guān)鍵步驟。2.2.2 數(shù)據(jù)挖掘的任務(wù)(1) 關(guān)聯(lián)分析(associationanalysis)關(guān)聯(lián)規(guī)則挖掘是由RakeshApwal等人首先提出的。兩個(gè)或兩個(gè)以上變量的取值之間存在某種規(guī)律性，就稱為關(guān)聯(lián)。數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫(kù)中存在的一類重要的、可被發(fā)現(xiàn)的知識(shí)。關(guān)聯(lián)分為簡(jiǎn)單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)和因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)

7、庫(kù)中隱藏的關(guān)聯(lián)網(wǎng)。一般用支持度和可信度兩個(gè)閥值來(lái)度量關(guān)聯(lián)規(guī)則的相關(guān)性，還不斷引入興趣度、相關(guān)性等參數(shù)，使得所挖掘的規(guī)則更符合需求。(2)聚類分析(clustering)聚類是把數(shù)據(jù)按照相似性歸納成若干類別，同一類中的數(shù)據(jù)彼此相似，不同類中的數(shù)據(jù)相異。聚類分析可以建立宏觀的概念，發(fā)現(xiàn)數(shù)據(jù)的分布模式，以及可能的數(shù)據(jù)屬性之間的相互關(guān)系。(3)分類(classification)分類就是找出一個(gè)類別的概念描述，它代表了這類數(shù)據(jù)的整體信息，即該類的內(nèi)涵描述，并用這種描述來(lái)構(gòu)造模型，一般用規(guī)則或決策樹(shù)模式表示。分類是利用訓(xùn)練數(shù)據(jù)集通過(guò)一定的算法而求得分類規(guī)則。分類可被用于規(guī)則描述和預(yù)測(cè)。(4)預(yù)測(cè)(pre

8、dication)預(yù)測(cè)是利用歷史數(shù)據(jù)找出變化規(guī)律，建立模型，并由此模型對(duì)未來(lái)數(shù)據(jù)的種類及特征進(jìn)行預(yù)測(cè)。預(yù)測(cè)關(guān)心的是精度和不確定性，通常用預(yù)測(cè)方差來(lái)度量。(5)時(shí)序模式(time-seriespattern)時(shí)序模式是指通過(guò)時(shí)間序列搜索出的重復(fù)發(fā)生概率較高的模式。與回歸一樣，它也是用己知的數(shù)據(jù)預(yù)測(cè)未來(lái)的值，但這些數(shù)據(jù)的區(qū)別是變量所處時(shí)間的不同。(6)偏差分析(deviation)在偏差中包括很多有用的知識(shí)，數(shù)據(jù)庫(kù)中的數(shù)據(jù)存在很多異常情況，發(fā)現(xiàn)數(shù)據(jù)庫(kù)中數(shù)據(jù)存在的異常情況是非常重要的。偏差檢驗(yàn)的基本方法就是尋找觀察結(jié)果與參照之間的差別。2.2.3 數(shù)據(jù)挖掘方法(1)神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)由于本身良好的

9、魯棒性、自組織自適應(yīng)性、并行處理、分布存儲(chǔ)和高度容錯(cuò)等特性，非常適合解決數(shù)據(jù)挖掘的問(wèn)題。(2)遺傳算法遺傳算法是一種基于生物自然選擇與遺傳機(jī)理的隨機(jī)搜索算法，是一種仿生全局優(yōu)化方法。遺傳算法具有的隱含并行性、易于和其它模型結(jié)合等性質(zhì)使得它在數(shù)據(jù)挖掘中被加以應(yīng)用。(3)決策樹(shù)方法決策樹(shù)是一種常用于預(yù)測(cè)模型的算法，它通過(guò)將大量數(shù)據(jù)有目的分類，從中找到一些有價(jià)值的，潛在的信息。它的主要優(yōu)點(diǎn)是描述簡(jiǎn)單，分類速度快，特別適合大規(guī)模的數(shù)據(jù)處理。(4)統(tǒng)計(jì)分析方法在數(shù)據(jù)庫(kù)字段項(xiàng)之間存在兩種關(guān)系：函數(shù)關(guān)系(能用函數(shù)公式表示的確定性關(guān)系)和相關(guān)關(guān)系(不能用函數(shù)公式表示，但仍是相關(guān)確定性關(guān)系)，對(duì)它們的分析可采用

10、統(tǒng)計(jì)學(xué)方法，即利用統(tǒng)計(jì)學(xué)原理對(duì)數(shù)據(jù)庫(kù)中的信息進(jìn)行分析。(5)模糊集方法即利用模糊集合理論對(duì)實(shí)際問(wèn)題進(jìn)行模糊評(píng)判、模糊決策、模糊模式識(shí)別和模糊聚類分析。(6)粗集方法粗集理論是一種研究不精確、不確定知識(shí)的數(shù)學(xué)工具。粗集方法有幾個(gè)優(yōu)點(diǎn)：不需要給出額外信息；簡(jiǎn)化輸入信息的表達(dá)空間；算法簡(jiǎn)單，易于操作。粗集處理的對(duì)象是類似二維關(guān)系表的信息表。(7)覆蓋正例排斥反例方法它是利用覆蓋所有正例、排斥所有反例的思想來(lái)尋找規(guī)則。首先在正例集合中任選一個(gè)種子，到反例集合中逐個(gè)比較。與字段取值構(gòu)成的選擇子相容則舍去，相反則保留。按此思想循環(huán)所有正例種子，將得到正例的規(guī)則(選擇子的合取式)3 .數(shù)據(jù)挖掘方案3.1 數(shù)

11、據(jù)挖掘軟件簡(jiǎn)介本次的數(shù)據(jù)挖掘所運(yùn)用的軟件是Clementine軟件。Clementine是SPSS的數(shù)據(jù)挖掘應(yīng)用工具。這種工具可把直觀的用戶圖形界面與多種分析技術(shù)相結(jié)合。這些技術(shù)包括神經(jīng)元網(wǎng)絡(luò)、關(guān)聯(lián)規(guī)則和規(guī)則歸納技術(shù),這些分析能力由一個(gè)易于使用的可視化編程環(huán)境所提供。作為一個(gè)數(shù)據(jù)挖掘平臺(tái),Clementine結(jié)合商業(yè)技術(shù)可以快速建立預(yù)測(cè)性模型，進(jìn)而應(yīng)用到商業(yè)活動(dòng)中，幫助人們改進(jìn)決策過(guò)程。強(qiáng)大的數(shù)據(jù)挖掘功能和顯著的投資回報(bào)率使得Clementine在業(yè)界久負(fù)盛譽(yù)。同那些僅僅著重于模型的外在表現(xiàn)而忽略了數(shù)據(jù)挖掘在整個(gè)業(yè)務(wù)流程中的應(yīng)用價(jià)值的其它數(shù)據(jù)挖掘工具相比，Clementine其功能強(qiáng)大的數(shù)據(jù)挖

12、掘算法，使數(shù)據(jù)挖掘貫穿業(yè)務(wù)流程的始終，在縮短投資回報(bào)周期的同時(shí)極大提高了投資回報(bào)率。Clementinee所使用的圖形表現(xiàn)是在屏幕上拖動(dòng)、按下和連接功能節(jié)點(diǎn)。節(jié)點(diǎn)的類型分為數(shù)據(jù)訪問(wèn)節(jié)點(diǎn)、數(shù)據(jù)操縱節(jié)點(diǎn)、數(shù)據(jù)可視化節(jié)點(diǎn)、機(jī)器學(xué)習(xí)節(jié)點(diǎn)和模型分析節(jié)點(diǎn)。模型產(chǎn)生過(guò)程由從托盤中選擇正確的節(jié)點(diǎn)、把它們放到屏幕上和連接節(jié)點(diǎn)組成。Clementinee提供了豐富的數(shù)據(jù)訪問(wèn)能力，其中包括對(duì)展開(kāi)文件和關(guān)系數(shù)據(jù)庫(kù)（通過(guò)ODBC）勺訪問(wèn)。Clementine具有通過(guò)把建模結(jié)果寫回一個(gè)與ODBCS容的DBMS而使它們保持一致的能力。Clementine可在WindowsNT的IntelPenhum系統(tǒng)運(yùn)行。Clement

13、ine的數(shù)據(jù)可視化能力包括分布圖、線性圖和網(wǎng)絡(luò)分析。C1emetine是一個(gè)強(qiáng)大的產(chǎn)品。以公布的用戶基推測(cè)試來(lái)看，它在可伸縮性、預(yù)測(cè)準(zhǔn)確率和處理的時(shí)間方面都表現(xiàn)得很好。總的來(lái)說(shuō)，C1gneBtine對(duì)小規(guī)模和大規(guī)模的分析實(shí)現(xiàn)都很合適。3.2 股票數(shù)據(jù)選擇股票的選擇是隨機(jī)選擇的。用股票代碼/67=02（我學(xué)號(hào)的后兩位）計(jì)算可得所要研究的股票（此過(guò)程運(yùn)用Excel表格的取余，然后用篩選即可選出符合條件的股票）。所以根據(jù)公式可計(jì)算出多支符合條件的股票，從中我選擇自己感興趣的股票深證萬(wàn)科A（000002J口上證道博股份（600132）。同時(shí)用它們的日線作為參考，對(duì)股票的數(shù)據(jù)進(jìn)行研究。3.3 待驗(yàn)證的股

14、票規(guī)律3.3.1 股市的漲跌是呈現(xiàn)周期性變化的且漲幅呈正態(tài)分布?這種現(xiàn)象指的是在股市開(kāi)盤后的一種周期性的現(xiàn)象，具體表現(xiàn)在股票價(jià)格上上的周期性漲落，當(dāng)股市達(dá)到高潮后，一段時(shí)間后又將返回下跌，返回低潮。3.3.2 國(guó)家對(duì)房地產(chǎn)行業(yè)的宏觀調(diào)控政策對(duì)股市中房地產(chǎn)行業(yè)是否有影響？房?jī)r(jià)上漲對(duì)地產(chǎn)股有什么影響？指近10年來(lái)，國(guó)家為了控制房地產(chǎn)的價(jià)格在一個(gè)合理的范圍內(nèi)，所出臺(tái)的一系列與房地產(chǎn)行業(yè)相關(guān)的政策，這條規(guī)律就是研究在政策出臺(tái)之后，股市中的房地產(chǎn)行業(yè)是否會(huì)受其影響而產(chǎn)生波動(dòng)。3.3.3 不同類型的上市公司由于產(chǎn)業(yè)的不同企業(yè)發(fā)展的經(jīng)歷差異其所表現(xiàn)出的股價(jià)漲幅波動(dòng)也是否是有差異？4 .數(shù)據(jù)挖掘流4.1 數(shù)據(jù)

15、挖掘流圖分別做出萬(wàn)科和道博股份的數(shù)據(jù)流圖如圖1、圖2所示:圖1萬(wàn)科的數(shù)據(jù)流圖圖2道博股份的數(shù)據(jù)流圖圖3萬(wàn)科道博股份合并后的數(shù)據(jù)流圖4.2 規(guī)律驗(yàn)證4.2.1 規(guī)律一驗(yàn)證對(duì)于規(guī)律一我們可以把兩支股票的直方圖都做出來(lái)進(jìn)行比較驗(yàn)證分析股票漲幅分布中存在的規(guī)律。國(guó)交仲Ulirtffl室畫圖4漲幅直方圖（萬(wàn)科）圖支件-WI/Hffi3園區(qū)0E©曲昌M/QIr圖5漲幅直方圖（道博股份）由圖4圖5可以很清楚的看出兩支股票的漲幅直方圖都是滿足正態(tài)分布的由此我們可以判斷規(guī)律一是正確的。4.2.2 規(guī)律2驗(yàn)證萬(wàn)科是著名的大型房地產(chǎn)企業(yè)對(duì)于規(guī)律2我們可以應(yīng)用萬(wàn)科的散點(diǎn)圖來(lái)驗(yàn)證0國(guó)法國(guó)1S10E情口00。0

16、圖6萬(wàn)科漲幅日期散點(diǎn)圖G1交件nil生改城urn圖7萬(wàn)科時(shí)間漲幅散點(diǎn)圖通過(guò)兩個(gè)散點(diǎn)圖都可以看出05年以前萬(wàn)科的漲幅波動(dòng)很小，一直很平穩(wěn)，05年以后萬(wàn)科的漲幅波動(dòng)開(kāi)始變的非常大時(shí)高時(shí)低?？梢钥闯鰢?guó)家房地產(chǎn)政策的調(diào)整對(duì)地產(chǎn)企業(yè)的股票市場(chǎng)是有影響的。圖9萬(wàn)科收盤散點(diǎn)圖從上圖的萬(wàn)科收盤散點(diǎn)圖可以看出隨著房地產(chǎn)市場(chǎng)化的進(jìn)行由于商品房?jī)r(jià)格的不斷上漲，萬(wàn)科地產(chǎn)的收盤股價(jià)上漲明顯，近兩年由于國(guó)家抑制房?jī)r(jià)地產(chǎn)股的收盤價(jià)又開(kāi)始稍有下降。4.2.3規(guī)律三驗(yàn)證S3|固爐*11771«圖10萬(wàn)科道博股份合并后的數(shù)據(jù)流圖圖11剔出波動(dòng)大于10后的漲幅時(shí)間散點(diǎn)圖圖12收盤價(jià)時(shí)間散點(diǎn)圖武漢道博股份有限公司是1992

17、年10月30日經(jīng)武漢市經(jīng)濟(jì)體制改革委員會(huì)武體改199244號(hào)文批準(zhǔn)，由海南省高科技開(kāi)發(fā)總公司、三亞市河西城市信用社、海南宏盛實(shí)業(yè)有限公司等三家單位作為主要發(fā)起人，以定向募集方式設(shè)立的股份有限公司。萬(wàn)科企業(yè)股份有限公司成立于1984年5月，是目前中國(guó)最大的專業(yè)住宅開(kāi)發(fā)企業(yè)，也是股市里的代表性地產(chǎn)藍(lán)籌股?？偛吭O(shè)在廣東深圳，至2009年,已在20多個(gè)城市設(shè)立分公司。從兩個(gè)公司的介紹上我們不難看出兩個(gè)公司的差異，再看他們的漲幅散點(diǎn)圖和收盤價(jià)散點(diǎn)圖我們能發(fā)現(xiàn)05年之前萬(wàn)科股價(jià)一直穩(wěn)定小幅上漲而道博股份則是整個(gè)不斷波動(dòng)，05年后萬(wàn)科進(jìn)入大漲階段道博股份則依舊波動(dòng)不斷。我們不難看出不同的上市企業(yè)由于其背景不

18、同股市的表現(xiàn)也是不一樣的。4.3 主要節(jié)點(diǎn)說(shuō)明每只股票的數(shù)據(jù)挖掘流圖的基本思路是一致的，挖掘方法也基本一致，所以只需要對(duì)一只股票數(shù)據(jù)挖掘流圖進(jìn)行節(jié)點(diǎn)分析即可。1、下圖是導(dǎo)入數(shù)據(jù)的節(jié)點(diǎn)，將TXT格式的股票數(shù)據(jù)處理后即可導(dǎo)入軟件000002.IXT2、下圖是到處節(jié)點(diǎn)，就是過(guò)濾掉沒(méi)有用的數(shù)據(jù)，對(duì)規(guī)律1而言，就是過(guò)濾掉成交量、成交額等對(duì)此次數(shù)據(jù)挖掘沒(méi)有用的數(shù)據(jù)，方便分析。過(guò)渡3、下圖分別為直方圖與多重菜點(diǎn)圖，用于顯示數(shù)據(jù)的規(guī)律。4、下圖的節(jié)點(diǎn)是對(duì)多個(gè)數(shù)據(jù)流進(jìn)行合并合并5、下圖用于新添加字段的圖藤幅6、下圖用于選擇用于分析的數(shù)據(jù)選擇7、下圖用于生成表M裊8、散點(diǎn)圖形/多重散點(diǎn)圖m期v.收盤。07收盤。136VI5 .小結(jié)5.1 學(xué)習(xí)心得通過(guò)這次股票數(shù)據(jù)的數(shù)據(jù)挖掘?qū)嶒?yàn)，使自己對(duì)于數(shù)據(jù)挖掘這門學(xué)科有了較為廣泛的了解。同時(shí)，也對(duì)實(shí)驗(yàn)軟件Clementine的操作有了比較熟悉的掌握。