應(yīng)用馬可夫決策過程進(jìn)行課件

應(yīng)用馬可夫決策過程進(jìn)行

臺(tái)股每日交易策略之研究

指導(dǎo)老師：吳文洪組員：許筱茹葉玟妏詹秀櫻關(guān)若倩唐寶如應(yīng)用馬可夫決策過程進(jìn)行

臺(tái)股每日交易策略之研究指導(dǎo)老1報(bào)告大綱研究動(dòng)機(jī)研究步驟與方法實(shí)證結(jié)果與分析結(jié)論與建議報(bào)告大綱研究動(dòng)機(jī)2研究動(dòng)機(jī)經(jīng)濟(jì)環(huán)境是經(jīng)常變化的，對(duì)於不同的經(jīng)濟(jì)環(huán)境，可以認(rèn)為事物處?kù)恫煌臓顟B(tài)中，馬可夫決策過程（MarkovDecision

Process）的理論，可以對(duì)事物不同狀態(tài)的初始機(jī)率與狀態(tài)之間的移轉(zhuǎn)機(jī)率予以估算，以確定狀態(tài)變化趨勢(shì)，及預(yù)測(cè)事物的未來。研究動(dòng)機(jī)經(jīng)濟(jì)環(huán)境是經(jīng)常變化的，對(duì)於不同的經(jīng)3研究步驟與方法馬可夫決策過程資料準(zhǔn)備最佳策略求解&實(shí)證結(jié)果分析結(jié)論與建議研究步驟與方法馬可夫決策過程資最佳策略求解結(jié)論與4馬可夫決策過程馬可夫決策過程是由四組參數(shù)所構(gòu)成的決策模式1.狀態(tài)變數(shù)（Statevariable）2.移轉(zhuǎn)機(jī)率（Transitionprobability）3.決策變數(shù)（Decisionvariable）4.期望利潤(rùn)（Expectedreward）馬可夫決策過程馬可夫決策過程是由四組參數(shù)所構(gòu)成的5資料準(zhǔn)備本研究的實(shí)驗(yàn)對(duì)象為民國(guó)九十五年證交所的個(gè)股股價(jià)資料。擷取由九十五年一月二日至九十五年六月三十日，此六個(gè)月的資料當(dāng)作原始資料，其中含塑膠類、電子類、金融類、鋼鐵類、汽車工業(yè)類項(xiàng)目包括營(yíng)業(yè)的每天日資料的開盤價(jià)、最高價(jià)、最低價(jià)與收盤價(jià)。資料準(zhǔn)備本研究的實(shí)驗(yàn)對(duì)象為民國(guó)九十五年證交6狀態(tài)變數(shù)表1即為「亞聚股價(jià)記錄表」的表格，其中，第一類資料為每檔股票的交易日期、收盤價(jià)格和開盤價(jià)格。第二類資料有九個(gè)欄位，而此九個(gè)欄位均依據(jù)每日的第一類資料而來(如圖1)。第三類資料記錄收盤價(jià)落點(diǎn)區(qū)間，依據(jù)第二類資料分出區(qū)間後，由H1至H5，L5至L1，共記取10個(gè)股價(jià)狀態(tài)變數(shù)(如圖2)。狀態(tài)變數(shù)表1即為「亞聚股價(jià)記錄表」的表格，其中7表1亞聚股價(jià)紀(jì)錄表（2006上半年）第一類第三類第一類第三類交易日開盤價(jià)收盤價(jià)收盤價(jià)記號(hào)交易日開盤價(jià)收盤價(jià)收盤價(jià)記號(hào)95/1/213.813.5L595/4/612.512.75L395/1/313.713.85H595/4/712.7512.6L395/1/41413.85H595/4/1012.612.55L395/1/513.914.15H595/4/1112.5512.85L495/1/614.314.6H495/4/1212.812.95L4……………………95/3/2912.2512.25L295/6/2612.312.6L395/3/3012.312.3L395/6/2712.612.6L395/3/3112.312.45L395/6/2812.512.45L395/4/312.5512.45L395/6/2912.512.55L395/4/412.612.4L395/6/3012.712.7L3

H1H2H3H4H5L5L4L3L2L1第二類0+20+1.50+10+0.500-0.50-10-1.50-215.815.314.814.313.813.312.812.311.8表1亞聚股價(jià)紀(jì)錄表（2006上半年）第一類第三類第一類第8I+2I+1.5I+1I+0.5II-0.5I-1I-1.5I-2圖1區(qū)間分割說明圖I+2I+1.5I+1I+0.5II-0.5I-1I-1.59圖2區(qū)間符號(hào)說明圖I+2I+1.5I+1I+0.5II-0.5I-1I-1.5I-2H1H2H3H4H5L5L4L3L2L1圖2區(qū)間符號(hào)說明圖I+2I+1.5I+1I+0.5II-10移轉(zhuǎn)機(jī)率本研究是利用每家公司過去的歷史股價(jià)資料，來計(jì)算每個(gè)狀態(tài)變數(shù)的移轉(zhuǎn)機(jī)率，因此每家公司各有不同的移轉(zhuǎn)機(jī)率。舉例而言，以亞聚為例：自95年1月2日至95年6月29日收盤價(jià)記號(hào)，經(jīng)統(tǒng)計(jì)後可得到每個(gè)狀態(tài)變數(shù)由前一個(gè)交易日轉(zhuǎn)變?yōu)榇我粋€(gè)交易日的狀態(tài)變化總次數(shù)，如表2及表3所示。移轉(zhuǎn)機(jī)率本研究是利用每家公司過去的歷史股價(jià)資料11表2亞聚各狀態(tài)移轉(zhuǎn)統(tǒng)計(jì)樣本(以表1為例)2006/1/2~2006/6/30H1H2H3H4H5L5L4L3L2L1totalH1H2H322H42226H5217423L538718L41519328L31229335L2358L1表2亞聚各狀態(tài)移轉(zhuǎn)統(tǒng)計(jì)樣本(以表1為例)2006/1/2~12表3亞聚歷史移轉(zhuǎn)機(jī)率矩陣(以表1為例)2006/1/2~2006/6/30EXAMPLES:1949H1H2H3H4H5L5L4L3L2L1totalH10H20H312H40.3330.3330.3336H50.0870.7390.17323L50.1670.4440.38918L40.0360.1780.6790.08628L30.0290.0570.8290.08635L20.3750.6258L10表3亞聚歷史移轉(zhuǎn)機(jī)率矩陣(以表1為例)2006/1/2~13決策變數(shù)在本研究的數(shù)學(xué)模式中，所謂的決策變數(shù)即為股票投資時(shí)的操作方法，本研究採(cǎi)用買進(jìn)賣出、融券、補(bǔ)券與持有操作策略。其中，買進(jìn)策略:買進(jìn):每次只買進(jìn)或補(bǔ)券一張股票。若於買進(jìn)狀態(tài)時(shí)，而連續(xù)幾天均出現(xiàn)適於買進(jìn)股票的狀態(tài)時(shí)，則視為該股續(xù)抱。

賣出策略:賣出:每次只賣出或融券一張股票。若於賣出狀態(tài)時(shí)，而連續(xù)幾天均出現(xiàn)適於賣出股票的狀態(tài)時(shí)，則視為該股續(xù)抱。決策變數(shù)在本研究的數(shù)學(xué)模式中，所謂的決策變數(shù)即為股票投14期望利潤(rùn)期望利率的計(jì)算方法：令今日收盤價(jià)為

。由於臺(tái)灣股市交易法規(guī)定，每日股票漲跌幅為昨日收盤價(jià)的7%，因此將P可切分為14個(gè)區(qū)間，各區(qū)間以k1，k2、…..如表4來表示。利用過去實(shí)際的收盤價(jià)歷史資料，來統(tǒng)計(jì)次一日收盤價(jià)格會(huì)落入前一日14個(gè)股價(jià)等分區(qū)間的機(jī)率值。因此可以分別計(jì)算得出如表5的條件機(jī)率表。根據(jù)表5的條件機(jī)率值，即可計(jì)算出當(dāng)策略為買進(jìn)時(shí)，在各個(gè)不同狀態(tài)下的期望利潤(rùn)值如表6。期望利潤(rùn)期望利率的計(jì)算方法：15表4各狀態(tài)的條件機(jī)率表

P(Pj=k1|Pi=Ptd，Si=H1)P(Pj=k2|Pi=Ptd，Si=H1)P(Pj=k3|Pi=Ptd，Si=H1)..P(Pj=k14|Pi=Ptd，Si=H1)P(Pj=k1|Pi=Ptd，Si=H2)P(Pj=k2|Pi=Ptd，Si=H2)P(Pj=k3|Pi=Ptd，Si=H2)..P(Pj=k14|Pi=Ptd，Si=H2)…………P(Pj=k1|Pi=Ptd，Si=L1)P(Pj=k2|Pi=Ptd，Si=L1)P(Pj=k3|Pi=Ptd，Si=L1)..P(Pj=k14|Pi=Ptd，Si=L1)(Pi：前一日收盤價(jià)Pj：次一日收盤價(jià)Si：前一日的狀態(tài))表4各狀態(tài)的條件機(jī)率表P(Pj=k1|Pi=16表5不同狀態(tài)下的期望利潤(rùn)值策略狀態(tài)買進(jìn)H1,買H2,買H3,買H4,買H5,買L5,買L4,買L3,買L2,買L1,買表5不同狀態(tài)下的期望利潤(rùn)值策略買進(jìn)H1,買17表6亞聚各狀態(tài)下的期望利潤(rùn)值

策略狀態(tài)買入賣出H100H200H3-0.263830.26383H4-0.021990.02199H5-0.013190.01319L50.0031410.003141L4-0.032980.03298L30.011639-0.011639L20.049467-0.049467L100表6亞聚各狀態(tài)下的期望利潤(rùn)值策略買入賣出18最佳策略求解本研究運(yùn)用線性規(guī)劃法(LinearProgramming)來求解馬可夫決策過程最佳策略。線性規(guī)劃法為Ross（1983）所提出，若欲找尋模式中最大值（maximization）或最小值（minimization）問題的最佳策略，可透過如下的線性方程式求解：最佳策略求解本研究運(yùn)用線性規(guī)劃法(Linear19最大值問題（MaximizationProblem）

可運(yùn)用其對(duì)偶函數(shù)來進(jìn)行求解。目標(biāo)函數(shù)：minZ=V1+V2+…+VN限制式：s.t.Foreachstateiandeachdd(i)最小值問題（MinimizationProblem）

其對(duì)偶函數(shù)如下：目標(biāo)函數(shù)：maxZ=V1+V2+…+VN限制式：s.t.其中i,j：狀態(tài)變數(shù),d：決策變數(shù),β：折現(xiàn)率,V：總利潤(rùn),r：週期利潤(rùn)。透過EXCEL的求解後，即可得到一組最佳策略。

()?==-NjjidjirVdijPV1,b()?==-NjjidjirVdijPV1,b()?==-NjjidjirVdijPV1,b()?==-20實(shí)證結(jié)果分析經(jīng)使用前述馬可夫機(jī)率模型及配合轉(zhuǎn)移矩陣原理，對(duì)股價(jià)歷史資料作進(jìn)出場(chǎng)最佳投資策略分析後，亞聚股價(jià)實(shí)際進(jìn)出場(chǎng)投資報(bào)酬分析結(jié)果如表9。實(shí)證結(jié)果分析經(jīng)使用前述馬可夫機(jī)率模型及配21表9亞聚使用馬可夫決策之投資報(bào)酬表日期價(jià)格買賣策略股數(shù)金額融券保證金利息手續(xù)費(fèi)融券手續(xù)費(fèi)證交稅成本或淨(jìng)收益實(shí)現(xiàn)損益報(bào)酬報(bào)酬率7/312.8買買入10001280018.2412818.24

7/412.7買持有1000

7/512.55買持有1000

7/612.5買持有1000

7/712.55買持有1000

7/1712.2買持有1000

7/1812.3賣賣出10001230017.5336.912245.57-572.67

融券123001107017.5312.312270.17

7/1911.55維持持有1000

7/2011.6買補(bǔ)券100011600110700.6116.5334.811651.94618.24

買入1160016.5311616.53

8/2911.7買持有1000

8/3011.65買持有1000

8/3111.75買持有1000215.170.029/111.8買持有1000

9/2912買持有1000215.170.02表9亞聚使用馬可夫決策之投資報(bào)酬表日價(jià)買策股金融券利手融22結(jié)論與建議本研究主要透過「馬可夫決策過程」的動(dòng)態(tài)規(guī)劃決策模式，以線性規(guī)劃法所找出最佳決策法則，來進(jìn)行實(shí)際投資的操作策略。經(jīng)由實(shí)際採(cǎi)用五類樣本驗(yàn)證分析後，得到以下的結(jié)論：本文以五類15支個(gè)股作投資報(bào)酬率績(jī)效比較，結(jié)果顯示，績(jī)效優(yōu)異排名類股依序?yàn)殡娮宇惞?、塑膠類股、金融類股、汽車類股、鋼鐵類股。結(jié)論與建議本研究主要透過「馬可夫決策過程」的動(dòng)態(tài)23各類股投資報(bào)酬率績(jī)效比較表10中顯 示，電子類股的聯(lián)電季投資報(bào)酬率為 0.9997倍，獲利至為豐碩，鴻海季投 資報(bào)酬率亦高達(dá)0.1545倍。其次表現(xiàn) 佳者為塑膠類股其中以華夏投資報(bào)酬 率為0.3844倍，表現(xiàn)較佳；亞聚投資 報(bào)酬率為0.0940倍。其次表現(xiàn)最佳者 為鋼鐵類股，盛餘季投資報(bào)酬率為 0.0898倍，其中金融類股第一保季季 報(bào)酬率0.0305倍，獲利尚可。各類股投資報(bào)酬率績(jī)效比較表10中顯24表10

類股比較分析表類股股別報(bào)酬

報(bào)酬率

7月8月9月累計(jì)7月8月9月累計(jì)電子聯(lián)電-706.15519395.18018689.027-0.03781.037800.9997

鴻海-7029.68246916.49-8936.80430950.005-0.03510.2342-0.04460.1545

臺(tái)積電1468.20342492.5758-4081.56-120.78080.025680.0436-0.0714-0.0021塑膠華夏206.0391354.8741329.6138890.5270.28860.04970.04620.3844

亞聚774.1684215.1743215.1743989.34280.06040.01680.01680.094

臺(tái)塑-188.78300-188.783-0.003800-0.0039金融合庫(kù)175.525-3.4150172.110.0077-0.000200.0075

第一保-647.123892.615590.42535.916