參數(shù)模型與貝葉斯方法

1、參數(shù)模型與貝葉斯方法 1. 極大似然與廣義線性模型 2. 非線性回歸模型 3. 貝葉斯推斷 4. 壓縮估計(jì)方法和貝葉斯方法在投資中的應(yīng)用 1. 極大似然與廣義線性模型1.1 計(jì)算MLE的數(shù)值方法 似然函數(shù)對(duì) 求最大時(shí)，需要限制為半正定，使用Cholesky分解1.2 廣義線性模型正態(tài)分布族Poisson分布族logistic模型probit模型廣義線性模型的似然函數(shù)及迭代再加權(quán)最小二乘Newton-Raphson迭代式2.非線性回歸模型部分線性模型可轉(zhuǎn)化為線性的模型2.1 高斯-牛頓算法計(jì)算最小點(diǎn)，選取 作為初值，在第j個(gè)迭代步中，得到用上式來近似 ，最初的非線性模型可以由下面的線性回歸模型來

2、近似上式中的OLS估計(jì)值 的顯示表示為矩陣求逆步長(zhǎng)因子收斂性準(zhǔn)則 1參數(shù)增量相對(duì)與參數(shù)值足夠小 2 足夠小 3 幾乎正交于 在 處的切平面 這個(gè)準(zhǔn)則的要求為 下式足夠小 Levenberg-Marquardt修正 2.2 統(tǒng)計(jì)推斷令 表示非線性回歸模型中 的估計(jì)，用 表示 的真值，我們假設(shè)X非隨機(jī)，那么由下式在假設(shè) 下，其中 我們得到2.3 實(shí)現(xiàn)和實(shí)例應(yīng)用非線性最小二乘估計(jì)來估計(jì)Hull-White利率模型中收益率的波動(dòng)率其中期限為(年)的收益率的方差由下式給出 其中和是模型的參數(shù)3 貝葉斯推斷3.1 先驗(yàn)分布和后驗(yàn)分布 在給出貝葉斯公式的密度函數(shù)形式之前，先介紹以下貝葉斯學(xué)派的一些具體思想或

3、者叫著基本假設(shè) ：假設(shè) 隨機(jī)變量X有一個(gè)密度函數(shù)p(x;)，其中是一個(gè)參數(shù)，不同的對(duì)應(yīng)不同的密度函數(shù)，故從貝葉斯觀點(diǎn)看，p(x;)是在給定后的一個(gè)條件密度函數(shù)，因此記為p(x)更恰當(dāng)一些。這個(gè)條件密度能提供我們的有關(guān)的信息就是總體信息。假設(shè) 當(dāng)給定后，從總體p(x)中隨機(jī)抽取一個(gè)樣本X1，Xn，該樣本中含有的有關(guān)信息。這種信息就是樣本信息。假設(shè) 從貝葉斯觀點(diǎn)來看，未知參數(shù)是一個(gè)隨機(jī)變量。而描述這個(gè)隨機(jī)變量的分布可從先驗(yàn)信息中歸納出來，這個(gè)分布稱為先驗(yàn)分布，其密度函數(shù)用()表示。（1） 先驗(yàn)分布定義1 將總體中的未知參數(shù)看成一取值于的隨機(jī)變量，它有一概率分布，記為()，稱為參數(shù)的先驗(yàn)分布。（2）

4、 后驗(yàn)分布 在貝葉斯統(tǒng)計(jì)學(xué)中，把以上的三種信息歸納起來的最好形式是在總體分布基礎(chǔ)上獲得的樣本X1，Xn，和參數(shù)的聯(lián)合密度函數(shù)： 在這個(gè)聯(lián)合密度函數(shù)中，當(dāng)樣本 給定之后，未知的僅是參數(shù)了，我們關(guān)心的是樣本給定后，的條件密度函數(shù)，依據(jù)密度的計(jì)算公式，容易獲得這個(gè)條件密度函數(shù)：這就是貝葉斯公式的密度函數(shù)形式，其中稱為的后驗(yàn)密度函數(shù)，或后驗(yàn)分布。3.2 貝葉斯方法貝葉斯方法是在給定數(shù)據(jù)下最小化基于的后驗(yàn)分布的某個(gè)函數(shù)。統(tǒng)計(jì)決策問題，必須具備幾個(gè)要素： 1 參數(shù)空間 以及一個(gè)分布族 2 從分布 抽取的樣本數(shù)據(jù) ，其中表示參數(shù)真值， 稱作“樣本空間” 3 決策空間 包含所有可供選擇的行為 4 損失函數(shù) 表

5、示當(dāng)真值為參數(shù)值，選擇行為導(dǎo)致的損失 風(fēng)險(xiǎn)函數(shù) 貝葉斯風(fēng)險(xiǎn)貝葉斯準(zhǔn)則，即最小化貝葉斯風(fēng)險(xiǎn)：那么上式可以寫成 3.3 多元正態(tài)均值和協(xié)方差陣的貝葉斯估計(jì) 令 為多維正態(tài)分布 的n個(gè)獨(dú)立同分布的觀測(cè)。用 表示樣本均值向量。已知時(shí)的貝葉斯估計(jì) 假設(shè)的先驗(yàn)分布為 ，后驗(yàn)分布是一個(gè)正態(tài)分布，均值為 協(xié)方差陣為逆轉(zhuǎn)Wishart分布 進(jìn)一步有 的貝葉斯估計(jì) 使用下面的分布作為 的先驗(yàn)分布： 上式也是一個(gè)共軛分布族，因?yàn)榻o定X分量下， 的后驗(yàn)分布為 和的貝葉斯估計(jì)，即其后驗(yàn)均值為 和3.4 高斯回歸模型中的貝葉斯估計(jì)令 ，我們可以假設(shè) 的先驗(yàn)分布為 那么給定（X，Y）下， 的后驗(yàn)分布也有相同形式： 因此，的貝葉斯估計(jì)仍