各種概率分布介紹

本文格式為Word版，下載可任意編輯——各種概率分布介紹

一、引言

Bayes統(tǒng)計起源于英國學(xué)者托馬斯.貝葉斯（ThomasBayes,1702～1761）死后發(fā)表的一篇論文“論有關(guān)機(jī)遇問題的求解〞。在此論文中他提出了著名的貝葉斯公式和一些歸納推理方法，隨后拉普拉斯（Laplace,P.C.1749～1827）不僅重新發(fā)現(xiàn)了貝葉斯定理，闡述的遠(yuǎn)比貝葉斯更為明了，而且還用它來解決天體力學(xué)、醫(yī)學(xué)統(tǒng)計以及法學(xué)問題。之后雖有一些研究和應(yīng)用但由于其理論尚不完整，應(yīng)用中出現(xiàn)一些問題，致使貝葉斯方法長期未被接受。直到二戰(zhàn)后，瓦爾德(Wald,A.1902～1950)提出統(tǒng)計決策函數(shù)論后又引起好多人對貝葉斯研究方法的興趣。由于在這個理論中，貝葉斯解被認(rèn)為是一種最優(yōu)決策函數(shù)。在Savage,L.J.(1954)、Jeffreys,H.(1961)

、

Good,I.J(1950)

、

Lindley,D.V(1961)

、

Box,G.E.P.??，它表示在參數(shù)空間?={?}中對應(yīng)不同的分布?？稍谪惾~斯統(tǒng)計中記為p?x|??，它表示在隨機(jī)變量?給定某個值時，總體指標(biāo)X的分布.根據(jù)參數(shù)?的先驗信息確定先驗分布????。這樣一來，樣本x和參數(shù)?的聯(lián)合分布為

h?x,???p?x|??????

-5-

這個聯(lián)合分布把樣本信息、總體信息和先驗信息都綜合進(jìn)去了。

我們的任務(wù)是要對未知數(shù)?作出統(tǒng)計推斷。在沒有樣本信息時，人們只能據(jù)先驗分布對?作出推斷。在有樣本觀測值x??x1,x2,...,xn?之后，我們應(yīng)當(dāng)依據(jù)h?x,??對?作出推斷。為此我們需把h?x,??作如下分解：

h?x,??????|x?m?x?其中m?x?是x的邊緣密度函數(shù)。它與?無關(guān)，或者

說，m?x?中不含?的任何信息。因此能用來對?作出推斷的僅有條件分布

???|x?。它的計算公式是

???|x??h?x,?m?x???p?x|????????p?x|??????d?(1.1)

這就是貝葉斯公式的密度函數(shù)形式。這個在樣本x給定下，?的條件分布被稱為?的后驗分布。它是集中了總體、樣本和先驗等三種信息中有關(guān)?的一切信息，而又是排出一切與?無關(guān)的信息之后所得到的結(jié)果。故基于后驗分布???|x?對?進(jìn)行統(tǒng)計推斷是更為有效，也是最合理的。

在?是離散隨機(jī)變量時，先驗分布可用先驗分布列???i?,i?1,2,?,表示。這時后驗分布也是離散形式。

???i??p?x|?i????i??p?x|??????jjj,i?1,2,?(1.2)

假使總體X也是離散的，那只要把（1.1）或(1.2)中的密度函數(shù)p?x|??看作為概率函數(shù)P?X?x|??即可。

（三）先驗分布與共軛先驗分布

一般來說，先驗信息主要來源于經(jīng)驗和歷史資料，這在日常生活和工作中經(jīng)常遇見人們也在自覺不自覺的實用它。根據(jù)先驗信息確定先驗分布是Bayes理論的重要研究內(nèi)容；先驗分布分為無信息先驗分布和有信息先驗分布兩大類。

在沒有先驗信息的狀況下確定的先驗分布就叫做無信息先驗分布。這是Bayes分析誕生之初就面臨的問題，是Bayes學(xué)派近30多年來獲得的重要成果之一。主要有貝葉斯假設(shè)位置參數(shù)的無信息先驗分布，尺度參數(shù)的無信息先驗分布和Jeffreys先驗分布。共軛先驗分布就是一種有信息先驗分布，一般都含有超參數(shù)，而無信息先驗分布一般不含超參數(shù)。

????是?的先驗密度函數(shù)，定義3.1總體分布中的參數(shù)(或參數(shù)向量)，

-6-

假使由抽樣信息算得的后驗密度函數(shù)與????有一致的函數(shù)形式，則稱

????是?的共軛先驗分布。

應(yīng)著重指出的是，共軛先驗分布是對某一分布中的參數(shù)而言的，離開了指定的參數(shù)及其所在的分布去談共扼先驗分布是沒有意義的。

共軛先驗分布在大量場合被采用，它主要有兩個優(yōu)點：（1）由于先驗分布和后驗分布屬于同一個分布族，計算便利。（2）后驗分布使得一些參數(shù)可以得到很好的解釋。

常用的共軛先驗分布

表1

總體分布二項分布泊松分布指數(shù)分布正態(tài)分布（方差已知）正態(tài)分布（均值已知）參數(shù)成功概率均值均值的倒數(shù)均值方差共軛先驗分布貝塔分布Be(?,?)伽瑪分布Ga(?,?)伽瑪分布Ga(?,?)正態(tài)分布N(?,?2)倒伽瑪分布IGa(?,?)（四）似然原理

似然原理是統(tǒng)計學(xué)規(guī)范中大家都應(yīng)遵守的公理。是統(tǒng)計學(xué)最一般的基礎(chǔ)原理。

似然原理的核心概念是似然函數(shù)，對似然函數(shù)和對聯(lián)合概率密度的理解是這樣的：假使x??x1,x2,...,xn?是來自總體x的一個樣本，x的密度函數(shù)是p?x|??那么其乘積

np?x|????p?xi|??(1.3)

i?1（1）當(dāng)?給定時，p?x|??是樣本x的聯(lián)合密度函數(shù)。

（2）當(dāng)樣本x的觀測值給定時，p?x|??是未知參數(shù)?的函數(shù)，p?x|??-7-

是似然函數(shù)，記為L???。

似然函數(shù)L???強(qiáng)調(diào)：它是?的函數(shù)，而樣本x在似然函數(shù)中只是一組數(shù)據(jù)或一組觀測值。所有與試驗有關(guān)的?信息都被包含在似然函數(shù)之中，使L???=p?x|??大的?比使L???小的?更“像〞是?的真值。特別地，使

L???稱為最大似然估計，假使兩個似然函數(shù)?在在參數(shù)空間?達(dá)到最大的?成比例，比例因子又不依靠于?，則它們的最大似然估計是一致的，這是由于兩個成比例的似然函數(shù)所含的?的信息是一致的，假使我們對?采用一致的先驗分布，那么基于x對?所做的后驗推斷也是一致的。

在貝葉斯學(xué)派看來，似然原理可以概括為以下兩點：

(1)有了觀測x之后，在做關(guān)于?的推斷時，所有與試驗有關(guān)的?信息均被包含在似然函數(shù)L???之中。

(2)假使有兩個似然函數(shù)是成比例的，比例常數(shù)與?無關(guān)，則它們關(guān)于?含有一致的信息。

（五）Bayes估計

1、點估計（1）點估計

設(shè)?是總體分布p?x|??中的參數(shù)，從總體隨機(jī)抽取一樣本

X??X1,X2,???,Xn?，根據(jù)?的先驗信息取一先驗分布????，用貝葉斯算得

后驗分布???|x?。作為?的估計可選用后驗分布???|x?的某個位置特征量，如眾數(shù)、中位數(shù)或期望值等。

定義3.2使后驗分布???|x?達(dá)到最大的值??MD稱為?的最大后驗估計；后驗分布的中位數(shù)??ME稱為?的后驗中位數(shù)估計；后驗分布的期望值??E稱為?的后驗期望估計，這三個估計都稱為?的貝葉斯估計，記為???？筛鶕?jù)實際狀況選用其中的一估計。

（2）貝葉斯估計的誤差

設(shè)??是?的一個貝葉斯估計，評定Bayes估計??的確切常用后驗均方差(或其平方根），具體定義如下：

定義3.3設(shè)參數(shù)?的后驗分布為???|x?，貝葉斯估計為??，則??????的后驗期望

MSE??|x?E?|x????

2????2

-8-

1稱為??的后驗均方差，而其平方根[MSE??|x]2稱為??的后驗標(biāo)準(zhǔn)差。當(dāng)??為?的后驗期望??E?E(?|x)時，則MSE??E|x?E?|x??E??1??????2?Var??|x?

稱為后驗方差，其平方根[Var??|x?]2稱為后驗標(biāo)準(zhǔn)差。而且

MSE??|x?E?|x????22????2=E?|x?????????????Var??|x??????EEE????????

可見，當(dāng)?????E時，后驗均方差達(dá)到最小。本文就在后驗均方差達(dá)到最小的準(zhǔn)則下，取后驗均值作為參數(shù)的貝葉斯估計值。

2、區(qū)間估計

定義3.4設(shè)參數(shù)?的后驗分布為???|x?，對于給定的樣本

X??X1,X2,???,Xn?和??0???1?，若存在統(tǒng)計量??L???L?x?和??U???U?x?滿足:

p???L?????U|x??1??

則稱區(qū)間???L,??U?為參數(shù)?置信水平為1??的貝葉斯雙側(cè)區(qū)間估計。滿足：

p?????L|x??1??

的??L稱為?的置信水平為1??的（單側(cè))置信下限。而滿足：p?????U|x??1??

的??U稱為?的置信水平為1??的（單側(cè)）置信上限。

對于區(qū)間估計，經(jīng)典統(tǒng)計與貝葉斯統(tǒng)計存在本質(zhì)的區(qū)別。在經(jīng)典統(tǒng)計中，把參數(shù)?看成是一個常數(shù)，在尋求置信區(qū)間時要構(gòu)造一個分布不含未知參數(shù)的樞軸量，這一點比較困難，而且在解釋置信水平和置信區(qū)間時也產(chǎn)生困難。而在貝葉斯統(tǒng)計中，把參數(shù)?看成是一隨機(jī)變量，在尋求置信區(qū)間時直接從后驗分布推導(dǎo)即可，而且很自然的可把置信水平為1??的置信區(qū)間???L,??U?解釋為參數(shù)落入這一區(qū)間的概率為1??。因此，在區(qū)間估計問題上，貝葉斯方法具有處理簡單和含義明了的優(yōu)點。

四、可靠性統(tǒng)計分析

（一）可靠性

可靠性是衡量產(chǎn)品在規(guī)定的條件和規(guī)定的時間內(nèi)完成規(guī)定功能的能

-9-

力。可靠性技術(shù)從開始應(yīng)用于航天、航空、電子、核能工業(yè)中，發(fā)展到機(jī)械、電氣、冶金、儀器儀表等民用工業(yè)部門，可靠性理論和方法經(jīng)過四十多年的建立和發(fā)展的歷程，今天已成為一門重要的新興學(xué)科?？煽啃詫W(xué)科主要包括可靠性數(shù)學(xué)、可靠性物理和可靠性工程?？煽啃詳?shù)學(xué)為可靠性理論的基礎(chǔ)。在概率論和數(shù)理統(tǒng)計基礎(chǔ)上建立起來的可靠性概率模型和統(tǒng)計模型方法是可靠性研究的兩個主要數(shù)學(xué)方法?？煽啃詳?shù)學(xué)中概率分布模型的原理是從系統(tǒng)的結(jié)構(gòu)及部件的壽命分布、修理時間分布等有關(guān)的信息出發(fā)，對不同結(jié)構(gòu)的系統(tǒng)、設(shè)備、零件、材料等可靠性研究對象建立概率模型，并藉以推斷出與壽命分布有關(guān)的可靠性定量指標(biāo)，由此進(jìn)一步探討系統(tǒng)等的最優(yōu)設(shè)計，使用維修策略等?？煽啃詳?shù)學(xué)中數(shù)理統(tǒng)計模型及方法，即從觀測數(shù)據(jù)出發(fā)，通過分析、整理壽命試驗數(shù)據(jù)，確定各部件或系統(tǒng)適合分布的類型，進(jìn)行分布參數(shù)估計，并檢驗壽命分布的確定性。各種概率模型與統(tǒng)計模型的建立，均可采用解析方法及MonteCarlo模擬兩種手段，且運(yùn)用經(jīng)典、貝葉斯等不同學(xué)派的不同觀點及方法來實現(xiàn)?？煽啃晕锢砭褪且匝芯渴C(jī)理為核心，通過建立物理模型和概率模型，將材料元器件失效的微觀本質(zhì)與宏觀的統(tǒng)計規(guī)律相結(jié)合的新的可靠性研究方法?？煽啃怨こ讨饕煽啃栽O(shè)計技術(shù)，可靠性評定技術(shù)，可靠性試驗方法和可靠性管理?？煽啃栽u定是根據(jù)產(chǎn)品的可靠性結(jié)構(gòu)（即系統(tǒng)與部件之間和可靠性關(guān)系如串聯(lián)、并聯(lián)系繁雜關(guān)系等）,壽命及維修模型，試驗信息等，利用概率統(tǒng)計方法，給出產(chǎn)品可靠性特征量的區(qū)間估計、點估計及優(yōu)化結(jié)果。

（二）貝葉斯在可靠性的應(yīng)用現(xiàn)狀

貝葉斯可靠性分析就是將貝葉斯統(tǒng)計方法應(yīng)用于可靠性問題中，所考慮的參數(shù)認(rèn)為是隨機(jī)變量，其先驗分布表達(dá)了對參數(shù)的從前的信念程度。

貝葉斯統(tǒng)計方法在可靠性中的應(yīng)用，一直受到廣泛關(guān)注。早在60年代，就已有人將貝葉斯方法用于可靠性統(tǒng)計分析，到了80年代已有這方面的專著，系統(tǒng)而詳盡地總結(jié)可這一方向的工作。Martz&Waller詳盡回想了1982年以前貝葉斯在可靠性中的應(yīng)用，他們認(rèn)為，貝葉斯方法在可靠性中的應(yīng)用具有以下優(yōu)點：

（1）假使驗前信息確鑿，貝葉斯推斷更確鑿；

（2）可以減少測試時間和樣本量，即貝葉斯方法適用于小樣本狀況；（3）在貝葉斯統(tǒng)計推斷中，不能接受的推斷是來自不確鑿的假設(shè)（即不確鑿的驗前信息），而不是有問題的方法論；

-10-

綜上所述，通過(5.11)和(5.12)兩式，綜合考慮生產(chǎn)方和使用方的利益，適當(dāng)?shù)恼{(diào)整?直到雙方都可接受為止,這時求得的值就是該驗證試驗中的截尾時間。直觀上要增大無條件概率p?r?0?必需適當(dāng)?shù)目s短截尾時間t,實際上這一點從(5.12)式很簡單看出，分析(5.11)式要使t減小，?值須減小。

（3）可靠性驗證試驗方案的具體步驟1、先確定????m的后驗分布密度；2、對于給定的?,R0，用(5.11)式解出t值；

3、把其次步中解出的值帶入(5.12)中，計算無失效概率p?r?0?，若此概率過小達(dá)不到生產(chǎn)方可接受的范圍，則在使用方允許的范圍內(nèi)適當(dāng)?shù)恼{(diào)整?，再重復(fù)步驟2直到解出的值使得p?r?0?的值達(dá)到生產(chǎn)方的可接受的范圍為止；

4、由步驟3確定的t值就是該驗證試驗中的截尾時間。

于是，若產(chǎn)品的壽命T聽從威布爾分布W?m,??,其中m已知，?未知，可靠性驗證試驗可以如下進(jìn)行：隨機(jī)的抽取n月個產(chǎn)品同時獨立地進(jìn)行壽命試驗.截尾是為t，(由步驟3確定的)，假使在此規(guī)定的時間內(nèi)無一失效，則可斷言(5.5)式成立。

3、m，?均未知時的可靠性驗證試驗

設(shè)產(chǎn)品的壽命T聽從威布爾分布W?m,??，其中m，?均未知，則可靠度函數(shù)為：

m???t???R?t??exp?????（5.13）

???????若令????m，則（5.9）式變?yōu)?/p>

R?t??exp???tm?（1）?,m的聯(lián)合后驗分布

取形狀參數(shù)m的無信息先驗分布為均勻分布??m??1m1?m2m1?m?m2

-26-

其中m1,m2的值可根據(jù)工程經(jīng)驗或?qū)＜掖_定。

在給定m的前提下，取?的共軛先驗分布Ga?a,b????|m??ba??a??a?1e?b?

其中a,b的值可根據(jù)前面的方法確定。

?,m的聯(lián)合后驗分布密度為

???,m????m?????|m??1m2?m1??a??ba?a?1e?b???0,m1?m?m2（5.14）

截尾時間為t，在無失效的狀況下，n個產(chǎn)品獨立地進(jìn)行定時截尾試驗，相應(yīng)的似然函數(shù)為

L?0|?,m??exp??n?tm?（5.15）

由（5.14）和（5.15）兩式，根據(jù)貝葉斯公式得?,m的聯(lián)合后驗分布密度為

L??,m|0?????,m?L?0|?,m??????,m?L?0|?,m?d?dmMN?MN??m2?m1??a?1baaa?1e?b??e?n?tm??m12?m1??a??b?nt?b

e?b??a?1?e?n?tmd?dm??a?1ee?m??????m1m2?0?a?1?b?nt?m

d?dm??a?1e?b?nt?m???m2m1??a???0,m1?m?m2（5.16）

dm?b?ntm?a（2）截尾時間t的確定

因可靠度R?t??exp???tm?，故由（5.16）式得R,m的聯(lián)合分布密度為

-27-

??R,m|0???lnR???m?t??a?1?m2m1lnR??mexp??b?nt??m?t??m???tlnRlnt?

??a??b?nt?maadmlnR??lnR??mlnt??m?exp??b?nt??m?t?t????m2??a?

?m1?b?nt?madmR的邊緣密度為：

m2??R|0??lnR??lnR??mlnt?expb?nt?dm????mm???t?t???m1a?m2m1??a?（5.17）

?b?nt?madm對于給定的?，由可靠性驗證問題（5.17）式得，通過以下方程得t值。

1???R|0?dR?1??（5.18）

R0宛如前面（5.12）式下面的文字說明，再從生產(chǎn)方的利益考慮，適當(dāng)?shù)恼{(diào)整?，直到雙方都可接受為止，這時求得的t值就是該驗證試驗方案的截尾時間。當(dāng)m，?均未知時的無條件概率

p?r?0?????,m?L?0|?,m????,m|0?1m2?m1??a??ba

e?b??a?1?e?n?tm??a?1e?b?nt?m??

?bam2m1??