北郵研究生概率論第一講

2023/2/1北京郵電大學電子工程學院1概率論與隨機過程黎淑蘭學時數(shù)：54教材：王玉孝，《概率論與隨機過程》，北郵出版社參考書：陸大琻，《隨機過程及其應用》，清華大學出版社嚴士健等，《測度與概率》，北京師范大學出版社張朝金著，《概率論中的反例》王玉孝，《概率論與隨機過程習題解答》，北郵教材中心2023/2/1北京郵電大學電子工程學院2教學安排先修課程：高等數(shù)學，概率論考試：閉卷，期末70%，平時30%電子郵件：lishulan@手/p>

17、18世紀，數(shù)學獲得了巨大的進步。數(shù)學家們沖破了古希臘的演繹框架，向自然界和社會生活的多方面汲取靈感，數(shù)學領域出現(xiàn)了眾多嶄新的生長點，而后都發(fā)展成完整的數(shù)學分支。除了分析學這一大系統(tǒng)之外，概率論就是這一時期"使歐幾里得幾何相形見絀"的若干重大成就之一。一、概率論與隨機過程的歷史及應用1.概率論的誕生及發(fā)展概率論起源于對賭博問題的研究。早在16世紀，意大利學者卡丹與塔塔里亞等人就已從數(shù)學角度研究過賭博問題。他們的研究除了賭博外還與當時的人口、保險業(yè)等有關(guān)，但由于卡丹等人的思想未引起重視，概率概念的要旨也不明確，于是很快就被人淡忘了。概率概念的要旨在17世紀中葉法國數(shù)學家帕斯卡（1623~1662）與費馬（1601~1665）的討論中才比較明確。

1651年,一個名叫梅累的騎士和朋友保羅各出30枚金幣作為賭金，兩人事先選好一個點數(shù)，梅累選擇了“5”，保羅選擇了“3”，游戲規(guī)則是：如果誰先擲出了3次自己所選的點數(shù)，誰就贏得全部60個金幣。游戲進行到梅累擲出2次“5”點，保羅擲出1次“3”點時，由于發(fā)生一個緊急事情，梅累必須馬上離開，游戲因此中斷，兩人為賭本的分配問題爭執(zhí)不下，恰逢帕斯卡經(jīng)過梅累他們所在的小鎮(zhèn)，于是梅累就“分賭金問題”求教于帕斯卡。帕斯卡與費馬通信討論這一問題，引進了遞推法、差分方程法作為解決復雜概率計算問題的有力工具，并

于1654年共同建立了概率論的第一個基本概念。

在這期間，荷蘭數(shù)學家惠更斯（1629~1695）恰好在巴黎，也參與過他倆的討論。后來，在1657年，他把討論結(jié)果寫成了一本書《論賭博中的計算》，這是概率論發(fā)展史上的第一本著作。書中在歷史上第一次把以前的概率論知識系統(tǒng)化、公式化和一般化，第一次把概率論建立在公理、命題和問題上而構(gòu)成一個較完整的理論體系。因此，該書被看著是概率論誕生的標志。

他們?nèi)颂岢龅慕夥ㄖ?，都首先涉及了?shù)學期望這一概念，并由此奠定了古典概率論的基礎。

使概率論成為數(shù)學一個分支的真正奠基人是瑞士數(shù)學家雅各布·伯努利（1654~1705），他的重要貢獻是建立了概率論中的第一個極限定理，即伯努利大數(shù)定律，發(fā)表在1713出版的遺著《猜度術(shù)》中。美國概率史專家海金（Hacking）稱此書標志著“概率漫長的形成過程的終結(jié)與數(shù)學概率論的開端”。

到了1730年，法國數(shù)學家棣莫弗（1667~1754）出版其著作《分析雜論》，當中包含了著名的“棣莫弗—拉普拉斯定理”。這就是概率論中第二個基本極限定理的原始初形。棣莫弗歷史上第一次提出了正態(tài)分布（標準正態(tài)分布）。

接著拉普拉斯（1749~1827）在1812年出版的《概率的分析理論》中，首先明確地對概率作了古典的定義。拉普拉斯以強有力的分析工具處理了概率論的基本內(nèi)容，實現(xiàn)了從組合技巧向分析方法的過渡，使以往零散的結(jié)果系統(tǒng)化，開辟了概率論發(fā)展的新時期。

另一在概率論發(fā)展史上的代表人物是法國的泊松。他推廣了伯努利形式下的大數(shù)定律，研究得出了一種新的分布，就是泊松分布。概率論繼他們之后，在19世紀后期，其中心研究課題則集中在推廣和改進伯努利大數(shù)定律及中心極限定理。

俄國數(shù)學家切比雪夫?qū)Υ俗龀隽酥匾暙I。他建立了關(guān)于獨立隨機變量序列的大數(shù)定律，推廣了棣莫弗—拉普拉斯的極限定理。切比雪夫的成果后被其學生馬爾可夫發(fā)揚光大，影響了20世紀概率論發(fā)展的進程。19世紀末，一方面概率論在統(tǒng)計物理等領域的應用提出了對概率論基本概念與原理進行解釋的需要，另一方面，科學家們在這一時期發(fā)現(xiàn)的一些概率論悖論也揭示出古典概率論中基本概念存在的矛盾與含糊之處。這些問題強烈要求對概率論的邏輯基礎做出更加嚴格的考察，也就是建立概率論的公理化體系。貝特朗悖論1889年，貝特朗在他的《概率論》一書中給出了這樣一個例子：在半徑為1的圓內(nèi)隨機地取一條弦，問其長超過該圓內(nèi)接等邊三角形的邊長的概率為多少?解法一：任何弦交圓周兩點。不失一般性，先固定其中一點于圓周上，以此點為頂點作一內(nèi)接等邊三角形。顯然只有落入此三角形的弦才滿足要求，而這種弦的長度為整個圓周的1/3，故所求概率為1/3。解法二：弦被其中點唯一確定，當且僅當其中點屬于半徑為1/2的同心圓時，弦長大于內(nèi)接等邊三角形邊長，而此小圓面積為大圓面積的1/4,故所求概率為1/4。解法三：弦長只跟它與圓心的距離有關(guān)，而與方向無關(guān)，因此可假定它垂直于某一直徑。對于這種弦，當且僅當它與圓心的距離小于1/2時，其長才大于內(nèi)接等邊三角形的邊長。因此所求概率為1/2。悖論的根源在于，無論三種情形下的哪一種，都假定各自的參數(shù)均勻地分布在給定的區(qū)域里。解法1中，假定一端固定而另一端點在圓周上均勻分布；解法2中，又假定弦的中點在圓內(nèi)均勻分布；而解法3中，假定弦的中點在直徑上均勻分布。因此事實上三個問題都被解出。同一時期還出現(xiàn)了許多悖論，“這類悖論說明概率的概念是以某種確定的試驗為前提的，這種試驗有時由問題本身所明確規(guī)定,有時則不然。因此貝特朗等悖論的矛頭直指概率概念本身”，正是這些問題促使人們開始深入思考概率論的基礎問題。

俄國數(shù)學家伯恩斯坦和奧地利數(shù)學家馮?米西斯(R.vonMises,1883-1953)對概率論的嚴格化做了最早的嘗試。但他們提出的公理理論并不完善。事實上，真正嚴格的公理化概率論只有在測度論和實變函數(shù)理論的基礎上才可能建立。測度論的奠基人，法國數(shù)學家博雷爾(E.Borel,1781-1956)首先將測度論方法引入概率論重要問題的研究，并且他的工作激起了數(shù)學家們沿這一嶄新方向的一系列搜索。特別是原蘇聯(lián)數(shù)學家科爾莫戈羅夫的工作最為卓著。1933年，科爾莫戈羅夫出版了他的著作《概率論基礎》，這是概率論的一部經(jīng)典性著作。其中，科爾莫戈羅夫給出了公理化概率論的一系列基本概念，提出了六條公理，整個概率論大廈可以從這六條公理出發(fā)建筑起來。科爾莫戈羅夫的公理體系逐漸得到數(shù)學家們的普遍認可。由于公理化，概率論成為一門嚴格的演繹科學，并通過集合論與其它數(shù)學分支密切地聯(lián)系著。

在公理化基礎上，現(xiàn)代概率論取得了一系列理論突破。公理化概率論首先使隨機過程的研究獲得了新的起點。1931年，科爾莫戈羅夫用分析的方法奠定了一類普通的隨機過程——馬爾可夫過程的理論基礎。

科爾莫戈羅夫之后，對隨機過程的研究做出重大貢獻而影響著整個現(xiàn)代概率論的重要代表人物有萊維(P.Levy,1886-1971)、辛欽、杜布(J.L.Dob)和伊藤清等。1948年萊維出版的著作《隨機過程與布朗運動》提出了獨立增量過程的一般理論，并以此為基礎極大地推進了作為一類特殊馬爾可夫過程的布朗運動的研究。1934年，辛欽提出平穩(wěn)過程的相關(guān)理論。1939年，維爾(J.Ville)引進“鞅”的概念，1950年起，杜布對鞅概念進行了系統(tǒng)的研究而使鞅論成為一門獨立的分支。從1942年開始，日本數(shù)學家伊藤清引進了隨機積分與隨機微分方程，不僅開辟了隨機過程研究的新道路，而且為隨機分析這門數(shù)學新分支的創(chuàng)立和發(fā)展奠定了基礎。2.概率論的應用

概率論與隨機過程是數(shù)學的一個分支，它研究隨機現(xiàn)象的數(shù)量規(guī)律，概率論的應用幾乎遍及所有的科學領域，例如天氣預報、地震預報、產(chǎn)品的抽樣調(diào)查，在通訊工程中概率論可用以進行信號檢測、信道估計等等.例：試構(gòu)造隨機試驗證明：隨機試驗：設有m+n個球，其中m個紅球，n個白球，從中取出r個球。2023/2/1北京郵電大學電子工程學院20第一章概率空間（歸一性）概率的定義——若對E的每一個事件A，有一個實數(shù)與之對應，記為P(A)，且滿足：（非負性）（可列可加性）2023/2/1北京郵電大學電子工程學院21第一章概率空間

若把P(A)看作集合A的函數(shù)，那么象高等數(shù)學里的普通函數(shù)一樣，我們必須考慮A在何范圍內(nèi)，A

P(A)才有定義？這是初等概率論的遺留問題。為此，我們考慮以事件A為元素的集合，稱為集合類或事件體，記作F

。

F的結(jié)構(gòu)？在F上的概率如何構(gòu)造？這是本章將要討論的主要問題，為此我們必須引入測度論的概念。

在初等概率論中，我們定義隨機事件A為樣本空間的子集，即，但事實上是不是任何一個的子集都是一個隨機事件？（見張朝金著《概率論中的反例》P48）集合

A

與

B

的差圖示A與B的差.ABAB集合的運算規(guī)律2023/2/1北京郵電大學電子工程學院24第一節(jié)集合代數(shù)和-代數(shù)一、集合代數(shù)和-代數(shù)定義1.1.1設是任一非空集合，A是由的一些子集組成的非空集合類，若A滿足：

∈

A

；若A，B∈A

，有A∪B∈A

（有限并運算封閉）；則稱A是上的一個集合代數(shù)，簡稱集代數(shù)。容易證明集代數(shù)對有限交運算也封閉，即：若A∈A

，有A∈A

（余運算封閉）；2023/2/1北京郵電大學電子工程學院25定理1.1.1

設A是由的一些子集組成的非空集合類，則：若A是上的集代數(shù)

A是包含且對余運算和有限交運算封閉；若A是上的集代數(shù)A是包含且對差運算封閉。第一節(jié)集合代數(shù)和-代數(shù)集代數(shù)包含，對余運算、有限并運算封閉包含，對余運算、有限交運算封閉包含，對差運算封閉2023/2/1北京郵電大學電子工程學院26第一節(jié)集合代數(shù)和-代數(shù)例

設

=R，令：A則：A是集代數(shù)。例設

={1,2,3,4}，試構(gòu)造一個集代數(shù)A

，使得{1}A，{2}A.解：A={，，{1}，{2,3,4},{2},{1,3,4},{1,2},{3,4}}當b=+時，(a,b]=(a,+)。分析：(1)a=-,b=+時，(a,b]=(-

,+

)=

A

(2)對余運算和有限并運算封閉集代數(shù)A包含的元素可能是有限多個，也可能是無限多個！2023/2/1北京郵電大學電子工程學院27第一節(jié)集合代數(shù)和-代數(shù)定義1.1.2

設是任一非空集合，A是由的一些子集組成的非空集合類，若A滿足：

A若A∈A

，有A∈A

（余運算封閉）；則稱A是上的一個-代數(shù)。若A

，有A（可列并運算封閉）-代數(shù)A包含的元素可能是有限多個，也可能是無限多個！集合類是一個-代數(shù)。例2023/2/1北京郵電大學電子工程學院28第一節(jié)集合代數(shù)和-代數(shù)定理1.1.2

設A是-代數(shù)，則：-代數(shù)A一定是集代數(shù)；若A

，有A（可列交運算封閉）

若A

，且A，A，則集合類是一個-代數(shù)。

設是一非空集合，F(xiàn)是由的一切子集組成的集合類，則F是一個-代數(shù)。

顯然，集代數(shù)的交仍是集代數(shù)；-代數(shù)的交仍是-代數(shù)。2023/2/1北京郵電大學電子工程學院29第一節(jié)集合代數(shù)和-代數(shù)二、包含某一集合類的最小-代數(shù)

G是由的一些子集組成的非空集合類，那么至少存在一個-代數(shù)包含G。為什么？由于F是一個-代數(shù)，且FG。

是否存在包含G的最小-代數(shù)？若存在，是否唯一？2023/2/1北京郵電大學電子工程學院30第一節(jié)集合代數(shù)和-代數(shù)

設是任一非空集合，G是由的一些子集組成的非空集合類，則存在唯一的-代數(shù)F0，滿足：

GF0

；對包含G的任一-代數(shù)A，有F0A證明：構(gòu)造F

*=

A，即所有包含G的-代數(shù)的交。下面說明這樣構(gòu)成的F

*即為包含G的最小的-代數(shù)，F(xiàn)

*

=F0

由于-代數(shù)的交仍為-代數(shù)，所以F

*為包含G的-代數(shù)。由構(gòu)造，則可知其最小性及唯一性。定理1.1.32023/2/1北京郵電大學電子工程學院31第一節(jié)集合代數(shù)和-代數(shù)定義1.1.3

稱定理1.1.3中的F0是包含G的最小-代數(shù)，或者是由G生成的-代數(shù)，記為(G)。例1.1.2

設A

，且A，A，則包含{A}的最小-代數(shù)為。三、Borel域設=R(1)

，考慮由R(1)的一些子集組成的集合類：

G={(-,a],a∈R(1)}，稱(G)為R(1)上的Borel域，記為B(1)

，并稱B

(1)中的元素為一維的Borel集。2023/2/1北京郵電大學電子工程學院32第一節(jié)集合代數(shù)和-代數(shù)以上定義：(G)=B

(1)

，其中G={(-,a],a∈R(1)}∵(-,a]∈B

(1)

，(-,b]∈B

(1)當b

>a

，(-,b]\

(-,a]=(a,b]∈B

(1)另：而：所以：[a,b]∈B

(1)

2023/2/1北京郵電大學電子工程學院33推廣情形：設為n維實數(shù)空間，考慮由的一些子集組成的集合類：第一節(jié)集合代數(shù)和-代數(shù)稱(G)為上的Borel域，記作B

(n)。G2023/2/1北京郵電大學電子工程學院34第一節(jié)集合代數(shù)和-代數(shù)四、單調(diào)類和-系、-系實際問題中要檢驗一個集合類是否為-代數(shù)比較困難，但把集代數(shù)與單調(diào)類結(jié)合起來討論，會使問題簡化。定義1.1.4

設A由的一些子集組成的非空集合類，且滿足：若若稱A是上的一個單調(diào)類。容易證明，單調(diào)類的交仍是單調(diào)類。2023/2/1北京郵電大學電子工程學院35第一節(jié)集合代數(shù)和-代數(shù)例1BA={,A,B}，例2A=，則A不是單調(diào)類。A則A為單調(diào)類。A2023/2/1北京郵電大學電子工程學院36第一節(jié)集合代數(shù)和-代數(shù)定理1.1.4

設是任一非空集合，G是由的一些子集組成的非空集合類，則存在唯一的上的單調(diào)類0，滿足：G0對包含G

的任一單調(diào)類A，有0A稱這樣的單調(diào)類0為包含G

的最小單調(diào)類，記為(G)定理1.1.5

-代數(shù)是單調(diào)類；若一集代數(shù)是單調(diào)類，則它是-代數(shù)。2023/2/1北京郵電大學電子工程學院37第一節(jié)集合代數(shù)和-代數(shù)定理1.1.6

若A是集代數(shù)，則：(A)=(A)證明：-代數(shù)一定是單調(diào)類，(A)(A)因此只須證明(A)是一-代數(shù)。由于集代數(shù)+單調(diào)類-代數(shù)，所以只須證明(A)是集代數(shù)即可！(包含，對差運算封閉)A(A)

若A，B(A)，有：A\B(A)2的證明如下：2023/2/1北京郵電大學電子工程學院38第一節(jié)集合代數(shù)和-代數(shù)證明：對任意的A(A)，作輔助集合類：

A={B：B(A)，A\B，B\A

(A)}若能證明對任意A(A)

，有：A=(A)

則(A)對差運算封閉，得證。這是因為對任意A，B(A)，由于A=(A)

，則BA，則B\A

(A)，于是(A)對差運算封閉顯然：A(A)

。下證對任意的A(A)，(A)

A

，即A

為包含A的單調(diào)類2023/2/1北京郵電大學電子工程學院39第一節(jié)集合代數(shù)和σ-代數(shù)不妨分三步加以說明：輔助集合類A

為單調(diào)類當AA時，AA當A(A)

，有：AA2023/2/1北京郵電大學電子工程學院401、首先證明A(A)

，A是單調(diào)類即證：(1)2023/2/1北京郵電大學電子工程學院41(2)1、首先證明A是單調(diào)類同理可證。從而證明對任意的A(A)

，A是單調(diào)類2023/2/1北京郵電大學電子工程學院42當AA

，有：AA即證：2023/2/1北京郵電大學電子工程學院43當A(A)

，有：AA2023/2/1北京郵電大學電子工程學院44第一節(jié)集合代數(shù)和-代數(shù)

有時驗證某