《目標(biāo)跟蹤系統(tǒng)中的濾波方法》課件第10章

第10章數(shù)學(xué)預(yù)備知識

10.1向量和矩陣10.2隨機變量、隨機向量和隨機過程

10.1向量和矩陣

10.1.1向量的有關(guān)概念

(1)n維向量。n個有次序的數(shù)a1，a2，…，an所組成的數(shù)組，這n個數(shù)稱為該向量的n個分量，第i個數(shù)ai稱為第i個分量。

n維列向量表示為：

，n維行向量表示為：aT=[a1，

a2，…，an]。特別地，分量全為零的向量稱為零向量，記為0。

(2)向量空間。設(shè)V為n維向量的集合，如果集合V非空，且集合V對于加法及乘法兩種運算封閉，那么就稱集合V為向量空間。

(3)r維向量空間。設(shè)V為向量空間，如果r個向量a1，a2，…，ar∈V，且滿足：①a1，a2，…，ar線性無關(guān)；②V中任一向量都可由a1，a2，…，ar線性表示，那么向量組a1，a2，…，ar就稱為向量空間V的一個基，r稱為向量空間V的維數(shù)，并且稱V為r維向量空間，記作Vr。通常取V為R或C，此時相應(yīng)的Vr分別稱為r維實向量空間Rr或r維復(fù)向量空間Cr。10.1.2矩陣運算

(1)矩陣的加法。設(shè)有兩個m×n矩陣A=(a

ij)m×n，B=(bij)m×n，矩陣A與矩陣B的和記作(10-1)若A=(aij)m×n，則把(－aij)m×n記作－A，稱為A的負(fù)矩陣。

(2)矩陣的乘法。設(shè)A是m×s矩陣，B是s×n矩陣，那么矩陣A和矩陣B的乘積是一個m×n矩陣C，其中(10-2)記作C=AB。只有矩陣A的列數(shù)與矩陣B的行數(shù)相等時，乘積AB才有意義。一般地，AB≠BA。此外，矩陣的乘法滿足下列規(guī)律：

①結(jié)合律：(AB)C=A(BC)；

②分配律：A(B+C)=AB+AC，(A+B)C=AC+BC；

③λ(AB)=(λA)B=A(λB)，λ為數(shù)。

④n階方陣(10-3)稱為n階單位方陣。顯然，對任一n×m矩陣A，有等式InA=AIm=A

(10-4)

(3)矩陣的數(shù)量乘積。數(shù)λ與矩陣A=(aij)m×n的乘積，簡稱數(shù)乘，記作λA或Aλ，規(guī)定為(10-5)數(shù)乘矩陣滿足下列運算規(guī)律(設(shè)A、B為m×n矩陣，λ、μ為數(shù))：①(λμ)A=λ(μA)；②(λ+μ)A=λA+μA；③λ(A+B)=λA+λB；④cA=0當(dāng)且僅當(dāng)c=0或A=0。

(4)矩陣其它運算性質(zhì)。若λ為標(biāo)量，A為n維方陣，B為n維方陣，則有

(AB)T=BTAT，det(λA)=λndet(A)

(10-6)

det(AB)=det(A)·det(B)

(10-7)10.1.3矩陣的特征值與特征向量

1.特征值與特征向量的定義

設(shè)A=(aij)n×n是n階方陣，若存在數(shù)λ和n維非零列向量x，使得Ax=λx成立，則稱數(shù)λ為方陣A的特征值，稱非零向量x為方陣A對應(yīng)特征值λ的特征向量。若將式Ax=λx變?yōu)?λI－A)x=0或(A－λI)x=0，則滿足這個方程的λ和x就是所要求的特征值和特征向量。

式(λI－A)x=0是含n個方程的n元齊次線性方程組，它有非零解的充要條件是|λI－A|=0。記(10-8)稱f(λ)為方陣A的特征多項式，方程f(λ)=0稱為方陣A的特征方程，特征值即為特征方程的根。由于f(λ)是λ的n次多項式，所以方程f(λ)=0在復(fù)數(shù)域內(nèi)有n個根(重根按重數(shù)計算)。

2.特征值與特征向量的性質(zhì)

(1)n階矩陣A與其轉(zhuǎn)置矩陣AT有相同的特征值。

(2)設(shè)λ1，λ2，…，λn是矩陣A的n個特征值，則:

①λ1+λ2+…+λn=a11+a22+…+ann；

②λ1λ2…λn=|A|。

(3)設(shè)λ為方陣A的特征值，則:

①當(dāng)A可逆時，1/λ是A－1的特征值；

②|A|/λ是A的伴隨矩陣A*的特征值；

③λm(m∈N)是Am的特征值，進而矩陣A的m次多項式為

f(A)=a0Am+a1Am－1+…+am－1A+amI

其特征值為

f(λ)=a0λm+a1λm－1+…+am－1λ+am

10.1.4逆矩陣

1.逆矩陣的定義

設(shè)A為n階方陣，若存在n階方陣B，使得AB=BA=In，其中In為n階單位方陣，則稱A為可逆矩陣，并稱B為A的逆矩陣，記A－1=B;B的逆矩陣為A，記B－1=A。我們也稱矩陣A和矩陣B互逆。

2.逆矩陣的性質(zhì)

(1)若矩陣A可逆，則A的逆矩陣唯一。

(2)若A和B為同階方陣，且滿足AB=I，則BA=I，即矩陣A和矩陣B互逆。

(3)若A可逆，則A－1也可逆，且(A－1)－1=A。

(4)若A可逆，數(shù)λ≠0，則λA可逆，且(λA)－1=(1/λ)

A－1。

(5)若A和B均為n階逆矩陣,則AB也可逆,且(AB)－1=B－1

A－1。

(6)若A可逆，則AT也可逆，且(AT)－1=(A－1)T。

3.強廣義逆矩陣的定義

設(shè)A為n×m復(fù)矩陣，X為由mn個獨立復(fù)向量構(gòu)成的m×n矩陣，則下列等式聯(lián)立的矩陣方程組

AXA=A,XAX=X，(AX)*=AX，(XA)*=XA(10-9)

有唯一解，稱為n×m復(fù)矩陣A的強廣義逆矩陣，記作A+。

4.廣義逆矩陣的定義

設(shè)A為n×m復(fù)矩陣，X為由mn個獨立復(fù)向量構(gòu)成的m×n矩陣，則矩陣方程

AXA=A

(10-10)

的通解為n×m復(fù)矩陣A的廣義逆矩陣，記作A－。

設(shè)A為n×m復(fù)矩陣，且

,其中U及V分別為n階及m階酉方陣。則A的廣義逆矩陣為(10-11)其中，X12、X21和X22分別由r(m－r)，r(n－r)和(m－r)(n－r)個獨立復(fù)參數(shù)構(gòu)成，所以共有mn－r2個獨立復(fù)參數(shù)，因此廣義矩陣不唯一，實際上它們?nèi)w構(gòu)成一個集合，而A

－只表示這個集合中的任意一個元素。

5.分塊三角矩陣求逆公式

如果A是一個m+n維的分塊三角矩陣(10-12)或者(10-13)其中，A11和A22分別為m維和n維的可逆矩陣，則矩陣A也是可逆矩陣，且(10-14)(10-15)或者證明：由于(10-16)其中，Im、In、Im+n分別為m維、n維及m+n維單位矩陣，故式(10-12)為式(10-14)的逆矩陣。同理可證明式(10-13)為式(10-15)的逆矩陣。證畢。10.1.5矩陣求逆引理

矩陣求逆引理如果對任一n×n維非奇異矩陣A與任意兩個n×m維矩陣B和C，矩陣(A+BCT)與(I+CTA－1B)是非奇異的，則有如下矩陣恒等式成立：

(A+BC)－1=A－1－A－1B(I+CTA－1B)－1CTA－1

(10-17)

證明：定義下列n×n維矩陣：

D=A+BCT

(10-18)

根據(jù)假定，D是非奇異的，因此可用D－1左乘式(10-18)，得

D－1D=I=D－1A+D－1BCT

(10-19)

再用A－1右乘式(10-19)，得

A－1=D－1+D－1BCTA－1

(10-20)

或

D－1BCTA－1=A－1－D－1

(10-21)

然后，用B右乘式(10-20)兩邊，得

A－1B=D－1B+D－1BCTA－1B=D－1B(I+CTA－1B)(10-22)

因為(I+CTA－1B)是非奇異的，用(I+CTA－1B)－1右乘式(10-22)，得

D－1B=A－1B(I+CTA－1B)－1

(10-23)

最后用CTA－1右乘式(10-23)，得

D－1BCTA－1=A－1B(I+CTA－1B)－1CTA－1

(10-24)

將式(10-21)帶入式(10-24)，得

A－1－D－1=A－1B(I+CTA－1B)－1CTA－1

(10-25)

或

D－1=A－1－A－1B(I+CTA－1B)－1CTA－1

(10-26)因為D=A+BCT，所以式(10-26)成為原恒等式

(A+BCT)－1=A－1－A－1B(I+CTA－1B)－1CTA－1

(10-27)

證畢。10.1.6正定矩陣和半正定矩陣

正定矩陣和半正定矩陣的定義設(shè)有二次型f(x)=xTAx，如果對任何x≠0：若恒有f(x)>0，則稱f為正定二次型，此時對稱矩陣A稱為正定矩陣；若恒有f(x)≥0，則稱f為半正定二次型，此時對稱矩陣A稱為半正定矩陣。

有下列命題成立：

(1)對稱陣A為正定的充分必要條件是：A的特征值全為正。

(2)對稱陣A為正定的充分必要條件是：A的各階主子式都為正，即

(3)A為半正定的充分必要條件是：A的所有主子式全大于或等于零。10.1.7矩陣的奇異值分解

對于矩陣Am×n，若存在非負(fù)實數(shù)σ，n維非零向量u，m維非零向量v，使得

Au=σv，AT=σu

(10-28)

則稱σ為A的奇異值，u和v分別稱為A對應(yīng)于奇異值σ的右奇異向量和左奇異向量。

矩陣的奇異值分解定理設(shè)A是m×n矩陣，R(A)=r，σ1，σ2，…，σn是A的奇異值，且σ1≥σ2≥…≥σr≥σr+1=σr+2=…=σn=0，則A=USVT，其中U是m階正交矩陣，V是n階正交矩陣，

，而Σr=diag(σ1，σ2，…，σr)。也可以表示為

A=UTSV=σ1u1vT1+σ2u2vT2+…+σnunvTn

(10-29)

其中，ui是矩陣U的第i列(i=1，2，…，m)，v

j是矩陣V的第j列(j=1，2，…，n)。10.1.8向量與矩陣的微分運算

1.向量值函數(shù)與矩陣值函數(shù)對標(biāo)量的微分計算

設(shè)向量值函數(shù)為

z(t)=[z1(t)

z2(t)

…

zn(t)]T

(10-30)

則z(t)對t的導(dǎo)數(shù)為(10-31)設(shè)矩陣值函數(shù)為F(t)=[fij(t)]m×n，則F(t)對t的求導(dǎo)為(10-32)F(t)在[t1，t2]上的積分為(10-33)(10-34)

設(shè)A(t)為n維可逆矩陣，則A的逆對標(biāo)量t的導(dǎo)數(shù)為

2.標(biāo)量值函數(shù)對向量與矩陣的微分運算

設(shè)n維向量x的標(biāo)量值函數(shù)為y=f(x)=f(x1，x2，…，xn)，于是y=f(x)對x的求導(dǎo)為(10-35)通常稱其為y=f(x)的梯度。設(shè)A為m×n維矩陣(10-36)其標(biāo)量值函數(shù)為y=f(A)－f(x11，…，x1n;

x21，…，x2n;…;xm1，…，xmn)。

于是y=f(x)對A的導(dǎo)數(shù)為(10-37)

3.二次型及雙線型對向量的微分運算

1)二次型對向量的微分運算

設(shè)有二次型Q=XTAX，其中A為n維對稱方陣，X為n維向量，則Q對X的偏導(dǎo)數(shù)為(10-38)(10-39)證明：由于則對xk求偏導(dǎo)數(shù)，得(10-40)上式說明，Q對xk的導(dǎo)數(shù)等于矩陣AX及ATX的第k行之和。再根據(jù)式(10-40)，得(10-41)又由于Q=XTAX中的矩陣A為對稱矩陣(即AT=A)，故有

。證畢。

2)雙線型對向量的微分運算

對于雙線型Q=XTAY，其中A為n維方陣，X、Y都是n維向量，有(10-42)上式的證明過程與二次型對向量的微分運算證明過程類似。

4.向量與矩陣值函數(shù)對向量的微分運算

設(shè)向量值函數(shù)為(10-43)(10-44)當(dāng)x為列向量時，通常規(guī)定矩陣為z(x)對x的偏導(dǎo)數(shù)，并簡記為。

設(shè)矩陣值函數(shù)F(x)=[aij(x1，x2，…，xn)]m×n，其中x為n維向量，則F(x)對x的偏導(dǎo)數(shù)為(10-45)10.1.9雅可比矩陣和Hessian矩陣

1.雅可比矩陣

雅可比矩陣是一階偏導(dǎo)數(shù)以一定方式排列成的矩陣，其行列式稱為雅克比行列式。假設(shè)F：Rn→Rm是一個從歐式n維空間轉(zhuǎn)換到歐式m維空間的函數(shù)。這個函數(shù)由m個實函數(shù)組成：y1(x1，x2，…，xn)，…，ym(x1，x2，…，xn)，這些函數(shù)的偏導(dǎo)數(shù)(如果存在)可以組成一個m行n列的矩陣，即為雅可比矩陣(10-46)此矩陣可表示為JF(x1，x2，…，xn)，或者。這個矩陣的第i行是由梯度函數(shù)的轉(zhuǎn)置yi(i=1，2，…，m)表示的。

2.Hessian矩陣

Hessian矩陣是一個由自變量為向量的實值函數(shù)的二階偏導(dǎo)數(shù)組成的方陣。此函數(shù)為f(x1，x2，…，xn)，如果f所有的二階導(dǎo)數(shù)都存在，那么f的Hessian矩陣為(10-47)

Hessian矩陣的對稱性是指：Hessian矩陣的混合偏導(dǎo)數(shù)是Hessian矩陣非對角線上的元素，假如它們是連續(xù)的，那么求導(dǎo)順序沒有區(qū)別，即(10-48)上式也可寫為fxy=fyx。如果f函數(shù)在區(qū)域D內(nèi)連續(xù)并處處存在二階導(dǎo)數(shù)，那么f的Hessian矩陣在D區(qū)域內(nèi)為對稱矩陣。

10.2隨機變量、隨機向量和隨機過程

10.2.1隨機變量的函數(shù)及其分布

1.一維隨機變量的函數(shù)及其分布

設(shè)ξ為一維隨機變量，f(x)是一元實變連續(xù)函數(shù)，那么η=f(ξ)也是一個隨機變量，稱η為ξ的函數(shù)，由ξ的分布及函數(shù)關(guān)系f(x)可以確定η=f(ξ)的分布。

(1)離散型。設(shè)ξ是離散型的隨機變量，且概率函數(shù)為p{ξ=xi}=pi，i=1，2，…，則η=f(ξ)是離散型隨機變量，其分布律(概率函數(shù))為

p{η=f(xi)}=pi，i=1，2，…

(10-49)

其中f(xi)值相同的概率應(yīng)合并相加。

(2)連續(xù)型。設(shè)ξ是連續(xù)型隨機變量，其密度為pξ(x)。若y=f(x)嚴(yán)格單調(diào)、可微且f′(x)≠0(即f′(x)>0或f′(x)<0)，則η=f(ξ)是連續(xù)型隨機變量，且其密度(概率函數(shù))為(10-50)其中，f－1(y)為y=f(x)的反函數(shù)，區(qū)間(α，β)為y=f(x)的值域；若y=f(x)是分段嚴(yán)格單調(diào)、可導(dǎo)函數(shù)，即存在有限個或可列個區(qū)間[ai，ai+1]，i=…-n，…，-1，0，1，2，…，使得在[ai，ai+1]上f(x)單調(diào)增或單調(diào)減，f′(x)≠0且將此區(qū)間內(nèi)函數(shù)y=f(x)的反函數(shù)記為x=fi－1(y)，相應(yīng)的y的區(qū)間記為[αi，βi]，則η=f(ξ)的分布密度(概率函數(shù))為其中(10-51)求η=f(ξ)的分布密度的另一種方法是：先用定義求η的分布函數(shù)Fη(y)，再求導(dǎo)數(shù)得η的分布密度pη(y)，即(10-52)其中S={x:f(x)<y}。而η=f(ξ)的分布密度為

。一般地，若隨機變量ξ有有限方差Dξ>0(從而數(shù)學(xué)期望Eξ也有限)，則若

，有Eη=0，Dη=1。

2.二維隨機變量的函數(shù)及其分布

設(shè)(ξ，η)是二維隨機變量，f(x，y)是二元時變連續(xù)函數(shù)，稱隨機變量ζ=f(ξ，η)為(ξ，η)的函數(shù)。

(1)離散型。設(shè)(ξ，η)是二維離散型隨機變量，概率函數(shù)為p{ξ=xi，η=yi}=pij，i，j=1，2，…，則ζ=f(ξ，η)也是離散型隨機變量，其概率函數(shù)為

p{ζ=f(xi，yi)}=pij，i，j=1，2，…

(10-53)

(2)連續(xù)型。設(shè)(ξ，η)是二維連續(xù)型隨機變量，密度為p(x，y)，則ζ=f(ξ，η)的分布函數(shù)為(10-54)

(3)兩個隨機變量之和的分布。設(shè)二維連續(xù)型的隨機變量(ξ，η)的分布密度為p(x，y)，則ζ=ξ+η的分布密度為(10-55)特別地，當(dāng)ξ，η獨立時，有(10-56)

(4)兩個隨機變量之商的分布。設(shè)二維連續(xù)型隨機變量(ξ，η)的分布密度為p(x，y)，則ζ=ξ/η的分布密度為(10-57)(10-58)

3.二維隨機變量的變換及其分布

設(shè)二維隨機變量(ξ，η)有密度pξ，η(x，y)，又設(shè)f(x，y)，g(x，y)是兩個二元實變連續(xù)函數(shù)，由確定的二維隨機變量(μ，ν)稱為(ξ，η)的變換(也稱函數(shù))，若變換存在唯一的逆變換，且都連續(xù)，則(μ，ν)是連續(xù)型的。它的密度為(10-59)其中

稱為變換的雅可比行列式。而D={(u，v):u=f(x，y)，v=g(x，y)}關(guān)于n維隨機變量的變換，有著與二維情形類似的結(jié)論。

4.隨機變量函數(shù)的獨立性

設(shè)(ξ11，ξ12，…，ξ1n1)，(ξ21，ξ22，…，ξ2n2),…，(ξk1，ξk2，…，ξknk)是k個隨機向量，若對任意實數(shù)x11，x12，…，x1n1;x21，x22，…，x2n2;…;xk1，xk2，…，xknk，有

(10-60)

則稱這k個隨機向量獨立。若隨機向量(ξ11，ξ12，…，ξ1n1)，(ξ21，ξ22，…，ξ2n2)，…，(ξk1，ξk2，…，ξknk)獨立，則從這些向量中各自任選一個子向量(一個向量的部分分量所組成的向量稱為該向量的子向量)所組成的k個子向量也獨立。若ξ11，ξ12，…，ξ1n1;ξ21，ξ22，…，ξ2n2;…;ξk1，ξk2，…，ξknk是n1+n2+…+nk個獨立的隨機變量，又fi是ni元的實變連續(xù)函數(shù)，且ηi=fi(ξi1，ξi2，…，ξini)，i=1，2，…，k，則隨機變量的函數(shù)η1，η2，…，ηk也相互獨立。10.2.2隨機變量的數(shù)字特征

1.數(shù)學(xué)期望

(1)離散型隨機變量的數(shù)學(xué)期望。設(shè)離散型隨機變量ξ的分布列為P{ξ=xi}=pi，i=1，2，…，若級數(shù)收斂，則ξ的數(shù)學(xué)期望定義為(10-61)

(2)連續(xù)型隨機變量的數(shù)學(xué)期望。設(shè)連續(xù)型隨機變量ξ的密度為p(x)，若∫+∞－∞|x|p(x)dx收斂，則ξ的數(shù)學(xué)期望定義為(10-62)

(3)離散型隨機變量函數(shù)的數(shù)學(xué)期望。設(shè)離散型隨機變量ξ的分布列為P{ξ=xi}=pi，i=1，2，…，又η=f(ξ)，其中f(x)為定義在{xi，i=1，2，…}上的任意實函數(shù)，若級數(shù)收斂，則η=f(ξ)的數(shù)學(xué)期望為(10-63)

(4)連續(xù)型隨機變量函數(shù)的數(shù)學(xué)期望。設(shè)連續(xù)型隨機變量ξ的密度為p(x)，又η=f(ξ)，其中f(x)是區(qū)間(－∞，+∞)內(nèi)的連續(xù)函數(shù)，若∫+∞－∞|f(x)|p(x)dx收斂，則η=f(ξ)的數(shù)學(xué)期望為(10-64)隨機變量函數(shù)η=f(ξ)的數(shù)學(xué)期望可統(tǒng)一表示為(10-65)

2.方差

設(shè)ξ是一個隨機變量，若E(ξ－Eξ)2存在，則稱它為ξ的方差，記為Dξ，即

Dξ=E(ξ－Eξ)2

(10-66)

稱為ξ的標(biāo)準(zhǔn)差。

(1)離散型隨機變量的方差。若ξ為離散型隨機變量，則其方差為(10-67)其中pi=P(ξ=x

i)，i=1，2，…，為ξ的分布列。

(2)連續(xù)型隨機變量的方差。若ξ為連續(xù)型隨機變量，則其方差為(10-68)其中p(x)為ξ的密度。計算方差常常用到的公式為Dξ=Eξ2－(Eξ)2。

3.一些常用分布的期望與方差

(1)離散型分布：

①二項分布B(n，p)：Eξ=np，Dξ=np(1－p)。

②0-1分布B(1，p)：Eξ=p，Dξ=p(1－p)。

③Poisson分布P(λ)：Eξ=λ，Dξ=λ。

(2)連續(xù)型分布：

①均勻分布R[a，b]:Eξ=(a+b)/2，Dξ=(b－a)2/12。

②指數(shù)分布E(λ):Eξ=1/λ，Dξ=1/λ2。

③高斯分布N(μ，σ2):Eξ=μ，Dξ=σ2。

4.矩、協(xié)方差與相關(guān)系數(shù)

(1)矩。設(shè)k是自然數(shù)，若E(ξk)存在，則稱它為ξ的k階原點矩；若E[(ξ－Eξ)k]存在，則稱它為ξ的k階中心矩。顯然，一階原點矩就是數(shù)學(xué)期望，二階中心矩就是方差。

(2)協(xié)方差。若E[(ξ－Eξ)(η－Eη)]存在，則稱它為隨機變量ξ與η的協(xié)方差，記為cov(ξ，η)，即

cov(ξ，η)=E[(ξ－Eξ)(η－Eη)]

(10-69)

由協(xié)方差的定義，易知有下列等式

cov(ξ，ξ)=Dξ

(10-70)

cov(ξ，η)=E(ξη)－E(ξ)E(η)

(10-71)

D(ξ±η)=D(ξ)+D(η)±2cov(ξ，η)

(10-72)

(3)相關(guān)系數(shù)。若隨機變量ξ，η的方差Dξ，Dη均存在且大于零，則稱

(10-73)

為ξ與η的相關(guān)系數(shù)。當(dāng)ρ(ξ，η)=0(即cov(ξ，η)=0)時，則稱ξ與η不相關(guān)；當(dāng)ρ(ξ，η)≠0，則稱ξ與η相關(guān)。10.2.3隨機向量

(1)隨機向量的聯(lián)合分布。設(shè)X=(X1，X2，…，Xp)T是p維隨機向量，稱p元函數(shù)F(x1，…，xp)=P{X1≤x1，…，Xp≤xp}為X的聯(lián)合分布密度。

若存在非負(fù)函數(shù)f(x1，x2，…，xp)，使得隨機向量X的聯(lián)合分布密度對一切(x1，x2，…，xp)∈Rp均可表示為

，則稱X為連續(xù)型隨機變量，稱f(x1，x2，…，xp)為X的聯(lián)合概率密度函數(shù)，簡稱為多元密度函數(shù)或密度函數(shù)。

(2)隨機向量的邊緣分布。該分布是指隨機向量X的部分分量(Xi1，…，Xim)(1≤m<p)的分布。設(shè)X(1)為r維隨機向量，X(2)為p－r維隨機向量，若p維隨機向量X=[X(1)

X(2)]T，則X(1)的邊緣分布為(10-74)(10-75)X(2)的邊緣分布為

(3)隨機向量的條件分布。設(shè)X(1)為r維隨機向量，X(2)為p－r維隨機向量。若p維隨機向量X=[X(1)

X(2)]T，則當(dāng)給定X(2)時，X(1)的條件密度為

(4)隨機向量的獨立性。設(shè)(X1，…，Xn)是離散型隨機向量，則X1，…，Xn相互獨立的充要條件是：對任意i1，i2，…，in=1，2，…，有(10-76)設(shè)(X1，…，Xn)是連續(xù)型隨機向量，f(x1，…，xn)及fX1(x1),…，fXn(x

n)分別是(X1，…，Xn)的聯(lián)合概率密度及X1，…，Xn的概率密度，則X1，…，Xn相互獨立的充要條件是可以證明，若隨機變量X1，…，Xn相互獨立，fi(x)為Borel可測函數(shù)，i=1，2，…，n，則f1(X1)，f2(X2)，…，fn(Xn)也相互獨立。

(5)隨機向量的數(shù)字特征。設(shè)X=(X1，…，Xp)T，Y=(Y1,…,Yq)T是兩個隨機向量，則隨機向量有如下數(shù)字特征：

①隨機向量的均值向量。若E(Xi)=μi存在，則稱(10-78)為隨機向量X的均值向量。②隨機向量的協(xié)方差矩陣。若Xi和Xj的協(xié)方差cov(Xi，Xj)存在(i，j=1，2，…，p)，則稱(10-79)為隨機向量X的協(xié)方差矩陣。③兩個隨機向量的協(xié)方差陣。若Xi和Yj的協(xié)方差cov(Xi，Yj)存在(i=1，…，p;j=1，…，q)，則稱(10-80)為隨機向量X和Y的協(xié)方差陣。若cov(X，Y)=0，則稱X與Y不相關(guān)。④隨機向量的相關(guān)陣。若Xi和Xj的協(xié)方差cov(Xi，Xj)存在(i，j=1，2，…，p，則稱R=(rij)p×p為X的相關(guān)陣，其中(10-81)

(6)均值向量和協(xié)方差陣的性質(zhì)：

①設(shè)X，Y是隨機向量，A，B是常數(shù)矩陣，則

E(AX)=AE(X)

E(AXB)=AE(X)B

D(AX)=AD(X)AT

cov(AX，BY)=Acov(X，Y)BT。

②若X，Y相互獨立，則cov(X，Y)=0p×q；反之不一定成立。

③隨機向量X=(X1，…，Xp)T的協(xié)方差陣D(X)=Σ是對稱非負(fù)定矩陣。

④Σ=L2，其中L為非負(fù)定矩陣。10.2.4多元高斯分布

在一元統(tǒng)計中，若U~N(0，1)，則U的任意線性變換為X=σU+μ~N(μ，σ2)。利用這一性質(zhì)，可以由標(biāo)準(zhǔn)高斯分布來定義一般高斯分布：若U~N(0，1)，則稱X=σU+μ的分布為一般高斯分布，記為X~N(μ，σ2)。在此定義中，不必要求σ>0，當(dāng)σ退化為0時仍有意義。把這種新的定義方式推廣到多元情況，可以得出多元高斯分布的第一種定義。

多元高斯分布定義1設(shè)U=(U1，…，Uq)T為隨機向量，U1，…，Uq相互獨立且同N(0，1)分布；設(shè)μ為p維常數(shù)向量，A為p×q常數(shù)矩陣，則稱X=AU+μ的分布為p元高斯分布，或稱X為p維高斯隨機向量，記為X~Np(μ，AAT)。

多元高斯分布定義2

若p維隨機向量X的特征函數(shù)為ΦX(t)=exp[itTμ－(1/2)tTΣt](Σ≥0)，則稱X服從p元高斯分布，記為X~Np(μ，Σ)。

②設(shè)X~Np(μ，Σ)，B為s×p維常數(shù)矩陣，d為s維常向量，令Z=BX+d，則Z~Ns(Bμ+d，BΣBT)。

③若X~Np(μ，Σ)，則E(X)=μ，D(X)=Σ。

④設(shè)X=(X1，…，Xp)T為p維隨機向量，則X服從p元高斯分布等價于對任一p維實向量a，ξ=aTX是一維高斯隨機向量。

多元高斯分布定義3：若p維隨機向量X的任意線性組合均服從一元高斯分布，則稱X為p維高斯隨機向量。一元高斯隨機變量的密度函數(shù)是

,該式又可改寫為(10-83)作為一元高斯隨機變量的推廣，以下導(dǎo)出多維高斯隨機向量的聯(lián)合密度函數(shù)。多元高斯分布定義4

若p維隨機向量X=(X1，X2，…，Xp)T的聯(lián)合密度為(10-84)10.2.5隨機過程

1.隨機過程

設(shè)(Ω，，Ρ)是概率空間，T是給定的參數(shù)集，如果對于任意t∈T，都有一定義在(Ω，，Ρ)上的隨機變量X(t，ω)與之對應(yīng)，則稱隨機變量族{X(t，ω)，t∈T}為隨機過程，簡記為{X(t)，t∈T}或{Xt，t∈T}或XT。

隨機過程{X(t，ω)，t∈T}是定義在T×Ω上的二元函數(shù)。當(dāng)t固定時，X(t，ω)是(Ω，，Ρ)上的隨機變量；當(dāng)ω固定時，X(t，ω)是定義在T上的普通函數(shù)，稱為隨機過程X

T的一個樣本函數(shù)或軌道(或現(xiàn)實)。通常把隨機過程{X(t，ω)，t∈T}解釋為一個物理系統(tǒng)。當(dāng)t，ω固定時，X(t，ω)為一實數(shù)，表示系統(tǒng)在時刻t所處的狀態(tài)。比如X(t)=x就稱為時刻t系統(tǒng)(或過程)位于狀態(tài)x。X(t，ω)的所有可能狀態(tài)所構(gòu)成的集合(即X(t，ω)的值域)稱為狀態(tài)空間或相空間，記為I。

參數(shù)t∈T表示時間，這正是將{X(t，ω)，t∈T}稱為“過程”的原因。在實際問題中t∈T也可以表示別的量，若t表示高度，X(t，ω)表示高度為t處的溫度，這樣{X(t，ω)，t∈T}也是一個隨機過程，所以一般也稱隨機過程為隨機函數(shù)。對任一隨機過程{X(t)，t∈T}，若知道了它的有限維分布函數(shù)族F，則該過程的全部統(tǒng)計特性就完全確定了。但在實際問題中，有時并不需要了解隨機過程的全部統(tǒng)計特性。此外，要確定隨機過程的全部有限維分布函數(shù)是一件很困難的事情。因此在多數(shù)應(yīng)用中只限于給出隨機過程的某些統(tǒng)計特性來代替F。這與概率論中用隨機變量的數(shù)字特征代替分布函數(shù)一樣。下面給出隨機過程的數(shù)字特征的定義。

2.隨機過程的均值函數(shù)

設(shè)已給隨機過程XT={X(t)，t∈T}，對任意t∈T，若E[X(t)]存在，則稱

mX(t)=E[X(t)]，t∈T

(10-85)

為隨機過程XT的均值函數(shù)，mX(t)簡記為m(t)。mX(t)是XT的一階原點矩，表示隨機過程在時刻t的狀態(tài)的統(tǒng)計平均。

3.隨機過程的協(xié)方差函數(shù)

設(shè)XT={X(t)，t∈T}是隨機過程，對任意s，t∈T，若E{[X(s)－m(s)][X(t)－m(t)]}存在，則稱

ΓX(s，t)=E{[X(s)－m(s)][X(t)－m(t)]}

(10-86)

為XT的自協(xié)方差函數(shù)，簡稱為協(xié)方差函數(shù)，ΓX(s，t)簡記為Γ(s，t)；而稱RX(s，t)=E[X(s)X(t)]為XT的自相關(guān)函數(shù)，簡稱相關(guān)函數(shù)，簡記為R(s，t)。

XT的自協(xié)方差函數(shù)也記為CX(s，t)，即有

CX(s，t)=E{[X(s)－m(s)][X(t)－m(t)]}

(10-87)

自協(xié)方差函數(shù)ΓX(s，t)也是隨機過程XT本身不同時