西北工業(yè)大學《概率論與數理統計》3-3 協方差

1、第三節(jié) 協方差及相關系數 一、協方差的概念與性質 二、相關系數的意義與性質 三、協方差矩陣 下 下 回 回 停 停 一、協方差的概念與性質 1. 問題的提出 若隨機變量X和Y相互獨立, 那么 D( X ± Y ) = D( X ) + D(Y ) 若隨機變量X和Y不相互獨立, D( X ± Y ) = ? D( X ± Y ) = E ( X ± Y ) E ( X ± Y )2 = E ( X E ( X ) ± (Y E (Y ) 2 = D( X ) + D(Y ) ± 2 E X E ( X )Y E (Y ) 協方

2、差 2. 協方差與相關系數的定義 定義3.7 (X,Y)是二維隨機變量, 量E X E ( X )Y E (Y ) 稱為隨機變量X與Y的協方差, 記為cov(X,Y), 即 cov( X ,Y ) = E X E ( X )Y E (Y ). cov( X ,Y ) D( X ) D(Y ) 而 XY = 稱為隨機變量X與Y的相關系數 注1° X和Y的相關系數是標準化的隨機變量 X E ( X ) Y E (Y ) 與 D(Y ) D( X ) 的協方差. 又稱為標準協方差, 是個無量綱的量. 2° 若隨機變量X與Y相互獨立 cov( X ,Y ) = E X E ( X

3、)Y E (Y ) = EXE(X)EY E(Y)= 0. 3° cov(X,X) = D(X). 3、協方差的計算公式 (1) cov(X,Y) = E(XY) E(X)E(Y); (2) D(X ± Y) = D(X) + D(Y) ± 2cov(X,Y). 證 (1) cov(X,Y) = EX E(X)Y E(Y) = EXY XE(Y) YE(X) + E(X)E(Y) = E(XY) 2E(X)E(Y) + E(X)E(Y) = E(XY) E(X)E(Y). (2) D(X ± Y) = E ( X ± Y ) E ( X

4、77; Y )2 = E ( X EX ) ± (Y EY )2 = E X E ( X )2 + EY E (Y )2 ± 2 E X E ( X )Y E (Y ) = D( X ) + D(Y ) ± 2 cov( X ,Y ). 4、協方差的性質 性質3.11 cov(X,Y) = cov(Y, X). 性質3.12 cov(X,Y) = E(XY) E(X)E(Y). 性質3.13 cov(aX, bY) = abcov(X,Y) , a, b為常數 性質3.14 cov(X1+X2,Y) = cov(X1,Y) + cov(X2,Y). 性質3.15

5、若X與Y獨立, 則cov(X,Y) = 0. 性質3.16 D(X ± Y) = D(X) + D(Y) ± 2cov(X,Y). n n = D( X i ) + 2 cov X i , X j . X 推廣 D i i =1 i =1 i< j ( ) 例1 設隨機變量X與Y的相關系數為0.5, E ( X ) = E (Y ) = 0, E ( X 2 ) = E (Y 2 ) = 2, 2 2 ( ) = E ( X 2 ) + 2 E ( XY ) + E (Y 2 ) E X + Y 解 求 E(X + Y ) . = 4 + 2cov( X ,Y ) +

6、 E ( X )E (Y ) = 4 + 2 XY D( X ) D(Y ) = 4 + 2 × 0 .5 × 2 = 6 . 2 , ), 求X與Y的 例2 設( X ,Y ) N ( µ1 ,12 , µ2 , 2 相關系數. 解 由 p( x , y ) = 1 2 1 2 1 2 exp 2 ( x µ1 )( y µ2 ) ( y µ2 )2 1 ( x µ1 ) + 2 2 2 2 1 2 1 2(1 ) 1 ( x µ1 ) 2 1 pX ( x ) = e 21 2 2 1 , <

7、x < + 1 pY ( y ) = e 2 2 ( x µ 2 )2 2 2 2 , < y < . 2 2 E ( X ) = µ1 , E (Y ) = µ2 , D( X ) = 1 , D(Y ) = 2 . c ov( X ,Y ) = = 1 ( x µ1 )( y µ2 ) p( x , y ) d x d y 2 1 + + 2 1 2 1 ( x µ1 ) 2 ( x µ1 )( y µ2 ) + + e 2 2 1 e 2 1 2 ( ) y µ2 x µ

8、1 1 2 2 dydx y µ2 x µ1 x µ1 , u = 令t= , 2 1 1 1 2 1 c ov( X ,Y ) = 1 + + 2 ( 1 tu + 1 2 1 2 2 u2 t2 + 2 1 2 + 2 2 = u e d u e d t 2 t 2 + u2 2 u )e 2 dtdu 2 2 u t 2 + 1 2 1 + 2 2 ue d u te d t + 2 1 2 = 2 2 . 故有c ov( X ,Y ) = 1 2 . 2 注1° 于是 XY = c ov( X ,Y ) = . D( X ) D(Y ) 二維正態(tài)

9、分布密度函數中, 參數 代表了 X與Y的相關系數; 2° 對于二維隨機變量(X, Y), = 0 X與Y相互獨立 . (證明見p41例2.12) 二、相關系數的意義與性質 1. 問題的提出 問a, b應如何選擇, 可使得隨機變量a + bX 最接近隨機變量Y? 接近的程度又如何來衡量? 分析 設 e = EY (a + bX )2 則 e 可用來衡量 a + bX 近似表達 Y 的好壞程度 . 當 e 的值越小 , 表示 a + bX 與 Y 的近似程度越好 . 確定 a , b 的值 , 使 e 達到最小 . e = EY (a + bX )2 = E (Y 2 ) + b 2 E

10、 ( X 2 ) + a 2 2bE ( XY ) + 2abE ( X ) 2aE (Y ). 將 e 分別關于 a , b 求偏導數 , 并令它們等于零 , 得 e a bE X E Y = 2 + 2 ( ) 2 ( ) = 0 , a e = 2bE ( X 2 ) 2 E ( XY ) + 2aE ( X ) = 0. b cov( X ,Y ) , 解之得 b0 = D( X ) cov( X ,Y ) a0 = E (Y ) E ( X ) . D( X ) 將 a0 , b0 代入 e = EY (a + bX )2 中, 得 min e = EY (a0 + b0 X )2

11、a ,b c ov 2 ( X ,Y ) cov 2 ( X ,Y ) = D(Y ) = 1 D(Y ) D( X ) D( X ) D(Y ) = (1 2 XY ) D(Y ). 2. 相關系數的意義 當 XY 較大時 e較小, 表明 X ,Y的線性關系 聯系較緊密 當 XY 較小時 , X ,Y線性相關的程度較差 . 定義3.8 設隨機變量X與Y的相關系數 XY = 0, 則稱X和Y不相關 . 例3 設服從0,2 上的均勻分布 , X = cos , Y = cos( + a ), 這里 a是定數 , 求X和Y的相關系數 ? 1 2 解 Q E(X ) = cos xdx = 0, 2

12、 0 1 2 2 1 2 cos xdx = , E (X ) = 2 0 2 1 2 E (Y ) = cos( x + a )dx = 0, 2 0 1 2 2 1 2 E (Y ) = cos ( x + a )dx = , 2 0 2 1 2 1 E ( XY ) = cos x cos( x + a )dx = cos a , 2 0 2 1 cov( X ,Y ) = E ( XY ) E ( X )E (Y ) = cos a , 2 1 2 2 D( X ) = E ( X ) E ( X ) = , 2 1 2 2 D(Y ) = E (Y ) E (Y ) = , 2 XY

13、 = cov( X ,Y ) = cos a . D( X ) D(Y ) 由 X = cos ,Y = cos( + a ), XY = cos a , 可知: 存在線性關系. 當a = 時, = 1, X = Y , 3 當 a = 或 a = 時, = 0, X與Y不相關; 2 2 當a = 0時, = 1, X = Y , 但X 2 + Y 2 = 1, 因此, X與Y不獨立. 3. 獨立與不相關的關系 (1) 不相關 與相互獨立的關系 (性質3.19) 相互獨立 不相關 (2) 不相關的充要條件 1o 2o 3o 4o X , Y 不相關 XY = 0; X , Y 不相關 cov(

14、 X ,Y ) = 0; X , Y 不相關 E ( XY ) = E ( X ) E (Y ); X , Y 不相關 D( X + Y ) = D( X ) + D(Y ). 例4 隨機變量X與Y的方差存在且不等于0, 則D(X + Y) = D(X) + D(Y)是X和Y . (考研試題) A 不相關的充分條件, 但不是必要條件 B 獨立的充分條件, 但不是必要條件 C 不相關的充分必要條件 D 獨立的充分必要條件 解 顯然應該選擇C. 例5 設隨機變量X與Y獨立同分布, 記U = XY, V = X + Y, 則隨機變量U與V必然( ). B 獨立 A 不獨立 C 不相關 D 相關 解

15、cov(U ,V ) = E (U E (U )(V E (V ) = E ( X Y E ( X ) + E (Y )( X + Y E ( X ) E (Y ) = E X E ( X ) (Y E (Y ) X E ( X ) + (Y E (Y ) = E X E ( X )2 E Y E (Y )2 = 0, 所以X與Y不相關. X與Y同分布 4、相關系數的性質 性質3.17 XY 1. X E ( X ) Y E (Y ) ± 證 設隨機變量 Z = D( X ) D(Y ) 則 X E(X ) Y E (Y ) D ( Z ) = D + D D( X ) D(Y )

16、X E ( X ) Y E (Y ) ± 2 cov , D(Y ) D( X ) 即 1 + 1 ± 2 XY 0 XY 1. 使P Y = aX + b = 1. 性質3.18 XY = 1的充要條件是 , 存在常數 a , b 證 () 若 XY = 1, 由于 X E ( X ) Y E (Y ) D ± = 2(1 ± XY ), D(Y ) D( X ) 因而 XY 有 X E ( X ) Y E (Y ) = 1時, D = 0, D(Y ) D( X ) X E ( X ) Y E (Y ) P = = 1. D(Y ) D( X ) X

17、Y X E ( X ) Y E (Y ) = 1時, D + = 0. D(Y ) D( X ) Y E (Y ) X E(X ) = = 1. 因而 P D(Y ) D( X ) 故當 XY = 1, 有 Y E (Y ) X E(X ) P =± = 1, D(Y ) D( X ) 即以概率1成立 Y = aX + b, 其中 D(Y ) D(Y ) a=± , b = E (Y ) m E ( X ). D( X ) D( X ) () 若存在常數 a , b使 PY = a + b X = 1 P Y (a + b X ) = 0 = 1, PY (a + b X

18、)2 = 0 = 1, EY (a + b X )2 = 0 × 1 = 0. (數學期望定義) 0 = EY (a + b X )2 min E(Y (a + bX )2 = EY (a0 + b0 X )2 XY = 1. = (1 2 XY ) D(Y ) 0 a ,b 性質3.19 若X與Y相互獨立, 則X與Y不相關, 反之不真. 三、協方差矩陣 設 n 維隨機變量 ( X 1, X 2, L X n ) 的二階混合中心矩 ij = cov( X i , X j ) = E X i E ( X i ) X j E ( X j ) i , j = 1,2,L n, 都存在, 則

19、稱矩陣 1. n 維隨機變量協方差矩陣 11 12 21 22 = L L n1 n 2 L 1n L 2n L L L nn 為n 維隨機變量 ( X 1 , X 2 ,L, X n ) 的協方差陣. 2. 二維隨機變量的協方差矩陣 設( X 1 , X 2 )為二維隨 機變量 , 其協方差矩陣為 11 12 , = 21 22 其中 11 = E X 1 E ( X 1 )2 = D( X 1 ), 21 = E X 2 E ( X 2 ) X 1 E ( X 1 ) = 12 , 12 = E X 1 E ( X 1 ) X 2 E ( X 2 ), 22 = E X 2 E ( X 2

20、 )2 = D( X 2 ). 注10 由于cij = cji (i , j = 1,2,L n ), 所以 協方差矩陣為對稱的非負定矩陣. 注20 協方差矩陣的應用. 協方差矩陣可用來表示 隨機 變量的概率密度 , 從而可通過協方 差矩陣達到對隨機變量 的研究 . 以二維正態(tài)隨機變量 ( X 1 , X 2 ) 為例. 由于 p( x1 , x2 ) = 1 2 1 2 1 2 exp 1 ( x1 µ1 )2 ( x1 µ1 )( x2 µ2 ) ( x2 µ2 )2 2 + 2 2 2 1 2 1 2 2(1 ) µ1 x1 引入矩陣 X

21、 = , µ = , µ2 x2 11 12 , 及 ( X 1 , X 2 ) 的協方差矩陣 = 21 22 2 11 12 1 = = 21 22 1 2 1 2 , 2 2 由此可得 1 1 = det 2 2 1 2 1 2 2 1 1 2 . 2 1 2 2 1 = 2 2 1 2 (1 2 ) 1 2 T 1 ( ) X µ 由于 ( X µ) = det 1 2 2 ( x1 µ1 , x2 µ 2 ) 1 2 x1 µ1 1 2 2 1 x2 µ2 1 ( x1 µ1 )2 ( x1 &#

22、181;1 )( x2 µ2 ) ( x2 µ2 )2 = 2 + . 2 2 2 1 2 1 1 2 于是 ( X 1 , X 2 ) 的概率密度可寫成 p( x1 , x2 ) = 2 (det 1 1 T 1 exp ( X µ ) ( X µ ). 12 2 ) 內容小結 1. 協方差與相關系數的定義 量 E X E ( X )Y E (Y ) 稱為隨機變量 X與Y的協方差, 記為 cov( X ,Y ), cov( X ,Y ) = E X E ( X )Y E (Y ) 稱XY = 相關系數. cov( X ,Y ) 為隨機變量 X與Y的 D

23、( X ) D(Y ) 2. 相關系數的意義 當 XY 接近1時, 表明 X ,Y的線性關系 聯系較緊密. 當 XY 接近 0時, X ,Y線性相關的程度較差 . XY = 0, 則稱X和Y不相關 . 備用題 例1-1 設X與Y是兩個隨機變量, 且D(X) = 1, D(Y) = 3, cov(X, Y) = 0.3, 求方差D(X+Y) 與 D(2X3Y). 解 D( X + Y ) = D( X ) + D(Y ) + 2 cov( X ,Y ) = 3.4, D(2 X 3Y ) = D(2 X ) + D(3Y ) 2 cov(2 X ,3Y ) = 4 D( X ) + 9 D(Y

24、) 12 cov( X ,Y ) = 34.6. 例1-2 設隨機變量X和Y均服從參數 = 1/2 的指數分布, 且相關系數 XY = 1 2 , 令函數 U=2X , V=XY, 求U與V的協方差 cov(U,V). 解 由隨機變量X和Y均服從參數 = 1/2的 指數分布, 則 D(X) = 4, D(Y) = 4. 而 cov( X ,Y ) = XY D( X ) D(Y ) = 2, cov(U ,V ) = cov(2 X , X Y ) = 2 D( X ) 2 cov( X ,Y ) = 4. 例2-1 設二維連續(xù)型隨機變量(X, Y)的聯合 密度函數為 1 ( x + y ),

25、 0 x 1, 0 y 2 p( x , y ) = 3 0, 其他 試計算D(2X 3Y + 8). 解 由性質3.16得 D(2X 3Y + 8) = D(2X) + D(3Y) 2cov(2X, 3Y) = 4D(X) + 9D(Y) 12cov(X, Y) 為了計算上述方差和協方差, 需要先計算E(X), E(X2), E(Y), E(Y2)和E(XY). 為此, 先計算X和Y 的邊緣分布. 1 1 pY ( y ) = ( x + y )dx = y + 0 3 3 2 21 2 p X ( x ) = ( x + y ) d y = ( x + 1) 0 3 3 11 (0 y 2

26、 ) (0 x 1) 由此計算得 E(X ) = 12 0 2 1 1 5 x ( x + 1) d x = × + = 3 3 3 2 9 E( X2 ) = 0 12 2 1 1 7 x ( x + 1) d x = × + = 3 3 4 3 18 2 7 25 13 D( X ) = = 18 81 162 E (Y ) = E( Y2 2 0 1 1 y + 3 2 11 y dy = 9 16 y dy = 9 ) = 0 2 1 2 1 y + 3 2 2 16 11 23 D(Y ) = = 9 9 81 1 1 2 E ( XY ) = xy ( x +

27、y )dydx 3 0 0 1 1 2 8 2 = xy 2 x + y dx = 3 0 3 3 于是可得協方差 2 5 11 1 cov( X ,Y ) = × = 3 9 9 81 代回原式, 可得 D(2X 3Y + 8) 23 13 1 245 3 = 4× + 9 × 12 × = 162 81 81 81 例2-2 設二維連續(xù)型隨機變量(X, Y)的聯合 密度函數為 2 1 y 3 e , x 1, y 1 p( x , y ) = x 其他 0, Y 求函數 W = XY與Z = 的協方差 cov(W , Z ). X 解 + + 2 1

28、 y E (W ) = dx xy 3 e dy = 4, 1 1 x + + y 2 1 y 4 E ( Z ) = dx e dy = , 3 1 1 xx 3 E (WZ ) = + 1 dx + 1 2 1 y y 3 e d y = 5. x 2 由協方差公式得 1 cov(W , Z ) = E (WZ ) E (W )E ( Z ) = . 3 例2-3 已知隨機變量 X ,Y分別服從 N (1, 32 ), N (0, 42 ), 且XY = 1 2 , 設 Z = X 3 + Y 2 . (1)求Z的數學期望和方差; (2) 求X與Z的相關系數; 解 (1) 由 E ( X

29、) = 1, D( X ) = 9, E (Y ) = 0, D(Y ) = 16. X Y 得 E( Z ) = E( + ) 3 2 1 1 1 = E ( X ) + E (Y ) = . 3 2 3 X Y X Y D( Z ) = D + D + 2c ov , 3 2 3 2 1 1 1 = D( X ) + D(Y ) + c ov( X ,Y ) 9 4 3 1 1 1 = D( X ) + D(Y ) + XY D( X ) D(Y ) 9 4 3 = 1 + 4 2 = 3. X Y ( 2) c ov( X , Z ) = c ov X , + 3 2 1 1 = c ov( X , X ) + c ov( X ,Y ) 2 3 1 1 =