第四节 矩、协方差矩阵

矩、协方差矩阵

第四节

矩、协方差矩阵

一、基本概念 二、n 维正态变量的性质 三、小结

矩、协方差矩阵

一、基本概念1.定义 定义 设 设 X 和 Y 是随机变量 , 若E ( X k ), k = 1,2,L 存在, 称它为 X 的 k 阶原点矩 , 简称 k 阶矩. k 若 E {[ X E ( X )] }, k = 2,3,L 若

存在, 称它为 X 的 k 阶中心矩 . 若 E ( X k Y l ), k , l = 1,2,L 若存在, 称它为 X 和 Y 的 k + l 阶混合矩 . 若 若 E {[ X E ( X )]k [Y E (Y )]l }, k , l = 1,2,L 存在, 称它为 X 和 Y 的 k + l 阶混合中心矩 .

矩、协方差矩阵

2. 说明(1) 以上数字特征都是随机 变量函数的数学期望 ; ( 2) 随机变量 X 的数学期望 E ( X ) 是 X 的一阶原

点矩, 方差为二阶中心矩 , 协方差 Cov( X ,Y )是 X 与 Y 的二阶混合中心矩 ; ( 3) 在实际应用中, 高于 4 阶的矩很少使用.

三阶中心矩 三阶中心矩E{[ X E( X )] }主要用来衡量随3

机变量的分布是否有偏. 四阶中心矩 四阶中心矩 E{[ X E( X )]4 } 主要用来衡量随 机变量的分布在均值附近的陡峭程度如何.

矩、协方差矩阵

3. 协方差矩阵 设 设 n 维随机变量 ( X 1 , X 2 ,L, X n )的二阶混合 中心矩 c ij = Cov( X i , X j ) = E {[ X i E ( X i )][ X j E ( X j )]

i , j = 1,2,L, n 都存在, 则称矩阵 c11 c 21 C = M c n1

c12 L c1n c 22 L c 2 n M M c n 2 L c nn

为 n 维随机变量的 协方差矩阵 .

矩、协方差矩阵

例如 二维随机变量 ( X 1 , X 2 ) 的协方差矩阵为 c11 C = c21 c12 c22

其中 c11 = E {[ X 1 E ( X 1 )]2 },

c12 = E {[ X 1 E ( X 1 )][ X 2 E ( X 2 )]}, c21 = E {[ X 2 E ( X 2 )][ X 1 E ( X 1 )]}, c22 = E {[ X 2 E ( X 2 )] }.2

矩、协方差矩阵

由于 c ij = c ji ( i , j = 1,2,L , n ) , 所以协方差矩 阵为对称的非负定矩阵 .协方差矩阵的应用

协方差矩阵可用来表示多维随 机变量的概率密度，从而可通 过协方差矩阵达到对多维随机 变量的研究

矩、协方差矩阵

以二维随机变量 ( X 1 , X 2 ) 为例.由于f ( x1 , x2 ) = 1 2 πσ1σ 2 1 ρ2

1 ( x1 µ1 )2 ( x1 µ1 )( x2 µ2 ) ( x2 µ2 )2 exp 2ρ + 2 2 2 . σ 1σ 2 σ1 σ2 2(1 ρ )

µ1 µ = . µ2 c11 c12 , 及 ( X 1 , X 2 ) 的协方差矩阵 C = c21 c22

x1 引入矩阵 X = , x2

矩、协方差矩阵

2 c11 c12 σ1 C = = c21 c22 ρσ1σ 2

ρσ1σ 2 , 2 σ2

由此可得

C

1

2 σ2 1 = det C ρσ1σ 2

ρσ1σ 2 2 σ1 ρσ1σ 2 . 2 σ1

2 σ2 1 = 2 2 2 σ1 σ 2 (1 ρ ) ρσ1σ 2

矩、协方差矩阵

由于

( X µ ) T C 1 ( X µ )2 σ2 1 ( x1 µ1 , x2 µ2 ) = ρσ σ det C 1 2

ρσ1σ 2 x1 µ1 2 x

µ σ1 2 2

1 ( x1 µ1 )2 ( x1 µ1 )( x2 µ2 ) ( x2 µ2 )2 = 2ρ + 2 2 2 . σ1σ2 1 ρ σ1 σ2

矩、协方差矩阵

于是 ( X 1 , X 2 ) 的概率密度可写成f ( x1 , x 2 ) 1 1 T 1 exp ( X µ ) C ( X µ ) . = 22 12 ( 2π) (det C ) 2

矩、协方差矩阵

n 维随机变量 ( X 1 , X 2 ,L, X n )的概率密度可表 示为 f ( x1 , x 2 ,L, x n )1 1 exp ( X µ )T C 1 ( X µ ) . = ( 2π) n 2 (det C )1 2 2 其中 X = ( x1 , x 2 ,L, x n )T ,

推广

c11 µ1 E ( X 1 ) µ2 E ( X 2 ) C = c21 µ= = L , M M c µ E( X ) n1 n n

L c1n c22 L c2 n . L L L cn 2 L cnn

c12

矩、协方差矩阵

二、n 维正态变量的性质1. n 维随机变量 ( X 1 , X 2 ,L, X n )的每一个分 量X i , i = 1, 2,L, n 都是正态变量 ; 反之 反之 , 若 X 1 , X 2 ,L, X n 都是正态变量 , 且相互 独立 , 则 ( X 1 , X 2 ,L, X n ) 是 n 维正态变量 .2. n 维随机变量 ( X 1 , X 2 ,L, X n ) 服从 n 维正 态分布的充要条件是 X 1 , X 2 , L, X n 的任意的线 性组合 l1 X 1 + l2 X 2 + L + ln X n 服从一维正态分布 (其中 l1 , l2 ,L, ln 不全为零 ) .

矩、协方差矩阵

3. 若( X 1 , X 2 ,L, X n )服从n维正态分布 , 设Y1 ,L, Yk 是 X j ( j = 1,2,L, n) 的线性函数 , 则 (Y1 ,Y2 ,L,Yk ) 也服从多维正态分布 . 线性变换不变性

4 .设 ( X 1 ,L , X n )服从 n 维正态分布 , 则“ X 1 ,X 2 ,L , X n 相互独立” 与 X 1 , X 2 ,L , X n 两两 相互独立” “ 不相关” 不相关” 是等价的 .

矩、协方差矩阵

三、小结1. 矩是随机 变量的数字特征 . 随机变量 随机变量 X 的 数学期望 E ( X ) 是 X 的一阶原点矩 ; 方差 D( X ) 是 X 的二阶中心矩 ; 协方差 Cov( X ,Y ) 是 X 与 Y 的二阶混合中心矩 . 2.正态变量是最重要的随机变量，其性质一定 正态变量是最重要的随机变量， 正态变量是最重要的随机变量 要熟练掌握. 要熟练掌握