3.1 多元线性回归模型及参数估计

就是一些关于多元线性回归模型及参数估计的介绍

§2.3多元线性回归模型的参数估计 Estimation of Multiple Linear Regression Model一、多元线性回归模型 二、多元线性回归模型的参数估计 三、OLS参数估计量的统计性质 四、样本容量问题 五、多元线性回归模型实例

就是一些关于多元线性回归模型及参数估计的介绍

一、多元线性回归模型

就是一些关于多元线性回归模型及参数估计的介绍

1、多元线性回归模型的形式 由于：– 在实际经济问题中，一个变量往往受到多个原因变 量的影响； – “从一般到简单”的建模思路。

所以，线性回归模型中的解释变量往往有多个， 至少开始是这样。这样的模型被称为多元线性 回归模型。 多元线性回归模型参数估计的原理与一元和二 元线性回归模型相同，只是计算更为复杂。

就是一些关于多元线性回归模型及参数估计的介绍

多元线性回归模型的一般形式为：Y X Xi 0 1 1i 2 2i

X k ki

i

i=1,2,…,n

习惯上，把常数项µ看成为一个虚变量的系数， i 在参数估计过程中该虚变量的样本观测值始终取1。 这样： 模型中解释变量的数目为(k+1)。

就是一些关于多元线性回归模型及参数估计的介绍

多元线性回归模型的矩阵表达式为：Y X 其中 Y1 Y Y 2 Yn n 1 0 1 2 k ( k 1) 1

1 X 11 X 21 X k1 1 X X X 12 22 k2 X 1 X X X 1n 2n kn n ( k 1)

1 2 n n 1

就是一些关于多元线性回归模型及参数估计的介绍

2、多元线性回归模型的基本假定多元线性回归模型在满足下列基本假设的情况下，可 以采用普通最小二乘法(OLS)估计参数。 关于多元线性回归模型的基本假定标量符号 1、解释变量 X 1 , X 2 , , X k 是非随机的或固定的；而且各 X 之 间互不相关(无多重共线性(no multicollinearity)) 矩阵符号 1、n ( k 1)

矩阵 X 是非随机的；且 X 的秩

(X ) k 1

,此时

XTX

也是满秩的

就是一些关于多元线性回归模型及参数估计的介绍

标量符号 2、随机误差项具有零均值、同方差及不序列相关E ( i ) 0i 1, 2, , n i 1, 2, , n

Var ( i ) E ( i2 ) 2

Cov ( i , j ) E ( i j ) 0

i j

矩阵符号 2、E ( N ) 0, E ( NN T ) 2 I

1 E ( 1 ) E ( N ) E 0 E ( ) n n 1 T E ( NN ) E n

1

n

12 1 n 2 E 2 n n 1 0

0 2I 2

就是一些关于多元线性回归模型及参数估计的介绍

标量符号 3、解释变量与随机项不相关Cov ( X ji , i ) 0i 1, 2, , n

矩阵符号 3、E( X T N ) 0

,

即

i E ( i ) X 1i i X 1i E ( i ) E 0 X X E ( ) Ki i Ki i

就是一些关于多元线性回归模型及参数估计的介绍

标量符号 4、 (为了假设检验) ,随机扰动项服从正态分布 i ~ N (0, 2 )i 1, 2, , n

矩阵符号 4、向量 N 为一多维正态分布，即N ~ N ( 0, 2 I )

就是一些关于多元线性回归模型及参数估计的介绍

二、多元线性回归模型的参数估计

就是一些关于多元线性回归模型及参数估计的介绍

1、普通最小二乘估计 普通最小二乘估计随机抽取被解释变量和解释变量的 n 组样本观测值：(Yi , X ji ), i 1,2, , n, j 0,1,2, k

如果模型的参数估计值 j 已经求得，则有： Y X X Xi 0 1 1i 2 2i ki ki

(i=1,2,…,n )

就是一些关于多元线性回归模型及参数估计的介绍

根据最小二乘原理，参数估计值应该是下列方程组的 解： 0 1 2 k Q 0 Q 0 Q 0 Q 0

其中n 2 n Q e (Y Y ) 2 i i 1 i i 1 i n (Y ( X X X )) 2 0 1 1i 2 2i k ki i 1 i

就是一些关于多元线性回归模型及参数估计的介绍

于是得到关于待估参数估计值的正规方程组： Y i Yi X 1i Y X i 2i Y X i ki ( X X X ) 0 0 1 1i 2 2i k ki ( X X X ) X 0 0 1 1i 2 2i k ki 1i ( X X X ) X 00 1 1i

( X0

1 1i

X2

2

2i

k

ki

2i

2i

Xk

ki

)X

ki

0

解该(k+1)个方程组成的线性代数方程组，即可得到 (k+1)个待估参数的估计值 j , j 0,1,2, , k 。

就是一些关于多元线性回归模型及参数估计的介绍

上述估计过程的矩阵表示：对于模型Y 有： X

B ,如果模型的参数估计值 已经得到，则

Y X Y X e其中 e1 e 2 e e n

从而，被解释变量的观测值与估计值之差的平方和为：n 2 n Q e (Y Y ) 2 i i 1 i i 1 i

e e (Y X ) (Y X )

就是一些关于多元线性回归模型及参数估计的介绍

根据最小二乘原理，参数估计值应该是下列方程组的解： (Y X ) (Y X ) 0

求解过程如下： (Y X )(Y X ) 0 (Y Y X Y Y X X X ) 0 (Y Y 2Y' X X X ) 0 (Y Y 2( X' Y)' X X ) 0 X Y X X 0

就是一些关于多元线性回归模型及参数估计的介绍

于是，得到正规方程组：

X Y X X 参数的最小二乘估计值为：

( X X ) 1 X Y 随机误差项的均值为0,方差的

估计量为：e e n k 12