截面数据一元线性回归分析

截面数据一元线性回归分析一元线性回归模型的参数估计 一元线性回归模型检验 一元线性回归模型预测 实例1

一、一元线性回归模型的参数估计

一、一元线性回归模型的基本假设 二、参数的普通最小二乘估计(OLS) 三、最小二乘估计量的性质 四、参数估计量的概率分布及随机干 扰项方差的估计

一、一元线性回归模型 线性模型中，变量之间的关系呈线性关系 非线性模型中，变量之间的关系呈非线性 关系 一元线性回归模型：只有一个解释变量i=1,2,…,n

Y为被解释变量，X为解释变量， 0与 1为 待估参数， u为随机干扰项3

随机干扰项的意义 随机扰动项是从模型中省略下来的而又集体地影响着 Y的全部变量的替代物。显然的问题是：为什么不把 这些变量明显地引进到模型中来？换句话说，为什么 不构造一个含有尽可能多个变量的复回归模型呢？理 由是多方面的： –理论的含糊性(未知因素的影响) –数据的欠缺(财富与收入) –核心变量与周边变量 –内在随机性 –替代变量(永久消费与当前消费) –省略原则 –错误的函数形式4

回归分析的主要目的是要通过样本回归 函数(模型)SRF尽可能准确地估计总体回 归函数(模型)PRF。 估计方法有多种，其种最广泛使用的是普 通最小二乘法(ordinary least squares, OLS)。 为保证参数估计量具有良好的性质，通 常对模型提出若干基本假设。 注：实际这些假设与所采用的估计方法紧密 相关。5

二、线性回归模型的基本假设假设1、解释变量X是确定性变量，不是随机变 量；解释变量间不相关 假设2、随机误差项 具有零均值、同方差和不 序列相关性： E(ui)=0 i=1,2, …,n Var (ui)= 2 i=1,2, …,n Cov(ui, uj)=0 i≠j i,j= 1,2, …,n 假设3、随机误差项u与解释变量X之间不相关： Cov(Xi, ui)=0 i=1,2, …,n 假设4、u服从零均值、同方差、零协方差的正 态分布 ui~N(0, u2 ) i=1,2, …,n6

注意：1、如果假设1、2满足，则假设3也满足;

2、如果假设4满足，则假设2也满足。 以上假设也称为线性回归模型的经典假设 或高斯(Gauss)假设，满足该假设的线性回归 模型，也称为经典线性回归模型(Classical Linear Regression Model, CLRM)。

另外，在进行模型回归时，还有两个暗含的 假设：

假设5:随着样本容量的无限增加，解释变 量X的样本方差趋于一有限常数。即( X i X ) 2 / n Q , n

假设6:回归模型是正确设定的假设5旨在排除时间序列数据出现持续上升或下降的变 量作为解释变量，因为这类数据不仅使大样本统计推断变 得无效，而且往往产生所谓的伪回归问题(spurious regression problem)。 假设

6也被称为模型没有设定偏误(specification error)8

三、参数的普通最小二乘法(OLS)1、最小二乘法产生的历史最小二乘法最早称为回归分析法。由著名的英 国生物学家、统计学家道尔顿(F.Gallton)——达 尔文的表弟所创。 早年，道尔顿致力于化学和遗传学领域的研究。 他研究父亲们的身高与儿子们的身高之间的关系时， 建立了回归分析法。 现在回归分析法已远非道尔顿的本意，已经成为探 索变量之间关系最重要的方法，用以找出变量之间 关系的具体表现形式。 后来，回归分析法从其方法的数学原理——误差平 方和最小(平方乃二乘也)出发，改称为最小二乘 法。

父亲们的身高与儿子们的身高之间 关系的研究 1889年F.Gallton和他的朋友K.Pearson收 集了上千个家庭的身高、臂长和腿长的 记录 企图寻找出儿子们身高与父亲们身高之 间关系的具体表现形式 下图是根据1078个家庭的调查所作的散 点图(略图)10

儿子们身高向着平均身高“回归”,以保持种族的稳定185

180

175 Y

170

y

165

160 140

x150 160 170X

180

190

20011

2、“回归”一词的由来 从图上虽可看出，个子高的父亲确有生出个子 高的儿子的倾向，同样地，个子低的父亲确有 生出个子低的儿子的倾向。得到的具体规律如 下： y a bx u y 84.33 0.516 x

如此以来，高的伸进了天，低的缩入了地。他 百思不得其解，同时又发现某人种的平均身高 是相当稳定的。最后得到结论：儿子们的身高 回复于全体男子的平均身高，即“回归”—— 见1889年F.Gallton的论文《普用回归定律》。 后人将此种方法普遍用于寻找变量之间的规律12

3、最小二乘法的思路 1.为了精确地描述Y与X之间的关系，必须使 用这两个变量的每一对观察值，才不至于以点 概面(作到全面)。 2.Y与X之间是否是直线关系(协方差或相关 系数)?若是，将用一条直线描述它们之间的 关系。 3.在Y与X的散点图上画出直线的方法很多。 任务？——找出一条能够最好地描述Y与X (代表所有点)之间的直线。 4.什么是最好？—找出判断“最好”的原则。 最好指的是找一条直线使得这些点到该直线的 13 纵向距离的和(平方和)最小。

三种距离y纵向距离u i

A

x , y 横向距离i i

y y y a b xi i i

i

纵 向 距 离B

距离

x , y i i

A为实际点，B为拟 合直线上与之对应 的点

x14

距离是度量实际值与拟合值 是否相符的 有效手段 点到直线的距离——点到直线的垂直线 的长度。 横向距离——点沿(平行)X轴方向到直 线的距离。 纵向距离

——点沿(平行)Y轴方向到直 线的距离。也就是实际观察点的Y坐标减 去根据直线方程计算出来的Y的拟合值。 这个差数以后称为误差——残差(剩 余)。15

2、最小二乘法的数学原理 纵向距离是Y的实际值与拟合值之差， 差异大拟合不好，差异小拟合好，所以 又称为拟合误差或残差。 将所有纵向距离平方后相加，即得误差 平方和，“最好”直线就是使误差平方 和最小的直线。 于是可以运用求极值的原理，将求最好 拟合直线问题转换为求误差平方和最小。16