第11章 非参数回归(非参数统计,西南财大)

第十二章 非参数回归及其相关问题

第一节 参数回归问题的回顾

在线性回归模型中，我们总是假定总体回归函数是线性的，即 多元线性回归模型一般形式为：

Yi 1 2X2i 3X3i KXKi i

总体回归函数（PRF）

m(Xi) E(YX2i,X3i, ,Xki) 1 2X2i 3X3i KXKi

但是，经验和理论都证明，当m(X)不是线性函数时，基于最小二乘的回归效果不好，非参数回归就是在对m(X)的形式不作任何假定的前提下研究估计 (X)。

例 设二维随机变量，其密度函数为

x y

f(x,y)

0

1

0 x 1,0 y 1其它

12

，求E(Y/X x).

解：fx(x)

f(x,y)dy x

1

0 x 1

E(Y/X x) y

f(x,y)

dy fx(x)

1

x y121 ydy y(x y)dy (x 3) m(x) 112x 120x 0x

22

从例可知，E(Y/X x)仅与x有关，条件期望y m(x) E(Y/X x)表明Y与X在条件期望的意义下相关。

由样本均值估计总体均值的思想出发，假设样本(X1,Y1)，(X2,Y2)，…，(Xn,Yn)中有相当Xi恰好等于x，m(x) E(Y/x)，不妨记为Xi1，Xi2，…，Xik，自然可取相应

1

1k

的Y的样本Yi1，Yi2，…，Yik，用他们的平均数 Yij去估计m(X) E(Y/X)。可是

kj 1

在实际问题中，一般不会有很多Xi的值恰好等于x。这个估计式，仿佛是一个加权平均数，

对于所有的Xi，如果等于x，则赋予

1

的权，如果不等于x，则赋予零权。由此可启发我k

们在思路上产生了一个飞跃。即对于任一个x，用Y1,Y2, ,Yn的加权和去估计m(x)，即

n(x) WiYi，其中Wi 0，i 1,2, ,n， Wi 1估计 (X) E(Y/X)。问题是m

i 1

n

如何赋权，一种合乎逻辑的方法是，等于x或靠x非常近的那些Xi，相应的权大一些，反之小权或零权。

两种模式：

设(x,Y) R R上的随机变量，(xi,Yi)(i 1,2, ,n)为的n次观测值。实际应用中 ， xi i为非随机的，Y1,Y2, ,Yn依条件独立，在理论上非参数回归中 xi i既可以是非随机的，也可以是随机的。而参数回归分析中，我们总是假定 xi i为非随机的。

根据 xi i的不同非参数回归有两种模式。 1、 xi i为随机时的非参数回归模型

设(x,Y) R R，E|Y| ，(zi,Yi)(i 1,2, ,n)为(x,Y)的随机样本。存在没个未知的实值函数g(.)，使得

k

nn

n

n

n

k

E(Yi/xi=x） g(x) i 1,2, ,n

一般记为Y E(Y/X=x）

yf(x,y)dyr(x)f(x,y)E(Y/X=x） yf(y/x)dy y

f(x)f(x) f(x,y)dyx

这里，fx(x) 0，如果fx(x) 0，则m(x) E(Y/X x) 0 2、 xi i为非随机时的非参数回归模型

由于在实际中，研究者或试验者一般可以控制X或预先指定X，这时X可能不再是随机变量，例如年龄与收入之间的关系中年龄为固定时，收入的分布是已知的，不存在X为随机变量时，估计fx(x)的问题。

设(x,Y) R R，E|Y| ，(xi,Yi)(i 1,2, ,n)为(x,Y)的随机样本设的随

k

n

机变量，(xi,Yi)(i 1,2, ,n)为(x,Y)的n次独立观测值，则

Yi g(xi) ei(i 1,2, ,n)

e1,e2, ,eniid，E(ei) 0，Var(ei) 2 。

第二节 一元非参数回归核估计方法

一、核估计

(一) Nadaraya-Watson估计

核权函数是最重要的一种权函数。为了说明核函数估计，我们回忆二维密度估计

m(x) E(Y/X x） yf(y/x)dy 1而f(x,y) 2

nhn

f(x,y)

(1) fx(x)

K(

i 1

n

Xi xYi y

,) hnhn

X x1Y y1n1

f(x,y) K(i)K(i) (2)

ni 1hnhnhnhn

在这个密度函数估计中，核函数必须相等，光滑参数hn可以不等，光滑参数不等时，有

X x1Y y1n1

f(x,y) K(i)K(i)

ni 1hxhxhyhy

将（2）代入（1）的分子，得

Xi xyYi y1n1

yf(x,y)dy K()K()dy ni 1hxhx hyhy

令s

Yi y1

dy ，则ds

hyhy

Xi x1n1yf(x,y)dy K()(shy Yi)K(s)ds ni 1hxhx

又由k(s)有对称性，则sK(s)ds 0，K(s)ds 1，得1式的分子为

1分子＝

nhx

K(

i 1

n

Xi x

)Yi hx

1

分母＝

nhx

K(

i 1

n

Xi x

) hx

Xi xXi x1n1nK()YK()Yi i

nhhxhhx

mn(x) xi 1n xi 1n

Xi xXi x11

K() K(h)h nhxi 1hxxi 1x

可以看出对m(x) E(Y/X x）的 估计，是密度函数估计的一种自然推广，一般也

称为权函数估计mn(x)

W

i 1

n

ni

(x)Yi

X x1

K(i)hxhx

其中Wni(x)

Xi x1n

K() hxi 1hx

可以看出权函数完全由Wni(x)确定，其取值与X的分布有关，称为N-W估计。 可以推得：

n(x))2 min Wni(x)(Yi ) Wni(x)(Yi m

2

i 1

i 1

nn

W

i 1n

n

ni

(x)(Yi )2 0

W

i 1n

ni

(x)(Yi )2 0

2 Wni(x)(Yi ) 0

i 1

n(x) Wni(x)Yi m

i 1

n

所以，核估计等价于局部加权最小二乘法。 二、窗宽的选择 令

X x1

K(i) Kh(Xi x) hxhx

n(x) 根据非参数估计m

n

K

i 1h

n

h

(Xi x)Yi/ Kh(x Xi)

i 1n

n

n(x) 当h 0，m

K

i 1

(Xi x)Yi/ Kh(x Xi)的分子和分母中除了当x Xi的

i 1

项不为零，其它均为零，故

n(Xi) K(0)Yi/K(0) Yi m

这说明当窗宽趋于0时，x Xi点的估计值趋于该点的观测值。

n(x) 当h ，m

K

i 1

n

h

(Xi x)Yi/ Kh(x Xi)的分子和分母中每一项

i 1

n

1n

n(x) n K(0)Yi/n K(0) Yi。说明当窗宽趋于Kh(x Xi) K(0)，则m

ni 1i 1i 1

1

1

nn

无穷时，则每一点的估计值均为Y的观测值的平均值。

可见窗宽hn的控制是核估计精度的重要参数。太小估计线欠平滑，太大过于平滑。

1、 理论窗宽的最佳选择

2

记 2(K) uK(u)du，R(K) K(u)du

2

当解释变量为随机的情形时，Yi m(Xi) ui(i 1,2, ,n)的渐近偏差和渐近方差为：

2

2

其中f(x)为解释变量的密度函数， (x) E(ui/Xi xi)。 估计的均方误差

n(x) m(x))2 E(m

n(x) E m n(x) E m n(x) m(x) 2 E m

n(x) E m n(x) E m n(x) m(x) E m

2

2

回归函数m(x)估计的渐近方差随着窗宽见效而增大，渐近偏差随着减小而减小。所以非参数估计就是在估计的盘查和方差中寻求平衡，使均方误差达到最小。 理论的最佳窗宽hn cn

2、 样本窗宽的交错鉴定

哪一个窗宽是比较恰当的，必须通过样本的资料考察，但是我们的样本仅仅有一个。在某个局部观测点x Xi，首先，在样本中剔除该观测值点(Xi,Yi)，用剩余的n-1个点在x Xi处进行核估计：

1/5

。

n, i(x) Wnj(Xi)Yj m

j i

1

n

最后比较平方拟合误差CV(hn) n宽，则是 …… 此处隐藏：4841字，全部文档内容请下载后查看。喜欢就下载吧 ……