百科问答小站 logo
百科问答小站 font logo



请问为什么多元估计中系数的方差比单变量估计的方差大,但是我们还是偏爱多元估计的系数呢? 第1页

  

user avatar   wu-zhi-zhe-17 网友的相关建议: 
      

正好2年前学过这个,为解决这个问题,先介绍一个定理:

Frisch-Waugh-Lovell Theorem

If the regressors are partitioned as in , then:
1. If and are the OLS regression coefficients in the regression

, then

and

where and .这里的 就是线性回归里面的projection matrix.

2. The residual

这个定理的证明主要是用到一些分块矩阵的知识,暂且不表,主要是用它来说明一下问题。

现在我们假设我们真实的full model是以下形式:

,

记这个model的OLS estimator为 , 其中 OLS estimate 是 的无偏估计(根据 Gauss-Markov 定理), 的variance则是 (根据Frisch-Waugh-Lovell 定理).

再假设我们实际使用的是一个更简单的resitrcted model:

,

记这个model的OLS estimator为 , 那么它的期望则是

,

它的方差则是 .

显然,只有当 (即 对 不起作用)或者 (即 和 正交)的时候, 才是无偏估计,否则 是 的biased estimator.

而对于方差而言,因为 是个semidefinite positive matrix, 所以理论上说 的方差要大于 .

但实际估计的时候有一个问题,就是 的值我们是不知道的,所以也需要把它估计出来. 记full model的residual是 , 的estimate是 ; restricted model的residual是 , 的estimate是 .那么我们可以通过Frisch-Waugh-Lovell 定理得到以下结论:

因此, . 而

,因此二者的大小关系无法确定,还取决于 的值。

综上所述,虽然理论上讲, 的方差要小于 , 但因为我们估计的 方差则是 , 方差则是 , 所以实际上empirically这个比较的结果是不确定的,它取决于sample size T的大小,regressors的个数,以及 和 之间的关系。

不过我们还可以求一二者standard error的期望,分别是:

当 时,我们有:

所以,如果 很小而 很大的时候,是很有可能 的. 这事实上就是 @水寒龙猫 那个回答里面simulation的情况

可能会有一些小问题,欢迎指出。




  

相关话题

  如何解释探索性因素分析? 
  请问非参数统计中核密度估计的均方误差和均平方积分误差函数是怎么求出来的? 
  为什么方差要定义成平方?这么定义有什么利弊?如果把方差定义成 |X-E(X)|,这又有什么利弊? 
  UMVUE(一致最小方差无偏估计)的求法是什么? 
  目前统计学在国内外的发展现状是怎样的?都有哪些分支?今后的研究方向大致是向哪里走? 
  高级计量问题,主要跟线代概率论有关,求大佬解答? 
  能否用具体的例子解释一下 (Model-based) Structural Estimation? 
  如何看待 Nature 上刊文宣称很多科学家缺乏统计学知识? 
  数学专业渣渣想转统计学专业可行么? 
  为什么熵值最大的分布状态是正态分布而不是均匀分布? 

前一个讨论
如何评价《“墨茶事件”过度的炒作,是社会负能量,是价值观的扭曲!》这篇文章?
下一个讨论
出国选老板都跟正教授大牛,那谁跟助理教授?





© 2024-11-05 - tinynew.org. All Rights Reserved.
© 2024-11-05 - tinynew.org. 保留所有权利