看到这个问题我忍不住要较真一下了…… 因为真的是一个超棒的问题!
面板数据的估计在任何正统计量经济的教学中都是很重要的一块,特别是固定效应和随机效应模型的区分和估计相信对于许多人来说已经是老生常谈了。
很有趣的是看到这个问题之后我顺手翻了一下手边的Davidson和Mackinnon的书,我发现在他们这本被誉为计量经济圣经的教材中,居然对于Panel Data的描述可以说是少之又少,直接在书中被安排到了章节 7.10……
其实不管是固定效应也好,或者是随机效应也好,本质上要解决的是通过模型无法直接捕捉到的异方差性的问题。因为是面板数据饱含着更多的更大的信息量,所以使得我们可以识别数据当中个体,或者团体之间的潜在差异性。(一个比较极端的反例是你如果观察横截面数据,只有两个点,A和B。你当然可以用线性回归跑出一条直线,因为两点确立一直线,这个时候R方是1。但是除此之外你无法识别任何其他的信息。)
从模型构建上来说不管是固定效应还是随机效应都是同宗同源来自于残差项分解模型(error-components models)。从实践上来说两种模型对应着不同的假设,这里我们来举一个简单的例子,假设我们看到的数据是每一个工厂在每一年的生产数据(想象力比较好的同学可以把生产函数想成Cobb-Douglas函数,残差项是工厂技术,这样就是一个最经典的error components的例子)。
上面的例子里固定效应对应的假设就是,每一个工厂的生产规模是不一样的,但是是可测的,因为在控制了大部分变量之后,工厂和工厂之间的差异只是基数上不同。而随机效应对应的假设是,在控制了大部分变量之后,每一个工厂的生产基数还是相同的,但是有些工厂比另一些工厂更不稳定(例如说,靠天吃饭,某个地区的消费需求,政策变化频繁等等)。
那么这里我们可以导出一个直观的结论。为什么随机效应更好呢?因为简单从估计角度上来说,固定效应虽然不能被直接观察到,但是仍然是“可控的”。如果你的数据存在的是第一类问题,忽略工厂不一样的规模这么重要的事实,会直接导致你的估计有偏(详见Cameron et al. 2005, microeconometrics: methods and applications p. 612,这是另一本我觉得还不错的本科计量经济学参考书籍)。而如果只是忽略一些不可控的不稳定因素,你仍然可以用简单最小二乘去估计模型,无非得到的只是一个置信区间较大的结果罢了。所以很显然,如果我不控制固定效应,可能直接被怼爆。但是我不控制随机效应的话,只是被人逼逼两句罢了。结果孰轻孰重可想而知。
那么除此之外为什么大家那么喜欢用固定效用模型呢?
站在模型估计的角度,固定效应模型有着很明显的估计便利的优势。即便时间轴很长,我们也可以非常轻松便捷快速地估计出我们的模型。因为我们总是可以通过两步估计(Frisch–Waugh–Lovell (FWL) theorem)非常快速地估计模型。
而随机效应的估计非常麻烦,许多人觉得随机效应的估计至少是有效的。其实并不然,因为大多数时候我们得到的只是一个可行广义最小二乘估计(FGLS)。我们要注意广义最小二乘(GLS)是有效的,而FGLS只有在协方差矩阵渐进收敛满足的时候才逼近于GLS估计量。
讲到这里我们可以先想想什么是面板数据?面板数据有两个维度:1. 个人(工厂),2. 个时间点。在估计固定效应的时候如果不变,趋向于无穷,那么我们很容易得到一致估计量( 趋向于无穷保证了对于固定效应的估计, 趋向于无穷保证了对于控制变量的估计)。相反如果不变,趋向于无穷,那么很显然,我们得到的关于固定效应的估计是不一致的。但是厉害之处就是尽管如此,我们对于其他控制变量的估计仍然是有效的。(详见Davidson和Mackinnon p. 299~300)
但是对于随机效应的模型的估计却不一样,粗略一看其实我们对n和T的要求似乎更加宽容了。因为无论如何 趋向于无穷就可以了。所以我们对于整体残差方差总是有一个无偏并且有效的估计量。但是尽管如此,对于个体残差方差 的估计,在许多时候都是不一致的,因为我们要求 趋向于无穷的时候对于个体残差的方差估计才是一致的。所以在实际操作中,如果 很小的话,一般我们不建议使用随机效应估计!
回答到这里,我最后想的是,有没有更加浅显易懂的说法来说服大家说为什么在许多期刊上面大家更喜欢用固定效应而不是随机效应。于是我去翻阅了我在ENSAE读书时候计量经济课的笔记。当时给我们上计量经济的老师叫Bruno Crepon,大概是一个有10来篇A类发表+2篇Top5的优秀微观计量经济学家。我在他的Slides里面找到了这样一句话:
大概意思是这样的,随机效应(RE)实际上是随时都可以假设的玩意儿,因为即便不是panel data,你也可以自己假设一个RE来估计。而使用panel data的一大厉害之处就是我们可以不用RE假设来估计模型,因为本质上固定效应(FE)的估计大多数情况下都是通过变换数据来达到消除个人效应的效果。
虽然感觉比较无语,但是我还是选择言尽于此……
随机效应(RE)模型和固定效应(FE)模型有个假设上的重要区别:
RE 中,不能观察到的个体异质效应不能和任何一个解释变量相关,而 FE 中可以。
这个假设要求很高,一般难以满足,所以用 FE 比 RE 要稳妥。
FE 通过消去/控制不能观察到的不随时间变化的个体异质效应,减少内生性问题。
但是如果 RE 所有的假设都满足的话,RE 比 FE/OLS/FD 要更加渐进有效。
RE 还有的好处就是可以估计不随时间改变的变量(性别,种族)系数。
不严谨的讲,RE 更加有效(efficient),FE 更加稳健(robust)。