这个问题看了好几天了,发现有些回答存在一些谬误。
大数定律、中心极限定理是概率论最重要的基础,而格里文科定理是推断统计学的基石。如果能理解这三个定理,很多东西都迎刃而解。
为什么我们可以用样本的均值和方差估计总体的期望和方差?为什么我们可以用样本的经验分布函数估计总体的分布函数?依据就是这三个定理。
1、大数定律
大数定律讲的是,样本容量极大时,样本的均值必然趋近于总体的期望。
弱大数定律 :
随机变量序列 独立同分布,
期望 存在,
称 依概率收敛于期望
强大数定律 :
随机变量序列 独立同分布,
期望 存在,
称以概率1收敛于期望 ,
又称几乎处处收敛于 。
关于弱大数定律和强大数定律的区别,知乎又答案讲的很好,这里就不多说了。
大数定律告诉我们,样本容量极大时,样本均值 ,因此我们可以用样本均值来估计总体的期望。
2、中心极限定理
中心极限定理讲的是,样本容量极大时,样本均值的抽样分布趋近于正态分布。这和样本所属的总体的分布的类型无关,样本所属总体的分布可以是正态分布,也可以不是。
随机变量序列 独立同分布,且期望 存在,方差 存在, ,
即当 时,
也就是,样本容量极大时,样本均值的抽样分布趋近于期望为 ,标准差为 的正态分布。
大数定律和中心极限定理都是讲样本均值的分布的估计,只不过是相比大数定律,中心极限定理更精确,当然前提条件也比大数定律的强。
中心极限定理告诉我们,样本量极大时, 。
3、格里文科定理
格里文科定理讲的是,样本容量极大时,样本的分布趋近于总体分布。
从总体 的抽取样本 ,取定观测值时,对观测值按从小到大取定顺序统计量 ,
定义函数
称 为总体 的经验分布函数。
设总体 的分布函数是 , 是 的经验分布函数,则有
即当 时,经验分布函数 关于 以概率 均匀地趋近于总体分布函数 。
通俗的来说就是,当样本容量极大时,经验分布函数 几乎必然趋近于总体分布函数 。
这也是用样本来推断总体的理论依据,甚至可以说是推断统计学的存在性定理。
试图从另一个角度给出一个还算启发性的答案。
题主学过微积分的泰勒展开吧,对一个连续可导的函数,在一点局部我们认为这个函数可以用线性函数来拟合,从而有
.
这里面 是零阶项,是一阶修正,是高阶小量。
与此对应,我们可以试着对随机变量的进行“局部的泰勒展开”。假设是独立同分布的变量,那么根据大数定律和中心极限定理,我们有
.
其中期望对应 ,标准差对应一阶导,标准正态分布对应线性函数,是概率意义下的高阶小量。
通过这个类比我们可以这样理解大数定律和中心极限定理:
1、大数定律和中心极限定理可以看做随机变量的零阶和一阶“泰勒展开”,其中大数定律是随机变量的“零阶估计”,中心极限定理是在大数定律成立下的“一阶导数”,在极限下高阶小量可忽略。
2、大数定律负责给出估计——期望,中心极限定理负责给出大数定律的估计的误差——标准差乘以标准正态分布。
3、通过泰勒展开我们可以对中心极限定理的应用范围有一个直观的估计。为了使泰勒展开成立,我们假设了高阶小量在取平均(除以后)是可以忽略的。为了使这一点成立,我们至少需要样本量和方差在同一量级上或者更小。
4、其实我们还可以进行更高阶的展开,貌似三阶展开对应的统计量叫做skewness,wiki上常用分布的词条都会给出这一数值。不过实际应用中中心极限定理已经足够,所以通常也就不需要了。
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有