无偏性和一致性

https://bbs.pinggu.org/forum.php?mod=viewthread&tid=5915800&page=1

无偏性是指，比如我们要估计某个参数theta,然后得到一个估计量theta_hat,如果theta_hat的数学期望等于未知参数theta,那么我们说theta_hat是theta的无偏估计。
引用版主的例子：样本方差的估计((x-x_bar)^2)/(n-1) 是无偏的，而((x-x_bar)^2)/n 是有偏的。
但是，((x-x_bar)^2)/n 是渐近无偏的，就是说，随着样本容量的增加，偏差会逐渐减小到0。
从渐近无偏性，其实开始涉及到“大样本”的概念，一致性（相合性）同样是一种大样本性质，小样本下不考虑。
需要注意的是，无偏估计不一定存在，即使存在也不一定唯一，而且无偏估计有时并不是一个好的估计。
无偏估计一般不唯一，那么如何比较呢，一般通过方差来比较，如果存在某个无偏估计的方差恒小于等于其他任何无偏估计的方差，
我们称这个无偏估计为“一致最小方差无偏估计量” uniformly minimum variance unbiased estimate--UMVUE. 想找UMVUE，记住只要完备充分统计量存在，那么UMVUE存在（充分非必要条件）。

一致性是指，样本容量n趋于无穷时，估计量theta_hat依概率收敛于theta，其实是weak consistency（弱相合），不过一般而言够用了。还有一种就是theta_hat几乎处处收敛于theta，这是强相合。一致性是衡量某个估计量的最基本的要求，如果某个估计量不满足一致性，基本不用考虑。实际上，一致估计也有很多，他们的优劣一般通过渐近分布的方差来比较。

顺路提醒你一下，无偏性和一致性并不等价，实际上，当且仅当某个估计量收敛并且偏差为0时，它是个一致估计量。
举俩例子：
1.无偏但不一致
iid sample x1,...,xn  你可以使用x1作为E(x)的估计，这是无偏的，但是不一致。（我记得伍德里奇书上有这个例子，太久了，实在记不清楚了抱歉。）而样本均值则是一致估计，你可以通过均方收敛推出来依概率收敛。
2. 有偏但一致
x_bar + 1/n，这是个有偏但一致的估计。

https://blog.csdn.net/qq_37692302/article/details/87268720?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1.control

假设检验是非常重要的内容，而抽样和估计又是做假设检验的基础。

点估计是参数估计的重要组成部分，点估计的常见方法有矩估计和极大似然估计，衡量一个点估计量的好坏的标准有很多，比较常见的有：无偏性（Unbiasedness）、有效性（Efficiency）和一致性（Consistency）。

由于抽样具有随机性。每次抽出的样本一般都不会相同，根据样本值得到的点估计的值也不尽相同。那么，如何来确定一个点估计的好坏呢？单凭某一次抽样的样本是不具有说服力的，必须要通过很多次抽样的样本来衡量。因此，我们最容易能想到的就是，经过多次抽样后，将所有的点估计值平均起来，也就是取期望值，这个期望值应该和总体参数一样。这就是所谓的无偏性（Unbiasedness）。

有效性（Efficiency）是指，对同一总体参数，如果有多个无偏估计量，那么标准差最小的估计量更有效。因为一个无偏的估计量并不意味着它就非常接近被估计的参数，它还必须和总体参数的离散程度比较小。

一致性（Consistency）是指随着样本量的增大，点估计的值越来越接近被估计的总体的参数。

因为随着样本量增大，样本无限接近总体，那么，点估计的值也就随之无限接近总体参数的值。

https://blog.csdn.net/qq_40597317/article/details/80639511?utm_medium=distribute.pc_relevant.none-task-blog-baidulandingword-2&spm=1001.2101.3001.4242

1.估计量

参数的点估计就是根据样本构造一个统计量，作为总体未知参数的估计。设总体的X未知参数为seta,样本根据样本构造一个统计量（只依赖于样本，不含总体分布的任何参数。常用的统计量有样本矩，次序统计量：将样本按从小到大或者从大到小顺序排列，）作为未知参数的估计，则称这个统计量为未知参数的估计量。

2.无偏性

估计量抽样分布的数学期望等于总体参数的真值。如果总体参数为seta，seta1为估计量，如果E(seta1)=seta，那么seta1为seta的无偏估计量。seta1也是一个随机变量，它取决于样本，根据所选样本的不同而变化。

3.有效性

指估计量与总体参数的离散程度，如果两个估计量都是无偏的，那么离散程度较小的估计量相对来说是有效的，离散程度用方差来衡量。

4.一致性（相合性）

样本数目越大，估计量就越来越接近总体参数的真实值。如果seta1在seta周围震荡，那么满足无偏性却不满足一致性。

https://blog.csdn.net/weixin_38275649/article/details/80304317?utm_medium=distribute.pc_relevant.none-task-blog-baidulandingword-3&spm=1001.2101.3001.4242

无偏性

定义式：

E(θ^)=θ 

无偏估计是用样本统计量来估计总体参数时的一种无偏推断。 估计量的数学期望等于被估计参数的真实值，则称此此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。 无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。无偏估计常被应用于测验分数统计中。

无偏性的实际意义是指没有系统性的偏差。统计推断的误差有系统误差和随机误差两种。无论用什么样的估计值去估计，总会时而对某些样本偏高，时而对另一些样本偏低。而无偏性表示，把这些正负偏差在概率上平均起来，其值为零，即无偏估计量只有随机误差而没有系统误差。例如， 用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在0的周围波动，对同一统计问题大量重复使用不会产生系统偏差。

问题：
(1)无偏估计有时并不一定存在。
(2)可估参数的无偏估计往往不唯一。
(3)无偏估计不一定是好估计。

有偏估计可以修正为无偏估计。

有效性

有效性就是看估计量的方差值，方差代表波动，波动越小越有效。

若D(θ^1)<D(θ^2)则θ^1比θ^2更加有效。

一致性（相合性）

一致性就是在大样本条件下，估计值接近真实值。

当∀ε>0有：

limn→∞P(|θ^−θ|≥ε)=0.