最小二乘法的无偏性

最小二乘法的介绍，可以参考 最小二乘法的多角度理解 这篇文章。

只有两个参数的情况下：

已知X=

，Y=

两个向量数据。我们假设Y中的元素与X中的元素满足线性关系

中间的步骤可以参考文章              最小二乘法的多角度理解

最后，二乘法的解是：

                                                       

、

是获得的估计值，这两个估计值是无偏的。本文讨论这两个估计值的无偏性。

根据无偏定义，就是要求证明下面两个是成立的:

开始证明：

这个公式证明中，我们用到的是：

结论

，这个很容易证明，留给大家自己证明吧。这个结论的意思就是，方差的期望还是方差本身，没有变。

上面的证明当中，由于分子

,所以你会发现另外一个结果：

也就是说，当X与Y呈线性关系，那么，X,Y协方差的期望是其中一个方差乘以线性关系一次项系数。

现在证明了

的无偏性，那么

的无偏性就留待大家证明了。