透彻理解协方差矩阵

协方差及协方差矩阵有着特别广泛的应用，在多元高斯分布、高斯过程、卡尔曼滤波等算法中多有用到，本文从协方差、协方差矩阵讲起，并重点讲解协方差矩阵在高斯分布中的用法及意义，也是讲解高斯过程、贝叶斯优化的铺垫。

协方差（Covariance）

X、Y两个随机变量的协方差在和中用于衡量两个变量的总体。用来刻画两个随机变量之间的相关性：

假定我们不知道潜在的概率分布，我们取n个样本来计算：

分别计算这n样本的两个变量的均值，这两个变量的协方差可以用下式来计算：

由于变量都有量纲，如果消除各自量纲影响，将协方差除以两个变量的标准差，则可得相关系数：

协方差矩阵

随机向量：

我们计算所有元素的两两协方差，形成协方差矩阵：

这是一个对称矩阵，对角线是每个变量的方差。如果是对角阵，

协方差矩阵形式如下：

协方差矩阵与多元高斯分布

多元高斯分布概率密度的推导

设多元高斯分布如下：均值向量为μ，协方差矩阵为Σ

与一元高斯分布对比，概率密度函数形式有所变化，这个变化是怎么来的，我们通过二元高斯分布来推导一下这个密度函数的由来。

对于二元高斯分布，我们设定：

现在我们推导两个变量的高斯分布的密度函数公式：

这个联合概率密度函数是各自概率密度函数的乘积，这表明两个变量是独立的。这个独立性反映在我们的协方差矩阵中，就是只有对角线元素不为零，两个变量是独立的，所以联合概率密度可以表示为两个变量概率密度的乘积。

二维高斯分布函数图像

我们看相互独立的两个变量的二维高斯分布图像在XoY平面投影的函数表达式

令：

得:

显然这是一个椭圆曲线的表达式。

我们看两种情况，一种协方差矩阵是对角阵（变量相互独立），另一种是协方差矩阵是非对角阵（变量有关联）。

• 如果高斯随机向量具有对角线的协方差矩阵（所有变量都是不相关的，那么概率密度函数曲面在X0Y投影的椭圆曲线的两个轴平行于坐标轴。

• 如果高斯随机向量的协方差矩阵是非对角阵（一些变量是相关的），那么概率密度函数曲面在X0Y投影的椭圆曲线的两个轴仍然是相互重直，但与坐标轴并不平行。

我们用matlab来形象展示一下：

下图是两个变量的均值都是零，协方差矩阵为：

其三维曲面如下：

在XOY平面的投影如下：

本文主要讲解了协方差矩阵及其在高斯分布中意义和用法。协方差矩阵在高斯过程中有着非常重要的意义，如果不能很好的理解协方差矩阵，就不能很好的理解高斯过程。