概率学习笔记——概率空间

小编深感自己概率水平的不足，因此准备学点概率，并写成笔记成文。 鉴于水平有限，如有不当之处，还请见谅。

文中用到不少实分析知识，读者可以参阅公众号的实分析系列文章

我们从最基本的定义出发，概率空间是一个三元数组,其中是结果的集合，是事件的集合. 是一个函数, 我们称之为为概率. 我们假定是一个域(或者-代数). 即 的一族非空子集满足

(i)如果，则, 且

(ii)如果是可数个集合列，则 .

我们此处以及之后所提及的可数，都是指的有限或者可数无限. 因为 ，因此，域在可数交运算下也是闭的.

如果没有, 则为可测空间，即我们可以在空间上定义一个测度. 测度是一个非负的，满足可数可加性质的集合函数；准确的说，, 满足

(i), , 且

(ii)如果 是无交的可数序列集合，则

如果,我们称是一个概率测度. 概率测度，我们通常记为.

下面的结果直接来源于测度的定义，我们仅作陈述：

定理：设是上的一个测度,

(i)单调性：如果,则

(ii)次可加性：如果 ,则 .

(iii)下连续性：如果(i.e. 且 , 则 .

(iv)上连续性：如果 (i.e. )且 , , 则 .

证明：留作练习

例（离散概率空间）设是可数集合，是子集的集合. 令

其中,

这是此空间上最一般的概率测度. 当是有限集和时候，我们有, 其中是中元素的个数.

为了我们下一个定义，我们需要做些准备：如果是域， 则也是域. 这里是任意指标集合(可能是不可数).  因此，如果我们给定集合和的一个子集族, 则存在包含的最小的域. 我们称之为由生成的域. 记为 .

例（实直线上的测度）上的测度由满足下列性质的 Stieltjes测度函数定义

(i)是非减函数.

(ii)是右连续的， i.e. .

定理：对每一个Stieltjes函数 ，存在上的唯一测度满足

分布

当我们定义了概率空间上的随机变量时,概率空间似乎变得比测度空间更加有趣了.  上的一个实值函数称为随机变量，如果对每一个Borel集合, 都有.当我们需要强调域时候，我们称是可测或者 . 如果是离散概率空间，那么任意函数都是随机变量. 第二个平凡，但是非常有用的随机变量的例子是集合的指示函数

这个记号表明此函数在上为1. 在分析学上，此函数称为的特征函数. 在概率上，称呼有些不同.

如果是一个随机变量, 则通过下列方式，诱导出上的一个概率测度，

其中是一个Borel 集合. 我们称之为的分布.

练习：检验 确实是测度.

随机变量 的分布通常由其分布函数来描述， .

定理：任何分布函数都有以下性质:

(i) 是非减的.

(ii)

(iii) 是右连续的，i.e. .

(iv)如果, 则F(x-)=P(X

(v).

证明：为了证明(i), 注意到，如果, 则 , 从而 .

为了证明(ii), 我们观察到如果, 则, 然而如果, 则, 然后由测度的上下连续性，即可证明.

为证明(iii), 我们观察到，如果, 那么

为证明(iv), 我们观察到，如果,那么 {X<x}.

为证明(v), 注意到 =-(x, 然后利用(iii)和(iv).

下面的结果表明，我们已经发现足够多的性质来描述分布函数.

定理：如果 满足上一定理中的(i),(ii)和(iii). 则 是某一随机变量的分布函数.

证明：设, 是一族Borel集合， 是Lebesgue测度. 如果, 令

如果我们能证明

则由 可立即得到想证明的结果.为了证明上式，我们观察到，如果, 则 , 因为 . 另一方面，如果, 则由是右连续的，存在使得 , .

我们记为的逆,即使 可能不是双射. 如果 和诱导了上的同一分布，我们称和是同分布的. 显然和是同分布的，当且仅当和有相同的分布函数，i.e. .  当和同分布时，我们记为

当分布函数具有形式

我们称 具有密度函数. 我们举三个重要的例子

例， , 在其他情况等于零.则分布函数

例（指数分布）, ;其他情况都是零. 则分布函数

例（标准正态分布)

此时没有的具体解析式，不过我们对于充分大的,有如下上下界的估计

定理：对于,

证明：令 ,利用, 则

对于另一个方向，我们观察到

概率测度称为离散的，如果存在可数集合满足. 最简单的离散分布是

例：,

例：因为有理数是可数的，可设为有理数列，且满足 ,令