Probability Review I - Definition

Stanford STAT310 Theory of Probability

$\sigma$-Algebra

$\mathcal{F}\subseteq 2^\Omega$，我们说 $\mathcal{F}$ 是 $\sigma$-algebra：

$\Omega \in \mathcal{F}$;
$A\in \mathcal{F} \implies A^c \in \mathcal{F}$;
$A_1, A_2, \cdots \in \mathcal{F} \implies \bigcup_{i=1}^\infty A_i \in \mathcal{F}$.

其中用 2 + 3 + DeMorgan 可以推出：

\[\bigcap_{i=1}^\infty A_i \in \left(\bigcup_{i=1}^\infty A_i^\complement\right)^\complement \in \mathcal{F}\]

然后我们就可以定义 measure $\mu$ on $\left<\Omega, \mathcal{F}\right>$：

$\mu(A)\geq\mu(\emptyset)=0$;
$A_i\cap A_j = \emptyset \implies \mu\left(\bigcup_{i=1}^\infty A_i\right) = \sum_{i=1}^\infty \mu(A_i)$.

然后如果 $\mu(\Omega)=1$，那么我们可以说他是一个 probability measure，然后记作 $\mathbb{P}$。

Non-atomic:

\[\forall A, \mathbb{P}(A)>0\implies \exists B\in \mathcal{F}, B\subset A, 0<\mathbb{P}(B)<\mathbb{P}(A)\]

其实学到这个地方经常会有一个问题，就是为啥我们要这么麻烦的去定义 $\mathcal{F}\subseteq 2^\Omega$，而不是直接搞一个在 $2^\Omega$ 上的 $\mu$ 捏？

这边举一个反例，就是对于 $\Omega = [0, 1)$，如果我们想在这个 $\Omega$ 上面定义一个 uniform distribution，我们是找不到一个合法的 $\mathbb{P}$ 直接定义在 $2^\Omega$ 上的。我们考虑将 $[0, 1)$ 根据

\[x - y \in \mathbb{Q}\]

进行分类。考虑到这玩意儿是 uniform 的，所以我们有平移不变性。那么我们考虑平移变换

\[\tau_r(x) = (x + r) \mod 1\]

我们有

\[\mathbb{P}(\tau_r(S)) = \mathbb{P}(S)\]

我们定义集合 $A$，表示对这种分类下，每个集合中选出一个元素：

\[\mathbb{P}(\Omega) = \mathbb{P}\left(\bigcup_{r} \tau_r(A)\right) = \sum_{r} \mathbb{P}(\tau_r(A))\]

我们能做这个操作是因为这个 $r$ 是可数的。酱紫的话，不管 $P(\tau_r(A))$ 是否等于 $0$ 就都说不通了。

所以说，我们不能保证 $\mathcal{F}$ 一定是 $2^\Omega$。那对与实数集，我们应该咋解决呢？

Borel $\sigma$-algebra: $\mathcal{B}$ 是最小的包含所有开集的 $\sigma$-algebra。

所以对于实数集合，我们首先是定义 CDF $F(a) = \mathbb{P}((-\infty, a])$，酱紫就可以很容易地拓展到 $(a, b]$ 上。接下来我们就可以考虑这玩意儿能否拓展到整个 Borel sets 上。

$\pi$-system $\mathcal{P}$: $A, B\in \mathcal{P}\implies A\cap B\in \mathcal{P}$

$\lambda$-system $\mathcal{L}$: