弱大数定律的推导及意义
样本数目足够多的情况下，样本均值会趋于期望。
样本数目足够多的情况下，事件发生的频率趋于概率。
为何两种说法都称为大数定律，样本均值与频率又到底是什么关系呢？
马尔可夫不等式 (The Markov Inequality)
Markov Inequality描述了一个非常简单的想法：如果随机变量恒大于零，且该随机变量的期望较小，那么我们随机做一次实验，所得到的\(X\)也不太可能会很大。举个例子，如果全国十四亿人口的平均身高为1.67米，那么我们随机抽一个人，他/她的身高不会偏离这个数字太远，他/她的身高为2米的概率是比较低的。
\(P(X\geq a)\): 随机变量\(X\)不小于\(a\) 的概率
\(E[X]\): 随机变量\(X\)的期望
\(a\): 任一正数 \[ P(X\geq a) \leq \frac{E[X]}{a} \] \(Proof\ 1\): \[ \begin{align*} E[X] &= \int^{\infty}_{-\infty} xf(x)dx\\ &\geq \int^{\infty}_{a} xf(x)dx \\ &\geq \int^{\infty}_{a} af(x)dx \\ &= aP(X\geq a) \\ \\ P(X\geq a) &\leq \frac{E[x]}{a} \end{align*} \] 除此之外，还有一种证明方法，但两者的内在思想是一样的，也在此简述一下。
\(Proof\ 2\):
假设我们有另外一个随机变量\(Y\)，如下： \[ \begin{equation*} Y=\left\{ \begin{aligned} a, &\quad X\geq a\\ 0, &\quad X<a \end{aligned} \right. \end{equation*} \] 显然这是一个离散型随机变量，那么我们可以用以下公式计算出它的期望： \[ \begin{align*} E[Y] &= aP(X\geq a) + 0\cdot P(X<a)\\ &= aP(X\geq a) \end{align*} \] 因为当\(X\geq a\)时，\(Y=a\)，而当\(X<a\)时，\(Y = 0\)。所以很显然可以得到：\(Y\leq X\)。那么也就有\(E[Y] \leq E[X]\)。则： \[ \begin{align*} E[Y] = aP(&X\geq a) \leq E[X] \\ \\P(X\geq a) & \leq \frac{E[X]}{a} \end{align*} \] 可是稍微往深处想一想，就会觉得这个不等式非常鸡肋。从不等式上来看，随机变量大于或等于\(k\)倍期望的概率不超过\(\frac{1}{k}\)。这样说或许还不直观，我们再举回那个身高的例子，全国十四亿人口的平均身高为1.67米。这个不等式告诉我们，如果随机抽一个人，他/她的身高不小于3.34米的概率不超过\(1/2\)……
根据我们的常识，这个概率何止是不超过\(1/2\)，说是远小于1%也不为过。这其实就是这个Markov Inequality的一个缺点——它的上界定得太大了。
切比雪夫不等式 (The Chebyshev Inequality)
Chebyshev Inequality把方差也考虑了进来。这个不等式阐述的想法就是：如果一个随机变量的方差不大，那么这个随机变量不会离它的均值太远。不等式的形式如下： \[ \begin{align*} P(|X-\mu|\geq c)\leq \frac{\sigma^2}{c^2} \end{align*} \] 同样地，我们来证明一下这个不等式。
首先，绝对值这个东西有点碍眼，它的存在往往意味着分类讨论，我们可以先把它去掉，两边同时进行平方运算。 \[ \begin{align*} P(|X-\mu|\geq c) = P((X-\mu)^2\geq c^2) \end{align*} \] 然后，把\((X-\mu)^2\)看作一个新的随机变量，利用Markov Inequality得到， \[ \begin{align*} P(|X-\mu|\geq c) = P((X-\mu)^2 \geq c^2) &\leq \frac{E[(X-\mu)^2]}{c^2} = \frac{\sigma^2}{c^2} \end{align*} \] 证毕。
假设平均身高为167\(cm\)，方差为100\(cm^2\)，那么抽到一个人身高大于或等于3.34米的概率会小于或等于0.0035。这样看倒也科学不少。
弱大数定律 (Weak Law of Large Numbers, WLLN)
证明
接着我们来看一下这篇文章真正的主角——大数定律。更准确地说，是弱大数定律，也称为辛钦大数定律。至于强大数定律，会在这篇blog的结尾提一嘴，它的证明有点超出我的知识范畴了，我也就偷个懒吧。
先给出来大数定律的形式：
对于任意\(\epsilon > 0\): \[ \begin{align*} P(|M_n-\mu|\geq \epsilon) \rightarrow 0, \ as\ n \rightarrow \infty \end{align*} \] 其中：
\(M_n\): 样本均值，计算公式为 \[ M_n = \frac{X_1 + X_2+\cdots + X_n}{n} \] \(\mu\): 随机变量的期望
\(n\): 样本数量
\(X_1\cdots X_n\): 独立同分布的随机变量
接下来我们给出弱大数定律的证明：
$Proof: $
根据均值及方差的线性性 (Linearity):
\[ \begin{align*} E[M_n] &= E[\frac{X_1+\cdots+X_n}{n}]\\ \\ &= \frac{E[X_1]+\cdots+E[X_n]}{n}\\ \\ &=\frac{n\mu}{n}\\ \\ &= \mu\\ \\ \\ Var(M_n) &= Var(\frac{X_1+\cdots+X_n}{n})\\ \\ &= \frac{Var(X_1) + \cdots + Var(X_n)}{n^2}\\ \\ &= \frac{n\sigma^2}{n^2}\\ \\ &= \frac{\sigma^2}{n} \end{align*} \]
根据前面提到的Chebyshev Inequality，
\[ \begin{align*} P(|M_n - \mu| \geq \epsilon) &\leq \frac{Var(M_n)}{\epsilon^2} = \frac{\sigma^2}{n\epsilon^2}\\ \\ 0\leq \lim_{n \to \infty} P(|M_n - \mu| &\geq \epsilon)\leq \lim_{n \to \infty} \frac{\sigma^2}{n\epsilon^2} = 0 \end{align*} \] 根据夹逼定理， \[ \begin{align*} \lim_{n \to \infty} P(|M_n - \mu| &\geq \epsilon) = 0 \end{align*} \] 证毕。
WLLN描述的实际上就是我们在开头讲的，样本数目足够多的情况下，样本均值会趋于期望。那这个描述样本均值的定律，是怎么和频率扯上关系的呢？
大数定律与事件概率估计
我们在讨论\(X_1\cdots X_n\)时，实际上讨论的是某一试验的多次重复。不妨用\(X_i\)来表示某事件\(A\)是否发生，即：
\[ \begin{equation} X_i = \left\{ \begin{aligned} 1, \quad &\text{if event A happens}\\ 0, \quad &\text{if event A doesn't happen} \end{aligned} \right. \end{equation} \] 那么，经过多次重复实验，得到的样本均值实际上就是事情发生的频率。
\[ \begin{align*} M_n &= \frac{\sum^{n}_{i=1} X_i}{n} \\ &= \frac{\text{the number of times that event A happens}}{n}\\ &= frequency\\ \\ \mu &= 1\cdot P(A)+0\cdot (1-P(A))\\ \\ &=P(A) \end{align*} \] 所以，根据大数定律：
\[ \begin{align*} \lim_{n \to \infty} P(|M_n - \mu| &\geq \epsilon) = \lim_{n \to \infty}P(frequency-P(A)) = 0 \end{align*} \] 也就是说，频率趋于概率。
强大数定律
强大数定律的数学形式如下， \[ \begin{align*} P(\lim_{n \to \infty} |M_n - \mu| \geq \epsilon) &= 0 \end{align*} \] 实际上就是把极限符号给放进去了，虽然只有一点变化，但是表示的意思就更强烈了一点。
弱大数定律指的是样本均值依概率收敛于期望，而强大数定律则指出样本均值几乎处处收敛于期望。
至于再深一点的理解，笔者也并不太了解，还需深入学习。