大数定律及中心极限定理
5.1 大数定律
5.1.1 依概率收敛
设\(\{Y_n, n\geq 1\}\)为一随机变量序列，\(c\)为一常数，若对任意的\(\varepsilon>0\)，都有
成立，则称\(\{Y_n, n\geq 0\}\)依概率收敛于\(c\)，记作：
5.1.2 马尔科夫不等式和切比雪夫不等式
马尔科夫不等式
若随机变量\(Y\)的\(k\)阶（原点）距存在（\(k\geq 1\)），则对任意的\(\varepsilon>0\)，都有：\[ P\{|Y|\geq \varepsilon\} \leq \frac{E(|Y|^k)}{\varepsilon^k}\]
马尔科夫不做要求，切比雪夫比较重要。
切比雪夫不等式
若随机变量\(Y\)的数学期望和方差存在，分别记为\(\mu, \sigma^2\)，则对任意的\(\varepsilon>0\)，都有：\[ P\{|Y-\mu|\geq \varepsilon\} \leq \frac{\sigma^2}{\varepsilon^2}\]
切比雪夫不等式可以方便估计某一随机变量\(Y\)落在指定区间内的概率。
但是不是很准确！！！
5.1.3 大数定律
大数定律
设\(Y_1,\dots,Y_n,\dots\)为一个随机变量序列，若存在常数序列\(\{c_n,n\geq 1\}\)，使得对\(\forall \varepsilon > 0\)，有：\[ \lim_{n \rightarrow +\infty}P\left\{\left|\frac{1}{n}\sum^n_{i=1}X_i-c_n\right|\geq\varepsilon\right\} = 0\]即当\(n\rightarrow +\infty\)时，有\(\displaystyle\sum^n_{i=1}X_i - c_n \xrightarrow{P}0\)，则称随机变量序列\(\{X_i,i\geq 1\}\)服从弱大数定律，简称服从大数定律。
大数定律的形象解释：当试验次数趋于无穷的时候，可以通过频率估计概率。
对于具体的随机分布模式，大数定律还包括有不同的具体形式：
-
伯努利大数定律：设\(n_A\)为\(n\)重伯努利实验中的事件\(A\)发生次数，\(p(0<p<1)\)为事件\(A\)在每次实验中发生的概率，即\(P(A)=p\)，则对任意\(\varepsilon>0\)，有：
\[ \lim_{n\rightarrow +\infty}P\left\{\left|\frac{n_A}{n}-p\right|\geq\varepsilon\right\} = 0 \]
-
辛钦大数定律：设\(\{X_i,i\geq 1\}\)为独立同分布的随机变量序列，且数学期望存在，记为\(\mu\)，则对任意的\(\varepsilon>0\)，有：
\[ \lim_{n\rightarrow+\infty}P\left\{\left|\frac{1}{n}\sum^n_{i=1}X_i-\mu\right|\geq\varepsilon\right\}=0 \]记作\(\displaystyle\frac{1}{n}\sum^n_{i=1}X_i\xrightarrow{P}\mu, n\rightarrow+\infty\).
-
辛钦大数定律推论：设\(\{X_i,i\geq 1\}\)为独立同分布的随机变量序列，若\(h(x)\)为一连续函数，且\(E(|h(X_1)|)<+\infty\)，则对任意的\(\varepsilon>0\)，有
\[ \lim_{n\rightarrow+\infty}P\left\{\left|\frac{1}{n}\sum^n_{i=1}h(X_i)-a\right|\geq\varepsilon\right\}=0 \]其中\(a=E(h(X_1))\)，记作\(\displaystyle\frac{1}{n}\sum^n_{i=1}h(X_i)\xrightarrow{P}a, n\rightarrow+\infty\).
5.2 中心极限定理
对于某些随机变量，其往往是由大量且独立因素的综合影响造成，其中单独因素的作用很小，所以这种随机变量往往服从正态分布。
我们一般认为，大量的独立同分布的随机变量序列符合中心极限定理。
林德伯格-莱维中心极限定理
设随机变量\(X_1, X_2,\dots, X_n,\dots\)相对独立同分布，\(E(X_i)=\mu, Var(X_i)=\sigma^2, i=1,2,\cdots,\forall x\in R\)，有：\[ \lim_{n\rightarrow +\infty}P\left\{\frac{\displaystyle\sum^n_{i=1}X_i - E\left(\sum^n_{i=1}X_i\right)}{\displaystyle\sqrt{Var\left(\sum^n_{i=1}X_i\right)}}\leq x\right\} = \lim_{n\rightarrow +\infty}P\left\{\frac{\displaystyle\sum^n_{i=1}X_i - n\mu}{\sigma\sqrt{n}}\leq x\right\} = \frac{1}{\sqrt{2\pi}}\int^x_{-\infty}e^{-\frac{t^2}{2}}{\rm d}t = \Phi(x)\]
林德伯格-莱维中心极限定理揭示了大量独立同分布随机变量分布与正态分布之间的关系：
当\(n\)充分大的时候，对于期望为\(\mu\)，方差为\(\sigma^2\)的独立同分布的随机变量的部分和\(\displaystyle\sum^n_{i=1}X_i\)的标准化变量
德莫弗-拉普拉斯中心极限定理
设\(n_A\)为在\(n\)重贝努力实验中事件\(A\)发生的次数，\(p\)为事件\(A\)在每次试验中发生的概率，即\(P(A)=p(0<p<1)\)，则对任意的\(x\in R\)，有：\[ \lim_{n\rightarrow +\infty}P\left\{\frac{n_A-np}{\sqrt{np(1-p)}}\leq x\right\} = \frac{1}{\sqrt{2\pi}}\int^x_{-\infty}e^{-\frac{t^2}{2}}{\rm d}t = \Phi(x)\]
结合前文，德莫弗-拉普拉斯中心极限定理揭示了当\(n\)充分大的时候，\(n\)重伯努利实验可以用正态分布来近似。
联系之前所学的，泊松分布也可以近似表示二项分布，两者区别有：
- 当\(n\)充分大，\(p\)足够小的时候，二项分布近似于泊松分布。
- 当\(n\)充分大的时候，二项分布近似于正态分布
所以我们一般使用正态分布来近似二项分布，因为比较方便。其中正态分布的数学期望就是二项分布的数学期望，正态分布的方差就是二项分布的方差。
相比切比雪夫不等式，中心极限定理更加准确，值得信赖！