概率论与数理统计基础

概率论的基本概念

集合论视角

事件的表示：

• 若 $B$ 是 $A$ 的子事件，记作 $B\subset A$，特殊时有 $A=B$
• $A$ 与 $B$ 至少一个发生，记作 $A\cup B$；$A$$、$$B$ 同时发生记作 $AB$ 或 $A\cap B$
• $A-B$ 表示从 $A$ 中挖去 $B$ 的部分，亦记作 $A-AB$ 或 $A\overline{B}$​
• 若 $A\cap B=\text{empty}$，则两事件互斥/互不相容
• $A$ 与 $\overline{A}$ 互逆/对立

基本运算律：

• 交换律
• 结合律
• 分配律
• 对偶律：$\overline{A\cup B}=\overline{A}\cap \overline{B}=\overline{A}\overline{B}$；$\overline{AB}=\overline{A\cap B}=\overline{A}\cup \overline{B}$​

概率公理化

基本原则：

• 非负性：$P(A)\ge 0$​（任何事件发生的概率都大于等于 0）
• 规范性：$P(\mathrm{\Omega })=1$​（全部事件发生的概率和为 1）；$P(\text{empty})=0$
• 可列可加性：设 $A_i$、$A_j$ 间互不相容，$P(A_1\cup A_2\cap ...)=P(A_1)+P(A_2)+...$

几大重要结论：

• 逆事件概率：$P(\overline{A})=1-P(A)$
• 加法公式：$P(A\cup B)=P(A)+P(B)-P(AB)$
• 减法公式：$P(A\overline{B})=P(A-B)=P(A-AB)=P(A)-P(AB)$
• 当 $AB=\text{empty}$ 时，$P(AB)=0$；当 $A$、$B$ 相互独立时，$P(AB)=P(A)P(B)$
• 若 $A$、$B$ 相互独立，则 $\overline{A}$ 与 $B$ 相互独立、$A$ 与 $\overline{B}$ 相互独立、 $\overline{A}$ 与 $\overline{B}$​ 相互独立

条件概率

在 $A$ 发生后 $B$ 发生的概率，记作 $P(B|A)$​，它仍然满足概率定义的三个条件。

两大重要公式：

• 乘法公式：$P(AB)=P(B|A)P(A)$
• 全概率公式：$P(A)=\sum P(A|B_i)P(B_i)$
• 贝叶斯公式（揉合了上列两者）：$P(B_i|A)={\displaystyle \frac{P(A|B_i)P(B_i)}{\sum P(A|B_j)P(B_j)}}$​

随机变量及其分布

基本概念

• 随机变量分为离散型和连续型。离散型常用分布律表表示；连续型常用概率密度函数和分布函数表示。
• 分布函数 $F(x)=P\{X\le x\}\in [0,1]$，其中 $F(-\mathrm{\infty })=0,F(+\mathrm{\infty })=1$ .​
• $P\{a<X\le b\}=F(b)-F(a)$ .
• 概率密度函数积分的结果是分布函数。
• 连续型的 $F(x<x_0)={\int }_{-\mathrm{\infty }}^{x_0}f(x)\mathrm{d}x$，其中任意一点 $P(x=x_a)=0$ .

常见分布律

名称	记法	表达式/密度函数	期望（$E(X)$）	方差（$D(X)$）
两点分布/0-1 分布	$X\sim B(1,p)$	$P\{X=k\}=p^k(1-p{)}^{1-k}$	$p$	$p(1-p)$
二项分布	$X\sim B(n,p)$	$P\{X=k\}=C_n^k{p}^k(1-p{)}^{n-k}$	$np$	$np(1-p)$
泊松分布	$X\sim \pi (\lambda )$ 或 $X\sim P(\lambda )$	$P\{X=k\}={\displaystyle \frac{{\lambda }^k}{k!}}{e}^{-\lambda }$	$\lambda$	$\lambda$
均匀分布	$X\sim U(a,b)$	$f(x)=\{\begin{array}{ll}{\displaystyle \frac{1}{b-a}}& a<x<b\\ 0& others\end{array}$	${\displaystyle \frac{a+b}{2}}$	${\displaystyle \frac{(b-a{)}^2}{12}}$
指数分布	$X\sim E(\theta )$	$f(x)=\{\begin{array}{ll}{\displaystyle \frac{1}{\theta }}{e}^{-\frac{1}{\theta }x}& x>0\\ 0& x\le 0\end{array}$	$\theta$	${\theta }^2$
正态分布/高斯分布	$X\sim \mu (\mu ,{\sigma }^2)$ 或 $X\sim N(\mu ,{\sigma }^2)$	$f(x)={\displaystyle \frac{1}{\sqrt{2\pi }\sigma }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$	$\mu$	${\sigma }^2$
标准正态分布	$X\sim \mu (0,1)$	$f(x)={\displaystyle \frac{1}{\sqrt{2\pi }}}{e}^{-\frac{x^2}{2}}$	$0$	$1$

随机变量函数分布

若已知 $x\sim f_X(x)$，则可得到 $y\sim f_Y(y)=f_X(h(y))|h^{\prime }(y)|$。其中 $h(y)$ 是 $X$ 到 $Y$​ 关系的反函数。

多维随机变量及其分布

抽象地来说，$\{\begin{array}{l}{f}_X(x)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)\mathrm{d}y\\ f_Y(y)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)\mathrm{d}x\end{array}$ 是 $(X,Y)$ 的边缘概率密度。

多元密度函数的积分也为 $1$：${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)\mathrm{d}x\mathrm{d}y=1$ .

从二维区域任取一片子区域的概率为：$P((X,Y)\in G)=\underset{G}{\iint }f(x,y)\mathrm{d}x\mathrm{d}y$ .

$X$、$Y$ 相互独立 $⟺f(x,y)=f_X(x)f_Y(y)$ .

若 $X$、$Y$ 相互独立，且 $X\sim \mu ({\mu }_1,{\sigma }_1^2)$、$Y\sim \mu ({\mu }_2,{\sigma }_2^2)$，则 $(X\pm Y)\sim \mu ({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$ .

随机变量的数字特征

期望

$E(X)=\{\begin{array}{ll}\mathrm{离}\mathrm{散}\mathrm{型}& \sum x_i{p}_i\\ \mathrm{连}\mathrm{续}\mathrm{型}& {\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}xf(x)\mathrm{d}x\end{array}$​ .

若存在常数 $C$：$\{\begin{array}{l}E(C)=C\\ E(E(X))=E(X)\\ E(CX)=C·E(X)\end{array}$​ .

$E(X\pm Y)=E(X)\pm E(Y)$​ .

$E(XY)=E(X)E(Y)+E((X-E(X))(Y-E(X)))$ .

若 $X$、$Y$ 相互独立，$E((X-E(X))(Y-E(X)))=0$ .

方差

$D(X)=E^2(X-E(X))=E(X^2-2X·E(X)+E^2(X))=E(X^2)-E^2(X)$​ .

若存在常数 $C$：$\{\begin{array}{l}D(C)=0\\ D(E(X))=0\\ D(CX)=C^2·D(X)\end{array}$ .

$D(X\pm Y)=D(X)+D(Y)\pm 2E((X-E(X))(Y-E(Y)))$ .

协方差

$Cov(X,Y)=E((X-E(X))(Y-E(Y)))=E(XY)-E(X)E(Y)$​ .

$Cov(X,X)=D(X)$ .

$Cov(X,Y)=Cov(Y,X)$ .

若存在常数 $C$：$Cov(X,C)=0$ .

若存在常数 $a$、$b$：$Cov(aX,bY)=ab·Cov(X,Y)$​ .

$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$​ .

相关系数：${\rho }_{XY}$ 用于表达 $X$ 与 $Y$ 之间的相关性。

${\rho }_{XY}={\displaystyle \frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}}$ .

若 $X$、$Y$ 相互独立，${\rho }_{XY}=0$；若 ${\rho }_{XY}=1$，则 $X$ 与 $Y$​ 呈线性相关。

特别地，若 $(X,Y)\sim \mu ({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,{\rho }_{XY})$，则：$X$、$Y$ 相互独立 $⟺{\rho }_{XY}=0$ .

大数定律及中心极限定理

证明了“频率代替概率”。

$X\sim B(n,p)\stackrel{n\to +\mathrm{\infty }}{\to }X\sim \mu (np,np(1-p))$ .

样本及抽样分布

统计量

若 $X_1,X_2,...$ 为样本，则 $g(X_1,X_2,...)$ 为统计量。

常见的统计量：

名称	记法
均值	$\overline{X}={\displaystyle \frac{1}{n}}\sum X_i$
方差	$S^2={\displaystyle \frac{1}{n-1}}\sum (X_i-\overline{X})$
标准差	$S=\sqrt{S^2}$
样本 $k$ 阶原点矩	$A_k={\displaystyle \frac{1}{n}}\sum X_i^k$
中心矩	$B_k={\displaystyle \frac{1}{n}}\sum (X_i-\overline{X}{)}^k$

四大重要分布

• Z 分布：

  $$Z={\displaystyle \frac{\overline{X}-\mu }{\frac{\sigma }{\sqrt{n}}}}\sim \mu (0,1)$$

• ${\chi }^2$ 分布：

  $$X\sim \mu (0,1)\text{rarr}{X}^2\sim {\chi }^2(1)$$

• T 分布：

  $$t={\displaystyle \frac{X\sim \mu (0,1)}{\sqrt{\frac{Y}{n}}\sim {\chi }^2(n)}}\text{rarr}t\sim t(n)$$

• F 分布：

  $$F={\displaystyle \frac{\frac{U}{n_1}}{\frac{Y}{n_2}}}\sim F(n_1,n_2)$$

参数估计

点估计

点估计分为矩估计和最大似然估计。通式为 $x\sim F(x,\theta )$，其中 $\theta$ 未知。

若利用矩求解 $\theta$，则该方法被称为矩估计：

$$E(x^k)=A_k={\displaystyle \frac{1}{n}}\sum x_i^k$$

特别地，当 $k=1$ 时：

$$E(x)=\overline{X}$$

这里面的 $E(x)$ 就是想要的 $\hat{\theta }$（也就是 $\theta$，只是在结果中要换种写法）。

若利用函数求解 $\theta$，则该方法被称为最大似然估计：

1. 建立似然函数：$L(x_i,\theta )=f(x_1,\theta )·f(x_2,\theta )·...·f(x_n,\theta )$
2. 双边取对：$\ln L(x_i,\theta )=\sum f(x_i,\theta )$
3. 令 $(\ln L(x_i,\theta ){)}^{\prime }=0$，求 $\theta$
4. $\theta$ 即是所需的 $\hat{\theta }$

区间估计

区间估计通式为 $x\sim \mu (\mu ,{\sigma }^2)$（正态分布），若：

• $\sigma$ 已知，置信区间在 $\overline{X}\pm {\displaystyle \frac{\sigma }{\sqrt{n}}}{z}_{\frac{a}{2}}$ 之间（z 分布）
• $\sigma$ 未知，置信区间在 $\overline{X}\pm {\displaystyle \frac{S}{\sqrt{n}}}{t}_{\frac{a}{2}}(n-1)$ 之间（t 分布）

如果是 ${\chi }^2$ 分布，则置信区间为 $({\displaystyle \frac{(n-1)S^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)}},{\displaystyle \frac{(n-1)S^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}})$

假设检验

小概率事件

$\alpha \le 0.05$ 的事件为小概率事件，在单次实验中几乎不发生。

两大重要检验

警告，分布与检验是两个不同的概念！

若总体标准差：

• 已知：使用 z 检验：$z={\displaystyle \frac{\overline{X}-\mu }{\frac{\sigma }{\sqrt{n}}}}\sim N(\mu ,{\sigma }^2)$
• 未知：使用 t 检验：$t=z={\displaystyle \frac{\overline{X}-\mu }{\frac{S}{\sqrt{n}}}}\sim t(n-1)$

一般流程

1. 提出假设
2. 判断使用 z 或 t 检验
3. 画（正态分布）图，检查拒绝域
4. 将数据全部代入分布表达式，检查值与拒绝域的关系：拒绝或接受假设