事件

• 事件运算：

• 交、并、补、对称差

• 分配律、德摩根律、吸收律
  • 吸收律：比如，$若ABC\subset AB，则P(ABC)\leq P(AB)$
• 事件关系：互斥(互不相容)、对立、独立、相关
• 互斥：AB为空集，即P(AB)=0
• 独立：P(B|A)=P(B)，即P(AB)=P(A)P(B)
  • ABC独立=/=A、B、C两两独立
  • 独立和互斥没有关系
• 相关：这里指线性相关，即$\rho$越靠近1则越线性相关，越靠近0则越不线性相关。
  • 独立与不相关的关系：独立<==>$f(x,y)=f_X(x)f_Y(y)$ **==> ** $E(XY)=E(X)E(Y)$<==>$D(X+Y)=D(X)+D(Y)$<==>$Cov(X,Y)$=0<==>$\rho=0$<==>不相关

概率

• 频率与概率

• 加法公式：“加奇减偶”

• $P(A+B)=P(A)+P(B)-P(AB)$

  • 若A与B互斥，$P(A+B)=P(A)+P(B)$

• $P(A+B+C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$

• 减法（对称差）公式：

• $P(A-B)=P(A)-P(AB)$

• $若B\subset A,P(A-B)=P(A)-P(B)$

• $P(A-B)=P(A\bar B)$

条件概率

• 加法公式：同理，在后面加条件即可。
• 减法公式：同理。
• 乘法公式：

• $P(AB)=P(A|B)P(B)$

  • 若A与B独立，$P(AB)=P(A)P(B)$

• 完备事件组：一个事件可以拆解为多个划分，即由每个因素（划分）都贡献了自己的概率而组成了整个事件

• 全概率公式：设事件X可以被划分为$A_1、A_2、...、A_n$个因素。可以根据各因素概率、因素发生时事件X的概率，求事件X概率。

• $P(X)=P(X|A_1)P(A_1)+P(X|A_2)P(A_2)+...+P(X|A_n)P(A_n)$

• 贝叶斯公式：前提同上。可以根据事件X概率、各因素概率、各因素发生的条件概率，求事件X发生时因素的概率。

• $P(A_i|X)=\frac{P(A_iX)}{P(X)}=\frac{P(X|A_i)P(A_i)}{P(X)的全概率展开}$

常见题型

1. 古典概型

• 基本方法：
• $P=\frac{符合要求的样本个数}{总样本个数}$
• 组合法：组合已知的概率，比如$P(AB)=P(A)+P(...)P(...)$
• 分解法：将事件拆分，比如$P(AB)=P(A\bar B...)$
• 反证法：先算相反事件，比如$P(A)=1-P(\bar A)=1-P(...)$
• 排列A：有序，不放回取出，不去重
• 组合C：无序，不放回取出，要去重

• 取出问题

• 放回：不属于排列组合问题。

• 不放回：属于排列组合问题
  • 不按顺序取出（无序）、按顺序取出（有序）
  • 取出物品完全相同（无序）、取出物品完全不相同（有序）、取出物品完全不相同（综合）
• 分组分配问题
• 分组：无序，将n个不同元素按照某些条件分成k组。分为平均分组、不平均分组、和部分平均分组。
  • 平均分组：以6本书均分3组为例，均分情况数$C_6^2C_4^2C_2^2$，由于无序，最后要除以重复事件$A_3^3$(即除以均匀分组的全排列)
  • 其余分组同理，但均分情况数不同，除以重复事件需注意==只除均匀分组的全排==。
• 无限制分配：直接等于分配组数全排列。
• 有限制分配：常规法和隔板法。
• 先分组再分配：分组情况数*分配情况数

2. 几何概型

• 基本方法：
• $P=\frac{符合要求的样本长度、面积、体积}{总样本长度、面积、体积}$
• 组合、分解、反证法等同上

3. 伯努利概型

• 涉及的事件只有独立重复事件，且事件只有两种可能结果
• 基本方法
• 二项公式：n次重复试验中事件A发生k次的概率$P_n(k)=C_n^kp^kq^{n-k},其中q=1-p$

一维随机变量

1. 离散分布函数

• 定义：$F(x)=P{X\leq x}$
• 某点处的概率表示：
• $P{X=a} = F(a)-\lim\limits_{x\to a^-}P{X\lt a}=F(a)-F(a^-)$
• 结果不一定为0，因为是离散取值，所以并不知道$F(a^-)$是否等于$F(a)$

• 单侧区间上的概率表示：

• $P{X\leq a}=F(a)$

• $\lim\limits_{x\to a^-}P{X\lt x}=F(a^-)$

• 双侧区间上的概率表示：

• $P{a \lt X\leq b} = F(b)-F(a)$

• $P{a \lt X\lt b} = F(b^-)-F(a)$

• F(x)的性质

• 非负、规范、单调不减、右连续，规范性一般用来解不定方程中的参数

2. 离散型分布

• 分布律表达：图表表示、公式表示
• 0-1分布：又称伯努利分布，即单次的伯努利实验

• 期望方差：$E=p,D=p(1-p)$

• 二项分布：基于伯努利分布，P表示n次实验中，成功k次的概率

• $P{X=k}=C_n^kp^kq^{n-k},其中q=1-p$

• 记为$X\sim B(n,p)$
• 三要素：独立重复n次（即n次伯努利实验）、只有两种结果、成功/失败概率不变

• 期望方差：$E=np,D=np(1-p)$

• 几何分布：基于伯努利分布，P表示n次实验中，第一次成功的实验概率

• $P{X=n}=pq^{n-1},其中q=1-p$

• 记为$X\sim G(p)$

• 负二项分布：基于几何分布，P表示n次实验中，第r次成功的实验概率

• $P{X=n}=C_{n-1}^{r-1}p^rq^{n-r},其中q=1-p$（即第n次实验必定成功，而前n-1次实验需要成功r-1次）

• r=1时，它就是几何分布

• 超几何分布：基于几何分布，若N个物品中有M个指定物品，则P表示不放回地抽出n个，抽中指定物品的概率

• 公式略，记为$X\sim H(N,M,n)$

• 泊松分布：P表示，单位时间或单位空间内某时间内进行任意次独立实验（不一定重复），成功k次的概率。

• $P{X=k}=\frac{\lambda^ke^{-\lambda}}{k!},其中\lambda>0$

• 记为$X\sim P(\lambda)或X\sim \pi(\lambda)$
• 泊松定理：当n远大于p时，可以近似简化二项分布的计算。
  • 设$np=\lambda(\lambda>0),则\lim\limits_{n\to+\infty}二项分布公式 = 泊松分布公式$
  • 其中$泊松分布k=二项分布中的成功次数k$
• 当$\lambda\approx20$时，泊松分布->正态分布
• 期望方差：$E=\lambda,D=\lambda$

3. 密度函数与连续分布函数

• 密度函数：$f(x)=P{X=x}$

• 分布函数：变限积分$F(x)=\int_{-\infty}^xf(x)dt$

• f(x)的性质：非负、规范、连续

• 某点处的概率表示：一定为0，因为连续取指，所以$F(a^-)=F(a)$，$P{X=a}=0=f(a)$
• 区间的概率表示：使用积分上下限，略

4. 连续型分布

• 均匀分布：

• $f(x)=\begin{cases} \frac{1}{b-a},a<x<b \ 0,其他 \ \end{cases} $

• $F(x)=\begin{cases}0,x<a\ \frac{x-a}{b-a},a\leq x<b \1,x\ge b\end{cases} $
• 记为$X\sim U(a,b)$

• 期望方差：$E=\frac{a+b}{2}(中点),D=\frac{(b-a)^2}{12}$

• 指数分布：

• $f(x)=\begin{cases} \lambda e^{-\lambda x},x>0 \ 0,x\leq 0 \ \end{cases} $

• $F(x)=\begin{cases} 1-e^{-\lambda x},x>0 \ 0,x\leq 0 \ \end{cases} $
• 记为$X\sim e(\lambda)$
• 特性
  • 无记忆性：X取值区间平移t0后的概率不变，$P{X>t_0+T|x>t_0} = P{x>T}$

• 期望方差：$E=\frac{1}{\lambda},D=\frac{1}{\lambda^2}$

• 正态分布：

• $f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},-\infty<x<+\infty$
• 记为$X\sim N(\mu,\sigma^2)$

• 特性

  • $\mu表示位置，\sigma表示形状$
  • f(x)图像沿$\mu$对称（一般做题先画图利用对称性解题，解不出来再考虑用公式）
  • 上$\alpha$分位点
  • 可加性：期望加期望、方差加方差，还有带系数的情况（$CX\sim C\cdot N(\mu,\sigma^2)=N(C\mu,(C\sigma)^2)$）
  • 泊松积分：$\int_{-\infty}^{+\infty}e^{-\frac{x^2}{A}}dx=\sqrt{A\pi},其中A>0$
  • 标准化：$\frac{X-\mu}{\sigma}\sim N(0,1)$

• 标准正态分布$\Phi(x)$：

• $\mu=0,\sigma=1时的F(x),即X\sim N(0,1)$
• $\Phi(-x)=1-\Phi(x)$

5. 一维随机变量的函数

• 离散型
• 求分布律：若Y=g(X)，则先算Y的取值范围，再求Y的分布律。
• 连续型
• 求密度函数：若Y=g(X)，反解得X=h(Y)
  1. $F_Y(y)=P{Y\leq y}=P{g(X)\leq y}$，然后反解X，即等于$P{X\leq h(y)}=F_X(h(y))$
  2. 上面等式两端求导，$f_Y(y)=F_Y'(y)=[F_X(h(y))]'=f_X(h(y))\cdot |h'(y)|$
  3. 注意这里的$|h'(y)|$是绝对值，因为要保证$f_Y(y)$是非负的
  4. 根据Y=g(X)和分段区间限制，求y的取值范围

二维随机变量

1. 离散分布函数

• $F(x,y)=P{X\leq x,Y\leq y}$
• F(x,y)的性质：非负、规范、单调不减
• 规范性：$F(-\infty,-\infty)=0,F(x,-\infty)=0,F(-\infty,y)=0,F(+\infty,+\infty)=1$

2.离散型分布

• 联合分布律表达：图表表示、公式表示
• 公式表示：$P{X=x_i,Y=y_i}记为p_{ij}$

3. 联合密度函数与连续分布函数

• $F(x,y)=\int_{-\infty}^x\int_{-\infty}^yf(x,y)dydx$
• 性质同一维。
• 正规性：和离散型一致。

4.连续型分布

• 二维均匀分布
• $f(x)=\begin{cases} \frac{1}{S_D},(x,y)\in D \ 0,其他 \ \end{cases} $
• 记为$X\sim U(D)$
• “包含定理”：若$(x,y)\sim U(D_{out})，且D_{in}\sub D_{out}，则P{(x,y)\in D_{in}}=\frac{S_{D_{in}}}{S_{D_{out}}}=\frac{小面积}{大面积}$
• 二维正态分布
• 记为$X\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_1^2,\rho)，其中\rho表示X与Y的线性相关程度$
• 推广：正态分布的线性组合也服从正态分布

5. 边缘分布与条件分布

• 边缘分布
• 边缘分布律表示：$P{X,Y=y_i}记为p_{\cdot j}，P{X=x_i,Y}记为p_{i\cdot}$
  • 取值分别是沿X相加、沿y相加
• 边缘密度函数：$f_X(x)=f(x,+\infty)=\int_{-\infty}^{+\infty}f(x,y)\cdot dy$
  • 这里相当于只对f(x,y)的其中一轴进行积分（单侧积分）
• 边缘分布函数：$F_X(x)=F(x,+\infty)=f(x,+\infty)的积分$
• 条件分布
• 条件分布律表示：$P{X=x_i|Y=y_i}=\frac{P{X=x_i,Y=y_i}}{P{Y=y_i}}=\frac{P_{ij}}{P_{\cdot j}}$
• 条件密度函数：$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$
• 条件分布函数：$F_{X|Y}(x|y)=f_{X|Y}(x|y)的积分$
• 总结：
• $f_X(x)=f(x,+\infty)=\frac{f(x,y)}{f_{Y|X}(y|x)}=F_{X|Y}(x|y)的导数$
• $f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}=F_{X|Y}(x|y)的导数$

6. 二维随机变量的函数

• 离散型
• 求分布律：若Z=g(X,Y)，则先算X和Y的取值范围，再求Z的分布律。
• 连续型：若Z=g(X,Y)
• 求密度函数：
  • $F_Z(z)=P{Z\leq z}=P{g(X,Y)\leq z}$，解一个带限制区域($g(X,Y)\leq z$)的二重积分，注意z的分段点和分段区间。
• 卷积公式：基于Z=X+Y
  • 由于$f_Z(z)=\int_{-\infty}^{+\infty}f(z-y,y)\cdot dy或者\int_{-\infty}^{+\infty}f(x,z-x)\cdot dx$
  • 又因为X、Y独立，所以$f(x,y)=f_X(x)\cdot f_Y(y)$
  • 所以：$f_Z(z)=\int_{-\infty}^{+\infty}f_X(z-y)f_Y(y)\cdot dy$，记为$f_X*f_Y$
• 最大值最小值：基于Z=max{X,Y}或Z=min{X,Y}
  • $F_{max}(z)=F_X(z)F_Y(z)$
  • $F_{min}(z)=[1-F_X(z)][1-F_Y(z)]$

期望、方差与协方差

1. 期望

• 定义：$E(X)=\int_{-\infty}^{+\infty}xf(x)\cdot dx$
• 若Y=g(X),$E(Y)=\int_{-\infty}^{+\infty}g(x)f(x)\cdot dx$
• 方差公式逆用：$E(X)=\sqrt{E(X^2)-D(X)}$
• 常见分布的期望见上。
• 常见期望公式略。

2. 方差

• 定义1：$D(X)=E{[x-E(X)]^2}$
• 定义2：$D(X)=E(X^2)-[E(X)]^2$
• 常见分布的方差见上。
• 常见方差公式略。

3. 切比雪夫不等式估计

• 当分布未知，而E(X)、D(X)已知时，可以估计$|x-E(X)|<\epsilon$的概率
• 估计公式：$P{|X-\mu|\geq\epsilon}\leq \frac{\sigma^2}{\epsilon^2}$（大小不一）

4. 协方差与相关系数

• 协方差：$Cov(X,Y)=E{[x-E(X)][y-E(Y)]}=E(XY)-E(X)E(Y)$
• 相关系数：$\rho=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$

两大定律

分布A的样本：分布A中随机抽取若干x值序列，作为样本

1. 大数定律

• 独立同分布的样本，$\bar X\stackrel{P}{\to}E(X)$
• 独立重复实验的样本，$频率\frac{\bar f_X}{n}\stackrel{P}{\to}概率P$

2. 中心极限定律

• 核心：将一般分布转成正态分布

• 样本均值定律：

• 独立同分布的样本，$\bar X\sim N(\mu,\frac{\sigma^2}{n})$

• 独立重复实验的样本（比如二项分布的样本）,$\bar X\sim N(\mu,\frac{\sigma^2}{n})=N(np,npq)$

• 样本和定律：

• 独立样本，$\sum^n_k x_k\sim N(\sum^n_k\mu,\sum^n_k\sigma^2)$
• 独立同分布的样本，$\sum^n_k x_k\sim N(n\mu,\frac{(n\sigma)^2}{n})=N(n\mu,n\sigma^2)$

总体-样本-抽样

1. 样本分布函数

是一个分段分布函数，$F_n(x)=\frac{样本空间中，小于等于x的个数}{n}$

2. 统计量

• 独立同分布的加法：基于样本和定律，先都变成对应的正态分布，然后进行正态的加法（期望加期望，方差加方差，还有带系数的情况）

• 样本均值$\bar X$：

• 均值分布$\bar X$：样本均值定律
• 均值分布的期望：$E(\bar X)=总体分布E(X)=\mu$
• (修正)样本方差$S^2$：$\frac{1}{n-1} \sum^n_k(x_i-\bar X)^2$，==除以n-1==使得特性较好
• 方差分布的期望：$E(S^2)=总体分布D(X)=\sigma^2$

3. 样本与[一般]总体关系

• 总结：

• 独立同分布的加法

• 样本均值分布可求：$\bar X\sim N(\mu,\frac{\sigma^2}{n})$
  • E(样本均值)=总体期望
  • D(样本均值)
• E(样本方差)=总体方差

4. 抽样分布

自由度：抽样次数（即抽样出的样本个数）

抽样分布：从多个独立的分布中抽样，得到多个样本序列，将之复合

• 卡方分布$\chi^2$（正态的复合）

• x抽样自标准正态分布：$x_i\sim N(0,1)$

• $X=\sum_k^nx_i^2$

• 记为$X\sim \chi^2(n)$

• 性质：

  • 可加性：自由度相加
  • E(X)=n,D(X)=2n

• t分布（正卡的复合）

• $X\sim N(0,1),Y\sim \chi^2(n)$

• $Z=\frac{X}{\sqrt{Y/n}}$
• 记为$X\sim t(n)$

• 性质：

  • E(X)=0,D(X)=n/(n-2)
  • 由于n->∞时，D(X)=1，所以此时t分布近似为一个标准正态分布

• F分布（卡卡的复合）

• $X\sim \chi^2(n_1),Y\sim \chi^2(n_2)$

• $Z=\frac{X/n_1}{Y/n_2}$
• 记为$Z\sim F(n_1,n_2)$
• 性质：
  • 若X服从F，则1/X也服从F

5. 样本与[正态]总体的关系2

• 前提：总体为$X\sim N(\mu,\sigma^2)$
• n-1卡方定律：$\frac{S^2}{\sigma^2}(n-1)\sim \chi^2(n-1)$
• n-1t定律：$\frac{\bar X-\mu}{S/\sqrt{n}}\sim t(n-1)$
• $\bar X与S^2互相独立$
• 总结：
• 方差/方差的分布=n-1卡方
• 均值分布的标准化=n-1t

参数估计（仅点估计）

目的：估计密度函数中的参数

1. 矩估计法

• k阶样本矩：$\frac{\sum^n_i x_i^k}{n}$

• 核心：替换与反解

• 思路：求总体矩（函数），用k阶样本矩A（已知量）代替k阶总体矩$E(X^k)$，反解里面的参数V，得到V=g(A)

• k=1时，A=样本均值

2. 最大似然估计法

• 样本似然函数$L(\theta)$：样本概率之积
• 由于样本间独立，所以样本同时发生的概率=各自概率之积（样本总密度=各自密度之积）
• 注意：只能x必须大于0，才能参与连乘

• 核心：似然、对数、最大值

• 思路：使得似然函数最大的参数，一定最适合作为估计值