一些概率论的基础内容
随机变量及其分布
随机变量定义：设 E 为随机试验, e 为试验 E 的一个可能结果, E 的全部可能结果的集合 S = {e} 为其样本空间, 若对于每一个 e, 均有一个实数 X(e) 与之对应 这样一个定义样本空间 S 上的单值实函数 X = X(e) 称为建立在 S 上的一维随机变量, 其值域为实数集合。
若 X = X(e) 与 Y = Y(e) 为在 S 上的两个随机变量, 则由它们构成的联合变量 (X, Y) 称为二维随机变量或二维随机向量，同理可定义多维随机变量 。
分布函数： F(x) = P(X ≤ x) 称为 X 的分布函数。
- 单调不减
- 值域为 [0, 1] ，F(−∞) = 0, F(+∞) = 1.
- 右连续函数
- ∀x1 ≤ x2, P(x1 < x ≤ x2) = F(x2) − F(x1).
贝叶斯公式 $$ P(B_i \vert A) = \dfrac{P(B_i)P(A \vert B_i)}{\sum\limits_{j=1}^{n} P(B_j) P(A \vert B_j)} \, i=1,2,\cdots, n $$ 数学期望：$E(X) = \sum\limits_{k=1}^\infty x_kp_k$ 或 E(X) = ∫−∞+∞xf(x)dx.
- E(aX + b) = aE(X) + b.
- E(X + Y) = EX + EY.
- E(XY) = E(X)E(Y)，前提是相互独立。
- E(X2) = DX + (EX)2.
- （柯西-施瓦茨不等式）|E(XY)|2 ≤ E(X2)E(Y2).
方差：DX = E((X − EX)2).
- DX = E(X2) − (EX)2. （平方的期望 - 期望的平方）
- D(aX + b) = a2DX.
- D(X + Y) = DX + DY，前提是相互独立。
- 切比雪夫不等式：$P\{\vert X - \mu \vert \geq \varepsilon\} \leq \dfrac{\sigma^2}{\varepsilon^2}$.
切比雪夫不等式描述了大偏差 |X − μ| ≥ ε （即样本 X 偏离期望的下界）发生概率的上界，和方差的定义是相符的
协方差：Cov(X, Y) = E[(X − EX)(Y − EY)].
- D(X + Y) = DX + DY + 2Cov(X, Y).
- Cov(X, Y) = E(XY) − E(X)E(Y).
- Cov(X, X) = DX.
- Cov(aX + b, cY + d) = acCov(X, Y).
相关系数：$\rho_{XY} = \dfrac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$.
矩:
- μk = E(Xk) 为 X 的 k 阶原点矩
- σk = E[(X − E(X))k] 为 X 的 k 阶中心矩
随机变量的数字特征
- 随机变量 X.
- 概率密度/分布律 f(x)/P(X = xk).
- 分布函数 F(x) = P(X ≤ x).
- 特征函数 φX(v).
- 三者一一对应
X ↔︎ f(x)/P(X = xk) ↔︎ P(X ≤ x) ↔︎ φX(v)
随机变量的特征函数
复随机变量：Z = X + iY.
- E(Z) = EX + iEY.
特征函数的定义：设 X 为随机变量，称复随机变量 eivX 的数学期望为 X 的特征函数，记为 φX(v) 或 φ(v)，即 φX(v) = E(eivX) v ∈ (−∞, +∞)
∵|eivX| = 1∴ 特征函数总是存在的。
- 对离散随机变量：$\varphi_X(v) = E(e^{ivX}) = \sum\limits_{k=1}^\infty e^{ivx_k}p_k$.
- 对连续随机变量：φX(v) = E(eivX) = ∫−∞+∞eivxf(x)dx.
- $\varphi(0)=1, \quad \vert \varphi_X(v) \vert \leq \varphi_X(0), \quad \varphi_X(-v)=\overline{\varphi_X(v)}$.
- φ(v) 为 (−∞, +∞) 上连续函数
- Y = aX + b 的特征函数为 eibvφX(av).
- X, Y 独立：φX + Y(v) = φX(v)φY(v).
- 若随机变量 X 的 n 阶矩存在，则其特征函数可微分 n 次，且当 1 ≤ k ≤ n 时有 φ(k)(0) = ikE(Xk).
- 分布函数与特征函数一一对应
欧拉公式 eitX = cos (tX) + isin (tX) 证明（泰勒展开）： $$ \begin{align} e^X &= 1 + \dfrac{X}{1!} + \dfrac{X^2}{2!} + \dfrac{X^3}{3!} + \dfrac{X^4}{4!} + \dfrac{X^5}{5!} + \dfrac{X^6}{6!} + \cdots + \dfrac{X^n}{n!} + \cdots \\ e^{itX} &= 1 + \dfrac{i(tX)}{1!} - \dfrac{(tX)^2}{2!} + \dfrac{i(tX)^3}{3!} - \dfrac{(tX)^4}{4!} + \dfrac{i(tX)^5}{5!} - \dfrac{(tX)^6}{6!} + \cdots + \dfrac{i^n(tX)^n}{n!} + \cdots \\ \sin(tX) &= \dfrac{(tX)}{1!} - \dfrac{(tX)^3}{3!} + \dfrac{(tX)^5}{5!} + \cdots + \dfrac{i^{2n-1}(tX)^{2n-1}}{(2n-1)!} + \cdots \\ \cos(tX) &= 1 + \dfrac{(tX)^2}{2!} + \dfrac{(tX)^4}{4!} + \dfrac{(tX)^6}{6!} + \cdots + \dfrac{i^{2n}(tX)^{2n}}{(2n)!} + \cdots \end{align} $$
常见特征函数
| 常见分布 | 概率分布 | 期望 | 方差 | 特征函数 |
|---|---|---|---|---|
| 两点分布 | P(X = k) = pk(1 − p)1 − k k = 0, 1 0 < p < 1 | p | p(1 − p) | φ(v) = 1 − p + peiv |
| 二项分布B(n, p) | P(X = k) = Cnkpk(1 − p)n − k k = 0, 1, …, n 0 < p < 1 | np | np(1 − p) | φ(v) = (peiv + 1 − p)n |
| 泊松分布π(λ) | $P(X=k)=\dfrac{\lambda^ke^{-\lambda}}{k!} \quad k= 0, 1,\dots \quad \lambda > 0$ | λ | λ | φ(v) = eλ(eiv − 1) |
| 均匀分布U(a, b) | $f(x)=\begin{cases}\dfrac{1}{b-1} \quad a < x < b \\ 0 \quad \text{other}\end{cases}$ | $\dfrac{a+b}{2}$ | $\dfrac{(b-a)^2}{12}$ | $\varphi(v)=\dfrac{i}{(b-a)v}(e^{iva}-e^{ivb})$ |
| 指数分布Z(α) | $f(x)=\begin{cases}\alpha e^{-\alpha x} \quad x > 0 , \alpha > 1 \\ 0 \qquad \quad x \leq 0\end{cases}$ | $\dfrac{1}{\alpha}$ | $\dfrac{1}{\alpha^2}$ | $\varphi(v) = \dfrac{\alpha(\alpha + iv)}{\alpha^2 + v^2}$ |
| 标准正态分布N(0, 1) | $f(x)=\dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{x^2}{2}}$ | 0 | 1 | $\varphi(v) = e^{-\cfrac{v^2}{2}}$ |