概率论基础

一些概率论的基础内容

随机变量及其分布

随机变量定义：设 \(E\) 为随机试验, \(e\) 为试验 \(E\) 的一个可能结果, \(E\) 的全部可能结果的集合 \(S=\{e\}\) 为其样本空间, 若对于每一个 \(e\), 均有一个实数 \(X(e)\) 与之对应这样一个定义样本空间 \(S\) 上的单值实函数 \(X=X(e)\) 称为建立在 \(S\) 上的一维随机变量, 其值域为实数集合。

若 \(X=X(e)\) 与 \(Y=Y(e)\) 为在 \(S\) 上的两个随机变量, 则由它们构成的联合变量 \((X, Y)\) 称为二维随机变量或二维随机向量，同理可定义多维随机变量。

分布函数： \(F(x) = P(X \leq x)\) 称为 \(X\) 的分布函数。

单调不减
值域为 \([0,1]\) ，\(F(-\infty)=0, F(+\infty)=1\).
右连续函数
\(\forall x_1 \leq x_2, P(x_1 < x \leq x_2) = F(x_2) - F(x_1)\).

贝叶斯公式 \[ P(B_i \vert A) = \dfrac{P(B_i)P(A \vert B_i)}{\sum\limits_{j=1}^{n} P(B_j) P(A \vert B_j)} \, i=1,2,\cdots, n \] 数学期望：\(E(X) = \sum\limits_{k=1}^\infty x_kp_k\) 或 \(E(X) = \int_{-\infty}^{+\infty}xf(x)dx\).

\(E(aX+b) = aE(X) + b\).
\(E(X + Y) = EX + EY\).
\(E(XY) = E(X)E(Y)\)，前提是相互独立。
\(E(X^2) = DX + (EX)^2\).
（柯西-施瓦茨不等式）\(\color{Red}|E(XY)|^2 \leq E(X^2)E(Y^2)\).

方差：\(DX=E((X - EX)^2)\).

\(DX = E(X^2) - (EX)^2\). （平方的期望 - 期望的平方）
\(D(aX + b) = a^2DX\).
\(D(X+Y) = DX + DY\)，前提是相互独立。
切比雪夫不等式：\(P\{\vert X - \mu \vert \geq \varepsilon\} \leq \dfrac{\sigma^2}{\varepsilon^2}\).

切比雪夫不等式描述了大偏差 \(\vert X - \mu \vert \geq \varepsilon\) （即样本 \(X\) 偏离期望的下界）发生概率的上界，和方差的定义是相符的

协方差：\(Cov(X, Y) = E[(X - EX)(Y - EY)]\).

\(D(X+Y)=DX +DY + 2Cov(X,Y)\).
\(Cov(X, Y) = E(XY) - E(X)E(Y)\).
\(Cov(X,X) = DX\).
\(Cov(aX + b, cY + d) = acCov(X, Y)\).

相关系数：\(\rho_{XY} = \dfrac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}\).

矩:

\(\mu_k = E(X^k)\) 为 \(X\) 的 \(k\) 阶原点矩
\(\sigma_k = E[(X - E(X))^k]\) 为 \(X\) 的 \(k\) 阶中心矩

随机变量的数字特征

随机变量 \(X\).
概率密度/分布律 \(f(x)/P(X=x_k)\).
分布函数 \(F(x) = P(X \leq x)\).
特征函数 \(\varphi_X(v)\).
三者一一对应

\[ X \leftrightarrow f(x)/P(X=x_k) \leftrightarrow P(X \leq x) \leftrightarrow \varphi_X(v) \]

随机变量的特征函数

复随机变量：\(Z = X + iY\).

\(E(Z) = EX + iEY\).

特征函数的定义：设 \(X\) 为随机变量，称复随机变量 \(e^{ivX}\) 的数学期望为 \(X\) 的特征函数，记为 \(\varphi_X(v)\) 或 \(\varphi(v)\)，即 \[ \varphi_X(v) = E(e^{ivX}) \qquad v \in (-\infty, +\infty) \]

\(\because \vert e^{ivX}\vert = 1 \therefore\) 特征函数总是存在的。

对离散随机变量：\(\varphi_X(v) = E(e^{ivX}) = \sum\limits_{k=1}^\infty e^{ivx_k}p_k\).
对连续随机变量：\(\varphi_X(v) = E(e^{ivX}) = \int_{-\infty}^{+\infty} e^{ivx}f(x)dx\).
\(\varphi(0)=1, \quad \vert \varphi_X(v) \vert \leq \varphi_X(0), \quad \varphi_X(-v)=\overline{\varphi_X(v)}\).
\(\varphi(v)\) 为 \((-\infty, +\infty)\) 上连续函数
\(Y = aX + b\) 的特征函数为 \(e^{ibv} \varphi_X(av)\).
\(X, Y\) 独立：\(\varphi_{X+Y}(v)=\varphi_X(v)\varphi_Y(v)\).
若随机变量 \(X\) 的 \(n\) 阶矩存在，则其特征函数可微分 \(n\) 次，且当 \(1 \leq k \leq n\) 时有 \(\varphi^{(k)}(0) = i^kE(X^k)\).
分布函数与特征函数一一对应

欧拉公式 \[ e^{itX} = \cos(tX) +i\sin(tX) \] 证明（泰勒展开）： \[ \begin{align} e^X &= 1 + \dfrac{X}{1!} + \dfrac{X^2}{2!} + \dfrac{X^3}{3!} + \dfrac{X^4}{4!} + \dfrac{X^5}{5!} + \dfrac{X^6}{6!} + \cdots + \dfrac{X^n}{n!} + \cdots \\ e^{itX} &= 1 + \dfrac{i(tX)}{1!} - \dfrac{(tX)^2}{2!} + \dfrac{i(tX)^3}{3!} - \dfrac{(tX)^4}{4!} + \dfrac{i(tX)^5}{5!} - \dfrac{(tX)^6}{6!} + \cdots + \dfrac{i^n(tX)^n}{n!} + \cdots \\ \sin(tX) &= \dfrac{(tX)}{1!} - \dfrac{(tX)^3}{3!} + \dfrac{(tX)^5}{5!} + \cdots + \dfrac{i^{2n-1}(tX)^{2n-1}}{(2n-1)!} + \cdots \\ \cos(tX) &= 1 + \dfrac{(tX)^2}{2!} + \dfrac{(tX)^4}{4!} + \dfrac{(tX)^6}{6!} + \cdots + \dfrac{i^{2n}(tX)^{2n}}{(2n)!} + \cdots \end{align} \]

常见特征函数

常见分布	概率分布	期望	方差	特征函数
两点分布	\(P(X=k)=p^k(1-p)^{1-k} \quad k=0,1 \quad 0 < p < 1\)	\(p\)	\(p(1-p)\)	\(\varphi(v)=1-p+pe^{iv}\)
二项分布\(B(n,p)\)	\(P(X=k)=C_n^kp^k(1-p)^{n-k} \quad k=0,1,\dots,n \quad 0 < p < 1\)	\(np\)	\(np(1-p)\)	\(\varphi(v)=(pe^{iv}+1-p)^n\)
泊松分布\(\pi(\lambda)\)	\(P(X=k)=\dfrac{\lambda^ke^{-\lambda}}{k!} \quad k= 0, 1,\dots \quad \lambda > 0\)	\(\lambda\)	\(\lambda\)	\(\varphi(v)=e^{\lambda(e^{iv}-1)}\)
均匀分布\(U(a,b)\)	\(f(x)=\begin{cases}\dfrac{1}{b-1} \quad a < x < b \\ 0 \quad \text{other}\end{cases}\)	\(\dfrac{a+b}{2}\)	\(\dfrac{(b-a)^2}{12}\)	\(\varphi(v)=\dfrac{i}{(b-a)v}(e^{iva}-e^{ivb})\)
指数分布\(Z(\alpha)\)	\(f(x)=\begin{cases}\alpha e^{-\alpha x} \quad x > 0 , \alpha > 1 \\ 0 \qquad \quad x \leq 0\end{cases}\)	\(\dfrac{1}{\alpha}\)	\(\dfrac{1}{\alpha^2}\)	\(\varphi(v) = \dfrac{\alpha(\alpha + iv)}{\alpha^2 + v^2}\)
标准正态分布\(N(0,1)\)	\(f(x)=\dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{x^2}{2}}\)	\(0\)	\(1\)	\(\varphi(v) = e^{-\cfrac{v^2}{2}}\)