概率论

1. 随机事件及其概率 P1

  • 排列:Pnm=n!(n−m)!\mathrm{P}_n^m = \frac{n!}{(n-m)!}
  • 组合:Cnm=Pnmm!=n!m!(n−m)!\mathrm{C}_n^m = \frac{\mathrm{P}_n^m}{m!} = \frac{n!}{m!(n-m)!}
    • Cnm=Cnn−m\mathrm{C}_n^m = \mathrm{C}_n^{n-m}
  • 条件概率公式:P(B∣A)=P(AB)P(A)P(B \mid A) = \frac{P(AB)}{P(A)}

如果 ⋃i=1nAi=Ω\bigcup\limits_{i=1}^n A_i = \Omega,AiAj=∅ (i≠j; i,j=1,2,⋯ ,n)A_i A_j = \varnothing \, (i \neq j; \, i, j = 1, 2, \cdots, n),P(Ai)>0P(A_i) > 0,则对任一事件 BB,有

  • 全概率公式
    • B=⋃i=1nAiBB = \bigcup_{i=1}^n A_i B
    • P(B)=∑i=1nP(Ai)P(B∣Ai)P(B) = \sum_{i=1}^n P(A_i) P(B \mid A_i)
  • 贝叶斯公式(逆概率公式):只要 P(B)>0P(B) > 0,就有P(Aj∣B)=P(Aj)P(B∣Aj)∑i=1nP(Ai)P(B∣Ai)(j=1,2,⋯ ,n)P(A_j \mid B) = \frac{P(A_j) P(B \mid A_j)}{\sum\limits_{i=1}^n P(A_i) P(B \mid A_i)} \quad (j = 1, 2, \cdots, n)

1. 独立性

如果 P(AB)=P(A)P(B)P(AB) = P(A)P(B),则称事件 AA 与 BB 相互独立.

  • P(B∣A)=P(AB)P(A)=P(A)P(B)P(A)=P(B)P(B \mid A) = \frac{P(AB)}{P(A)} = \frac{P(A)P(B)}{P(A)} = P(B)
  • AA 与 BB 相互独立   ⟺  A{\iff} A 与 B‾\overline{B} 相互独立   ⟺  A‾\iff \overline{A} 与 BB 相互独立   ⟺  A‾\iff \overline{A} 与 B‾\overline{B} 相互独立
  • 对独立事件组不含相同事件作运算,得到的新事件组仍独立
    • 如 A,B,C,DA, B, C, D 相互独立,则 ABAB 与 CDCD 相互独立,AA 与 BC−DBC - D 相互独立
  • 若 P(A)=0P(A) = 0 或 P(A)=1P(A) = 1,则 AA 与任意事件 BB 相互独立

2. 一维随机变量及其分布 P33

2.1 分布函数

(1) 概念 .

F(x)=P{X⩽x}(x∈R)F(x) = P\{X \leqslant x\} (x \in \mathbf{R}) 为随机变量 XX 的分布函数,或称 XX 服从 F(x)F(x) 分布,记为 X∼F(x)X \sim F(x) .

(2) 性质 .

① F(x)F(x) 是 xx 的单调不减函数,即对任意实数 x1<x2x_1 < x_2,有 F(x1)⩽F(x2)F(x_1) \leqslant F(x_2)

② F(x)F(x) 是 xx 的右连续函数,即对任意 x0∈Rx_0 \in \mathbf{R},有 lim⁡x→x0+F(x)=F(x0+0)=F(x0)\lim\limits_{x \to x_0^+} F(x) = F(x_0 + 0) = F(x_0)

③ F(−∞)=lim⁡x→−∞F(x)=0, F(+∞)=lim⁡x→+∞F(x)=1F(-\infty) = \lim\limits_{x \to -\infty} F(x) = 0, \, F(+\infty) = \lim\limits_{x \to +\infty} F(x) = 1

2.1.1 离散型

如果随机变量 XX 只可能取有限个或可列无限个值 x1,x2,⋯x_1, x_2, \cdots,则称 XX 为离散型随机变量

概率分布:P{X=xi}=pi,i=1,2,⋯P\{X = x_i\} = p_i, \quad i = 1, 2, \cdots,记为 X∼piX \sim p_i,常用表格形式或矩阵形式表示:

Xx1x2⋯Pp1p2⋯或X∼(x1x2⋯p1p2⋯)\begin{array}{c|ccc} X & x_1 & x_2 & \cdots \\ \hline P & p_1 & p_2 & \cdots \end{array} \quad \text{或} \quad X \sim \begin{pmatrix} x_1 & x_2 & \cdots \\ p_1 & p_2 & \cdots \end{pmatrix}

分布函数:F(x)=P{X⩽x}=∑xi⩽xP{X=xi}F(x) = P\{X \leqslant x\} = \sum_{x_i \leqslant x} P\{X = x_i\}

数列 {pi} (i=1,2,⋯ )\{p_i\} \, (i = 1, 2, \cdots) 是离散型随机变量的概率分布的充要条件:pi⩾0 (i=1,2,⋯ )p_i \geqslant 0 \, (i = 1, 2, \cdots),且 ∑ipi=1\sum\limits_i p_i = 1 .

2.1.2 连续型

如果随机变量 XX 的分布函数可以表示为

F(x)=∫−∞xf(t) dt(x∈R),F(x) = \int_{-\infty}^x f(t) \, \mathrm{d}t \quad (x \in \mathbf{R}) ,

其中 f(x)f(x) 是非负可积函数,则称 XX 为连续型随机变量,称 f(x)f(x) 为 XX 的概率密度函数,简称概率密度,记为 X∼f(x)X \sim f(x) .

f(x)f(x) 为某一随机变量 XX 的概率密度的充分必要条件:f(x)⩾0f(x) \geqslant 0,且 ∫−∞+∞f(x) dx=1\int_{-\infty}^{+\infty} f(x) \, \mathrm{d}x = 1(由此可知,在保证非负的条件下,改变 f(x)f(x) 有限个点的值,f(x)f(x) 仍然是概率密度).

  • 对任意实数 cc,有 P{X=c}=0P\{X = c\} = 0
  • 对实数轴上任一集合 BB,有P{X∈B}=∫Bf(x) dxP\{X \in B\} = \int_B f(x) \, \mathrm{d}x
  • P{a<X<b}=P{a⩽X<b}=P{a<X⩽b}=P{a⩽X⩽b}=∫abf(x) dx=F(b)−F(a)P\{a < X < b\} = P\{a \leqslant X < b\} = P\{a < X \leqslant b\} = P\{a \leqslant X \leqslant b\} = \int_a^b f(x) \, \mathrm{d}x = F(b) - F(a)

2.2 常用分布 P40

2.2.1 离散型 P40

(1) 0—1 分布 B(1,p) (Ber−E1)B(1, p) \, (\mathrm{Ber}-E_1) .

如果 XX 的概率分布为 X∼(10p1−p)X \sim \begin{pmatrix} 1 & 0 \\ p & 1-p \end{pmatrix},即 P{X=1}=p, P{X=0}=1−pP\{X = 1\} = p, \, P\{X = 0\} = 1-p,则称 XX 服从参数为 pp 的 0—1 分布,记为 X∼B(1,p) (0<p<1)X \sim B(1, p) \, (0 < p < 1) .

(2) 二项分布 B(n,p) (Ber−En)B(n, p) \, (\mathrm{Ber}-E_n) .

如果 XX 的概率分布为 P{X=k}=Cnkpk(1−p)n−k (k=0,1,⋯ ,n; 0<p<1)P\{X = k\} = \mathrm{C}_n^k p^k (1-p)^{n-k} \, (k = 0, 1, \cdots, n; \, 0 < p < 1),则称 XX 服从参数为 (n,p)(n, p) 的二项分布,记为 X∼B(n,p)X \sim B(n, p) .

(3) 泊松分布 P(λ)P(\lambda) .

如果 XX 的概率分布为

P{X=k}=λkk!e−λ(k=0,1,⋯ ; λ>0),P\{X = k\} = \frac{\lambda^k}{k!} \mathrm{e}^{-\lambda} \quad (k = 0, 1, \cdots; \, \lambda > 0) ,

则称 XX 服从参数为 λ\lambda 的泊松分布,记为 X∼P(λ)X \sim P(\lambda) .

(4) 几何分布 G(p) (Ber−E∞)G(p) \, (\mathrm{Ber}-E_{\infty}) .

如果 XX 的概率分布为

P{X=k}=(1−p)k−1p(k=1,2,⋯ ; 0<p<1),P\{X = k\} = (1-p)^{k-1} p \quad (k = 1, 2, \cdots; \, 0 < p < 1) ,

则称 XX 服从参数为 pp 的几何分布,记为 X∼G(p)X \sim G(p) .

(5) 超几何分布 H(n,N,M)H(n, N, M) .

如果 XX 的概率分布为 P{X=k}=CMkCN−Mn−kCNn(max⁡{0, n−N+M}⩽k⩽min⁡{M, n}; M,N,n 为正整数且 M⩽N, n⩽N, k 为整数)P\{X = k\} = \frac{\mathrm{C}_M^k \mathrm{C}_{N-M}^{n-k}}{\mathrm{C}_N^n} \quad (\max\{0, \, n-N+M\} \leqslant k \leqslant \min\{M, \, n\}; \, M, N, n \text{ 为正整数且 } M \leqslant N, \, n \leqslant N, \, k \text{ 为整数}),则称 XX 服从参数为 (n,N,M)(n, N, M) 的超几何分布,记为 X∼H(n,N,M)X \sim H(n, N, M) .

2.2.2 连续型 P42

(1) 均匀分布 U(a,b)U(a, b) .

如果随机变量 XX 的概率密度和分布函数(见图 2-1,图 2-2)分别为

f(x)={1b−a,a<x<b,0,其他,F(x)={0,x<a,x−ab−a,a⩽x<b,1,x⩾b,f(x) = \begin{cases} \frac{1}{b-a}, & a < x < b, \\ 0, & \text{其他}, \end{cases} \quad F(x) = \begin{cases} 0, & x < a, \\ \frac{x-a}{b-a}, & a \leqslant x < b, \\ 1, & x \geqslant b, \end{cases}

则称 XX 在区间 (a,b)(a, b) 上服从均匀分布,记为 X∼U(a,b)X \sim U(a, b) .

(2) 指数分布 E(λ)E(\lambda) .

如果 XX 的概率密度和分布函数(见图 2-3,图 2-4)分别为

f(x)={λe−λx,x>0,0,其他,F(x)={1−e−λx,x⩾0,0,x<0(λ>0),f(x) = \begin{cases} \lambda \mathrm{e}^{-\lambda x}, & x > 0, \\ 0, & \text{其他}, \end{cases} \quad F(x) = \begin{cases} 1 - \mathrm{e}^{-\lambda x}, & x \geqslant 0, \\ 0, & x < 0 \end{cases} \quad (\lambda > 0) ,

则称 XX 服从参数为 λ\lambda 的指数分布,记为 X∼E(λ)X \sim E(\lambda) .

(3) 正态分布 N(μ,σ2)N(\mu, \sigma^2) .

这是由于 λ\lambda 是常数,失效频率不变,也即研究对象(如元件、产品等)被视为理想状态,无任何损耗 .

如果 XX 的概率密度为

f(x)=12πσe−12(x−μσ)2(−∞<x<+∞),f(x) = \frac{1}{\sqrt{2\pi}\sigma} \mathrm{e}^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2} \quad (-\infty < x < +\infty) ,

其中 −∞<μ<+∞, σ>0-\infty < \mu < +\infty, \, \sigma > 0,则称 XX 服从参数为 (μ,σ2)(\mu, \sigma^2) 的正态分布或称 XX 为正态变量,记为 X∼N(μ,σ2)X \sim N(\mu, \sigma^2) . 此时 f(x)f(x) 的图形关于直线 x=μx = \mu 对称,即 f(μ−x)=f(μ+x)f(\mu - x) = f(\mu + x),并在 x=μx = \mu 处有唯一最大值 f(μ)=12πσf(\mu) = \frac{1}{\sqrt{2\pi}\sigma}.

称 μ=0, σ=1\mu = 0, \, \sigma = 1 时的正态分布 N(0,1)N(0, 1) 为标准正态分布,通常记标准正态分布的概率密度为 φ(x)=12πe−12x2\varphi(x) = \frac{1}{\sqrt{2\pi}} \mathrm{e}^{-\frac{1}{2}x^2},分布函数为 Φ(x)=12π∫−∞xe−t22 dt\varPhi(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^x \mathrm{e}^{-\frac{t^2}{2}} \, \mathrm{d}t . 显然 φ(x)\varphi(x) 为偶函数,则

Φ(0)=12,Φ(−x)=1−Φ(x).\varPhi(0) = \frac{1}{2}, \quad \varPhi(-x) = 1 - \varPhi(x) .

若 X∼N(0,1)X \sim N(0, 1),P{X>uα}=αP\{X > u_\alpha\} = \alpha,则称 uαu_\alpha 为标准正态分布的上侧 α\alpha 分位数(上 α\alpha 分位点).

如果 X∼N(μ,σ2)X \sim N(\mu, \sigma^2),则

F(x)=P{X⩽x}=Φ(x−μσ),F(x) = P\{X \leqslant x\} = \varPhi\left(\frac{x-\mu}{\sigma}\right) , F(μ−x)+F(μ+x)=1,F(\mu - x) + F(\mu + x) = 1 , P{a<X<b}=Φ(b−μσ)−Φ(a−μσ),P\{a < X < b\} = \varPhi\left(\frac{b-\mu}{\sigma}\right) - \varPhi\left(\frac{a-\mu}{\sigma}\right) , aX+b∼N(aμ+b, a2σ2)(a≠0).aX + b \sim N(a\mu + b, \, a^2\sigma^2) \quad (a \neq 0) .

2.3 一维随机变量函数的分布 P47

2.3.1 概念

设 XX 为随机变量,函数 y=g(x)y = g(x),则以随机变量 XX 作为自变量的函数 Y=g(X)Y = g(X) 也是随机变量,称为随机变量 XX 的函数 . 例如:Y=aX2+bX+cY = aX^2 + bX + c,Y=∣X−a∣Y = |X - a|,Y={X,X⩽1,1,X>1,Y = \begin{cases} X, & X \leqslant 1, \\ 1, & X > 1, \end{cases} 等等 .

示例 设随机变量 X∼(125121316)X \sim \begin{pmatrix} 1 & 2 & 5 \\ \frac{1}{2} & \frac{1}{3} & \frac{1}{6} \end{pmatrix},令 Y=10 000X+8Y = 10\,000X + 8,则 Y∼(10 00820 00850 008121316)Y \sim \begin{pmatrix} 10\,008 & 20\,008 & 50\,008 \\ \frac{1}{2} & \frac{1}{3} & \frac{1}{6} \end{pmatrix} .

2.3.2 随机变量函数的分布

(1) 离散型 →\to 离散型 .

设 XX 为离散型随机变量,其概率分布为 P{X=xi}=pi (i=1,2,⋯ )P\{X = x_i\} = p_i \, (i = 1, 2, \cdots),则 XX 的函数 Y=g(X)Y = g(X) 也是离散型随机变量,其概率分布为 P{Y=g(xi)}=pi (i=1,2,⋯ )P\{Y = g(x_i)\} = p_i \, (i = 1, 2, \cdots),即

Y∼(g(x1)g(x2)⋯p1p2⋯).Y \sim \begin{pmatrix} g(x_1) & g(x_2) & \cdots \\ p_1 & p_2 & \cdots \end{pmatrix} .

如果有若干个 g(xi)g(x_i) 值相同,则合并诸项为一项 g(xk)g(x_k),并将相应概率相加作为 YY 取 g(xk)g(x_k) 值的概率 .

示例 设随机变量 X∼(−101131313)X \sim \begin{pmatrix} -1 & 0 & 1 \\ \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \end{pmatrix},令 Y=X2Y = X^2,则 Y∼(011323)Y \sim \begin{pmatrix} 0 & 1 \\ \frac{1}{3} & \frac{2}{3} \end{pmatrix} .

(2) 连续型 →\to 连续型(或混合型) .

设 XX 为连续型随机变量,其分布函数、概率密度分别为 FX(x)F_X(x) 与 fX(x)f_X(x),随机变量 Y=g(X)Y = g(X) 是 XX 的函数,则 YY 的分布函数或概率密度可用下面两种方法求得 .

① 分布函数法(定义法) .

直接由定义求 YY 的分布函数

FY(y)=P{Y⩽y}=P{g(X)⩽y}=∫g(x)⩽yfX(x) dx,F_Y(y) = P\{Y \leqslant y\} = P\{g(X) \leqslant y\} = \int_{g(x) \leqslant y} f_X(x) \, \mathrm{d}x ,

如果 FY(y)F_Y(y) 连续,且除有限个点外,FY′(y)F_Y'(y) 存在且连续,则 YY 的概率密度 fY(y)=FY′(y)f_Y(y) = F_Y'(y) .

② 公式法 .

根据上面的分布函数法,若 y=g(x)y = g(x) 在 (a,b)(a, b) 上是关于 xx 的严格单调可导函数,则存在 x=h(y)x = h(y) 是 y=g(x)y = g(x) 在 (a,b)(a, b) 上的可导反函数 .

若 y=g(x)y = g(x) 严格单调增加,则 x=h(y)x = h(y) 也严格单调增加,即 h′(y)>0h'(y) > 0,且

FY(y)=P{Y⩽y}=P{g(X)⩽y}=P{X⩽h(y)}=∫−∞h(y)fX(x) dx,F_Y(y) = P\{Y \leqslant y\} = P\{g(X) \leqslant y\} = P\{X \leqslant h(y)\} = \int_{-\infty}^{h(y)} f_X(x) \, \mathrm{d}x ,

故 fY(y)=FY′(y)=fX[h(y)]⋅h′(y)f_Y(y) = F_Y'(y) = f_X[h(y)] \cdot h'(y) .

若 y=g(x)y = g(x) 严格单调减少,则 x=h(y)x = h(y) 也严格单调减少,即 h′(y)<0h'(y) < 0,且

FY(y)=P{Y⩽y}=P{g(X)⩽y}=P{X⩾h(y)}=∫h(y)+∞fX(x) dx,F_Y(y) = P\{Y \leqslant y\} = P\{g(X) \leqslant y\} = P\{X \geqslant h(y)\} = \int_{h(y)}^{+\infty} f_X(x) \, \mathrm{d}x ,

故 fY(y)=FY′(y)=−fX[h(y)]⋅h′(y)=fX[h(y)]⋅[−h′(y)]f_Y(y) = F_Y'(y) = -f_X[h(y)] \cdot h'(y) = f_X[h(y)] \cdot [-h'(y)] .

综上,

fY(y)={fX[h(y)]⋅∣h′(y)∣,α<y<β,0,其他,f_Y(y) = \begin{cases} f_X[h(y)] \cdot |h'(y)|, & \alpha < y < \beta, \\ 0, & \text{其他}, \end{cases}

其中 α=min⁡{lim⁡x→a+g(x), lim⁡x→b−g(x)}\alpha = \min \left\{ \lim\limits_{x \to a^+} g(x), \, \lim\limits_{x \to b^-} g(x) \right\},β=max⁡{lim⁡x→a+g(x), lim⁡x→b−g(x)}\beta = \max \left\{ \lim\limits_{x \to a^+} g(x), \, \lim\limits_{x \to b^-} g(x) \right\} .

3. 多维随机变量及其分布 P62

3.1 n维随机变量及其分布函数 P63

3.1.1 n维随机变量 P63

如果 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 是定义在同一个样本空间 Ω\Omega 上的 nn 个随机变量,则称 (X1,X2,⋯ ,Xn)(X_1, X_2, \cdots, X_n) 为 nn 维随机变量 或 nn 维随机向量,Xi(i=1,2,⋯ ,n)X_i(i = 1, 2, \cdots, n) 称为第 ii 个分量.

当 n=2n = 2 时,称 (X,Y)(X, Y) 为二维随机变量或二维随机向量.

3.1.2 n维随机变量的分布函数 P63

3.1.2.1 概念 P63

NOTE

P{X1⩽x1,X2⩽x2,⋯ ,Xn⩽xn}P\{X_1 \leqslant x_1, X_2 \leqslant x_2, \cdots, X_n \leqslant x_n\} 类似于 P(A1A2⋯An)P(A_1 A_2 \cdots A_n):A1,A2,⋯ ,AnA_1, A_2, \cdots, A_n 同时发生的概率

对任意的 nn 个实数 x1,x2,⋯ ,xnx_1, x_2, \cdots, x_n,称 nn 元函数

F(x1,x2,⋯ ,xn)=P{X1⩽x1,X2⩽x2,⋯ ,Xn⩽xn}F(x_1, x_2, \cdots, x_n) = P\{X_1 \leqslant x_1, X_2 \leqslant x_2, \cdots, X_n \leqslant x_n\}

为 nn 维随机变量 (X1,X2,⋯ ,Xn)(X_1, X_2, \cdots, X_n) 的分布函数或随机变量 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 的联合分布函数.

当 n=2n = 2 时,对任意的实数 x,yx, y,称二元函数

F(x,y)=P{X⩽x,Y⩽y}F(x, y) = P\{X \leqslant x, Y \leqslant y\}

为二维随机变量 (X,Y)(X, Y) 的分布函数或随机变量 XX 和 YY 的联合分布函数,记为 (X,Y)∼F(x,y)(X, Y) \sim F(x, y).

3.1.2.2 性质 P63
  • 单调性
    • F(x,y)F(x, y) 是 x,yx, y 的单调不减函数
    • 对任意固定的 yy,当 x1<x2x_1 < x_2 时,F(x1,y)⩽F(x2,y)F(x_1, y) \leqslant F(x_2, y)
    • 对任意固定的 xx,当 y1<y2y_1 < y_2 时,F(x,y1)⩽F(x,y2)F(x, y_1) \leqslant F(x, y_2)
  • 右连续性 F(x,y)F(x, y) 是 x,yx, y 的右连续函数:
    • lim⁡x→x0+F(x,y)=F(x0+0,y)=F(x0,y)\lim_{x \to x_0^+} F(x, y) = F(x_0 + 0, y) = F(x_0, y)
    • lim⁡y→y0+F(x,y)=F(x,y0+0)=F(x,y0)\lim_{y \to y_0^+} F(x, y) = F(x, y_0 + 0) = F(x, y_0)
  • 有界性
    • F(−∞,y)=F(x,−∞)=F(−∞,−∞)=0F(-\infty, y) = F(x, -\infty) = F(-\infty, -\infty) = 0
    • F(+∞,+∞)=1F(+\infty, +\infty) = 1
  • 非负性 对任意的 x1<x2,y1<y2x_1 < x_2, y_1 < y_2,有 P{x1<X⩽x2,y1<Y⩽y2}=F(x2,y2)−F(x2,y1)−F(x1,y2)+F(x1,y1)⩾0P\{x_1 < X \leqslant x_2, y_1 < Y \leqslant y_2\} = F(x_2, y_2) - F(x_2, y_1) - F(x_1, y_2) + F(x_1, y_1) \geqslant 0

3.1.3 边缘分布函数 P64

设二维随机变量 (X,Y)(X, Y) 的分布函数为 F(x,y)F(x, y),随机变量 XX 与 YY 的分布函数 FX(x)F_X(x) 与 FY(y)F_Y(y) 分别称为 (X,Y)(X, Y) 关于 XX 和关于 YY 的边缘分布函数. 由概率性质得

FX(x)=P{X⩽x}=P{X⩽x,Y<+∞}F_X(x) = P\{X \leqslant x\} = P\{X \leqslant x, Y < +\infty\} =lim⁡y→+∞P{X⩽x,Y⩽y}= \lim_{y \to +\infty} P\{X \leqslant x, Y \leqslant y\} =lim⁡y→+∞F(x,y)=F(x,+∞).= \lim_{y \to +\infty} F(x, y) = F(x, +\infty).

同理,有 FY(y)=F(+∞,y)F_Y(y) = F(+\infty, y).

3.2 常见的两类二维随机变量——离散型随机变量与连续型随机变量 P65

3.2.1 公式 P69

二维离散型随机变量二维连续型随机变量
概率分布 / 概率密度(X,Y)∼pij(X,Y)\sim p_{ij}(X,Y)∼f(x,y)(X,Y)\sim f(x,y)
联合分布F(x,y)=∑xi≤x∑yj≤ypijF(x,y)=\displaystyle\sum_{x_i\le x}\sum_{y_j\le y}p_{ij}F(x,y)=∫−∞y dv∫−∞xf(u,v) duF(x,y)=\displaystyle\int_{-\infty}^{y}\,dv\int_{-\infty}^{x}f(u,v)\,du
边缘分布X∼pi=∑j=1∞pij\displaystyle X\sim p_i=\sum_{j=1}^{\infty}p_{ij}
Y∼pj=∑i=1∞pij\displaystyle Y\sim p_j=\sum_{i=1}^{\infty}p_{ij}
X∼FX(x)=∫−∞x∫−∞+∞f(u,v) dv du\displaystyle X\sim F_X(x)=\int_{-\infty}^{x}\int_{-\infty}^{+\infty}f(u,v)\,dv\,du
Y∼FY(y)=∫−∞y∫−∞+∞f(u,v) du dv\displaystyle Y\sim F_Y(y)=\int_{-\infty}^{y}\int_{-\infty}^{+\infty}f(u,v)\,du\,dv
条件分布P(Y=yj∣X=xi)=pijpi\displaystyle P(Y=y_j\mid X=x_i)=\frac{p_{ij}}{p_i}
P(X=xi∣Y=yj)=pijpj\displaystyle P(X=x_i\mid Y=y_j)=\frac{p_{ij}}{p_j}
FY∣X(y∣x)=∫−∞yf(x,v)fX(x) dv\displaystyle F_{Y\mid X}(y\mid x)=\int_{-\infty}^{y}\frac{f(x,v)}{f_X(x)}\,dv
FX∣Y(x∣y)=∫−∞xf(u,y)fY(y) du\displaystyle F_{X\mid Y}(x\mid y)=\int_{-\infty}^{x}\frac{f(u,y)}{f_Y(y)}\,du

3.2.2 常见的二维分布 P70

3.2.2.1 二维均匀分布 P70

如果 (X,Y)(X, Y) 的概率密度为

f(x,y)={1SD,(x,y)∈D,0,其他,f(x, y) = \begin{cases} \dfrac{1}{S_D}, & (x, y) \in D, \\[2ex] 0, & \text{其他}, \end{cases}

其中 SDS_D 为区域 DD 的面积,则称 (X,Y)(X, Y) 在平面有界区域 DD 上服从均匀分布.

3.2.2.2 二维正态分布 P70

如果 (X,Y)(X,Y) 的概率密度为

f(x,y)=12πσ1σ21−ρ2exp⁡{−12(1−ρ2)[(x−μ1σ1)2−2ρ(x−μ1σ1)(y−μ2σ2)+(y−μ2σ2)2]}f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\left\{-\frac{1}{2(1-\rho^2)} \left[ \left(\frac{x-\mu_1}{\sigma_1}\right)^2 -2\rho\left(\frac{x-\mu_1}{\sigma_1}\right)\left(\frac{y-\mu_2}{\sigma_2}\right) +\left(\frac{y-\mu_2}{\sigma_2}\right)^2 \right]\right\}

其中 μ1∈R\mu_1\in\mathbb{R},μ2∈R\mu_2\in\mathbb{R},σ1>0\sigma_1>0,σ2>0\sigma_2>0,−1<ρ<1-1<\rho<1,则称 (X,Y)(X,Y) 服从参数为 μ1,μ2,σ12,σ22,ρ\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho 的二维正态分布,记为(X,Y)∼N(μ1,μ2;σ12,σ22;ρ)(X,Y)\sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho)

  • 若 (X1,X2)∼N(μ1,μ2;σ12,σ22;ρ)(X_1, X_2) \sim N(\mu_1, \mu_2; \sigma_1^2, \sigma_2^2; \rho),则X1∼N(μ1,σ12),X2∼N(μ2,σ22)X_1 \sim N(\mu_1, \sigma_1^2), \quad X_2 \sim N(\mu_2, \sigma_2^2)
  • 若 X1∼N(μ1,σ12)X_1 \sim N(\mu_1, \sigma_1^2),X2∼N(μ2,σ22)X_2 \sim N(\mu_2, \sigma_2^2) 且 X1,X2X_1, X_2 相互独立,则(X1,X2)∼N(μ1,μ2;σ12,σ22;0)(X_1, X_2) \sim N(\mu_1, \mu_2; \sigma_1^2, \sigma_2^2; 0)
  • (X1,X2)∼N⇒k1X1+k2X2∼N(X_1, X_2) \sim N \Rightarrow k_1 X_1 + k_2 X_2 \sim N(k1,k2k_1, k_2 是不全为 00 的常数)

3.3 随机变量的相互独立性 P75

3.3.1 概念 P75

如果 nn 维随机变量 (X1,X2,⋯ ,Xn)(X_1,X_2,\cdots,X_n) 的分布函数等于边缘分布函数的乘积,即

F(x1,x2,⋯ ,xn)=F1(x1)⋅F2(x2)⋯Fn(xn),F(x_1,x_2,\cdots,x_n)=F_1(x_1)\cdot F_2(x_2)\cdots F_n(x_n),

其中 Fi(xi) (i=1,2,⋯ ,n)F_i(x_i)\ (i=1,2,\cdots,n) 为 XiX_i 的边缘分布函数,xix_i 为任意实数,则称 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 相互独立。

3.3.2 充要条件 P76

nn 个随机变量 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 相互独立

⟺对任意的 n 个实数 xi (i=1,2,⋯ ,n),n 个事件 {X1≤x1},{X2≤x2},⋯ ,{Xn≤xn} 相互独立。\Longleftrightarrow \text{对任意的 }n\text{ 个实数 }x_i\ (i=1,2,\cdots,n), n\text{ 个事件 } \{X_1\le x_1\},\{X_2\le x_2\},\cdots,\{X_n\le x_n\} \text{ 相互独立。}
3.3.2.1 离散型随机变量:联合分布律等于边缘分布相乘 P76

nn 个离散型随机变量 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 相互独立

⟺对任意的 xi∈Di={Xi 的一切可能值}(i=1,2,⋯ ,n),有\Longleftrightarrow \text{对任意的 }x_i\in D_i = \{X_i\text{ 的一切可能值}\} \quad(i=1,2,\cdots,n),\text{有} P{X1=x1,⋯ ,Xn=xn}=∏i=1nP{Xi=xi}.P\{X_1=x_1,\cdots,X_n=x_n\} = \prod_{i=1}^{n}P\{X_i=x_i\}.
3.3.2.2 连续型随机变量:概率密度等于边缘概率密度相乘 P76

设 (X1,X2,⋯ ,Xn)(X_1,X_2,\cdots,X_n) 为 nn 维连续型随机变量,则

X1,X2,⋯ ,Xn 相互独立⟺概率密度等于边缘概率密度相乘X_1,X_2,\cdots,X_n\text{ 相互独立} \Longleftrightarrow \text{概率密度等于边缘概率密度相乘}

即

f(x1,x2,⋯ ,xn)=f1(x1)⋅f2(x2)⋯fn(xn),f(x_1,x_2,\cdots,x_n) = f_1(x_1)\cdot f_2(x_2)\cdots f_n(x_n),

其中 fi(xi)f_i(x_i) 为 XiX_i 的边缘概率密度。

3.3.3 性质 P76

  1. 设 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 相互独立,则其中任意 k (2≤k≤n)k\ (2\le k\le n) 个随机变量也相互独立。

  2. 设 (X,Y)(X,Y) 为二维离散型随机变量,XX 与 YY 独立,则条件分布等于边缘分布:

    P{X=xi∣Y=yj}=P{X=xi},(P{Y=yj}>0).P\{X=x_i\mid Y=y_j\} = P\{X=x_i\}, \qquad \bigl(P\{Y=y_j\}>0\bigr). P{Y=yj∣X=xi}=P{Y=yj},(P{X=xi}>0).P\{Y=y_j\mid X=x_i\} = P\{Y=y_j\}, \qquad \bigl(P\{X=x_i\}>0\bigr).
  3. 设 (X,Y)(X,Y) 为二维连续型随机变量,XX 与 YY 独立,则条件概率密度等于边缘概率密度:

    fX∣Y(x∣y)=f(x,y)fY(y)=fX(x),(fY(y)>0).f_{X\mid Y}(x\mid y) = \frac{f(x,y)}{f_Y(y)} = f_X(x), \qquad \bigl(f_Y(y)>0\bigr). fY∣X(y∣x)=f(x,y)fX(x)=fY(y),(fX(x)>0).f_{Y\mid X}(y\mid x) = \frac{f(x,y)}{f_X(x)} = f_Y(y), \qquad \bigl(f_X(x)>0\bigr).
  4. 若 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 相互独立,g1(x),g2(x),⋯ ,gn(x)g_1(x),g_2(x),\cdots,g_n(x) 为一元连续函数,则g1(X1),g2(X2),⋯ ,gn(Xn)g_1(X_1),g_2(X_2),\cdots,g_n(X_n)相互独立。

3.3.4 不独立的判断与证明 P77

TIP

要证不独立,举出一个反例 (x0,y0)(x_0, y_0) 即可。找一对点,让这两个区域要么包含(一个发生导致另一个必定发生),要么互斥(不可能同时发生)。只要满足这种强关联,它们就绝不可能独立。

X 与 Y 不独立⟺存在 x0,y0,使 A={X≤x0} 与 B={Y≤y0} 不独立, 即 F(x0,y0)≠FX(x0)⋅FY(y0)X\text{ 与 }Y\text{ 不独立} \Longleftrightarrow \text{存在 }x_0,y_0, \text{使 }A=\{X\le x_0\}\text{ 与 }B=\{Y\le y_0\}\text{ 不独立, 即 } F(x_0,y_0)\ne F_X(x_0)\cdot F_Y(y_0)

也即取合适的 x0,y0x_0,y_0,使 P{X≤x0}⋅P{Y≤y0}≠P{X≤x0, Y≤y0}P\{X\le x_0\}\cdot P\{Y\le y_0\}\ne P\{X\le x_0,\ Y\le y_0\}.

例如:取 x0,y0x_0,y_0,使0<P{X≤x0},P{Y≤y0}<1,0<P\{X\le x_0\},P\{Y\le y_0\}<1, 但

  • {X≤x0}⊆{Y≤y0}\{X\le x_0\}\subseteq\{Y\le y_0\}, 或
  • {Y≤y0}⊆{X≤x0}\{Y\le y_0\}\subseteq\{X\le x_0\}, 或
  • {X≤x0, Y≤y0}=∅\{X\le x_0,\ Y\le y_0\}=\varnothing 等

3.4 多维随机变量函数的分布 P79

3.4.1 求法 P79

已知 (X,Y)(X, Y) 的分布,求函数 Z=g(X,Y)Z = g(X, Y) 的分布. 首先要确定 X,YX, Y 的类型,然后采用相应的公式计算.

  1. 如果 (X,Y)(X, Y) 是二维离散型随机变量,则 Z=g(X,Y)Z = g(X, Y) 也是离散型的,先确定 ZZ 的值,而后求其相应的概率,即可求得 ZZ 的分布.
  2. 如果 X,YX, Y 其中一个是离散型的,另一个是非离散型的,将事件对离散型的一切可能值进行全集分解,而后应用全概率公式求得 ZZ 的分布.
  3. 如果 (X,Y)(X, Y) 是二维连续型随机变量,即 (X,Y)∼f(x,y)(X, Y) \sim f(x, y),则 Z=g(X,Y)Z = g(X, Y) 的分布函数 F(z)=P{g(X,Y)⩽z}=∬g(x,y)⩽zf(x,y)dxdy,F(z) = P\{g(X, Y) \leqslant z\} = \iint\limits_{g(x, y) \leqslant z} f(x, y) \mathrm{d}x\mathrm{d}y,

TIP

换元法求 fU,V(u,v)f_{U, V}(u, v),这是比卷积公式更为有用且极为简便的方法:

设 (X,Y)(X, Y) 是二维连续型随机变量,且 (X,Y)∼f(x,y)(X, Y) \sim f(x, y),若 {u=u(x,y),v=v(x,y),\begin{cases} u = u(x, y), \\ v = v(x, y), \end{cases} 且 u,vu, v 具有一阶连续偏导数,{x=x(u,v),y=y(u,v)\begin{cases} x = x(u, v), \\ y = y(u, v) \end{cases} 是其唯一反函数,则

(U,V)∼fU,V(u,v)=f[x(u,v),y(u,v)]⋅∣J∣(U, V) \sim f_{U, V}(u, v) = f[x(u, v), y(u, v)] \cdot |J| U∼fU(u)=∫−∞+∞f[x(u,v),y(u,v)]∣J∣dv,U \sim f_U(u) = \int_{-\infty}^{+\infty} f[x(u, v), y(u, v)] |J| \mathrm{d}v, V∼fV(v)=∫−∞+∞f[x(u,v),y(u,v)]∣J∣du.V \sim f_V(v) = \int_{-\infty}^{+\infty} f[x(u, v), y(u, v)] |J| \mathrm{d}u. 其中 J=∂(x,y)∂(u,v)=∣∂x∂u∂x∂v∂y∂u∂y∂v∣=[∂(u,v)∂(x,y)]−1=∣∂u∂x∂u∂y∂v∂x∂v∂y∣−1≠0\text{其中 }J = \frac{\partial(x, y)}{\partial(u, v)} = \begin{vmatrix} \frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\ \frac{\partial y}{\partial u} & \frac{\partial y}{\partial v} \end{vmatrix} = \left[ \frac{\partial(u, v)}{\partial(x, y)} \right]^{-1} = \begin{vmatrix} \frac{\partial u}{\partial x} & \frac{\partial u}{\partial y} \\ \frac{\partial v}{\partial x} & \frac{\partial v}{\partial y} \end{vmatrix}^{-1} \neq 0

3.4.2 相互独立随机变量函数的分布及卷积公式 P81

NOTE

=独立\stackrel{\text{独立}}{=} 表示 当 XX 与 YY 相互独立时等号成立.

3.4.2.1 和的分布 P81

设 (X,Y)∼f(x,y)(X, Y) \sim f(x, y),则 Z=X+YZ = X + Y 的概率密度为

fZ(z)=∫−∞+∞f(x,z−x)dx=∫−∞+∞f(z−y,y)dyf_Z(z) = \int_{-\infty}^{+\infty} f(x, z - x) \mathrm{d}x = \int_{-\infty}^{+\infty} f(z - y, y) \mathrm{d}y =独立∫−∞+∞fX(x)fY(z−x)dx=∫−∞+∞fX(z−y)fY(y)dy.\stackrel{\text{独立}}{=} \int_{-\infty}^{+\infty} f_X(x) f_Y(z - x) \mathrm{d}x = \int_{-\infty}^{+\infty} f_X(z - y) f_Y(y) \mathrm{d}y.
3.4.2.2 差的分布 P81

设 (X,Y)∼f(x,y)(X, Y) \sim f(x, y),则 Z=X−YZ = X - Y 的概率密度为

fZ(z)=∫−∞+∞f(x,x−z)dx=∫−∞+∞f(y+z,y)dyf_Z(z) = \int_{-\infty}^{+\infty} f(x, x - z) \mathrm{d}x = \int_{-\infty}^{+\infty} f(y + z, y) \mathrm{d}y =独立∫−∞+∞fX(x)fY(x−z)dx=∫−∞+∞fX(y+z)fY(y)dy.\stackrel{\text{独立}}{=} \int_{-\infty}^{+\infty} f_X(x) f_Y(x - z) \mathrm{d}x = \int_{-\infty}^{+\infty} f_X(y + z) f_Y(y) \mathrm{d}y.
3.4.2.3 积的分布 P81

设 (X,Y)∼f(x,y)(X, Y) \sim f(x, y),则 Z=XYZ = XY 的概率密度为

fZ(z)=∫−∞+∞1∣x∣f(x,zx)dx=∫−∞+∞1∣y∣f(zy,y)dyf_Z(z) = \int_{-\infty}^{+\infty} \frac{1}{|x|} f\left(x, \frac{z}{x}\right) \mathrm{d}x = \int_{-\infty}^{+\infty} \frac{1}{|y|} f\left(\frac{z}{y}, y\right) \mathrm{d}y =独立∫−∞+∞1∣x∣fX(x)fY(zx)dx=∫−∞+∞1∣y∣fX(zy)fY(y)dy.\stackrel{\text{独立}}{=} \int_{-\infty}^{+\infty} \frac{1}{|x|} f_X(x) f_Y\left(\frac{z}{x}\right) \mathrm{d}x = \int_{-\infty}^{+\infty} \frac{1}{|y|} f_X\left(\frac{z}{y}\right) f_Y(y) \mathrm{d}y.
3.4.2.4 商的分布 P82

设 (X,Y)∼f(x,y)(X, Y) \sim f(x, y),则 Z=XYZ = \frac{X}{Y} 的概率密度为

fZ(z)=∫−∞+∞∣y∣f(yz,y)dy=独立∫−∞+∞∣y∣fX(yz)fY(y)dy.f_Z(z) = \int_{-\infty}^{+\infty} |y| f(yz, y) \mathrm{d}y \stackrel{\text{独立}}{=} \int_{-\infty}^{+\infty} |y| f_X(yz) f_Y(y) \mathrm{d}y.
3.4.2.5 max⁡{X,Y}\max\{X, Y\} 分布 P83

设 (X,Y)∼F(x,y)(X, Y) \sim F(x, y),则 Z=max⁡{X,Y}Z = \max\{X, Y\} 的分布函数为

Fmax⁡(z)=P{max⁡{X,Y}⩽z}=P{X⩽z,Y⩽z}=F(z,z)F_{\max}(z) = P\{\max\{X, Y\} \leqslant z\} = P\{X \leqslant z, Y \leqslant z\} = F(z, z) =独立Fmax⁡(z)=FX(z)⋅FY(z).\stackrel{\text{独立}}{=} F_{\max}(z) = F_X(z) \cdot F_Y(z).

推广到 nn 个相互独立的随机变量 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 的情况

Fmax⁡(z)=FX1(z)FX2(z)⋯FXn(z)F_{\max}(z) = F_{X_1}(z) F_{X_2}(z) \cdots F_{X_n}(z)

特别地,当 Xi(i=1,2,⋯ ,n)X_i (i = 1, 2, \cdots, n) 相互独立且有相同的分布函数 F(x)F(x) 与概率密度 f(x)f(x) 时

Fmax⁡(x)=[F(x)]nF_{\max}(x) = [F(x)]^n fmax⁡(x)=n[F(x)]n−1f(x).f_{\max}(x) = n [F(x)]^{n-1} f(x).
3.4.2.6 min⁡{X,Y}\min\{X, Y\} 分布 P83

设 (X,Y)∼F(x,y)(X, Y) \sim F(x, y),则 Z=min⁡{X,Y}Z = \min\{X, Y\} 的分布函数为

Fmin⁡(z)=P{min⁡{X,Y}⩽z}=P{{X⩽z}∪{Y⩽z}}F_{\min}(z) = P\{\min\{X, Y\} \leqslant z\} = P\{\{X \leqslant z\} \cup \{Y \leqslant z\}\} =P{X⩽z}+P{Y⩽z}−P{X⩽z,Y⩽z}= P\{X \leqslant z\} + P\{Y \leqslant z\} - P\{X \leqslant z, Y \leqslant z\} =FX(z)+FY(z)−F(z,z)= F_X(z) + F_Y(z) - F(z, z) =独立Fmin⁡(z)=FX(z)+FY(z)−FX(z)FY(z)\stackrel{\text{独立}}{=} F_{\min}(z) = F_X(z) + F_Y(z) - F_X(z) F_Y(z) =1−[1−FX(z)][1−FY(z)].= 1 - [1 - F_X(z)][1 - F_Y(z)].

推广到 nn 个相互独立的随机变量 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 的情况

Fmin⁡(z)=1−[1−FX1(z)][1−FX2(z)]⋯[1−FXn(z)].F_{\min}(z) = 1 - [1 - F_{X_1}(z)][1 - F_{X_2}(z)] \cdots [1 - F_{X_n}(z)].

特别地,当 Xi(i=1,2,⋯ ,n)X_i (i = 1, 2, \cdots, n) 相互独立且有相同的分布函数 F(x)F(x) 与概率密度 f(x)f(x) 时

Fmin⁡(x)=1−[1−F(x)]nF_{\min}(x) = 1 - [1 - F(x)]^n fmin⁡(x)=n[1−F(x)]n−1f(x).f_{\min}(x) = n [1 - F(x)]^{n-1} f(x).
3.4.2.7 常见分布的可加性 P83

设随机变量 XX 与 YY 相互独立,则

  • 若 X∼B(n,p)X \sim B(n, p), Y∼B(m,p)Y \sim B(m, p),则 X+Y∼B(n+m,p)X + Y \sim B(n + m, p)
  • 若 X∼P(λ1)X \sim P(\lambda_1), Y∼P(λ2)Y \sim P(\lambda_2),则 X+Y∼P(λ1+λ2)X + Y \sim P(\lambda_1 + \lambda_2)
  • 若 X∼N(μ1,σ12)X \sim N(\mu_1, \sigma_1^2), Y∼N(μ2,σ22)Y \sim N(\mu_2, \sigma_2^2),则 X+Y∼N(μ1+μ2,σ12+σ22)X + Y \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)
  • 若 X∼χ2(n)X \sim \chi^2(n), Y∼χ2(m)Y \sim \chi^2(m),则 X+Y∼χ2(n+m)X + Y \sim \chi^2(n + m)

4. 随机变量的数字特征 P103

4.1 随机变量的数学期望 P103

4.1.1 概念 P103

设 XX 是随机变量,YY 是 XX 的函数,Y=g(X)Y = g(X)(gg 为连续函数).

  • 离散型随机变量
    • 如果 XX 是离散型随机变量,其分布序列为 pi=P{X=xi}(i=1,2,⋯ )p_i = P\{X = x_i\} (i = 1, 2, \cdots). 若级数 ∑i=1∞xipi\sum_{i=1}^{\infty} x_i p_i 绝对收敛,则 EX=∑i=1∞xipiEX = \sum_{i=1}^{\infty} x_i p_i,否则称 XX 的数学期望不存在.
    • 若级数 ∑i=1∞g(xi)pi\sum_{i=1}^{\infty} g(x_i) p_i 绝对收敛,则 E[g(X)]=∑i=1∞g(xi)piE[g(X)] = \sum_{i=1}^{\infty} g(x_i) p_i,否则称 g(X)g(X) 的数学期望不存在.
  • 连续型随机变量
    • 如果 XX 是连续型随机变量,其概率密度为 f(x)f(x). 若积分 ∫−∞+∞xf(x)dx\int_{-\infty}^{+\infty} x f(x) \mathrm{d}x 绝对收敛,则 EX=∫−∞+∞xf(x)dxEX = \int_{-\infty}^{+\infty} x f(x) \mathrm{d}x,否则称 XX 的数学期望不存在.
    • 若积分 ∫−∞+∞g(x)f(x)dx\int_{-\infty}^{+\infty} g(x) f(x) \mathrm{d}x 绝对收敛,则 E[g(X)]=∫−∞+∞g(x)f(x)dxE[g(X)] = \int_{-\infty}^{+\infty} g(x) f(x) \mathrm{d}x,否则称 g(X)g(X) 的数学期望不存在.

4.1.2 性质 P104

  • Ea=a,E(EX)=EXEa = a, \quad E(EX) = EX
  • E(aX+bY)=aEX+bEY,E(∑i=1naiXi)=∑i=1naiEXiE(aX + bY) = aEX + bEY, \quad E\left( \sum_{i=1}^n a_i X_i \right) = \sum_{i=1}^n a_i EX_i
  • 若 X,YX, Y 相互独立,则 E(XY)=EXEYE(XY) = EX EY

4.2 随机变量的方差、标准差

4.2.1 概念 P105

设 XX 是随机变量,如果 E[(X−EX)2]E[(X - EX)^2] 存在,则

  • 方差 DX=E[(X−EX)2]=E(X2)−(EX)2DX = E[(X - EX)^2] = E(X^2) - (EX)^2
  • 标准差或均方差 σ(X)=DX\sigma(X) = \sqrt{DX}
  • 随机变量 X∗=X−EXDXX^* = \dfrac{X - EX}{\sqrt{DX}} 为 XX 的标准化随机变量,此时 EX∗=0,DX∗=1EX^* = 0, DX^* = 1

4.2.2 性质 P105

  • DX⩾0,E(X2)=DX+(EX)2⩾(EX)2DX \geqslant 0, E(X^2) = DX + (EX)^2 \geqslant (EX)^2
  • Dc=0Dc = 0(cc 为常数)
  • DX=0⇔XDX = 0 \Leftrightarrow X 几乎处处为某个常数 aa,即 P{X=a}=1P\{X = a\} = 1
  • D(aX+b)=a2DXD(aX + b) = a^2 DX
  • D(X±Y)=DX+DY±2Cov(X,Y)D(X \pm Y) = DX + DY \pm 2\mathrm{Cov}(X, Y),D(∑i=1naiXi)=∑i=1nai2DXi+2∑1⩽i<j⩽naiajCov(Xi,Xj)D\left( \sum_{i=1}^n a_i X_i \right) = \sum_{i=1}^n a_i^2 DX_i + 2 \sum_{1 \leqslant i < j \leqslant n} a_i a_j \mathrm{Cov}(X_i, X_j)
  • 如果 XX 与 YY 相互独立,则
    • D(aX+bY)=a2DX+b2DYD(aX + bY) = a^2 DX + b^2 DY
    • D(XY)=DXDY+DX(EY)2+DY(EX)2⩾DXDYD(XY) = DX DY + DX (EY)^2 + DY (EX)^2 \geqslant DX DY
  • 如果 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 相互独立,gi(x)(i=1,2,⋯ ,n)g_i(x)(i = 1, 2, \cdots, n) 为 xx 的连续函数,则
    • D(∑i=1naiXi)=∑i=1nai2DXiD\left( \sum_{i=1}^n a_i X_i \right) = \sum_{i=1}^n a_i^2 DX_i
    • D[∑i=1ngi(Xi)]=∑i=1nD[gi(Xi)]D\left[ \sum_{i=1}^n g_i(X_i) \right] = \sum_{i=1}^n D[g_i(X_i)]
  • 对任意常数 cc,有 DX=E[(X−EX)2]⩽E[(X−c)2]DX = E[(X - EX)^2] \leqslant E[(X - c)^2]
分布分布列 pkp_k 或概率密度 f(x)f(x)数学期望方差
0−10-1 分布P{X=k}=pk(1−p)1−k,k=0,1P\{X = k\} = p^k (1 - p)^{1-k}, \quad k = 0, 1ppp(1−p)p(1 - p)
二项分布 B(n,p)B(n, p)P{X=k}=Cnkpk(1−p)n−k,k=0,1,⋯ ,nP\{X = k\} = C_n^k p^k (1 - p)^{n-k}, \quad k = 0, 1, \cdots, nnpnpnp(1−p)np(1 - p)
泊松分布 P(λ)P(\lambda)P{X=k}=λkk!e−λ,k=0,1,⋯P\{X = k\} = \dfrac{\lambda^k}{k!} \mathrm{e}^{-\lambda}, \quad k = 0, 1, \cdotsλ\lambdaλ\lambda
几何分布 G(p)G(p)P{X=k}=(1−p)k−1p,k=1,2,⋯P\{X = k\} = (1 - p)^{k-1} p, \quad k = 1, 2, \cdots1p\dfrac{1}{p}1−pp2\dfrac{1 - p}{p^2}
正态分布 N(μ,σ2)N(\mu, \sigma^2)f(x)=12πσexp⁡{−(x−μ)22σ2},−∞<x<+∞f(x) = \dfrac{1}{\sqrt{2\pi}\sigma} \exp\left\{ -\dfrac{(x - \mu)^2}{2\sigma^2} \right\}, \quad -\infty < x < +\inftyμ\muσ2\sigma^2
均匀分布 U(a,b)U(a, b)f(x)=1b−a,a<x<bf(x) = \dfrac{1}{b - a}, \quad a < x < ba+b2\dfrac{a + b}{2}(b−a)212\dfrac{(b - a)^2}{12}
指数分布 E(λ)E(\lambda)f(x)=λe−λx,x>0f(x) = \lambda \mathrm{e}^{-\lambda x}, \quad x > 01λ\dfrac{1}{\lambda}1λ2\dfrac{1}{\lambda^2}

4.3 二维随机变量函数的数学期望 P109

设 X,YX, Y 为随机变量,g(X,Y)g(X, Y) 为 X,YX, Y 的函数(gg 是连续函数).

(1) 如果 (X,Y)(X, Y) 为离散型随机变量,其联合分布律为 pij=P{X=xi,Y=yj}(i,j=1,2,⋯ )p_{ij} = P\{X = x_i, Y = y_j\} (i, j = 1, 2, \cdots)

若级数 ∑i∑jg(xi,yj)pij\sum_{i} \sum_{j} g(x_i, y_j) p_{ij} 绝对收敛,则定义 E[g(X,Y)]= ⁣= ⁣= ⁣= ⁣= ⁣= ⁣=Z=g(X,Y)EZ=∑i∑jg(xi,yj)pijE[g(X, Y)] \stackrel{Z = g(X, Y)}{=\!=\!=\!=\!=\!=\!=} EZ = \sum_{i} \sum_{j} g(x_i, y_j) p_{ij}

(2) 如果 (X,Y)(X, Y) 为连续型随机变量,其概率密度为 f(x,y)f(x, y),若积分 ∫−∞+∞∫−∞+∞g(x,y)f(x,y)dxdy\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} g(x, y) f(x, y) \mathrm{d}x\mathrm{d}y 绝对收敛,则定义

E[g(X,Y)]= ⁣= ⁣= ⁣= ⁣= ⁣= ⁣=Z=g(X,Y)EZ=∫−∞+∞∫−∞+∞g(x,y)f(x,y)dxdyE[g(X, Y)] \stackrel{Z = g(X, Y)}{=\!=\!=\!=\!=\!=\!=} EZ = \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} g(x, y) f(x, y) \mathrm{d}x\mathrm{d}y

4.4 两个随机变量的协方差与相关系数 P110

4.4.1 概念

(1) 概念.

如果随机变量 XX 与 YY 的方差存在且 DX>0,DY>0DX > 0, DY > 0,则称 E[(X−EX)(Y−EY)]E[(X - EX)(Y - EY)] 为随机变量 XX 与 YY 的协方差,并记为 Cov(X,Y)\mathrm{Cov}(X, Y),即

Cov(X,Y)=E[(X−EX)(Y−EY)]=E(XY)−EX⋅EY,\mathrm{Cov}(X, Y) = E[(X - EX)(Y - EY)] = E(XY) - EX \cdot EY,

其中

E(XY)={∑i∑jxiyjP{X=xi,Y=yj} (离散型),∫−∞+∞∫−∞+∞xyf(x,y)dxdy (连续型).E(XY) = \begin{cases} \sum\limits_{i} \sum\limits_{j} x_i y_j P\{X = x_i, Y = y_j\} \text{ (离散型)}, \\[2ex] \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} x y f(x, y) \mathrm{d}x\mathrm{d}y \text{ (连续型)}. \end{cases}

称 ρXY=Cov(X,Y)DXDY\rho_{XY} = \dfrac{\mathrm{Cov}(X, Y)}{\sqrt{DX}\sqrt{DY}} 为随机变量 XX 与 YY 的相关系数. 如果 ρXY=0\rho_{XY} = 0,则称 XX 与 YY 不相关;如果 ρXY≠0\rho_{XY} \neq 0,则称 XX 与 YY 相关.

若有随机变量 XX,数字特征为 EX,DXEX, DX,有 X∗=X−EXDXX^* = \dfrac{X - EX}{\sqrt{DX}} 为 XX 的标准化;类似的,有随机变量 YY,Y∗Y^* 为 YY 的标准化,则

Cov(X∗,Y∗)=Cov(X−EXDX,Y−EYDY)\mathrm{Cov}(X^*, Y^*) = \mathrm{Cov}\left( \frac{X - EX}{\sqrt{DX}}, \frac{Y - EY}{\sqrt{DY}} \right) =Cov(X−EX,Y−EY)DXDY=Cov(X,Y)DXDY=ρXY.= \frac{\mathrm{Cov}(X - EX, Y - EY)}{\sqrt{DX}\sqrt{DY}} = \frac{\mathrm{Cov}(X, Y)}{\sqrt{DX}\sqrt{DY}} = \rho_{XY} .

4.4.2 性质

(2) 性质.

① Cov(X,Y)=Cov(Y,X).\mathrm{Cov}(X, Y) = \mathrm{Cov}(Y, X) .

② Cov(aX,bY)=abCov(X,Y).\mathrm{Cov}(aX, bY) = ab\mathrm{Cov}(X, Y) .

③ Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y).\mathrm{Cov}(X_1 + X_2, Y) = \mathrm{Cov}(X_1, Y) + \mathrm{Cov}(X_2, Y) .

④ ∣ρXY∣⩽1.|\rho_{XY}| \leqslant 1 .

⑤ ρXY=1⇔P{Y=aX+b}=1(a>0).\rho_{XY} = 1 \Leftrightarrow P\{Y = aX + b\} = 1 (a > 0) .

ρXY=−1⇔P{Y=aX+b}=1(a<0).\rho_{XY} = -1 \Leftrightarrow P\{Y = aX + b\} = 1 (a < 0) .

4.5 独立性与不相关性的判定 P113

(1) 随机变量 XX 与 YY 相互独立,意指对任意实数 x,yx, y,事件 {X⩽x}\{X \leqslant x\} 与 {Y⩽y}\{Y \leqslant y\} 相互独立,即 (X,Y)(X, Y) 的分布等于边缘分布相乘:F(x,y)=FX(x)⋅FY(y)F(x, y) = F_X(x) \cdot F_Y(y).

若 (X,Y)(X, Y) 是离散型的,则 XX 与 YY 独立的充要条件是

P{X=xi,Y=yj}=P{X=xi}⋅P{Y=yj};P\{X = x_i, Y = y_j\} = P\{X = x_i\} \cdot P\{Y = y_j\};

若 (X,Y)(X, Y) 是连续型的,则 XX 与 YY 独立的充要条件是

f(x,y)=fX(x)⋅fY(y).f(x, y) = f_X(x) \cdot f_Y(y).

一般通过分布判定独立性.

(2) 随机变量 XX 与 YY 不相关,意指 XX 与 YY 之间不存在线性相关性,即 ρXY=0\rho_{XY} = 0,其充要条件是

ρXY=0⇔Cov(X,Y)=0⇔E(XY)=EX⋅EY⇔D(X±Y)=DX+DY.\rho_{XY} = 0 \Leftrightarrow \mathrm{Cov}(X, Y) = 0 \Leftrightarrow E(XY) = EX \cdot EY \Leftrightarrow D(X \pm Y) = DX + DY.

一般通过数字特征判定不相关性.

(3) 几个重要结论:

① 如果 XX 与 YY 独立,则 X,YX, Y 不相关,反之不然;

② 如果 (X,Y)(X, Y) 服从二维正态分布,则 X,YX, Y 独立 ⇔X,Y\Leftrightarrow X, Y 不相关;

③ 由 ① 知,如果 XX 与 YY 相关,则 X,YX, Y 不独立.

综上所述,我们在讨论随机变量 XX 与 YY 的不相关性、独立性时,总是先计算 Cov(X,Y)\mathrm{Cov}(X, Y),而后按下列程序进行判断或再计算:

Cov(X,Y)=E(XY)−EXEY{≠0⇔X 与 Y 相关⇒X 与 Y 不独立,=0⇔X 与 Y 不相关,通过分布推断{X,Y 独立,X,Y 不独立.\mathrm{Cov}(X, Y) = E(XY) - EX EY \begin{cases} \neq 0 \Leftrightarrow X \text{ 与 } Y \text{ 相关} \Rightarrow X \text{ 与 } Y \text{ 不独立}, \\[2ex] = 0 \Leftrightarrow X \text{ 与 } Y \text{ 不相关,通过分布推断} \begin{cases} X, Y \text{ 独立}, \\ X, Y \text{ 不独立}. \end{cases} \end{cases}

4.6 切比雪夫不等式 P114

如果随机变量 XX 的期望 EXEX 和方差 DXDX 存在,则对任意 ε>0\varepsilon > 0,有

P{∣X−EX∣⩾ε}⩽DXε2或P{∣X−EX∣<ε}⩾1−DXε2.P\{|X - EX| \geqslant \varepsilon\} \leqslant \frac{DX}{\varepsilon^2} \quad \text{或} \quad P\{|X - EX| < \varepsilon\} \geqslant 1 - \frac{DX}{\varepsilon^2} .

5. 大数定律和中心极限定理 P125

5.1 依概率收敛 P125

设随机变量 XX 与随机变量序列 {Xn}(n=1,2,⋯ )\{X_n\} (n = 1, 2, \cdots),如果对任意的 ε>0\varepsilon > 0,有

lim⁡n→∞P{∣Xn−X∣⩾ε}=0或lim⁡n→∞P{∣Xn−X∣<ε}=1,\lim_{n \to \infty} P\{|X_n - X| \geqslant \varepsilon\} = 0 \quad \text{或} \quad \lim_{n \to \infty} P\{|X_n - X| < \varepsilon\} = 1,

则称随机变量序列 {Xn}\{X_n\} 依概率收敛于随机变量 XX,记为

lim⁡n→∞Xn=X(P)或Xn→PX(n→∞).\lim_{n \to \infty} X_n = X (P) \quad \text{或} \quad X_n \xrightarrow{P} X (n \to \infty).

5.2 大数定律 P126

定理 1(切比雪夫大数定律) 假设 {Xn}(n=1,2,⋯ )\{X_n\} (n = 1, 2, \cdots) 是相互独立的随机变量序列,如果方差 DXiDX_i (i⩾1i \geqslant 1) 存在且一致有上界,即存在常数 CC,使 DXi⩽CDX_i \leqslant C 对一切 i⩾1i \geqslant 1 均成立,则 {Xn}\{X_n\} 服从大数定律:

1n∑i=1nXi→P1n∑i=1nEXi.\frac{1}{n} \sum_{i=1}^n X_i \xrightarrow{P} \frac{1}{n} \sum_{i=1}^n EX_i .

定理 2(伯努利大数定律) 假设 μn\mu_n 是 nn 重伯努利试验中事件 AA 发生的次数,在每次试验中事件 AA 发生的概率为 p(0<p<1)p (0 < p < 1),则 μnn→Pp\dfrac{\mu_n}{n} \xrightarrow{P} p,即对任意 ε>0\varepsilon > 0,有

lim⁡n→∞P{∣μnn−p∣<ε}=1.\lim_{n \to \infty} P\left\{ \left| \frac{\mu_n}{n} - p \right| < \varepsilon \right\} = 1 .

定理 3(辛钦大数定律) 假设 {Xn}(n=1,2,⋯ )\{X_n\}(n = 1, 2, \cdots) 是独立同分布的随机变量序列,如果数学期望 EXi=μ(i=1,2,⋯ )EX_i = \mu (i = 1, 2, \cdots) 存在,则 1n∑i=1nXi→Pμ\dfrac{1}{n} \sum_{i=1}^n X_i \xrightarrow{P} \mu,即对任意 ε>0\varepsilon > 0,有

lim⁡n→∞P{∣1n∑i=1nXi−μ∣<ε}=1.\lim_{n \to \infty} P\left\{ \left| \frac{1}{n} \sum_{i=1}^n X_i - \mu \right| < \varepsilon \right\} = 1 .

5.3 中心极限定理 P128

定理 4(列维 - 林德伯格定理) 假设 {Xn}(n=1,2,⋯ )\{X_n\}(n = 1, 2, \cdots) 是独立同分布的随机变量序列,如果

EXi=μ,DXi=σ2>0(i=1,2,⋯ )EX_i = \mu, \quad DX_i = \sigma^2 > 0 (i = 1, 2, \cdots)

存在,则对任意的实数 xx,有

lim⁡n→∞P{∑i=1nXi−nμnσ⩽x}=12π∫−∞xe−t22dt=Φ(x).\lim_{n \to \infty} P\left\{ \frac{\sum\limits_{i=1}^n X_i - n\mu}{\sqrt{n}\sigma} \leqslant x \right\} = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^x \mathrm{e}^{-\frac{t^2}{2}} \mathrm{d}t = \varPhi(x) .

定理 5(棣莫弗 - 拉普拉斯定理) 假设随机变量 Yn∼B(n,p)(0<p<1,n⩾1)Y_n \sim B(n, p) (0 < p < 1, n \geqslant 1),则对任意实数 xx,有

lim⁡n→∞P{Yn−npnp(1−p)⩽x}=12π∫−∞xe−t22dt=Φ(x).\lim_{n \to \infty} P\left\{ \frac{Y_n - np}{\sqrt{np(1-p)}} \leqslant x \right\} = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^x \mathrm{e}^{-\frac{t^2}{2}} \mathrm{d}t = \varPhi(x) .

二项分布概率计算的三种方法.

设 X∼B(n,p)X \sim B(n, p).

① 当 nn 不太大时 (n⩽10n \leqslant 10),直接计算

P{X=k}=Cnkpk(1−p)n−k,k=0,1,⋯ ,n;P\{X = k\} = C_n^k p^k (1 - p)^{n-k}, \quad k = 0, 1, \cdots, n;

② 当 nn 较大且 pp 较小时 (n>10,p<0.1n > 10, p < 0.1),λ=np\lambda = np 适中,根据泊松定理有近似公式

P{X=k}=Cnkpk(1−p)n−k≈λkk!e−λ,k=0,1,⋯ ,n;P\{X = k\} = C_n^k p^k (1 - p)^{n-k} \approx \frac{\lambda^k}{k!} \mathrm{e}^{-\lambda}, \quad k = 0, 1, \cdots, n;

③ 当 nn 较大而 pp 不太大时 (p<0.1,np⩾10p < 0.1, np \geqslant 10),根据中心极限定理,有近似公式

P{a<X<b}≈Φ(b−npnp(1−p))−Φ(a−npnp(1−p)).P\{a < X < b\} \approx \varPhi\left( \frac{b - np}{\sqrt{np(1-p)}} \right) - \varPhi\left( \frac{a - np}{\sqrt{np(1-p)}} \right) .

6. 数理统计 P133

6.1 总体与样本 P134

研究对象的全体称为总体,组成总体的每一个元素称为个体. 在对总体进行统计研究时,我们所关心的是表征总体状况的某个(或某几个)数量指标 XX(可以是向量)和该指标在总体中的分布情况. 我们把总体与随机变量 XX 等同起来,说“总体 XX”,所谓总体的分布就是随机变量 XX 的分布.

nn 个相互独立且与总体 XX 具有相同概率分布的随机变量 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 所组成的整体 (X1,X2,⋯ ,Xn)(X_1, X_2, \cdots, X_n) 称为来自总体 XX、容量为 nn 的一个简单随机样本,简称样本. 一次抽样结果的 nn 个具体数值 (x1,x2,⋯ ,xn)(x_1, x_2, \cdots, x_n) 称为样本 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 的一个观测值(或样本值).

对于容量为 nn 的样本 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n,有如下定理:

假设总体 XX 的分布函数为 F(x)F(x)(概率密度为 f(x)f(x),或概率分布为 pi=P{X=xi}p_i = P\{X = x_i\}),则 (X1,X2,⋯ ,Xn)(X_1, X_2, \cdots, X_n) 的分布函数为

F(x1,x2,⋯ ,xn)=∏i=1nF(xi).F(x_1, x_2, \cdots, x_n) = \prod_{i=1}^n F(x_i) .

相应地:

(1) 对于离散型随机变量的样本 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n,联合分布为

P{X1=x1,X2=x2,⋯ ,Xn=xn}=∏i=1nP{Xi=xi}.P\{X_1 = x_1, X_2 = x_2, \cdots, X_n = x_n\} = \prod_{i=1}^n P\{X_i = x_i\} .

(2) 对于连续型随机变量的样本 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n,联合概率密度为

f(x1,x2,⋯ ,xn)=∏i=1nf(xi).f(x_1, x_2, \cdots, x_n) = \prod_{i=1}^n f(x_i) .

6.2 统计量及其分布 P135

设 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 为来自总体 XX 的一个样本,g(x1,x2,⋯ ,xn)g(x_1, x_2, \cdots, x_n) 为 nn 元函数,如果 gg 中不含任何未知参数,则称 g(X1,X2,⋯ ,Xn)g(X_1, X_2, \cdots, X_n) 为样本 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 的一个统计量. 若 (x1,x2,⋯ ,xn)(x_1, x_2, \cdots, x_n) 为样本值,则称 g(x1,x2,⋯ ,xn)g(x_1, x_2, \cdots, x_n) 为 g(X1,X2,⋯ ,Xn)g(X_1, X_2, \cdots, X_n) 的观测值.

(1) 样本数字特征

① 样本均值 X‾=1n∑i=1nXi\overline{X} = \dfrac{1}{n} \sum_{i=1}^n X_i;

② 样本方差 S2=1n−1∑i=1n(Xi−X‾)2S^2 = \dfrac{1}{n-1} \sum_{i=1}^n (X_i - \overline{X})^2;

样本标准差 S=1n−1∑i=1n(Xi−X‾)2S = \sqrt{\dfrac{1}{n-1} \sum_{i=1}^n (X_i - \overline{X})^2};

③ 样本 kk 阶(原点)矩 Ak=1n∑i=1nXik(k=1,2,⋯ )A_k = \dfrac{1}{n} \sum_{i=1}^n X_i^k (k = 1, 2, \cdots);

④ 样本 kk 阶中心矩 Bk=1n∑i=1n(Xi−X‾)k(k=2,3,⋯ )B_k = \dfrac{1}{n} \sum_{i=1}^n (X_i - \overline{X})^k (k = 2, 3, \cdots).

(2) 顺序统计量

将样本 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 的 nn 个观测值按其取值从小到大的顺序排列,得

X(1)⩽X(2)⩽⋯⩽X(n).X_{(1)} \leqslant X_{(2)} \leqslant \cdots \leqslant X_{(n)} .

随机变量 X(k)(k=1,2,⋯ ,n)X_{(k)} (k = 1, 2, \cdots, n) 称作第 kk 顺序统计量,其中 X(1)X_{(1)} 是最小顺序统计量,而 X(n)X_{(n)} 是最大顺序统计量:

X(1)=min⁡{X1,X2,⋯ ,Xn},X(n)=max⁡{X1,X2,⋯ ,Xn}.X_{(1)} = \min\{X_1, X_2, \cdots, X_n\}, \quad X_{(n)} = \max\{X_1, X_2, \cdots, X_n\} .

(3) 性质.

设总体 XX 的期望 EX=μEX = \mu,方差 DX=σ2DX = \sigma^2,X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 是取自总体 XX、容量为 nn 的一个样本,X‾,S2\overline{X}, S^2 分别为样本均值和样本方差,则

EXi=μ,DXi=σ2 (i=1,2,⋯ ,n),EX‾=EX=μ,DX‾=1nDX=σ2n,E(S2)=DX=σ2.EX_i = \mu, \quad DX_i = \sigma^2 \, (i = 1, 2, \cdots, n), \quad E\overline{X} = EX = \mu, \quad D\overline{X} = \frac{1}{n} DX = \frac{\sigma^2}{n}, \quad E(S^2) = DX = \sigma^2 .

6.3 三大分布 P137

6.3.1 χ2\chi^2 分布 P137

①概念.

若随机变量 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 相互独立,且都服从标准正态分布,则随机变量 X=∑i=1nXi2X = \sum_{i=1}^n X_i^2 服从自由度为 nn 的 χ2\chi^2 分布,记为 X∼χ2(n)X \sim \chi^2(n).

②上 α\alpha 分位数.

对于给定的 α(0<α<1)\alpha (0 < \alpha < 1),称满足

P{χ2>χα2(n)}=∫χα2(n)+∞f(x)dx=αP\{\chi^2 > \chi_\alpha^2(n)\} = \int_{\chi_\alpha^2(n)}^{+\infty} f(x) \mathrm{d}x = \alpha

的 χα2(n)\chi_\alpha^2(n) 为 χ2(n)\chi^2(n) 分布的上 α\alpha 分位数(见图 6-1). 对于不同的 α,n\alpha, n,χ2(n)\chi^2(n) 分布上 α\alpha 分位数可通过查表求得.

③性质.

a. 若 X1∼χ2(n1),X2∼χ2(n2)X_1 \sim \chi^2(n_1), X_2 \sim \chi^2(n_2),X1X_1 与 X2X_2 相互独立,则

X1+X2∼χ2(n1+n2).X_1 + X_2 \sim \chi^2(n_1 + n_2) .

此结论可推广至有限多个的和.

b. 若 X∼χ2(n)X \sim \chi^2(n),则 EX=n,DX=2nEX = n, DX = 2n.

6.3.2 tt 分布 P138

①概念.

设随机变量 X∼N(0,1)X \sim N(0, 1),Y∼χ2(n)Y \sim \chi^2(n),且 XX 与 YY 相互独立,则随机变量 t=XY/nt = \frac{X}{\sqrt{Y/n}} 服从自由度为 nn 的 tt 分布,记为 t∼t(n)t \sim t(n).

②上 α\alpha 分位数.

对于给定的 α(0<α<1)\alpha (0 < \alpha < 1),称满足

P{t>tα(n)}=αP\{t > t_\alpha(n)\} = \alpha

的 tα(n)t_\alpha(n) 为 t(n)t(n) 分布的上 α\alpha 分位数(见图 6-2).

③性质.

a. tt 分布的概率密度 f(x)f(x) 的图形关于 x=0x = 0 对称(见图 6-3),因此

Et=0(n⩾2).Et = 0 (n \geqslant 2) .

b. 由 tt 分布的概率密度 f(x)f(x) 图形的对称性,知 P{t>−tα(n)}=P{t>t1−α(n)}P\{t > -t_\alpha(n)\} = P\{t > t_{1-\alpha}(n)\},故 t1−α(n)=−tα(n)t_{1-\alpha}(n) = -t_\alpha(n). 当 α\alpha 值在表中没有时,可用此式求得上 α\alpha 分位数.

6.3.3 FF 分布 P138

①概念.

设随机变量 X∼χ2(n1)X \sim \chi^2(n_1),Y∼χ2(n2)Y \sim \chi^2(n_2),且 XX 与 YY 相互独立,则 F=X/n1Y/n2F = \dfrac{X/n_1}{Y/n_2} 服从自由度为 (n1,n2)(n_1, n_2) 的 FF 分布,记为 F∼F(n1,n2)F \sim F(n_1, n_2),其中 n1n_1 称为第一自由度,n2n_2 称为第二自由度. FF 分布的概率密度 f(x)f(x) 的图形如图 6-4 所示.

②上 α\alpha 分位数.

对于给定的 α(0<α<1)\alpha (0 < \alpha < 1),称满足

P{F>Fα(n1,n2)}=αP\{F > F_\alpha(n_1, n_2)\} = \alpha

的 Fα(n1,n2)F_\alpha(n_1, n_2) 为 F(n1,n2)F(n_1, n_2) 分布的上 α\alpha 分位数(见图 6-5).

③性质.

a. 若 F∼F(n1,n2)F \sim F(n_1, n_2),则 1F∼F(n2,n1).\dfrac{1}{F} \sim F(n_2, n_1) .

b. F1−α(n1,n2)=1Fα(n2,n1)F_{1-\alpha}(n_1, n_2) = \dfrac{1}{F_\alpha(n_2, n_1)},常用求解 FF 分布表中未列出的上 α\alpha 分位数.

c. 若 t∼t(n)t \sim t(n),则 t2∼F(1,n).t^2 \sim F(1, n) .

6.3.4 正态总体条件下的重用结论 P139

设 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 是来自正态总体 N(μ,σ2)N(\mu, \sigma^2) 的一个样本,X‾,S2\overline{X}, S^2 分别是样本均值和样本方差,则

① X‾∼N(μ,σ2n)\overline{X} \sim N\left(\mu, \frac{\sigma^2}{n}\right),即 X‾−μσn=n(X‾−μ)σ∼N(0,1)\frac{\overline{X} - \mu}{\frac{\sigma}{\sqrt{n}}} = \frac{\sqrt{n}(\overline{X} - \mu)}{\sigma} \sim N(0, 1);

② 1σ2∑i=1n(Xi−μ)2∼χ2(n)\frac{1}{\sigma^2} \sum_{i=1}^n (X_i - \mu)^2 \sim \chi^2(n);

③ (n−1)S2σ2=∑i=1n(Xi−X‾σ)2∼χ2(n−1)\frac{(n-1)S^2}{\sigma^2} = \sum_{i=1}^n \left( \frac{X_i - \overline{X}}{\sigma} \right)^2 \sim \chi^2(n-1)(μ\mu 未知时,在②中用 X‾\overline{X} 替代 μ\mu);

④ X‾\overline{X} 与 S2S^2 相互独立,n(X‾−μ)S∼t(n−1)\frac{\sqrt{n}(\overline{X} - \mu)}{S} \sim t(n-1)(σ\sigma 未知时,在①中用 SS 替代 σ\sigma). 进一步有

n(X‾−μ)2S2∼F(1,n−1).\frac{n(\overline{X} - \mu)^2}{S^2} \sim F(1, n-1) .

6.4 参数的点估计 P142

设总体 XX 的分布函数为 F(x;θ)F(x; \theta)(可以是多维的),其中 θ\theta 是一个未知参数,X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 是取自总体 XX 的一个样本. 由样本构造一个适当的统计量 θ^(X1,X2,⋯ ,Xn)\hat{\theta}(X_1, X_2, \cdots, X_n) 作为参数 θ\theta 的估计,则称统计量 θ^(X1,X2,⋯ ,Xn)\hat{\theta}(X_1, X_2, \cdots, X_n) 为 θ\theta 的估计量.

如果 x1,x2,⋯ ,xnx_1, x_2, \cdots, x_n 是样本的一个观测值,将其代入估计量 θ^\hat{\theta} 中得值 θ^(x1,x2,⋯ ,xn)\hat{\theta}(x_1, x_2, \cdots, x_n),统计学中称这个值为未知参数 θ\theta 的估计值.

6.4.1 矩估计 P143

(1) 对于一个参数:

  • ① 用一阶矩建立方程:令 X‾=EX\overline{X} = EX;
  • ② 若“①”不能用,用二阶矩建立方程:令 1n∑i=1nXi2=E(X2)\dfrac{1}{n} \sum_{i=1}^n X_i^2 = E(X^2).

一个方程解出一个参数即可作为矩估计.

(2) 对于两个参数,用一阶矩与二阶矩建立两个方程,即 ① X‾=EX\overline{X} = EX 与 ② 1n∑i=1nXi2=E(X2)\dfrac{1}{n} \sum_{i=1}^n X_i^2 = E(X^2),两个方程解出两个参数即可作为矩估计.

注 显然,一般情况下,将 1n∑i=1nXik=E(Xk) (k=1,2,⋯ ,m)\dfrac{1}{n} \sum_{i=1}^n X_i^k = E(X^k) \, (k = 1, 2, \cdots, m) 联立,即可求 mm 个参数的矩估计. 那么,若求一个参数的矩估计,是否 kk 可任取一个正整数呢?答案是否定的,在统计的问题中,一般以低阶为原则,即取能解出含参数的方程的最小 kk 值.

6.4.2 最大似然估计 P143

对未知参数 θ\theta 进行估计时,在该参数可能的取值范围内选取,使“样本获此观测值 x1,x2,⋯ ,xnx_1, x_2, \cdots, x_n”的概率最大的参数值 θ^\hat{\theta} 作为 θ\theta 的估计,这样选定的 θ^\hat{\theta} 最有利与 x1,x2,⋯ ,xnx_1, x_2, \cdots, x_n 的出现,即“参数 θ=?\theta = ? 时,观测值出现的概率最大”.

(1) 写似然函数:

L(x1,x2,⋯ ,xn;θ)={∏i=1np(xi;θ)(这是离散型总体 X 取 x1,x2,⋯ ,xn 的概率),∏i=1nf(xi;θ)(这是连续型总体 X 取 x1,x2,⋯ ,xn 的联合概率密度).L(x_1, x_2, \cdots, x_n; \theta) = \begin{cases} \prod\limits_{i=1}^n p(x_i; \theta) & \text{(这是离散型总体 } X \text{ 取 } x_1, x_2, \cdots, x_n \text{ 的概率),} \\[1.5ex] \prod\limits_{i=1}^n f(x_i; \theta) & \text{(这是连续型总体 } X \text{ 取 } x_1, x_2, \cdots, x_n \text{ 的联合概率密度).} \end{cases}

为方便求解 θ^\hat{\theta},也可取对数,即

ln⁡L(θ)={∑i=1nln⁡p(xi;θ),∑i=1nln⁡f(xi;θ).\ln L(\theta) = \begin{cases} \sum\limits_{i=1}^n \ln p(x_i; \theta), \\[1.5ex] \sum\limits_{i=1}^n \ln f(x_i; \theta) . \end{cases}

(2) 求参数 {若似然函数有驻点,则令 dLdθ=0 或 d(ln⁡L)dθ=0,解出 θ^,若似然函数无驻点(单调),则用定义求 θ^,若似然函数为常数,则用定义求 θ^,此时 θ^ 不唯一.\begin{cases} \text{若似然函数有驻点,则令 } \dfrac{\mathrm{d}L}{\mathrm{d}\theta} = 0 \text{ 或 } \dfrac{\mathrm{d}(\ln L)}{\mathrm{d}\theta} = 0 \text{,解出 } \hat{\theta}, \\[1.5ex] \text{若似然函数无驻点(单调),则用定义求 } \hat{\theta}, \\[1.5ex] \text{若似然函数为常数,则用定义求 } \hat{\theta} \text{,此时 } \hat{\theta} \text{ 不唯一.} \end{cases}

(3) 最大似然估计量的不变性原则 .

设 θ^\hat{\theta} 是总体分布中未知参数 θ\theta 的最大似然估计,函数 u=u(θ)u = u(\theta) 具有反函数,则 u^=u(θ^)\hat{u} = u(\hat{\theta}) 是 u(θ)u(\theta) 的最大似然估计,如 θ^\hat{\theta} 是 θ\theta 的最大似然估计,则 eθ^\mathrm{e}^{\hat{\theta}} 是 eθ\mathrm{e}^{\theta} 的最大似然估计 .

6.4.3 估计量的评价标准 P144

(1) 无偏性 .

对于估计量 θ^\hat{\theta},若 Eθ^=θE\hat{\theta} = \theta,则称 θ^\hat{\theta} 为 θ\theta 的无偏估计量 .

(2) 有效性(最小方差性).

若 Eθ^1=θ,Eθ^2=θE\hat{\theta}_1 = \theta, E\hat{\theta}_2 = \theta,即 θ^1,θ^2\hat{\theta}_1, \hat{\theta}_2 均是 θ\theta 的无偏估计量,当 Dθ^1<Dθ^2D\hat{\theta}_1 < D\hat{\theta}_2 时,称 θ^1\hat{\theta}_1 比 θ^2\hat{\theta}_2 有效 .

(3) 一致性(相合性)(只针对大样本 n→∞n \to \infty).

若 θ^\hat{\theta} 为 θ\theta 的估计量,对任意 ε>0\varepsilon > 0,有

lim⁡n→∞P{∣θ^−θ∣⩾ε}=0,\lim_{n \to \infty} P\{|\hat{\theta} - \theta| \geqslant \varepsilon\} = 0 ,

或

lim⁡n→∞P{∣θ^−θ∣<ε}=1,\lim_{n \to \infty} P\{|\hat{\theta} - \theta| < \varepsilon\} = 1 ,

即当 θ^→Pθ\hat{\theta} \xrightarrow{P} \theta 时,称 θ^\hat{\theta} 为 θ\theta 的一致(或相合)估计 .

6.5 参数的区间估计 P151

6.5.1 概念 P151

设 θ\theta 是总体 XX 的分布函数的一个未知参数,对于给定 α(0<α<1)\alpha (0 < \alpha < 1),如果由样本 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 确定的两个统计量 θ^1=θ^1(X1,X2,⋯ ,Xn)\hat{\theta}_1 = \hat{\theta}_1(X_1, X_2, \cdots, X_n),θ^2=θ^2(X1,X2,⋯ ,Xn)\hat{\theta}_2 = \hat{\theta}_2(X_1, X_2, \cdots, X_n),使

P{θ^1(X1,X2,⋯ ,Xn)<θ<θ^2(X1,X2,⋯ ,Xn)}=1−α,P\{\hat{\theta}_1(X_1, X_2, \cdots, X_n) < \theta < \hat{\theta}_2(X_1, X_2, \cdots, X_n)\} = 1 - \alpha,

则称随机区间 (θ^1,θ^2)(\hat{\theta}_1, \hat{\theta}_2) 是 θ\theta 的置信度为 1−α1 - \alpha 的置信区间,θ^1\hat{\theta}_1 和 θ^2\hat{\theta}_2 分别称为 θ\theta 的置信度为 1−α1 - \alpha 的双侧置信区间的置信下限和置信上限,1−α1 - \alpha 称为置信度或置信水平,α\alpha 称为显著性水平. 如果 P{θ<θ^1}=P{θ>θ^2}=α2P\{\theta < \hat{\theta}_1\} = P\{\theta > \hat{\theta}_2\} = \frac{\alpha}{2},则称这种置信区间为等尾置信区间.

6.5.2 单个正态总体均值和方差的置信区间 P151

设 X∼N(μ,σ2)X \sim N(\mu, \sigma^2),从总体 XX 中抽取样本 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n,样本均值为 X‾\overline{X},样本方差为 S2S^2.

(1) σ2\sigma^2 已知,μ\mu 的置信水平是 1−α1 - \alpha 的置信区间为

(X‾−σnzα2, X‾+σnzα2).\left( \overline{X} - \frac{\sigma}{\sqrt{n}} z_{\frac{\alpha}{2}}, \, \overline{X} + \frac{\sigma}{\sqrt{n}} z_{\frac{\alpha}{2}} \right) .

(2) σ2\sigma^2 未知,μ\mu 的置信水平是 1−α1 - \alpha 的置信区间为

(X‾−Sntα2(n−1), X‾+Sntα2(n−1)).\left( \overline{X} - \frac{S}{\sqrt{n}} t_{\frac{\alpha}{2}}(n-1), \, \overline{X} + \frac{S}{\sqrt{n}} t_{\frac{\alpha}{2}}(n-1) \right) .

(3) μ\mu 已知,σ2\sigma^2 的置信水平是 1−α1 - \alpha 的置信区间为

(∑i=1n(Xi−μ)2χα22(n), ∑i=1n(Xi−μ)2χ1−α22(n)).\left( \frac{\sum\limits_{i=1}^n (X_i - \mu)^2}{\chi_{\frac{\alpha}{2}}^2(n)}, \, \frac{\sum\limits_{i=1}^n (X_i - \mu)^2}{\chi_{1-\frac{\alpha}{2}}^2(n)} \right) .

(4) μ\mu 未知,σ2\sigma^2 的置信水平是 1−α1 - \alpha 的置信区间为

((n−1)S2χα22(n−1), (n−1)S2χ1−α22(n−1)).\left( \frac{(n-1)S^2}{\chi_{\frac{\alpha}{2}}^2(n-1)}, \, \frac{(n-1)S^2}{\chi_{1-\frac{\alpha}{2}}^2(n-1)} \right) .

6.6 假设检验 P154

6.6.1 概念 P154

关于总体(分布中的未知参数,分布的类型、特征、不相关性、独立性……)的每一种论断(“看法”)称为统计假设,然后根据样本观察数据或试验结果所提供的信息去推断(检验)这个“看法”(即假设)是否成立,这类统计推断问题称为假设检验.

6.6.2 原假设与备择假设 P155

常常把没有充分理由不能轻易否定的假设取为原假设(基本假设或零假设),记为 H0H_0,将其否定的陈述(假设)称为对立假设或备择假设,记为 H1H_1.

6.6.3 小概率原理与显著性水平 P155

(1) 小概率原理 .

对假设进行检验的基本思想是采用某种带有概率性质的反证法 . 这种方法的依据是小概率原理——概率很接近于 0 的事件在一次试验或观察中认为不会发生 . 若小概率事件发生了,则拒绝原假设 .

(2) 显著性水平 α\alpha .

小概率事件中的“小概率”的值没有统一规定,通常是根据实际问题的要求,规定一个界限 α(0<α<1)\alpha (0 < \alpha < 1),当一个事件的概率不大于 α\alpha 时,即认为它是小概率事件 . 在假设检验问题中,α\alpha 称为显著性水平,通常取 α=0.1,0.05,0.01\alpha = 0.1, 0.05, 0.01 等 .

6.6.4 正态总体下的六大检验及拒绝域 P155

(1) σ2\sigma^2 已知,μ\mu 未知 . H0:μ=μ0H_0: \mu = \mu_0,H1:μ≠μ0H_1: \mu \neq \mu_0,则拒绝域为 (−∞, μ0−σnzα2]⋃[μ0+σnzα2, +∞)\left(-\infty, \, \mu_0 - \frac{\sigma}{\sqrt{n}} z_{\frac{\alpha}{2}}\right] \bigcup \left[\mu_0 + \frac{\sigma}{\sqrt{n}} z_{\frac{\alpha}{2}}, \, +\infty\right).

(2) σ2\sigma^2 未知,μ\mu 未知 . H0:μ=μ0H_0: \mu = \mu_0,H1:μ≠μ0H_1: \mu \neq \mu_0,则拒绝域为

(−∞, μ0−Sntα2(n−1)]⋃[μ0+Sntα2(n−1), +∞).\left(-\infty, \, \mu_0 - \frac{S}{\sqrt{n}} t_{\frac{\alpha}{2}}(n-1)\right] \bigcup \left[\mu_0 + \frac{S}{\sqrt{n}} t_{\frac{\alpha}{2}}(n-1), \, +\infty\right) .

(3) σ2\sigma^2 已知,μ\mu 未知 . H0:μ⩽μ0H_0: \mu \leqslant \mu_0(或写 μ=μ0\mu = \mu_0),H1:μ>μ0H_1: \mu > \mu_0,则拒绝域为 [μ0+σnzα, +∞)\left[\mu_0 + \frac{\sigma}{\sqrt{n}} z_\alpha, \, +\infty\right).

(4) σ2\sigma^2 已知,μ\mu 未知 . H0:μ⩾μ0H_0: \mu \geqslant \mu_0(或写 μ=μ0\mu = \mu_0),H1:μ<μ0H_1: \mu < \mu_0,则拒绝域为 (−∞, μ0−σnzα]\left(-\infty, \, \mu_0 - \frac{\sigma}{\sqrt{n}} z_\alpha\right].

(5) σ2\sigma^2 未知,μ\mu 未知 . H0:μ⩽μ0H_0: \mu \leqslant \mu_0(或写 μ=μ0\mu = \mu_0),H1:μ>μ0H_1: \mu > \mu_0,则拒绝域为 [μ0+Sntα(n−1), +∞)\left[\mu_0 + \frac{S}{\sqrt{n}} t_\alpha(n-1), \, +\infty\right).

(6) σ2\sigma^2 未知,μ\mu 未知 . H0:μ⩾μ0H_0: \mu \geqslant \mu_0(或写 μ=μ0\mu = \mu_0),H1:μ<μ0H_1: \mu < \mu_0,则拒绝域为 (−∞, μ0−Sntα(n−1)]\left(-\infty, \, \mu_0 - \frac{S}{\sqrt{n}} t_\alpha(n-1)\right].

6.7 两类错误 P157

第一类错误(“弃真”):若 H0H_0 为真,按检验法则否定 H0H_0,此时犯了“弃真”的错误,这种错误称为第一类错误,犯第一类错误的概率为 α=P{拒绝 H0∣H0 为真}\alpha = P\{\text{拒绝 } H_0 \mid H_0 \text{ 为真}\} .

第二类错误(“取伪”):若 H0H_0 不真,按检验法则接受 H0H_0,此时犯了“取伪”的错误,这种错误称为第二类错误,犯第二类错误的概率为 β=P{接受 H0∣H0 为假}=P{接受 H0∣H1 为真}\beta = P\{\text{接受 } H_0 \mid H_0 \text{ 为假}\} = P\{\text{接受 } H_0 \mid H_1 \text{ 为真}\} .