概率论
1. 随机事件及其概率 P1
排列:P n m = n ! ( n − m ) ! \mathrm{P}_n^m = \frac{n!}{(n-m)!} P n m = ( n − m )! n !
组合:C n m = P n m m ! = n ! m ! ( n − m ) ! \mathrm{C}_n^m = \frac{\mathrm{P}_n^m}{m!} = \frac{n!}{m!(n-m)!} C n m = m ! P n m = m ! ( n − m )! n !
C n m = C n n − m \mathrm{C}_n^m = \mathrm{C}_n^{n-m} C n m = C n n − m
条件概率公式:P ( B ∣ A ) = P ( A B ) P ( A ) P(B \mid A) = \frac{P(AB)}{P(A)} P ( B ∣ A ) = P ( A ) P ( A B )
如果 ⋃ i = 1 n A i = Ω \bigcup\limits_{i=1}^n A_i = \Omega i = 1 ⋃ n A i = Ω ,A i A j = ∅ ( i ≠ j ; i , j = 1 , 2 , ⋯ , n ) A_i A_j = \varnothing \, (i \neq j; \, i, j = 1, 2, \cdots, n) A i A j = ∅ ( i = j ; i , j = 1 , 2 , ⋯ , n ) ,P ( A i ) > 0 P(A_i) > 0 P ( A i ) > 0 ,则对任一事件 B B B ,有
全概率公式
B = ⋃ i = 1 n A i B B = \bigcup_{i=1}^n A_i B B = ⋃ i = 1 n A i B
P ( B ) = ∑ i = 1 n P ( A i ) P ( B ∣ A i ) P(B) = \sum_{i=1}^n P(A_i) P(B \mid A_i) P ( B ) = ∑ i = 1 n P ( A i ) P ( B ∣ A i )
贝叶斯公式(逆概率公式):只要 P ( B ) > 0 P(B) > 0 P ( B ) > 0 ,就有P ( A j ∣ B ) = P ( A j ) P ( B ∣ A j ) ∑ i = 1 n P ( A i ) P ( B ∣ A i ) ( j = 1 , 2 , ⋯ , n ) P(A_j \mid B) = \frac{P(A_j) P(B \mid A_j)}{\sum\limits_{i=1}^n P(A_i) P(B \mid A_i)} \quad (j = 1, 2, \cdots, n) P ( A j ∣ B ) = i = 1 ∑ n P ( A i ) P ( B ∣ A i ) P ( A j ) P ( B ∣ A j ) ( j = 1 , 2 , ⋯ , n )
1. 独立性
如果 P ( A B ) = P ( A ) P ( B ) P(AB) = P(A)P(B) P ( A B ) = P ( A ) P ( B ) ,则称事件 A A A 与 B B B 相互独立 .
P ( B ∣ A ) = P ( A B ) P ( A ) = P ( A ) P ( B ) P ( A ) = P ( B ) P(B \mid A) = \frac{P(AB)}{P(A)} = \frac{P(A)P(B)}{P(A)} = P(B) P ( B ∣ A ) = P ( A ) P ( A B ) = P ( A ) P ( A ) P ( B ) = P ( B )
A A A 与 B B B 相互独立 ⟺ A {\iff} A ⟺ A 与 B ‾ \overline{B} B 相互独立 ⟺ A ‾ \iff \overline{A} ⟺ A 与 B B B 相互独立 ⟺ A ‾ \iff \overline{A} ⟺ A 与 B ‾ \overline{B} B 相互独立
对独立事件组不含相同事件作运算,得到的新事件组仍独立
如 A , B , C , D A, B, C, D A , B , C , D 相互独立,则 A B AB A B 与 C D CD C D 相互独立,A A A 与 B C − D BC - D B C − D 相互独立
若 P ( A ) = 0 P(A) = 0 P ( A ) = 0 或 P ( A ) = 1 P(A) = 1 P ( A ) = 1 ,则 A A A 与任意事件 B B B 相互独立
2. 一维随机变量及其分布 P33
2.1 分布函数
(1) 概念 .
F ( x ) = P { X ⩽ x } ( x ∈ R ) F(x) = P\{X \leqslant x\} (x \in \mathbf{R}) F ( x ) = P { X ⩽ x } ( x ∈ R ) 为随机变量 X X X 的分布函数 ,或称 X X X 服从 F ( x ) F(x) F ( x ) 分布,记为 X ∼ F ( x ) X \sim F(x) X ∼ F ( x ) .
(2) 性质 .
① F ( x ) F(x) F ( x ) 是 x x x 的单调不减函数,即对任意实数 x 1 < x 2 x_1 < x_2 x 1 < x 2 ,有 F ( x 1 ) ⩽ F ( x 2 ) F(x_1) \leqslant F(x_2) F ( x 1 ) ⩽ F ( x 2 )
② F ( x ) F(x) F ( x ) 是 x x x 的右连续函数,即对任意 x 0 ∈ R x_0 \in \mathbf{R} x 0 ∈ R ,有 lim x → x 0 + F ( x ) = F ( x 0 + 0 ) = F ( x 0 ) \lim\limits_{x \to x_0^+} F(x) = F(x_0 + 0) = F(x_0) x → x 0 + lim F ( x ) = F ( x 0 + 0 ) = F ( x 0 )
③ F ( − ∞ ) = lim x → − ∞ F ( x ) = 0 , F ( + ∞ ) = lim x → + ∞ F ( x ) = 1 F(-\infty) = \lim\limits_{x \to -\infty} F(x) = 0, \, F(+\infty) = \lim\limits_{x \to +\infty} F(x) = 1 F ( − ∞ ) = x → − ∞ lim F ( x ) = 0 , F ( + ∞ ) = x → + ∞ lim F ( x ) = 1
2.1.1 离散型
如果随机变量 X X X 只可能取有限个或可列无限个值 x 1 , x 2 , ⋯ x_1, x_2, \cdots x 1 , x 2 , ⋯ ,则称 X X X 为离散型随机变量
概率分布:P { X = x i } = p i , i = 1 , 2 , ⋯ P\{X = x_i\} = p_i, \quad i = 1, 2, \cdots P { X = x i } = p i , i = 1 , 2 , ⋯ ,记为 X ∼ p i X \sim p_i X ∼ p i ,常用表格形式或矩阵形式表示:
X x 1 x 2 ⋯ P p 1 p 2 ⋯ 或 X ∼ ( x 1 x 2 ⋯ p 1 p 2 ⋯ ) \begin{array}{c|ccc}
X & x_1 & x_2 & \cdots \\
\hline
P & p_1 & p_2 & \cdots
\end{array}
\quad \text{或} \quad
X \sim \begin{pmatrix} x_1 & x_2 & \cdots \\ p_1 & p_2 & \cdots \end{pmatrix} X P x 1 p 1 x 2 p 2 ⋯ ⋯ 或 X ∼ ( x 1 p 1 x 2 p 2 ⋯ ⋯ )
分布函数:F ( x ) = P { X ⩽ x } = ∑ x i ⩽ x P { X = x i } F(x) = P\{X \leqslant x\} = \sum_{x_i \leqslant x} P\{X = x_i\} F ( x ) = P { X ⩽ x } = ∑ x i ⩽ x P { X = x i }
数列 { p i } ( i = 1 , 2 , ⋯ ) \{p_i\} \, (i = 1, 2, \cdots) { p i } ( i = 1 , 2 , ⋯ ) 是离散型随机变量的概率分布的充要条件:p i ⩾ 0 ( i = 1 , 2 , ⋯ ) p_i \geqslant 0 \, (i = 1, 2, \cdots) p i ⩾ 0 ( i = 1 , 2 , ⋯ ) ,且 ∑ i p i = 1 \sum\limits_i p_i = 1 i ∑ p i = 1 .
2.1.2 连续型
如果随机变量 X X X 的分布函数可以表示为
F ( x ) = ∫ − ∞ x f ( t ) d t ( x ∈ R ) , F(x) = \int_{-\infty}^x f(t) \, \mathrm{d}t \quad (x \in \mathbf{R}) , F ( x ) = ∫ − ∞ x f ( t ) d t ( x ∈ R ) ,
其中 f ( x ) f(x) f ( x ) 是非负可积函数,则称 X X X 为连续型随机变量 ,称 f ( x ) f(x) f ( x ) 为 X X X 的概率密度函数 ,简称概率密度 ,记为 X ∼ f ( x ) X \sim f(x) X ∼ f ( x ) .
f ( x ) f(x) f ( x ) 为某一随机变量 X X X 的概率密度的充分必要条件:f ( x ) ⩾ 0 f(x) \geqslant 0 f ( x ) ⩾ 0 ,且 ∫ − ∞ + ∞ f ( x ) d x = 1 \int_{-\infty}^{+\infty} f(x) \, \mathrm{d}x = 1 ∫ − ∞ + ∞ f ( x ) d x = 1 (由此可知,在保证非负的条件下,改变 f ( x ) f(x) f ( x ) 有限个点的值,f ( x ) f(x) f ( x ) 仍然是概率密度).
对任意实数 c c c ,有 P { X = c } = 0 P\{X = c\} = 0 P { X = c } = 0
对实数轴上任一集合 B B B ,有P { X ∈ B } = ∫ B f ( x ) d x P\{X \in B\} = \int_B f(x) \, \mathrm{d}x P { X ∈ B } = ∫ B f ( x ) d x
P { a < X < b } = P { a ⩽ X < b } = P { a < X ⩽ b } = P { a ⩽ X ⩽ b } = ∫ a b f ( x ) d x = F ( b ) − F ( a ) P\{a < X < b\} = P\{a \leqslant X < b\} = P\{a < X \leqslant b\} = P\{a \leqslant X \leqslant b\} = \int_a^b f(x) \, \mathrm{d}x = F(b) - F(a) P { a < X < b } = P { a ⩽ X < b } = P { a < X ⩽ b } = P { a ⩽ X ⩽ b } = ∫ a b f ( x ) d x = F ( b ) − F ( a )
2.2 常用分布 P40
2.2.1 离散型 P40
(1) 0—1 分布 B ( 1 , p ) ( B e r − E 1 ) B(1, p) \, (\mathrm{Ber}-E_1) B ( 1 , p ) ( Ber − E 1 ) .
如果 X X X 的概率分布为 X ∼ ( 1 0 p 1 − p ) X \sim \begin{pmatrix} 1 & 0 \\ p & 1-p \end{pmatrix} X ∼ ( 1 p 0 1 − p ) ,即 P { X = 1 } = p , P { X = 0 } = 1 − p P\{X = 1\} = p, \, P\{X = 0\} = 1-p P { X = 1 } = p , P { X = 0 } = 1 − p ,则称 X X X 服从参数为 p p p 的 0—1 分布 ,记为 X ∼ B ( 1 , p ) ( 0 < p < 1 ) X \sim B(1, p) \, (0 < p < 1) X ∼ B ( 1 , p ) ( 0 < p < 1 ) .
(2) 二项分布 B ( n , p ) ( B e r − E n ) B(n, p) \, (\mathrm{Ber}-E_n) B ( n , p ) ( Ber − E n ) .
如果 X X X 的概率分布为 P { X = k } = C n k p k ( 1 − p ) n − k ( k = 0 , 1 , ⋯ , n ; 0 < p < 1 ) P\{X = k\} = \mathrm{C}_n^k p^k (1-p)^{n-k} \, (k = 0, 1, \cdots, n; \, 0 < p < 1) P { X = k } = C n k p k ( 1 − p ) n − k ( k = 0 , 1 , ⋯ , n ; 0 < p < 1 ) ,则称 X X X 服从参数为 ( n , p ) (n, p) ( n , p ) 的二项分布 ,记为 X ∼ B ( n , p ) X \sim B(n, p) X ∼ B ( n , p ) .
(3) 泊松分布 P ( λ ) P(\lambda) P ( λ ) .
如果 X X X 的概率分布为
P { X = k } = λ k k ! e − λ ( k = 0 , 1 , ⋯ ; λ > 0 ) , P\{X = k\} = \frac{\lambda^k}{k!} \mathrm{e}^{-\lambda} \quad (k = 0, 1, \cdots; \, \lambda > 0) , P { X = k } = k ! λ k e − λ ( k = 0 , 1 , ⋯ ; λ > 0 ) ,
则称 X X X 服从参数为 λ \lambda λ 的泊松分布 ,记为 X ∼ P ( λ ) X \sim P(\lambda) X ∼ P ( λ ) .
(4) 几何分布 G ( p ) ( B e r − E ∞ ) G(p) \, (\mathrm{Ber}-E_{\infty}) G ( p ) ( Ber − E ∞ ) .
如果 X X X 的概率分布为
P { X = k } = ( 1 − p ) k − 1 p ( k = 1 , 2 , ⋯ ; 0 < p < 1 ) , P\{X = k\} = (1-p)^{k-1} p \quad (k = 1, 2, \cdots; \, 0 < p < 1) , P { X = k } = ( 1 − p ) k − 1 p ( k = 1 , 2 , ⋯ ; 0 < p < 1 ) ,
则称 X X X 服从参数为 p p p 的几何分布 ,记为 X ∼ G ( p ) X \sim G(p) X ∼ G ( p ) .
(5) 超几何分布 H ( n , N , M ) H(n, N, M) H ( n , N , M ) .
如果 X X X 的概率分布为 P { X = k } = C M k C N − M n − k C N n ( max { 0 , n − N + M } ⩽ k ⩽ min { M , n } ; M , N , n 为正整数且 M ⩽ N , n ⩽ N , k 为整数 ) P\{X = k\} = \frac{\mathrm{C}_M^k \mathrm{C}_{N-M}^{n-k}}{\mathrm{C}_N^n} \quad (\max\{0, \, n-N+M\} \leqslant k \leqslant \min\{M, \, n\}; \, M, N, n \text{ 为正整数且 } M \leqslant N, \, n \leqslant N, \, k \text{ 为整数}) P { X = k } = C N n C M k C N − M n − k ( max { 0 , n − N + M } ⩽ k ⩽ min { M , n } ; M , N , n 为正整数且 M ⩽ N , n ⩽ N , k 为整数 ) ,则称 X X X 服从参数为 ( n , N , M ) (n, N, M) ( n , N , M ) 的超几何分布 ,记为 X ∼ H ( n , N , M ) X \sim H(n, N, M) X ∼ H ( n , N , M ) .
2.2.2 连续型 P42
(1) 均匀分布 U ( a , b ) U(a, b) U ( a , b ) .
如果随机变量 X X X 的概率密度和分布函数(见图 2-1,图 2-2)分别为
f ( x ) = { 1 b − a , a < x < b , 0 , 其他 , F ( x ) = { 0 , x < a , x − a b − a , a ⩽ x < b , 1 , x ⩾ b , f(x) = \begin{cases} \frac{1}{b-a}, & a < x < b, \\ 0, & \text{其他}, \end{cases} \quad F(x) = \begin{cases} 0, & x < a, \\ \frac{x-a}{b-a}, & a \leqslant x < b, \\ 1, & x \geqslant b, \end{cases} f ( x ) = { b − a 1 , 0 , a < x < b , 其他 , F ( x ) = ⎩ ⎨ ⎧ 0 , b − a x − a , 1 , x < a , a ⩽ x < b , x ⩾ b ,
则称 X X X 在区间 ( a , b ) (a, b) ( a , b ) 上服从均匀分布 ,记为 X ∼ U ( a , b ) X \sim U(a, b) X ∼ U ( a , b ) .
(2) 指数分布 E ( λ ) E(\lambda) E ( λ ) .
如果 X X X 的概率密度和分布函数(见图 2-3,图 2-4)分别为
f ( x ) = { λ e − λ x , x > 0 , 0 , 其他 , F ( x ) = { 1 − e − λ x , x ⩾ 0 , 0 , x < 0 ( λ > 0 ) , f(x) = \begin{cases} \lambda \mathrm{e}^{-\lambda x}, & x > 0, \\ 0, & \text{其他}, \end{cases} \quad F(x) = \begin{cases} 1 - \mathrm{e}^{-\lambda x}, & x \geqslant 0, \\ 0, & x < 0 \end{cases} \quad (\lambda > 0) , f ( x ) = { λ e − λ x , 0 , x > 0 , 其他 , F ( x ) = { 1 − e − λ x , 0 , x ⩾ 0 , x < 0 ( λ > 0 ) ,
则称 X X X 服从参数为 λ \lambda λ 的指数分布 ,记为 X ∼ E ( λ ) X \sim E(\lambda) X ∼ E ( λ ) .
(3) 正态分布 N ( μ , σ 2 ) N(\mu, \sigma^2) N ( μ , σ 2 ) .
这是由于 λ \lambda λ 是常数,失效频率不变,也即研究对象(如元件、产品等)被视为理想状态,无任何损耗 .
如果 X X X 的概率密度为
f ( x ) = 1 2 π σ e − 1 2 ( x − μ σ ) 2 ( − ∞ < x < + ∞ ) , f(x) = \frac{1}{\sqrt{2\pi}\sigma} \mathrm{e}^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2} \quad (-\infty < x < +\infty) , f ( x ) = 2 π σ 1 e − 2 1 ( σ x − μ ) 2 ( − ∞ < x < + ∞ ) ,
其中 − ∞ < μ < + ∞ , σ > 0 -\infty < \mu < +\infty, \, \sigma > 0 − ∞ < μ < + ∞ , σ > 0 ,则称 X X X 服从参数为 ( μ , σ 2 ) (\mu, \sigma^2) ( μ , σ 2 ) 的正态分布 或称 X X X 为正态变量 ,记为 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^2) X ∼ N ( μ , σ 2 ) . 此时 f ( x ) f(x) f ( x ) 的图形关于直线 x = μ x = \mu x = μ 对称,即 f ( μ − x ) = f ( μ + x ) f(\mu - x) = f(\mu + x) f ( μ − x ) = f ( μ + x ) ,并在 x = μ x = \mu x = μ 处有唯一最大值 f ( μ ) = 1 2 π σ f(\mu) = \frac{1}{\sqrt{2\pi}\sigma} f ( μ ) = 2 π σ 1 .
称 μ = 0 , σ = 1 \mu = 0, \, \sigma = 1 μ = 0 , σ = 1 时的正态分布 N ( 0 , 1 ) N(0, 1) N ( 0 , 1 ) 为标准正态分布 ,通常记标准正态分布的概率密度为 φ ( x ) = 1 2 π e − 1 2 x 2 \varphi(x) = \frac{1}{\sqrt{2\pi}} \mathrm{e}^{-\frac{1}{2}x^2} φ ( x ) = 2 π 1 e − 2 1 x 2 ,分布函数为 Φ ( x ) = 1 2 π ∫ − ∞ x e − t 2 2 d t \varPhi(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^x \mathrm{e}^{-\frac{t^2}{2}} \, \mathrm{d}t Φ ( x ) = 2 π 1 ∫ − ∞ x e − 2 t 2 d t . 显然 φ ( x ) \varphi(x) φ ( x ) 为偶函数,则
Φ ( 0 ) = 1 2 , Φ ( − x ) = 1 − Φ ( x ) . \varPhi(0) = \frac{1}{2}, \quad \varPhi(-x) = 1 - \varPhi(x) . Φ ( 0 ) = 2 1 , Φ ( − x ) = 1 − Φ ( x ) .
若 X ∼ N ( 0 , 1 ) X \sim N(0, 1) X ∼ N ( 0 , 1 ) ,P { X > u α } = α P\{X > u_\alpha\} = \alpha P { X > u α } = α ,则称 u α u_\alpha u α 为标准正态分布的上侧 α \alpha α 分位数 (上 α \alpha α 分位点 ).
如果 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^2) X ∼ N ( μ , σ 2 ) ,则
F ( x ) = P { X ⩽ x } = Φ ( x − μ σ ) , F(x) = P\{X \leqslant x\} = \varPhi\left(\frac{x-\mu}{\sigma}\right) , F ( x ) = P { X ⩽ x } = Φ ( σ x − μ ) ,
F ( μ − x ) + F ( μ + x ) = 1 , F(\mu - x) + F(\mu + x) = 1 , F ( μ − x ) + F ( μ + x ) = 1 ,
P { a < X < b } = Φ ( b − μ σ ) − Φ ( a − μ σ ) , P\{a < X < b\} = \varPhi\left(\frac{b-\mu}{\sigma}\right) - \varPhi\left(\frac{a-\mu}{\sigma}\right) , P { a < X < b } = Φ ( σ b − μ ) − Φ ( σ a − μ ) ,
a X + b ∼ N ( a μ + b , a 2 σ 2 ) ( a ≠ 0 ) . aX + b \sim N(a\mu + b, \, a^2\sigma^2) \quad (a \neq 0) . a X + b ∼ N ( a μ + b , a 2 σ 2 ) ( a = 0 ) .
2.3 一维随机变量函数的分布 P47
2.3.1 概念
设 X X X 为随机变量,函数 y = g ( x ) y = g(x) y = g ( x ) ,则以随机变量 X X X 作为自变量的函数 Y = g ( X ) Y = g(X) Y = g ( X ) 也是随机变量,称为随机变量 X X X 的函数 . 例如:Y = a X 2 + b X + c Y = aX^2 + bX + c Y = a X 2 + b X + c ,Y = ∣ X − a ∣ Y = |X - a| Y = ∣ X − a ∣ ,Y = { X , X ⩽ 1 , 1 , X > 1 , Y = \begin{cases} X, & X \leqslant 1, \\ 1, & X > 1, \end{cases} Y = { X , 1 , X ⩽ 1 , X > 1 , 等等 .
示例 设随机变量 X ∼ ( 1 2 5 1 2 1 3 1 6 ) X \sim \begin{pmatrix} 1 & 2 & 5 \\ \frac{1}{2} & \frac{1}{3} & \frac{1}{6} \end{pmatrix} X ∼ ( 1 2 1 2 3 1 5 6 1 ) ,令 Y = 10 000 X + 8 Y = 10\,000X + 8 Y = 10 000 X + 8 ,则 Y ∼ ( 10 008 20 008 50 008 1 2 1 3 1 6 ) Y \sim \begin{pmatrix} 10\,008 & 20\,008 & 50\,008 \\ \frac{1}{2} & \frac{1}{3} & \frac{1}{6} \end{pmatrix} Y ∼ ( 10 008 2 1 20 008 3 1 50 008 6 1 ) .
2.3.2 随机变量函数的分布
(1) 离散型 → \to → 离散型 .
设 X X X 为离散型随机变量,其概率分布为 P { X = x i } = p i ( i = 1 , 2 , ⋯ ) P\{X = x_i\} = p_i \, (i = 1, 2, \cdots) P { X = x i } = p i ( i = 1 , 2 , ⋯ ) ,则 X X X 的函数 Y = g ( X ) Y = g(X) Y = g ( X ) 也是离散型随机变量,其概率分布为 P { Y = g ( x i ) } = p i ( i = 1 , 2 , ⋯ ) P\{Y = g(x_i)\} = p_i \, (i = 1, 2, \cdots) P { Y = g ( x i )} = p i ( i = 1 , 2 , ⋯ ) ,即
Y ∼ ( g ( x 1 ) g ( x 2 ) ⋯ p 1 p 2 ⋯ ) . Y \sim \begin{pmatrix} g(x_1) & g(x_2) & \cdots \\ p_1 & p_2 & \cdots \end{pmatrix} . Y ∼ ( g ( x 1 ) p 1 g ( x 2 ) p 2 ⋯ ⋯ ) .
如果有若干个 g ( x i ) g(x_i) g ( x i ) 值相同,则合并诸项为一项 g ( x k ) g(x_k) g ( x k ) ,并将相应概率相加作为 Y Y Y 取 g ( x k ) g(x_k) g ( x k ) 值的概率 .
示例 设随机变量 X ∼ ( − 1 0 1 1 3 1 3 1 3 ) X \sim \begin{pmatrix} -1 & 0 & 1 \\ \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \end{pmatrix} X ∼ ( − 1 3 1 0 3 1 1 3 1 ) ,令 Y = X 2 Y = X^2 Y = X 2 ,则 Y ∼ ( 0 1 1 3 2 3 ) Y \sim \begin{pmatrix} 0 & 1 \\ \frac{1}{3} & \frac{2}{3} \end{pmatrix} Y ∼ ( 0 3 1 1 3 2 ) .
(2) 连续型 → \to → 连续型(或混合型) .
设 X X X 为连续型随机变量,其分布函数、概率密度分别为 F X ( x ) F_X(x) F X ( x ) 与 f X ( x ) f_X(x) f X ( x ) ,随机变量 Y = g ( X ) Y = g(X) Y = g ( X ) 是 X X X 的函数,则 Y Y Y 的分布函数或概率密度可用下面两种方法求得 .
① 分布函数法(定义法) .
直接由定义求 Y Y Y 的分布函数
F Y ( y ) = P { Y ⩽ y } = P { g ( X ) ⩽ y } = ∫ g ( x ) ⩽ y f X ( x ) d x , F_Y(y) = P\{Y \leqslant y\} = P\{g(X) \leqslant y\} = \int_{g(x) \leqslant y} f_X(x) \, \mathrm{d}x , F Y ( y ) = P { Y ⩽ y } = P { g ( X ) ⩽ y } = ∫ g ( x ) ⩽ y f X ( x ) d x ,
如果 F Y ( y ) F_Y(y) F Y ( y ) 连续,且除有限个点外,F Y ′ ( y ) F_Y'(y) F Y ′ ( y ) 存在且连续,则 Y Y Y 的概率密度 f Y ( y ) = F Y ′ ( y ) f_Y(y) = F_Y'(y) f Y ( y ) = F Y ′ ( y ) .
② 公式法 .
根据上面的分布函数法,若 y = g ( x ) y = g(x) y = g ( x ) 在 ( a , b ) (a, b) ( a , b ) 上是关于 x x x 的严格单调可导函数,则存在 x = h ( y ) x = h(y) x = h ( y ) 是 y = g ( x ) y = g(x) y = g ( x ) 在 ( a , b ) (a, b) ( a , b ) 上的可导反函数 .
若 y = g ( x ) y = g(x) y = g ( x ) 严格单调增加,则 x = h ( y ) x = h(y) x = h ( y ) 也严格单调增加,即 h ′ ( y ) > 0 h'(y) > 0 h ′ ( y ) > 0 ,且
F Y ( y ) = P { Y ⩽ y } = P { g ( X ) ⩽ y } = P { X ⩽ h ( y ) } = ∫ − ∞ h ( y ) f X ( x ) d x , F_Y(y) = P\{Y \leqslant y\} = P\{g(X) \leqslant y\} = P\{X \leqslant h(y)\} = \int_{-\infty}^{h(y)} f_X(x) \, \mathrm{d}x , F Y ( y ) = P { Y ⩽ y } = P { g ( X ) ⩽ y } = P { X ⩽ h ( y )} = ∫ − ∞ h ( y ) f X ( x ) d x ,
故 f Y ( y ) = F Y ′ ( y ) = f X [ h ( y ) ] ⋅ h ′ ( y ) f_Y(y) = F_Y'(y) = f_X[h(y)] \cdot h'(y) f Y ( y ) = F Y ′ ( y ) = f X [ h ( y )] ⋅ h ′ ( y ) .
若 y = g ( x ) y = g(x) y = g ( x ) 严格单调减少,则 x = h ( y ) x = h(y) x = h ( y ) 也严格单调减少,即 h ′ ( y ) < 0 h'(y) < 0 h ′ ( y ) < 0 ,且
F Y ( y ) = P { Y ⩽ y } = P { g ( X ) ⩽ y } = P { X ⩾ h ( y ) } = ∫ h ( y ) + ∞ f X ( x ) d x , F_Y(y) = P\{Y \leqslant y\} = P\{g(X) \leqslant y\} = P\{X \geqslant h(y)\} = \int_{h(y)}^{+\infty} f_X(x) \, \mathrm{d}x , F Y ( y ) = P { Y ⩽ y } = P { g ( X ) ⩽ y } = P { X ⩾ h ( y )} = ∫ h ( y ) + ∞ f X ( x ) d x ,
故 f Y ( y ) = F Y ′ ( y ) = − f X [ h ( y ) ] ⋅ h ′ ( y ) = f X [ h ( y ) ] ⋅ [ − h ′ ( y ) ] f_Y(y) = F_Y'(y) = -f_X[h(y)] \cdot h'(y) = f_X[h(y)] \cdot [-h'(y)] f Y ( y ) = F Y ′ ( y ) = − f X [ h ( y )] ⋅ h ′ ( y ) = f X [ h ( y )] ⋅ [ − h ′ ( y )] .
综上,
f Y ( y ) = { f X [ h ( y ) ] ⋅ ∣ h ′ ( y ) ∣ , α < y < β , 0 , 其他 , f_Y(y) = \begin{cases} f_X[h(y)] \cdot |h'(y)|, & \alpha < y < \beta, \\ 0, & \text{其他}, \end{cases} f Y ( y ) = { f X [ h ( y )] ⋅ ∣ h ′ ( y ) ∣ , 0 , α < y < β , 其他 ,
其中 α = min { lim x → a + g ( x ) , lim x → b − g ( x ) } \alpha = \min \left\{ \lim\limits_{x \to a^+} g(x), \, \lim\limits_{x \to b^-} g(x) \right\} α = min { x → a + lim g ( x ) , x → b − lim g ( x ) } ,β = max { lim x → a + g ( x ) , lim x → b − g ( x ) } \beta = \max \left\{ \lim\limits_{x \to a^+} g(x), \, \lim\limits_{x \to b^-} g(x) \right\} β = max { x → a + lim g ( x ) , x → b − lim g ( x ) } .
3. 多维随机变量及其分布 P62
3.1 n维随机变量及其分布函数 P63
3.1.1 n维随机变量 P63
如果 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 是定义在同一个样本空间 Ω \Omega Ω 上的 n n n 个随机变量,则称 ( X 1 , X 2 , ⋯ , X n ) (X_1, X_2, \cdots, X_n) ( X 1 , X 2 , ⋯ , X n ) 为 n n n 维随机变量 或 n n n 维随机向量 ,X i ( i = 1 , 2 , ⋯ , n ) X_i(i = 1, 2, \cdots, n) X i ( i = 1 , 2 , ⋯ , n ) 称为第 i i i 个分量.
当 n = 2 n = 2 n = 2 时,称 ( X , Y ) (X, Y) ( X , Y ) 为二维随机变量 或二维随机向量 .
3.1.2 n维随机变量的分布函数 P63
3.1.2.1 概念 P63
P { X 1 ⩽ x 1 , X 2 ⩽ x 2 , ⋯ , X n ⩽ x n } P\{X_1 \leqslant x_1, X_2 \leqslant x_2, \cdots, X_n \leqslant x_n\} P { X 1 ⩽ x 1 , X 2 ⩽ x 2 , ⋯ , X n ⩽ x n } 类似于 P ( A 1 A 2 ⋯ A n ) P(A_1 A_2 \cdots A_n) P ( A 1 A 2 ⋯ A n ) :A 1 , A 2 , ⋯ , A n A_1, A_2, \cdots, A_n A 1 , A 2 , ⋯ , A n 同时发生的概率
对任意的 n n n 个实数 x 1 , x 2 , ⋯ , x n x_1, x_2, \cdots, x_n x 1 , x 2 , ⋯ , x n ,称 n n n 元函数
F ( x 1 , x 2 , ⋯ , x n ) = P { X 1 ⩽ x 1 , X 2 ⩽ x 2 , ⋯ , X n ⩽ x n } F(x_1, x_2, \cdots, x_n) = P\{X_1 \leqslant x_1, X_2 \leqslant x_2, \cdots, X_n \leqslant x_n\} F ( x 1 , x 2 , ⋯ , x n ) = P { X 1 ⩽ x 1 , X 2 ⩽ x 2 , ⋯ , X n ⩽ x n }
为 n n n 维随机变量 ( X 1 , X 2 , ⋯ , X n ) (X_1, X_2, \cdots, X_n) ( X 1 , X 2 , ⋯ , X n ) 的分布函数 或随机变量 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 的联合分布函数 .
当 n = 2 n = 2 n = 2 时,对任意的实数 x , y x, y x , y ,称二元函数
F ( x , y ) = P { X ⩽ x , Y ⩽ y } F(x, y) = P\{X \leqslant x, Y \leqslant y\} F ( x , y ) = P { X ⩽ x , Y ⩽ y }
为二维随机变量 ( X , Y ) (X, Y) ( X , Y ) 的分布函数 或随机变量 X X X 和 Y Y Y 的联合分布函数 ,记为 ( X , Y ) ∼ F ( x , y ) (X, Y) \sim F(x, y) ( X , Y ) ∼ F ( x , y ) .
3.1.2.2 性质 P63
单调性
F ( x , y ) F(x, y) F ( x , y ) 是 x , y x, y x , y 的单调不减函数
对任意固定的 y y y ,当 x 1 < x 2 x_1 < x_2 x 1 < x 2 时,F ( x 1 , y ) ⩽ F ( x 2 , y ) F(x_1, y) \leqslant F(x_2, y) F ( x 1 , y ) ⩽ F ( x 2 , y )
对任意固定的 x x x ,当 y 1 < y 2 y_1 < y_2 y 1 < y 2 时,F ( x , y 1 ) ⩽ F ( x , y 2 ) F(x, y_1) \leqslant F(x, y_2) F ( x , y 1 ) ⩽ F ( x , y 2 )
右连续性 F ( x , y ) F(x, y) F ( x , y ) 是 x , y x, y x , y 的右连续函数:
lim x → x 0 + F ( x , y ) = F ( x 0 + 0 , y ) = F ( x 0 , y ) \lim_{x \to x_0^+} F(x, y) = F(x_0 + 0, y) = F(x_0, y) lim x → x 0 + F ( x , y ) = F ( x 0 + 0 , y ) = F ( x 0 , y )
lim y → y 0 + F ( x , y ) = F ( x , y 0 + 0 ) = F ( x , y 0 ) \lim_{y \to y_0^+} F(x, y) = F(x, y_0 + 0) = F(x, y_0) lim y → y 0 + F ( x , y ) = F ( x , y 0 + 0 ) = F ( x , y 0 )
有界性
F ( − ∞ , y ) = F ( x , − ∞ ) = F ( − ∞ , − ∞ ) = 0 F(-\infty, y) = F(x, -\infty) = F(-\infty, -\infty) = 0 F ( − ∞ , y ) = F ( x , − ∞ ) = F ( − ∞ , − ∞ ) = 0
F ( + ∞ , + ∞ ) = 1 F(+\infty, +\infty) = 1 F ( + ∞ , + ∞ ) = 1
非负性 对任意的 x 1 < x 2 , y 1 < y 2 x_1 < x_2, y_1 < y_2 x 1 < x 2 , y 1 < y 2 ,有
P { x 1 < X ⩽ x 2 , y 1 < Y ⩽ y 2 } = F ( x 2 , y 2 ) − F ( x 2 , y 1 ) − F ( x 1 , y 2 ) + F ( x 1 , y 1 ) ⩾ 0 P\{x_1 < X \leqslant x_2, y_1 < Y \leqslant y_2\} = F(x_2, y_2) - F(x_2, y_1) - F(x_1, y_2) + F(x_1, y_1) \geqslant 0 P { x 1 < X ⩽ x 2 , y 1 < Y ⩽ y 2 } = F ( x 2 , y 2 ) − F ( x 2 , y 1 ) − F ( x 1 , y 2 ) + F ( x 1 , y 1 ) ⩾ 0
3.1.3 边缘分布函数 P64
设二维随机变量 ( X , Y ) (X, Y) ( X , Y ) 的分布函数为 F ( x , y ) F(x, y) F ( x , y ) ,随机变量 X X X 与 Y Y Y 的分布函数 F X ( x ) F_X(x) F X ( x ) 与 F Y ( y ) F_Y(y) F Y ( y ) 分别称为 ( X , Y ) (X, Y) ( X , Y ) 关于 X X X 和关于 Y Y Y 的边缘分布函数 . 由概率性质得
F X ( x ) = P { X ⩽ x } = P { X ⩽ x , Y < + ∞ } F_X(x) = P\{X \leqslant x\} = P\{X \leqslant x, Y < +\infty\} F X ( x ) = P { X ⩽ x } = P { X ⩽ x , Y < + ∞ }
= lim y → + ∞ P { X ⩽ x , Y ⩽ y } = \lim_{y \to +\infty} P\{X \leqslant x, Y \leqslant y\} = y → + ∞ lim P { X ⩽ x , Y ⩽ y }
= lim y → + ∞ F ( x , y ) = F ( x , + ∞ ) . = \lim_{y \to +\infty} F(x, y) = F(x, +\infty). = y → + ∞ lim F ( x , y ) = F ( x , + ∞ ) .
同理,有 F Y ( y ) = F ( + ∞ , y ) F_Y(y) = F(+\infty, y) F Y ( y ) = F ( + ∞ , y ) .
3.2 常见的两类二维随机变量——离散型随机变量与连续型随机变量 P65
3.2.1 公式 P69
二维离散型随机变量 二维连续型随机变量 概率分布 / 概率密度 ( X , Y ) ∼ p i j (X,Y)\sim p_{ij} ( X , Y ) ∼ p ij ( X , Y ) ∼ f ( x , y ) (X,Y)\sim f(x,y) ( X , Y ) ∼ f ( x , y ) 联合分布 F ( x , y ) = ∑ x i ≤ x ∑ y j ≤ y p i j F(x,y)=\displaystyle\sum_{x_i\le x}\sum_{y_j\le y}p_{ij} F ( x , y ) = x i ≤ x ∑ y j ≤ y ∑ p ij F ( x , y ) = ∫ − ∞ y d v ∫ − ∞ x f ( u , v ) d u F(x,y)=\displaystyle\int_{-\infty}^{y}\,dv\int_{-\infty}^{x}f(u,v)\,du F ( x , y ) = ∫ − ∞ y d v ∫ − ∞ x f ( u , v ) d u 边缘分布 X ∼ p i = ∑ j = 1 ∞ p i j \displaystyle X\sim p_i=\sum_{j=1}^{\infty}p_{ij} X ∼ p i = j = 1 ∑ ∞ p ij Y ∼ p j = ∑ i = 1 ∞ p i j \displaystyle Y\sim p_j=\sum_{i=1}^{\infty}p_{ij} Y ∼ p j = i = 1 ∑ ∞ p ij X ∼ F X ( x ) = ∫ − ∞ x ∫ − ∞ + ∞ f ( u , v ) d v d u \displaystyle X\sim F_X(x)=\int_{-\infty}^{x}\int_{-\infty}^{+\infty}f(u,v)\,dv\,du X ∼ F X ( x ) = ∫ − ∞ x ∫ − ∞ + ∞ f ( u , v ) d v d u Y ∼ F Y ( y ) = ∫ − ∞ y ∫ − ∞ + ∞ f ( u , v ) d u d v \displaystyle Y\sim F_Y(y)=\int_{-\infty}^{y}\int_{-\infty}^{+\infty}f(u,v)\,du\,dv Y ∼ F Y ( y ) = ∫ − ∞ y ∫ − ∞ + ∞ f ( u , v ) d u d v 条件分布 P ( Y = y j ∣ X = x i ) = p i j p i \displaystyle P(Y=y_j\mid X=x_i)=\frac{p_{ij}}{p_i} P ( Y = y j ∣ X = x i ) = p i p ij P ( X = x i ∣ Y = y j ) = p i j p j \displaystyle P(X=x_i\mid Y=y_j)=\frac{p_{ij}}{p_j} P ( X = x i ∣ Y = y j ) = p j p ij F Y ∣ X ( y ∣ x ) = ∫ − ∞ y f ( x , v ) f X ( x ) d v \displaystyle F_{Y\mid X}(y\mid x)=\int_{-\infty}^{y}\frac{f(x,v)}{f_X(x)}\,dv F Y ∣ X ( y ∣ x ) = ∫ − ∞ y f X ( x ) f ( x , v ) d v F X ∣ Y ( x ∣ y ) = ∫ − ∞ x f ( u , y ) f Y ( y ) d u \displaystyle F_{X\mid Y}(x\mid y)=\int_{-\infty}^{x}\frac{f(u,y)}{f_Y(y)}\,du F X ∣ Y ( x ∣ y ) = ∫ − ∞ x f Y ( y ) f ( u , y ) d u
3.2.2 常见的二维分布 P70
3.2.2.1 二维均匀分布 P70
如果 ( X , Y ) (X, Y) ( X , Y ) 的概率密度为
f ( x , y ) = { 1 S D , ( x , y ) ∈ D , 0 , 其他 , f(x, y) = \begin{cases} \dfrac{1}{S_D}, & (x, y) \in D, \\[2ex] 0, & \text{其他}, \end{cases} f ( x , y ) = ⎩ ⎨ ⎧ S D 1 , 0 , ( x , y ) ∈ D , 其他 ,
其中 S D S_D S D 为区域 D D D 的面积,则称 ( X , Y ) (X, Y) ( X , Y ) 在平面有界区域 D D D 上服从均匀分布.
3.2.2.2 二维正态分布 P70
如果 ( X , Y ) (X,Y) ( X , Y ) 的概率密度为
f ( x , y ) = 1 2 π σ 1 σ 2 1 − ρ 2 exp { − 1 2 ( 1 − ρ 2 ) [ ( x − μ 1 σ 1 ) 2 − 2 ρ ( x − μ 1 σ 1 ) ( y − μ 2 σ 2 ) + ( y − μ 2 σ 2 ) 2 ] } f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}
\exp\left\{-\frac{1}{2(1-\rho^2)}
\left[
\left(\frac{x-\mu_1}{\sigma_1}\right)^2
-2\rho\left(\frac{x-\mu_1}{\sigma_1}\right)\left(\frac{y-\mu_2}{\sigma_2}\right)
+\left(\frac{y-\mu_2}{\sigma_2}\right)^2
\right]\right\} f ( x , y ) = 2 π σ 1 σ 2 1 − ρ 2 1 exp { − 2 ( 1 − ρ 2 ) 1 [ ( σ 1 x − μ 1 ) 2 − 2 ρ ( σ 1 x − μ 1 ) ( σ 2 y − μ 2 ) + ( σ 2 y − μ 2 ) 2 ] }
其中 μ 1 ∈ R \mu_1\in\mathbb{R} μ 1 ∈ R ,μ 2 ∈ R \mu_2\in\mathbb{R} μ 2 ∈ R ,σ 1 > 0 \sigma_1>0 σ 1 > 0 ,σ 2 > 0 \sigma_2>0 σ 2 > 0 ,− 1 < ρ < 1 -1<\rho<1 − 1 < ρ < 1 ,则称 ( X , Y ) (X,Y) ( X , Y ) 服从参数为 μ 1 , μ 2 , σ 1 2 , σ 2 2 , ρ \mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho μ 1 , μ 2 , σ 1 2 , σ 2 2 , ρ 的二维正态分布,记为( X , Y ) ∼ N ( μ 1 , μ 2 ; σ 1 2 , σ 2 2 ; ρ ) (X,Y)\sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho) ( X , Y ) ∼ N ( μ 1 , μ 2 ; σ 1 2 , σ 2 2 ; ρ )
若 ( X 1 , X 2 ) ∼ N ( μ 1 , μ 2 ; σ 1 2 , σ 2 2 ; ρ ) (X_1, X_2) \sim N(\mu_1, \mu_2; \sigma_1^2, \sigma_2^2; \rho) ( X 1 , X 2 ) ∼ N ( μ 1 , μ 2 ; σ 1 2 , σ 2 2 ; ρ ) ,则X 1 ∼ N ( μ 1 , σ 1 2 ) , X 2 ∼ N ( μ 2 , σ 2 2 ) X_1 \sim N(\mu_1, \sigma_1^2), \quad X_2 \sim N(\mu_2, \sigma_2^2) X 1 ∼ N ( μ 1 , σ 1 2 ) , X 2 ∼ N ( μ 2 , σ 2 2 )
若 X 1 ∼ N ( μ 1 , σ 1 2 ) X_1 \sim N(\mu_1, \sigma_1^2) X 1 ∼ N ( μ 1 , σ 1 2 ) ,X 2 ∼ N ( μ 2 , σ 2 2 ) X_2 \sim N(\mu_2, \sigma_2^2) X 2 ∼ N ( μ 2 , σ 2 2 ) 且 X 1 , X 2 X_1, X_2 X 1 , X 2 相互独立,则( X 1 , X 2 ) ∼ N ( μ 1 , μ 2 ; σ 1 2 , σ 2 2 ; 0 ) (X_1, X_2) \sim N(\mu_1, \mu_2; \sigma_1^2, \sigma_2^2; 0) ( X 1 , X 2 ) ∼ N ( μ 1 , μ 2 ; σ 1 2 , σ 2 2 ; 0 )
( X 1 , X 2 ) ∼ N ⇒ k 1 X 1 + k 2 X 2 ∼ N (X_1, X_2) \sim N \Rightarrow k_1 X_1 + k_2 X_2 \sim N ( X 1 , X 2 ) ∼ N ⇒ k 1 X 1 + k 2 X 2 ∼ N (k 1 , k 2 k_1, k_2 k 1 , k 2 是不全为 0 0 0 的常数)
3.3 随机变量的相互独立性 P75
3.3.1 概念 P75
如果 n n n 维随机变量 ( X 1 , X 2 , ⋯ , X n ) (X_1,X_2,\cdots,X_n) ( X 1 , X 2 , ⋯ , X n ) 的分布函数等于边缘分布函数的乘积,即
F ( x 1 , x 2 , ⋯ , x n ) = F 1 ( x 1 ) ⋅ F 2 ( x 2 ) ⋯ F n ( x n ) , F(x_1,x_2,\cdots,x_n)=F_1(x_1)\cdot F_2(x_2)\cdots F_n(x_n), F ( x 1 , x 2 , ⋯ , x n ) = F 1 ( x 1 ) ⋅ F 2 ( x 2 ) ⋯ F n ( x n ) ,
其中 F i ( x i ) ( i = 1 , 2 , ⋯ , n ) F_i(x_i)\ (i=1,2,\cdots,n) F i ( x i ) ( i = 1 , 2 , ⋯ , n ) 为 X i X_i X i 的边缘分布函数,x i x_i x i 为任意实数,则称 X 1 , X 2 , ⋯ , X n X_1,X_2,\cdots,X_n X 1 , X 2 , ⋯ , X n 相互独立。
3.3.2 充要条件 P76
n n n 个随机变量 X 1 , X 2 , ⋯ , X n X_1,X_2,\cdots,X_n X 1 , X 2 , ⋯ , X n 相互独立
⟺ 对任意的 n 个实数 x i ( i = 1 , 2 , ⋯ , n ) , n 个事件 { X 1 ≤ x 1 } , { X 2 ≤ x 2 } , ⋯ , { X n ≤ x n } 相互独立。 \Longleftrightarrow
\text{对任意的 }n\text{ 个实数 }x_i\ (i=1,2,\cdots,n),
n\text{ 个事件 }
\{X_1\le x_1\},\{X_2\le x_2\},\cdots,\{X_n\le x_n\}
\text{ 相互独立。} ⟺ 对任意的 n 个实数 x i ( i = 1 , 2 , ⋯ , n ) , n 个事件 { X 1 ≤ x 1 } , { X 2 ≤ x 2 } , ⋯ , { X n ≤ x n } 相互独立。
3.3.2.1 离散型随机变量:联合分布律等于边缘分布相乘 P76
n n n 个离散型随机变量 X 1 , X 2 , ⋯ , X n X_1,X_2,\cdots,X_n X 1 , X 2 , ⋯ , X n 相互独立
⟺ 对任意的 x i ∈ D i = { X i 的一切可能值 } ( i = 1 , 2 , ⋯ , n ) ,有 \Longleftrightarrow
\text{对任意的 }x_i\in D_i
=
\{X_i\text{ 的一切可能值}\}
\quad(i=1,2,\cdots,n),\text{有} ⟺ 对任意的 x i ∈ D i = { X i 的一切可能值 } ( i = 1 , 2 , ⋯ , n ) , 有
P { X 1 = x 1 , ⋯ , X n = x n } = ∏ i = 1 n P { X i = x i } . P\{X_1=x_1,\cdots,X_n=x_n\}
=
\prod_{i=1}^{n}P\{X_i=x_i\}. P { X 1 = x 1 , ⋯ , X n = x n } = i = 1 ∏ n P { X i = x i } .
3.3.2.2 连续型随机变量:概率密度等于边缘概率密度相乘 P76
设 ( X 1 , X 2 , ⋯ , X n ) (X_1,X_2,\cdots,X_n) ( X 1 , X 2 , ⋯ , X n ) 为 n n n 维连续型随机变量,则
X 1 , X 2 , ⋯ , X n 相互独立 ⟺ 概率密度等于边缘概率密度相乘 X_1,X_2,\cdots,X_n\text{ 相互独立}
\Longleftrightarrow
\text{概率密度等于边缘概率密度相乘} X 1 , X 2 , ⋯ , X n 相互独立 ⟺ 概率密度等于边缘概率密度相乘
即
f ( x 1 , x 2 , ⋯ , x n ) = f 1 ( x 1 ) ⋅ f 2 ( x 2 ) ⋯ f n ( x n ) , f(x_1,x_2,\cdots,x_n)
=
f_1(x_1)\cdot f_2(x_2)\cdots f_n(x_n), f ( x 1 , x 2 , ⋯ , x n ) = f 1 ( x 1 ) ⋅ f 2 ( x 2 ) ⋯ f n ( x n ) ,
其中 f i ( x i ) f_i(x_i) f i ( x i ) 为 X i X_i X i 的边缘概率密度。
3.3.3 性质 P76
设 X 1 , X 2 , ⋯ , X n X_1,X_2,\cdots,X_n X 1 , X 2 , ⋯ , X n 相互独立,则其中任意 k ( 2 ≤ k ≤ n ) k\ (2\le k\le n) k ( 2 ≤ k ≤ n ) 个随机变量也相互独立。
设 ( X , Y ) (X,Y) ( X , Y ) 为二维离散型随机变量,X X X 与 Y Y Y 独立,则条件分布等于边缘分布:
P { X = x i ∣ Y = y j } = P { X = x i } , ( P { Y = y j } > 0 ) . P\{X=x_i\mid Y=y_j\}
=
P\{X=x_i\},
\qquad
\bigl(P\{Y=y_j\}>0\bigr). P { X = x i ∣ Y = y j } = P { X = x i } , ( P { Y = y j } > 0 ) .
P { Y = y j ∣ X = x i } = P { Y = y j } , ( P { X = x i } > 0 ) . P\{Y=y_j\mid X=x_i\}
=
P\{Y=y_j\},
\qquad
\bigl(P\{X=x_i\}>0\bigr). P { Y = y j ∣ X = x i } = P { Y = y j } , ( P { X = x i } > 0 ) .
设 ( X , Y ) (X,Y) ( X , Y ) 为二维连续型随机变量,X X X 与 Y Y Y 独立,则条件概率密度等于边缘概率密度:
f X ∣ Y ( x ∣ y ) = f ( x , y ) f Y ( y ) = f X ( x ) , ( f Y ( y ) > 0 ) . f_{X\mid Y}(x\mid y)
=
\frac{f(x,y)}{f_Y(y)}
=
f_X(x),
\qquad
\bigl(f_Y(y)>0\bigr). f X ∣ Y ( x ∣ y ) = f Y ( y ) f ( x , y ) = f X ( x ) , ( f Y ( y ) > 0 ) .
f Y ∣ X ( y ∣ x ) = f ( x , y ) f X ( x ) = f Y ( y ) , ( f X ( x ) > 0 ) . f_{Y\mid X}(y\mid x)
=
\frac{f(x,y)}{f_X(x)}
=
f_Y(y),
\qquad
\bigl(f_X(x)>0\bigr). f Y ∣ X ( y ∣ x ) = f X ( x ) f ( x , y ) = f Y ( y ) , ( f X ( x ) > 0 ) .
若 X 1 , X 2 , ⋯ , X n X_1,X_2,\cdots,X_n X 1 , X 2 , ⋯ , X n 相互独立,g 1 ( x ) , g 2 ( x ) , ⋯ , g n ( x ) g_1(x),g_2(x),\cdots,g_n(x) g 1 ( x ) , g 2 ( x ) , ⋯ , g n ( x ) 为一元连续函数,则g 1 ( X 1 ) , g 2 ( X 2 ) , ⋯ , g n ( X n ) g_1(X_1),g_2(X_2),\cdots,g_n(X_n) g 1 ( X 1 ) , g 2 ( X 2 ) , ⋯ , g n ( X n ) 相互独立。
3.3.4 不独立的判断与证明 P77
要证不独立,举出一个反例 ( x 0 , y 0 ) (x_0, y_0) ( x 0 , y 0 ) 即可。找一对点,让这两个区域要么包含(一个发生导致另一个必定发生),要么互斥(不可能同时发生)。只要满足这种强关联,它们就绝不可能独立。
X 与 Y 不独立 ⟺ 存在 x 0 , y 0 ,使 A = { X ≤ x 0 } 与 B = { Y ≤ y 0 } 不独立, 即 F ( x 0 , y 0 ) ≠ F X ( x 0 ) ⋅ F Y ( y 0 ) X\text{ 与 }Y\text{ 不独立}
\Longleftrightarrow
\text{存在 }x_0,y_0,
\text{使 }A=\{X\le x_0\}\text{ 与 }B=\{Y\le y_0\}\text{ 不独立, 即 }
F(x_0,y_0)\ne F_X(x_0)\cdot F_Y(y_0) X 与 Y 不独立 ⟺ 存在 x 0 , y 0 , 使 A = { X ≤ x 0 } 与 B = { Y ≤ y 0 } 不独立 , 即 F ( x 0 , y 0 ) = F X ( x 0 ) ⋅ F Y ( y 0 )
也即取合适的 x 0 , y 0 x_0,y_0 x 0 , y 0 ,使 P { X ≤ x 0 } ⋅ P { Y ≤ y 0 } ≠ P { X ≤ x 0 , Y ≤ y 0 } P\{X\le x_0\}\cdot P\{Y\le y_0\}\ne P\{X\le x_0,\ Y\le y_0\} P { X ≤ x 0 } ⋅ P { Y ≤ y 0 } = P { X ≤ x 0 , Y ≤ y 0 } .
例如:取 x 0 , y 0 x_0,y_0 x 0 , y 0 ,使0 < P { X ≤ x 0 } , P { Y ≤ y 0 } < 1 , 0<P\{X\le x_0\},P\{Y\le y_0\}<1, 0 < P { X ≤ x 0 } , P { Y ≤ y 0 } < 1 , 但
{ X ≤ x 0 } ⊆ { Y ≤ y 0 } \{X\le x_0\}\subseteq\{Y\le y_0\} { X ≤ x 0 } ⊆ { Y ≤ y 0 } , 或
{ Y ≤ y 0 } ⊆ { X ≤ x 0 } \{Y\le y_0\}\subseteq\{X\le x_0\} { Y ≤ y 0 } ⊆ { X ≤ x 0 } , 或
{ X ≤ x 0 , Y ≤ y 0 } = ∅ \{X\le x_0,\ Y\le y_0\}=\varnothing { X ≤ x 0 , Y ≤ y 0 } = ∅ 等
3.4 多维随机变量函数的分布 P79
3.4.1 求法 P79
已知 ( X , Y ) (X, Y) ( X , Y ) 的分布,求函数 Z = g ( X , Y ) Z = g(X, Y) Z = g ( X , Y ) 的分布. 首先要确定 X , Y X, Y X , Y 的类型,然后采用相应的公式计算.
如果 ( X , Y ) (X, Y) ( X , Y ) 是二维离散型随机变量,则 Z = g ( X , Y ) Z = g(X, Y) Z = g ( X , Y ) 也是离散型的,先确定 Z Z Z 的值,而后求其相应的概率,即可求得 Z Z Z 的分布.
如果 X , Y X, Y X , Y 其中一个是离散型的,另一个是非离散型的,将事件对离散型的一切可能值进行全集分解,而后应用全概率公式求得 Z Z Z 的分布.
如果 ( X , Y ) (X, Y) ( X , Y ) 是二维连续型随机变量,即 ( X , Y ) ∼ f ( x , y ) (X, Y) \sim f(x, y) ( X , Y ) ∼ f ( x , y ) ,则 Z = g ( X , Y ) Z = g(X, Y) Z = g ( X , Y ) 的分布函数
F ( z ) = P { g ( X , Y ) ⩽ z } = ∬ g ( x , y ) ⩽ z f ( x , y ) d x d y , F(z) = P\{g(X, Y) \leqslant z\} = \iint\limits_{g(x, y) \leqslant z} f(x, y) \mathrm{d}x\mathrm{d}y, F ( z ) = P { g ( X , Y ) ⩽ z } = g ( x , y ) ⩽ z ∬ f ( x , y ) d x d y ,
换元法求 f U , V ( u , v ) f_{U, V}(u, v) f U , V ( u , v ) ,这是比卷积公式更为有用且极为简便的方法:
设 ( X , Y ) (X, Y) ( X , Y ) 是二维连续型随机变量,且 ( X , Y ) ∼ f ( x , y ) (X, Y) \sim f(x, y) ( X , Y ) ∼ f ( x , y ) ,若 { u = u ( x , y ) , v = v ( x , y ) , \begin{cases} u = u(x, y), \\ v = v(x, y), \end{cases} { u = u ( x , y ) , v = v ( x , y ) , 且 u , v u, v u , v 具有一阶连续偏导数,{ x = x ( u , v ) , y = y ( u , v ) \begin{cases} x = x(u, v), \\ y = y(u, v) \end{cases} { x = x ( u , v ) , y = y ( u , v ) 是其唯一反函数,则
( U , V ) ∼ f U , V ( u , v ) = f [ x ( u , v ) , y ( u , v ) ] ⋅ ∣ J ∣ (U, V) \sim f_{U, V}(u, v) = f[x(u, v), y(u, v)] \cdot |J| ( U , V ) ∼ f U , V ( u , v ) = f [ x ( u , v ) , y ( u , v )] ⋅ ∣ J ∣
U ∼ f U ( u ) = ∫ − ∞ + ∞ f [ x ( u , v ) , y ( u , v ) ] ∣ J ∣ d v , U \sim f_U(u) = \int_{-\infty}^{+\infty} f[x(u, v), y(u, v)] |J| \mathrm{d}v, U ∼ f U ( u ) = ∫ − ∞ + ∞ f [ x ( u , v ) , y ( u , v )] ∣ J ∣ d v ,
V ∼ f V ( v ) = ∫ − ∞ + ∞ f [ x ( u , v ) , y ( u , v ) ] ∣ J ∣ d u . V \sim f_V(v) = \int_{-\infty}^{+\infty} f[x(u, v), y(u, v)] |J| \mathrm{d}u. V ∼ f V ( v ) = ∫ − ∞ + ∞ f [ x ( u , v ) , y ( u , v )] ∣ J ∣ d u .
其中 J = ∂ ( x , y ) ∂ ( u , v ) = ∣ ∂ x ∂ u ∂ x ∂ v ∂ y ∂ u ∂ y ∂ v ∣ = [ ∂ ( u , v ) ∂ ( x , y ) ] − 1 = ∣ ∂ u ∂ x ∂ u ∂ y ∂ v ∂ x ∂ v ∂ y ∣ − 1 ≠ 0 \text{其中 }J = \frac{\partial(x, y)}{\partial(u, v)} = \begin{vmatrix} \frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\ \frac{\partial y}{\partial u} & \frac{\partial y}{\partial v} \end{vmatrix} = \left[ \frac{\partial(u, v)}{\partial(x, y)} \right]^{-1} = \begin{vmatrix} \frac{\partial u}{\partial x} & \frac{\partial u}{\partial y} \\ \frac{\partial v}{\partial x} & \frac{\partial v}{\partial y} \end{vmatrix}^{-1} \neq 0 其中 J = ∂ ( u , v ) ∂ ( x , y ) = ∂ u ∂ x ∂ u ∂ y ∂ v ∂ x ∂ v ∂ y = [ ∂ ( x , y ) ∂ ( u , v ) ] − 1 = ∂ x ∂ u ∂ x ∂ v ∂ y ∂ u ∂ y ∂ v − 1 = 0
3.4.2 相互独立随机变量函数的分布及卷积公式 P81
= 独立 \stackrel{\text{独立}}{=} = 独立 表示 当 X X X 与 Y Y Y 相互独立时等号成立.
3.4.2.1 和的分布 P81
设 ( X , Y ) ∼ f ( x , y ) (X, Y) \sim f(x, y) ( X , Y ) ∼ f ( x , y ) ,则 Z = X + Y Z = X + Y Z = X + Y 的概率密度为
f Z ( z ) = ∫ − ∞ + ∞ f ( x , z − x ) d x = ∫ − ∞ + ∞ f ( z − y , y ) d y f_Z(z) = \int_{-\infty}^{+\infty} f(x, z - x) \mathrm{d}x = \int_{-\infty}^{+\infty} f(z - y, y) \mathrm{d}y f Z ( z ) = ∫ − ∞ + ∞ f ( x , z − x ) d x = ∫ − ∞ + ∞ f ( z − y , y ) d y
= 独立 ∫ − ∞ + ∞ f X ( x ) f Y ( z − x ) d x = ∫ − ∞ + ∞ f X ( z − y ) f Y ( y ) d y . \stackrel{\text{独立}}{=} \int_{-\infty}^{+\infty} f_X(x) f_Y(z - x) \mathrm{d}x = \int_{-\infty}^{+\infty} f_X(z - y) f_Y(y) \mathrm{d}y. = 独立 ∫ − ∞ + ∞ f X ( x ) f Y ( z − x ) d x = ∫ − ∞ + ∞ f X ( z − y ) f Y ( y ) d y .
3.4.2.2 差的分布 P81
设 ( X , Y ) ∼ f ( x , y ) (X, Y) \sim f(x, y) ( X , Y ) ∼ f ( x , y ) ,则 Z = X − Y Z = X - Y Z = X − Y 的概率密度为
f Z ( z ) = ∫ − ∞ + ∞ f ( x , x − z ) d x = ∫ − ∞ + ∞ f ( y + z , y ) d y f_Z(z) = \int_{-\infty}^{+\infty} f(x, x - z) \mathrm{d}x = \int_{-\infty}^{+\infty} f(y + z, y) \mathrm{d}y f Z ( z ) = ∫ − ∞ + ∞ f ( x , x − z ) d x = ∫ − ∞ + ∞ f ( y + z , y ) d y
= 独立 ∫ − ∞ + ∞ f X ( x ) f Y ( x − z ) d x = ∫ − ∞ + ∞ f X ( y + z ) f Y ( y ) d y . \stackrel{\text{独立}}{=} \int_{-\infty}^{+\infty} f_X(x) f_Y(x - z) \mathrm{d}x = \int_{-\infty}^{+\infty} f_X(y + z) f_Y(y) \mathrm{d}y. = 独立 ∫ − ∞ + ∞ f X ( x ) f Y ( x − z ) d x = ∫ − ∞ + ∞ f X ( y + z ) f Y ( y ) d y .
3.4.2.3 积的分布 P81
设 ( X , Y ) ∼ f ( x , y ) (X, Y) \sim f(x, y) ( X , Y ) ∼ f ( x , y ) ,则 Z = X Y Z = XY Z = X Y 的概率密度为
f Z ( z ) = ∫ − ∞ + ∞ 1 ∣ x ∣ f ( x , z x ) d x = ∫ − ∞ + ∞ 1 ∣ y ∣ f ( z y , y ) d y f_Z(z) = \int_{-\infty}^{+\infty} \frac{1}{|x|} f\left(x, \frac{z}{x}\right) \mathrm{d}x = \int_{-\infty}^{+\infty} \frac{1}{|y|} f\left(\frac{z}{y}, y\right) \mathrm{d}y f Z ( z ) = ∫ − ∞ + ∞ ∣ x ∣ 1 f ( x , x z ) d x = ∫ − ∞ + ∞ ∣ y ∣ 1 f ( y z , y ) d y
= 独立 ∫ − ∞ + ∞ 1 ∣ x ∣ f X ( x ) f Y ( z x ) d x = ∫ − ∞ + ∞ 1 ∣ y ∣ f X ( z y ) f Y ( y ) d y . \stackrel{\text{独立}}{=} \int_{-\infty}^{+\infty} \frac{1}{|x|} f_X(x) f_Y\left(\frac{z}{x}\right) \mathrm{d}x = \int_{-\infty}^{+\infty} \frac{1}{|y|} f_X\left(\frac{z}{y}\right) f_Y(y) \mathrm{d}y. = 独立 ∫ − ∞ + ∞ ∣ x ∣ 1 f X ( x ) f Y ( x z ) d x = ∫ − ∞ + ∞ ∣ y ∣ 1 f X ( y z ) f Y ( y ) d y .
3.4.2.4 商的分布 P82
设 ( X , Y ) ∼ f ( x , y ) (X, Y) \sim f(x, y) ( X , Y ) ∼ f ( x , y ) ,则 Z = X Y Z = \frac{X}{Y} Z = Y X 的概率密度为
f Z ( z ) = ∫ − ∞ + ∞ ∣ y ∣ f ( y z , y ) d y = 独立 ∫ − ∞ + ∞ ∣ y ∣ f X ( y z ) f Y ( y ) d y . f_Z(z) = \int_{-\infty}^{+\infty} |y| f(yz, y) \mathrm{d}y \stackrel{\text{独立}}{=} \int_{-\infty}^{+\infty} |y| f_X(yz) f_Y(y) \mathrm{d}y. f Z ( z ) = ∫ − ∞ + ∞ ∣ y ∣ f ( y z , y ) d y = 独立 ∫ − ∞ + ∞ ∣ y ∣ f X ( y z ) f Y ( y ) d y .
3.4.2.5 max { X , Y } \max\{X, Y\} max { X , Y } 分布 P83
设 ( X , Y ) ∼ F ( x , y ) (X, Y) \sim F(x, y) ( X , Y ) ∼ F ( x , y ) ,则 Z = max { X , Y } Z = \max\{X, Y\} Z = max { X , Y } 的分布函数为
F max ( z ) = P { max { X , Y } ⩽ z } = P { X ⩽ z , Y ⩽ z } = F ( z , z ) F_{\max}(z) = P\{\max\{X, Y\} \leqslant z\} = P\{X \leqslant z, Y \leqslant z\} = F(z, z) F m a x ( z ) = P { max { X , Y } ⩽ z } = P { X ⩽ z , Y ⩽ z } = F ( z , z )
= 独立 F max ( z ) = F X ( z ) ⋅ F Y ( z ) . \stackrel{\text{独立}}{=} F_{\max}(z) = F_X(z) \cdot F_Y(z). = 独立 F m a x ( z ) = F X ( z ) ⋅ F Y ( z ) .
推广到 n n n 个相互独立的随机变量 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 的情况
F max ( z ) = F X 1 ( z ) F X 2 ( z ) ⋯ F X n ( z ) F_{\max}(z) = F_{X_1}(z) F_{X_2}(z) \cdots F_{X_n}(z) F m a x ( z ) = F X 1 ( z ) F X 2 ( z ) ⋯ F X n ( z )
特别地,当 X i ( i = 1 , 2 , ⋯ , n ) X_i (i = 1, 2, \cdots, n) X i ( i = 1 , 2 , ⋯ , n ) 相互独立且有相同的分布函数 F ( x ) F(x) F ( x ) 与概率密度 f ( x ) f(x) f ( x ) 时
F max ( x ) = [ F ( x ) ] n F_{\max}(x) = [F(x)]^n F m a x ( x ) = [ F ( x ) ] n
f max ( x ) = n [ F ( x ) ] n − 1 f ( x ) . f_{\max}(x) = n [F(x)]^{n-1} f(x). f m a x ( x ) = n [ F ( x ) ] n − 1 f ( x ) .
3.4.2.6 min { X , Y } \min\{X, Y\} min { X , Y } 分布 P83
设 ( X , Y ) ∼ F ( x , y ) (X, Y) \sim F(x, y) ( X , Y ) ∼ F ( x , y ) ,则 Z = min { X , Y } Z = \min\{X, Y\} Z = min { X , Y } 的分布函数为
F min ( z ) = P { min { X , Y } ⩽ z } = P { { X ⩽ z } ∪ { Y ⩽ z } } F_{\min}(z) = P\{\min\{X, Y\} \leqslant z\} = P\{\{X \leqslant z\} \cup \{Y \leqslant z\}\} F m i n ( z ) = P { min { X , Y } ⩽ z } = P {{ X ⩽ z } ∪ { Y ⩽ z }}
= P { X ⩽ z } + P { Y ⩽ z } − P { X ⩽ z , Y ⩽ z } = P\{X \leqslant z\} + P\{Y \leqslant z\} - P\{X \leqslant z, Y \leqslant z\} = P { X ⩽ z } + P { Y ⩽ z } − P { X ⩽ z , Y ⩽ z }
= F X ( z ) + F Y ( z ) − F ( z , z ) = F_X(z) + F_Y(z) - F(z, z) = F X ( z ) + F Y ( z ) − F ( z , z )
= 独立 F min ( z ) = F X ( z ) + F Y ( z ) − F X ( z ) F Y ( z ) \stackrel{\text{独立}}{=} F_{\min}(z) = F_X(z) + F_Y(z) - F_X(z) F_Y(z) = 独立 F m i n ( z ) = F X ( z ) + F Y ( z ) − F X ( z ) F Y ( z )
= 1 − [ 1 − F X ( z ) ] [ 1 − F Y ( z ) ] . = 1 - [1 - F_X(z)][1 - F_Y(z)]. = 1 − [ 1 − F X ( z )] [ 1 − F Y ( z )] .
推广到 n n n 个相互独立的随机变量 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 的情况
F min ( z ) = 1 − [ 1 − F X 1 ( z ) ] [ 1 − F X 2 ( z ) ] ⋯ [ 1 − F X n ( z ) ] . F_{\min}(z) = 1 - [1 - F_{X_1}(z)][1 - F_{X_2}(z)] \cdots [1 - F_{X_n}(z)]. F m i n ( z ) = 1 − [ 1 − F X 1 ( z )] [ 1 − F X 2 ( z )] ⋯ [ 1 − F X n ( z )] .
特别地,当 X i ( i = 1 , 2 , ⋯ , n ) X_i (i = 1, 2, \cdots, n) X i ( i = 1 , 2 , ⋯ , n ) 相互独立且有相同的分布函数 F ( x ) F(x) F ( x ) 与概率密度 f ( x ) f(x) f ( x ) 时
F min ( x ) = 1 − [ 1 − F ( x ) ] n F_{\min}(x) = 1 - [1 - F(x)]^n F m i n ( x ) = 1 − [ 1 − F ( x ) ] n
f min ( x ) = n [ 1 − F ( x ) ] n − 1 f ( x ) . f_{\min}(x) = n [1 - F(x)]^{n-1} f(x). f m i n ( x ) = n [ 1 − F ( x ) ] n − 1 f ( x ) .
3.4.2.7 常见分布的可加性 P83
设随机变量 X X X 与 Y Y Y 相互独立,则
若 X ∼ B ( n , p ) X \sim B(n, p) X ∼ B ( n , p ) , Y ∼ B ( m , p ) Y \sim B(m, p) Y ∼ B ( m , p ) ,则 X + Y ∼ B ( n + m , p ) X + Y \sim B(n + m, p) X + Y ∼ B ( n + m , p )
若 X ∼ P ( λ 1 ) X \sim P(\lambda_1) X ∼ P ( λ 1 ) , Y ∼ P ( λ 2 ) Y \sim P(\lambda_2) Y ∼ P ( λ 2 ) ,则 X + Y ∼ P ( λ 1 + λ 2 ) X + Y \sim P(\lambda_1 + \lambda_2) X + Y ∼ P ( λ 1 + λ 2 )
若 X ∼ N ( μ 1 , σ 1 2 ) X \sim N(\mu_1, \sigma_1^2) X ∼ N ( μ 1 , σ 1 2 ) , Y ∼ N ( μ 2 , σ 2 2 ) Y \sim N(\mu_2, \sigma_2^2) Y ∼ N ( μ 2 , σ 2 2 ) ,则 X + Y ∼ N ( μ 1 + μ 2 , σ 1 2 + σ 2 2 ) X + Y \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2) X + Y ∼ N ( μ 1 + μ 2 , σ 1 2 + σ 2 2 )
若 X ∼ χ 2 ( n ) X \sim \chi^2(n) X ∼ χ 2 ( n ) , Y ∼ χ 2 ( m ) Y \sim \chi^2(m) Y ∼ χ 2 ( m ) ,则 X + Y ∼ χ 2 ( n + m ) X + Y \sim \chi^2(n + m) X + Y ∼ χ 2 ( n + m )
4. 随机变量的数字特征 P103
4.1 随机变量的数学期望 P103
4.1.1 概念 P103
设 X X X 是随机变量,Y Y Y 是 X X X 的函数,Y = g ( X ) Y = g(X) Y = g ( X ) (g g g 为连续函数).
离散型随机变量
如果 X X X 是离散型随机变量,其分布序列为 p i = P { X = x i } ( i = 1 , 2 , ⋯ ) p_i = P\{X = x_i\} (i = 1, 2, \cdots) p i = P { X = x i } ( i = 1 , 2 , ⋯ ) . 若级数 ∑ i = 1 ∞ x i p i \sum_{i=1}^{\infty} x_i p_i ∑ i = 1 ∞ x i p i 绝对收敛,则 E X = ∑ i = 1 ∞ x i p i EX = \sum_{i=1}^{\infty} x_i p_i E X = ∑ i = 1 ∞ x i p i ,否则称 X X X 的数学期望不存在.
若级数 ∑ i = 1 ∞ g ( x i ) p i \sum_{i=1}^{\infty} g(x_i) p_i ∑ i = 1 ∞ g ( x i ) p i 绝对收敛,则 E [ g ( X ) ] = ∑ i = 1 ∞ g ( x i ) p i E[g(X)] = \sum_{i=1}^{\infty} g(x_i) p_i E [ g ( X )] = ∑ i = 1 ∞ g ( x i ) p i ,否则称 g ( X ) g(X) g ( X ) 的数学期望不存在.
连续型随机变量
如果 X X X 是连续型随机变量,其概率密度为 f ( x ) f(x) f ( x ) . 若积分 ∫ − ∞ + ∞ x f ( x ) d x \int_{-\infty}^{+\infty} x f(x) \mathrm{d}x ∫ − ∞ + ∞ x f ( x ) d x 绝对收敛,则 E X = ∫ − ∞ + ∞ x f ( x ) d x EX = \int_{-\infty}^{+\infty} x f(x) \mathrm{d}x E X = ∫ − ∞ + ∞ x f ( x ) d x ,否则称 X X X 的数学期望不存在.
若积分 ∫ − ∞ + ∞ g ( x ) f ( x ) d x \int_{-\infty}^{+\infty} g(x) f(x) \mathrm{d}x ∫ − ∞ + ∞ g ( x ) f ( x ) d x 绝对收敛,则 E [ g ( X ) ] = ∫ − ∞ + ∞ g ( x ) f ( x ) d x E[g(X)] = \int_{-\infty}^{+\infty} g(x) f(x) \mathrm{d}x E [ g ( X )] = ∫ − ∞ + ∞ g ( x ) f ( x ) d x ,否则称 g ( X ) g(X) g ( X ) 的数学期望不存在.
4.1.2 性质 P104
E a = a , E ( E X ) = E X Ea = a, \quad E(EX) = EX E a = a , E ( E X ) = E X
E ( a X + b Y ) = a E X + b E Y , E ( ∑ i = 1 n a i X i ) = ∑ i = 1 n a i E X i E(aX + bY) = aEX + bEY, \quad E\left( \sum_{i=1}^n a_i X_i \right) = \sum_{i=1}^n a_i EX_i E ( a X + bY ) = a E X + b E Y , E ( ∑ i = 1 n a i X i ) = ∑ i = 1 n a i E X i
若 X , Y X, Y X , Y 相互独立,则 E ( X Y ) = E X E Y E(XY) = EX EY E ( X Y ) = E X E Y
4.2 随机变量的方差、标准差
4.2.1 概念 P105
设 X X X 是随机变量,如果 E [ ( X − E X ) 2 ] E[(X - EX)^2] E [( X − E X ) 2 ] 存在,则
方差 D X = E [ ( X − E X ) 2 ] = E ( X 2 ) − ( E X ) 2 DX = E[(X - EX)^2] = E(X^2) - (EX)^2 D X = E [( X − E X ) 2 ] = E ( X 2 ) − ( E X ) 2
标准差或均方差 σ ( X ) = D X \sigma(X) = \sqrt{DX} σ ( X ) = D X
随机变量 X ∗ = X − E X D X X^* = \dfrac{X - EX}{\sqrt{DX}} X ∗ = D X X − E X 为 X X X 的标准化随机变量,此时 E X ∗ = 0 , D X ∗ = 1 EX^* = 0, DX^* = 1 E X ∗ = 0 , D X ∗ = 1
4.2.2 性质 P105
D X ⩾ 0 , E ( X 2 ) = D X + ( E X ) 2 ⩾ ( E X ) 2 DX \geqslant 0, E(X^2) = DX + (EX)^2 \geqslant (EX)^2 D X ⩾ 0 , E ( X 2 ) = D X + ( E X ) 2 ⩾ ( E X ) 2
D c = 0 Dc = 0 D c = 0 (c c c 为常数)
D X = 0 ⇔ X DX = 0 \Leftrightarrow X D X = 0 ⇔ X 几乎处处为某个常数 a a a ,即 P { X = a } = 1 P\{X = a\} = 1 P { X = a } = 1
D ( a X + b ) = a 2 D X D(aX + b) = a^2 DX D ( a X + b ) = a 2 D X
D ( X ± Y ) = D X + D Y ± 2 C o v ( X , Y ) D(X \pm Y) = DX + DY \pm 2\mathrm{Cov}(X, Y) D ( X ± Y ) = D X + D Y ± 2 Cov ( X , Y ) ,D ( ∑ i = 1 n a i X i ) = ∑ i = 1 n a i 2 D X i + 2 ∑ 1 ⩽ i < j ⩽ n a i a j C o v ( X i , X j ) D\left( \sum_{i=1}^n a_i X_i \right) = \sum_{i=1}^n a_i^2 DX_i + 2 \sum_{1 \leqslant i < j \leqslant n} a_i a_j \mathrm{Cov}(X_i, X_j) D ( ∑ i = 1 n a i X i ) = ∑ i = 1 n a i 2 D X i + 2 ∑ 1 ⩽ i < j ⩽ n a i a j Cov ( X i , X j )
如果 X X X 与 Y Y Y 相互独立,则
D ( a X + b Y ) = a 2 D X + b 2 D Y D(aX + bY) = a^2 DX + b^2 DY D ( a X + bY ) = a 2 D X + b 2 D Y
D ( X Y ) = D X D Y + D X ( E Y ) 2 + D Y ( E X ) 2 ⩾ D X D Y D(XY) = DX DY + DX (EY)^2 + DY (EX)^2 \geqslant DX DY D ( X Y ) = D X D Y + D X ( E Y ) 2 + D Y ( E X ) 2 ⩾ D X D Y
如果 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 相互独立,g i ( x ) ( i = 1 , 2 , ⋯ , n ) g_i(x)(i = 1, 2, \cdots, n) g i ( x ) ( i = 1 , 2 , ⋯ , n ) 为 x x x 的连续函数,则
D ( ∑ i = 1 n a i X i ) = ∑ i = 1 n a i 2 D X i D\left( \sum_{i=1}^n a_i X_i \right) = \sum_{i=1}^n a_i^2 DX_i D ( ∑ i = 1 n a i X i ) = ∑ i = 1 n a i 2 D X i
D [ ∑ i = 1 n g i ( X i ) ] = ∑ i = 1 n D [ g i ( X i ) ] D\left[ \sum_{i=1}^n g_i(X_i) \right] = \sum_{i=1}^n D[g_i(X_i)] D [ ∑ i = 1 n g i ( X i ) ] = ∑ i = 1 n D [ g i ( X i )]
对任意常数 c c c ,有 D X = E [ ( X − E X ) 2 ] ⩽ E [ ( X − c ) 2 ] DX = E[(X - EX)^2] \leqslant E[(X - c)^2] D X = E [( X − E X ) 2 ] ⩽ E [( X − c ) 2 ]
分布 分布列 p k p_k p k 或概率密度 f ( x ) f(x) f ( x ) 数学期望 方差 0 − 1 0-1 0 − 1 分布P { X = k } = p k ( 1 − p ) 1 − k , k = 0 , 1 P\{X = k\} = p^k (1 - p)^{1-k}, \quad k = 0, 1 P { X = k } = p k ( 1 − p ) 1 − k , k = 0 , 1 p p p p ( 1 − p ) p(1 - p) p ( 1 − p ) 二项分布 B ( n , p ) B(n, p) B ( n , p ) P { X = k } = C n k p k ( 1 − p ) n − k , k = 0 , 1 , ⋯ , n P\{X = k\} = C_n^k p^k (1 - p)^{n-k}, \quad k = 0, 1, \cdots, n P { X = k } = C n k p k ( 1 − p ) n − k , k = 0 , 1 , ⋯ , n n p np n p n p ( 1 − p ) np(1 - p) n p ( 1 − p ) 泊松分布 P ( λ ) P(\lambda) P ( λ ) P { X = k } = λ k k ! e − λ , k = 0 , 1 , ⋯ P\{X = k\} = \dfrac{\lambda^k}{k!} \mathrm{e}^{-\lambda}, \quad k = 0, 1, \cdots P { X = k } = k ! λ k e − λ , k = 0 , 1 , ⋯ λ \lambda λ λ \lambda λ 几何分布 G ( p ) G(p) G ( p ) P { X = k } = ( 1 − p ) k − 1 p , k = 1 , 2 , ⋯ P\{X = k\} = (1 - p)^{k-1} p, \quad k = 1, 2, \cdots P { X = k } = ( 1 − p ) k − 1 p , k = 1 , 2 , ⋯ 1 p \dfrac{1}{p} p 1 1 − p p 2 \dfrac{1 - p}{p^2} p 2 1 − p 正态分布 N ( μ , σ 2 ) N(\mu, \sigma^2) N ( μ , σ 2 ) f ( x ) = 1 2 π σ exp { − ( x − μ ) 2 2 σ 2 } , − ∞ < x < + ∞ f(x) = \dfrac{1}{\sqrt{2\pi}\sigma} \exp\left\{ -\dfrac{(x - \mu)^2}{2\sigma^2} \right\}, \quad -\infty < x < +\infty f ( x ) = 2 π σ 1 exp { − 2 σ 2 ( x − μ ) 2 } , − ∞ < x < + ∞ μ \mu μ σ 2 \sigma^2 σ 2 均匀分布 U ( a , b ) U(a, b) U ( a , b ) f ( x ) = 1 b − a , a < x < b f(x) = \dfrac{1}{b - a}, \quad a < x < b f ( x ) = b − a 1 , a < x < b a + b 2 \dfrac{a + b}{2} 2 a + b ( b − a ) 2 12 \dfrac{(b - a)^2}{12} 12 ( b − a ) 2 指数分布 E ( λ ) E(\lambda) E ( λ ) f ( x ) = λ e − λ x , x > 0 f(x) = \lambda \mathrm{e}^{-\lambda x}, \quad x > 0 f ( x ) = λ e − λ x , x > 0 1 λ \dfrac{1}{\lambda} λ 1 1 λ 2 \dfrac{1}{\lambda^2} λ 2 1
4.3 二维随机变量函数的数学期望 P109
设 X , Y X, Y X , Y 为随机变量,g ( X , Y ) g(X, Y) g ( X , Y ) 为 X , Y X, Y X , Y 的函数(g g g 是连续函数).
(1) 如果 ( X , Y ) (X, Y) ( X , Y ) 为离散型随机变量,其联合分布律为
p i j = P { X = x i , Y = y j } ( i , j = 1 , 2 , ⋯ ) p_{ij} = P\{X = x_i, Y = y_j\} (i, j = 1, 2, \cdots) p ij = P { X = x i , Y = y j } ( i , j = 1 , 2 , ⋯ )
若级数 ∑ i ∑ j g ( x i , y j ) p i j \sum_{i} \sum_{j} g(x_i, y_j) p_{ij} ∑ i ∑ j g ( x i , y j ) p ij 绝对收敛,则定义
E [ g ( X , Y ) ] = = = = = = = Z = g ( X , Y ) E Z = ∑ i ∑ j g ( x i , y j ) p i j E[g(X, Y)] \stackrel{Z = g(X, Y)}{=\!=\!=\!=\!=\!=\!=} EZ = \sum_{i} \sum_{j} g(x_i, y_j) p_{ij} E [ g ( X , Y )] = = = = = = = Z = g ( X , Y ) E Z = ∑ i ∑ j g ( x i , y j ) p ij
(2) 如果 ( X , Y ) (X, Y) ( X , Y ) 为连续型随机变量,其概率密度为 f ( x , y ) f(x, y) f ( x , y ) ,若积分 ∫ − ∞ + ∞ ∫ − ∞ + ∞ g ( x , y ) f ( x , y ) d x d y \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} g(x, y) f(x, y) \mathrm{d}x\mathrm{d}y ∫ − ∞ + ∞ ∫ − ∞ + ∞ g ( x , y ) f ( x , y ) d x d y 绝对收敛,则定义
E [ g ( X , Y ) ] = = = = = = = Z = g ( X , Y ) E Z = ∫ − ∞ + ∞ ∫ − ∞ + ∞ g ( x , y ) f ( x , y ) d x d y E[g(X, Y)] \stackrel{Z = g(X, Y)}{=\!=\!=\!=\!=\!=\!=} EZ = \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} g(x, y) f(x, y) \mathrm{d}x\mathrm{d}y E [ g ( X , Y )] = = = = = = = Z = g ( X , Y ) E Z = ∫ − ∞ + ∞ ∫ − ∞ + ∞ g ( x , y ) f ( x , y ) d x d y
4.4 两个随机变量的协方差与相关系数 P110
4.4.1 概念
(1) 概念.
如果随机变量 X X X 与 Y Y Y 的方差存在且 D X > 0 , D Y > 0 DX > 0, DY > 0 D X > 0 , D Y > 0 ,则称 E [ ( X − E X ) ( Y − E Y ) ] E[(X - EX)(Y - EY)] E [( X − E X ) ( Y − E Y )] 为随机变量 X X X 与 Y Y Y 的协方差 ,并记为 C o v ( X , Y ) \mathrm{Cov}(X, Y) Cov ( X , Y ) ,即
C o v ( X , Y ) = E [ ( X − E X ) ( Y − E Y ) ] = E ( X Y ) − E X ⋅ E Y , \mathrm{Cov}(X, Y) = E[(X - EX)(Y - EY)] = E(XY) - EX \cdot EY, Cov ( X , Y ) = E [( X − E X ) ( Y − E Y )] = E ( X Y ) − E X ⋅ E Y ,
其中
E ( X Y ) = { ∑ i ∑ j x i y j P { X = x i , Y = y j } (离散型) , ∫ − ∞ + ∞ ∫ − ∞ + ∞ x y f ( x , y ) d x d y (连续型) . E(XY) = \begin{cases} \sum\limits_{i} \sum\limits_{j} x_i y_j P\{X = x_i, Y = y_j\} \text{ (离散型)}, \\[2ex] \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} x y f(x, y) \mathrm{d}x\mathrm{d}y \text{ (连续型)}. \end{cases} E ( X Y ) = ⎩ ⎨ ⎧ i ∑ j ∑ x i y j P { X = x i , Y = y j } ( 离散型 ) , ∫ − ∞ + ∞ ∫ − ∞ + ∞ x y f ( x , y ) d x d y ( 连续型 ) .
称 ρ X Y = C o v ( X , Y ) D X D Y \rho_{XY} = \dfrac{\mathrm{Cov}(X, Y)}{\sqrt{DX}\sqrt{DY}} ρ X Y = D X D Y Cov ( X , Y ) 为随机变量 X X X 与 Y Y Y 的相关系数 . 如果 ρ X Y = 0 \rho_{XY} = 0 ρ X Y = 0 ,则称 X X X 与 Y Y Y 不相关 ;如果 ρ X Y ≠ 0 \rho_{XY} \neq 0 ρ X Y = 0 ,则称 X X X 与 Y Y Y 相关 .
若有随机变量 X X X ,数字特征为 E X , D X EX, DX E X , D X ,有 X ∗ = X − E X D X X^* = \dfrac{X - EX}{\sqrt{DX}} X ∗ = D X X − E X 为 X X X 的标准化;类似的,有随机变量 Y Y Y ,Y ∗ Y^* Y ∗ 为 Y Y Y 的标准化,则
C o v ( X ∗ , Y ∗ ) = C o v ( X − E X D X , Y − E Y D Y ) \mathrm{Cov}(X^*, Y^*) = \mathrm{Cov}\left( \frac{X - EX}{\sqrt{DX}}, \frac{Y - EY}{\sqrt{DY}} \right) Cov ( X ∗ , Y ∗ ) = Cov ( D X X − E X , D Y Y − E Y )
= C o v ( X − E X , Y − E Y ) D X D Y = C o v ( X , Y ) D X D Y = ρ X Y . = \frac{\mathrm{Cov}(X - EX, Y - EY)}{\sqrt{DX}\sqrt{DY}} = \frac{\mathrm{Cov}(X, Y)}{\sqrt{DX}\sqrt{DY}} = \rho_{XY} . = D X D Y Cov ( X − E X , Y − E Y ) = D X D Y Cov ( X , Y ) = ρ X Y .
4.4.2 性质
(2) 性质.
① C o v ( X , Y ) = C o v ( Y , X ) . \mathrm{Cov}(X, Y) = \mathrm{Cov}(Y, X) . Cov ( X , Y ) = Cov ( Y , X ) .
② C o v ( a X , b Y ) = a b C o v ( X , Y ) . \mathrm{Cov}(aX, bY) = ab\mathrm{Cov}(X, Y) . Cov ( a X , bY ) = ab Cov ( X , Y ) .
③ C o v ( X 1 + X 2 , Y ) = C o v ( X 1 , Y ) + C o v ( X 2 , Y ) . \mathrm{Cov}(X_1 + X_2, Y) = \mathrm{Cov}(X_1, Y) + \mathrm{Cov}(X_2, Y) . Cov ( X 1 + X 2 , Y ) = Cov ( X 1 , Y ) + Cov ( X 2 , Y ) .
④ ∣ ρ X Y ∣ ⩽ 1. |\rho_{XY}| \leqslant 1 . ∣ ρ X Y ∣ ⩽ 1.
⑤ ρ X Y = 1 ⇔ P { Y = a X + b } = 1 ( a > 0 ) . \rho_{XY} = 1 \Leftrightarrow P\{Y = aX + b\} = 1 (a > 0) . ρ X Y = 1 ⇔ P { Y = a X + b } = 1 ( a > 0 ) .
ρ X Y = − 1 ⇔ P { Y = a X + b } = 1 ( a < 0 ) . \rho_{XY} = -1 \Leftrightarrow P\{Y = aX + b\} = 1 (a < 0) . ρ X Y = − 1 ⇔ P { Y = a X + b } = 1 ( a < 0 ) .
4.5 独立性与不相关性的判定 P113
(1) 随机变量 X X X 与 Y Y Y 相互独立,意指对任意实数 x , y x, y x , y ,事件 { X ⩽ x } \{X \leqslant x\} { X ⩽ x } 与 { Y ⩽ y } \{Y \leqslant y\} { Y ⩽ y } 相互独立,即 ( X , Y ) (X, Y) ( X , Y ) 的分布等于边缘分布相乘:F ( x , y ) = F X ( x ) ⋅ F Y ( y ) F(x, y) = F_X(x) \cdot F_Y(y) F ( x , y ) = F X ( x ) ⋅ F Y ( y ) .
若 ( X , Y ) (X, Y) ( X , Y ) 是离散型的,则 X X X 与 Y Y Y 独立的充要条件是
P { X = x i , Y = y j } = P { X = x i } ⋅ P { Y = y j } ; P\{X = x_i, Y = y_j\} = P\{X = x_i\} \cdot P\{Y = y_j\}; P { X = x i , Y = y j } = P { X = x i } ⋅ P { Y = y j } ;
若 ( X , Y ) (X, Y) ( X , Y ) 是连续型的,则 X X X 与 Y Y Y 独立的充要条件是
f ( x , y ) = f X ( x ) ⋅ f Y ( y ) . f(x, y) = f_X(x) \cdot f_Y(y). f ( x , y ) = f X ( x ) ⋅ f Y ( y ) .
一般通过分布判定独立性.
(2) 随机变量 X X X 与 Y Y Y 不相关,意指 X X X 与 Y Y Y 之间不存在线性相关性,即 ρ X Y = 0 \rho_{XY} = 0 ρ X Y = 0 ,其充要条件是
ρ X Y = 0 ⇔ C o v ( X , Y ) = 0 ⇔ E ( X Y ) = E X ⋅ E Y ⇔ D ( X ± Y ) = D X + D Y . \rho_{XY} = 0 \Leftrightarrow \mathrm{Cov}(X, Y) = 0 \Leftrightarrow E(XY) = EX \cdot EY \Leftrightarrow D(X \pm Y) = DX + DY. ρ X Y = 0 ⇔ Cov ( X , Y ) = 0 ⇔ E ( X Y ) = E X ⋅ E Y ⇔ D ( X ± Y ) = D X + D Y .
一般通过数字特征判定不相关性.
(3) 几个重要结论:
① 如果 X X X 与 Y Y Y 独立,则 X , Y X, Y X , Y 不相关,反之不然;
② 如果 ( X , Y ) (X, Y) ( X , Y ) 服从二维正态分布,则 X , Y X, Y X , Y 独立 ⇔ X , Y \Leftrightarrow X, Y ⇔ X , Y 不相关;
③ 由 ① 知,如果 X X X 与 Y Y Y 相关,则 X , Y X, Y X , Y 不独立.
综上所述,我们在讨论随机变量 X X X 与 Y Y Y 的不相关性、独立性时,总是先计算 C o v ( X , Y ) \mathrm{Cov}(X, Y) Cov ( X , Y ) ,而后按下列程序进行判断或再计算:
C o v ( X , Y ) = E ( X Y ) − E X E Y { ≠ 0 ⇔ X 与 Y 相关 ⇒ X 与 Y 不独立 , = 0 ⇔ X 与 Y 不相关,通过分布推断 { X , Y 独立 , X , Y 不独立 . \mathrm{Cov}(X, Y) = E(XY) - EX EY \begin{cases} \neq 0 \Leftrightarrow X \text{ 与 } Y \text{ 相关} \Rightarrow X \text{ 与 } Y \text{ 不独立}, \\[2ex] = 0 \Leftrightarrow X \text{ 与 } Y \text{ 不相关,通过分布推断} \begin{cases} X, Y \text{ 独立}, \\ X, Y \text{ 不独立}. \end{cases} \end{cases} Cov ( X , Y ) = E ( X Y ) − E X E Y ⎩ ⎨ ⎧ = 0 ⇔ X 与 Y 相关 ⇒ X 与 Y 不独立 , = 0 ⇔ X 与 Y 不相关,通过分布推断 { X , Y 独立 , X , Y 不独立 .
4.6 切比雪夫不等式 P114
如果随机变量 X X X 的期望 E X EX E X 和方差 D X DX D X 存在,则对任意 ε > 0 \varepsilon > 0 ε > 0 ,有
P { ∣ X − E X ∣ ⩾ ε } ⩽ D X ε 2 或 P { ∣ X − E X ∣ < ε } ⩾ 1 − D X ε 2 . P\{|X - EX| \geqslant \varepsilon\} \leqslant \frac{DX}{\varepsilon^2} \quad \text{或} \quad P\{|X - EX| < \varepsilon\} \geqslant 1 - \frac{DX}{\varepsilon^2} . P { ∣ X − E X ∣ ⩾ ε } ⩽ ε 2 D X 或 P { ∣ X − E X ∣ < ε } ⩾ 1 − ε 2 D X .
5. 大数定律和中心极限定理 P125
5.1 依概率收敛 P125
设随机变量 X X X 与随机变量序列 { X n } ( n = 1 , 2 , ⋯ ) \{X_n\} (n = 1, 2, \cdots) { X n } ( n = 1 , 2 , ⋯ ) ,如果对任意的 ε > 0 \varepsilon > 0 ε > 0 ,有
lim n → ∞ P { ∣ X n − X ∣ ⩾ ε } = 0 或 lim n → ∞ P { ∣ X n − X ∣ < ε } = 1 , \lim_{n \to \infty} P\{|X_n - X| \geqslant \varepsilon\} = 0 \quad \text{或} \quad \lim_{n \to \infty} P\{|X_n - X| < \varepsilon\} = 1, n → ∞ lim P { ∣ X n − X ∣ ⩾ ε } = 0 或 n → ∞ lim P { ∣ X n − X ∣ < ε } = 1 ,
则称随机变量序列 { X n } \{X_n\} { X n } 依概率收敛于 随机变量 X X X ,记为
lim n → ∞ X n = X ( P ) 或 X n → P X ( n → ∞ ) . \lim_{n \to \infty} X_n = X (P) \quad \text{或} \quad X_n \xrightarrow{P} X (n \to \infty). n → ∞ lim X n = X ( P ) 或 X n P X ( n → ∞ ) .
5.2 大数定律 P126
定理 1(切比雪夫大数定律) 假设 { X n } ( n = 1 , 2 , ⋯ ) \{X_n\} (n = 1, 2, \cdots) { X n } ( n = 1 , 2 , ⋯ ) 是相互独立的随机变量序列,如果方差 D X i DX_i D X i (i ⩾ 1 i \geqslant 1 i ⩾ 1 ) 存在且一致有上界,即存在常数 C C C ,使 D X i ⩽ C DX_i \leqslant C D X i ⩽ C 对一切 i ⩾ 1 i \geqslant 1 i ⩾ 1 均成立,则 { X n } \{X_n\} { X n } 服从大数定律:
1 n ∑ i = 1 n X i → P 1 n ∑ i = 1 n E X i . \frac{1}{n} \sum_{i=1}^n X_i \xrightarrow{P} \frac{1}{n} \sum_{i=1}^n EX_i . n 1 i = 1 ∑ n X i P n 1 i = 1 ∑ n E X i .
定理 2(伯努利大数定律) 假设 μ n \mu_n μ n 是 n n n 重伯努利试验中事件 A A A 发生的次数,在每次试验中事件 A A A 发生的概率为 p ( 0 < p < 1 ) p (0 < p < 1) p ( 0 < p < 1 ) ,则 μ n n → P p \dfrac{\mu_n}{n} \xrightarrow{P} p n μ n P p ,即对任意 ε > 0 \varepsilon > 0 ε > 0 ,有
lim n → ∞ P { ∣ μ n n − p ∣ < ε } = 1. \lim_{n \to \infty} P\left\{ \left| \frac{\mu_n}{n} - p \right| < \varepsilon \right\} = 1 . n → ∞ lim P { n μ n − p < ε } = 1.
定理 3(辛钦大数定律) 假设 { X n } ( n = 1 , 2 , ⋯ ) \{X_n\}(n = 1, 2, \cdots) { X n } ( n = 1 , 2 , ⋯ ) 是独立同分布的随机变量序列,如果数学期望 E X i = μ ( i = 1 , 2 , ⋯ ) EX_i = \mu (i = 1, 2, \cdots) E X i = μ ( i = 1 , 2 , ⋯ ) 存在,则 1 n ∑ i = 1 n X i → P μ \dfrac{1}{n} \sum_{i=1}^n X_i \xrightarrow{P} \mu n 1 ∑ i = 1 n X i P μ ,即对任意 ε > 0 \varepsilon > 0 ε > 0 ,有
lim n → ∞ P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ε } = 1. \lim_{n \to \infty} P\left\{ \left| \frac{1}{n} \sum_{i=1}^n X_i - \mu \right| < \varepsilon \right\} = 1 . n → ∞ lim P { n 1 i = 1 ∑ n X i − μ < ε } = 1.
5.3 中心极限定理 P128
定理 4(列维 - 林德伯格定理) 假设 { X n } ( n = 1 , 2 , ⋯ ) \{X_n\}(n = 1, 2, \cdots) { X n } ( n = 1 , 2 , ⋯ ) 是独立同分布的随机变量序列,如果
E X i = μ , D X i = σ 2 > 0 ( i = 1 , 2 , ⋯ ) EX_i = \mu, \quad DX_i = \sigma^2 > 0 (i = 1, 2, \cdots) E X i = μ , D X i = σ 2 > 0 ( i = 1 , 2 , ⋯ )
存在,则对任意的实数 x x x ,有
lim n → ∞ P { ∑ i = 1 n X i − n μ n σ ⩽ x } = 1 2 π ∫ − ∞ x e − t 2 2 d t = Φ ( x ) . \lim_{n \to \infty} P\left\{ \frac{\sum\limits_{i=1}^n X_i - n\mu}{\sqrt{n}\sigma} \leqslant x \right\} = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^x \mathrm{e}^{-\frac{t^2}{2}} \mathrm{d}t = \varPhi(x) . n → ∞ lim P ⎩ ⎨ ⎧ n σ i = 1 ∑ n X i − n μ ⩽ x ⎭ ⎬ ⎫ = 2 π 1 ∫ − ∞ x e − 2 t 2 d t = Φ ( x ) .
定理 5(棣莫弗 - 拉普拉斯定理) 假设随机变量 Y n ∼ B ( n , p ) ( 0 < p < 1 , n ⩾ 1 ) Y_n \sim B(n, p) (0 < p < 1, n \geqslant 1) Y n ∼ B ( n , p ) ( 0 < p < 1 , n ⩾ 1 ) ,则对任意实数 x x x ,有
lim n → ∞ P { Y n − n p n p ( 1 − p ) ⩽ x } = 1 2 π ∫ − ∞ x e − t 2 2 d t = Φ ( x ) . \lim_{n \to \infty} P\left\{ \frac{Y_n - np}{\sqrt{np(1-p)}} \leqslant x \right\} = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^x \mathrm{e}^{-\frac{t^2}{2}} \mathrm{d}t = \varPhi(x) . n → ∞ lim P { n p ( 1 − p ) Y n − n p ⩽ x } = 2 π 1 ∫ − ∞ x e − 2 t 2 d t = Φ ( x ) .
二项分布概率计算的三种方法.
设 X ∼ B ( n , p ) X \sim B(n, p) X ∼ B ( n , p ) .
① 当 n n n 不太大时 (n ⩽ 10 n \leqslant 10 n ⩽ 10 ),直接计算
P { X = k } = C n k p k ( 1 − p ) n − k , k = 0 , 1 , ⋯ , n ; P\{X = k\} = C_n^k p^k (1 - p)^{n-k}, \quad k = 0, 1, \cdots, n; P { X = k } = C n k p k ( 1 − p ) n − k , k = 0 , 1 , ⋯ , n ;
② 当 n n n 较大且 p p p 较小时 (n > 10 , p < 0.1 n > 10, p < 0.1 n > 10 , p < 0.1 ),λ = n p \lambda = np λ = n p 适中,根据泊松定理有近似公式
P { X = k } = C n k p k ( 1 − p ) n − k ≈ λ k k ! e − λ , k = 0 , 1 , ⋯ , n ; P\{X = k\} = C_n^k p^k (1 - p)^{n-k} \approx \frac{\lambda^k}{k!} \mathrm{e}^{-\lambda}, \quad k = 0, 1, \cdots, n; P { X = k } = C n k p k ( 1 − p ) n − k ≈ k ! λ k e − λ , k = 0 , 1 , ⋯ , n ;
③ 当 n n n 较大而 p p p 不太大时 (p < 0.1 , n p ⩾ 10 p < 0.1, np \geqslant 10 p < 0.1 , n p ⩾ 10 ),根据中心极限定理,有近似公式
P { a < X < b } ≈ Φ ( b − n p n p ( 1 − p ) ) − Φ ( a − n p n p ( 1 − p ) ) . P\{a < X < b\} \approx \varPhi\left( \frac{b - np}{\sqrt{np(1-p)}} \right) - \varPhi\left( \frac{a - np}{\sqrt{np(1-p)}} \right) . P { a < X < b } ≈ Φ ( n p ( 1 − p ) b − n p ) − Φ ( n p ( 1 − p ) a − n p ) .
6. 数理统计 P133
6.1 总体与样本 P134
研究对象的全体称为总体 ,组成总体的每一个元素称为个体 . 在对总体进行统计研究时,我们所关心的是表征总体状况的某个(或某几个)数量指标 X X X (可以是向量)和该指标在总体中的分布情况. 我们把总体与随机变量 X X X 等同起来,说“总体 X X X ”,所谓总体的分布就是随机变量 X X X 的分布.
n n n 个相互独立且与总体 X X X 具有相同概率分布的随机变量 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 所组成的整体 ( X 1 , X 2 , ⋯ , X n ) (X_1, X_2, \cdots, X_n) ( X 1 , X 2 , ⋯ , X n ) 称为来自总体 X X X 、容量为 n n n 的一个简单随机样本 ,简称样本 . 一次抽样结果的 n n n 个具体数值 ( x 1 , x 2 , ⋯ , x n ) (x_1, x_2, \cdots, x_n) ( x 1 , x 2 , ⋯ , x n ) 称为样本 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 的一个观测值 (或样本值 ).
对于容量为 n n n 的样本 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n ,有如下定理:
假设总体 X X X 的分布函数为 F ( x ) F(x) F ( x ) (概率密度为 f ( x ) f(x) f ( x ) ,或概率分布为 p i = P { X = x i } p_i = P\{X = x_i\} p i = P { X = x i } ),则 ( X 1 , X 2 , ⋯ , X n ) (X_1, X_2, \cdots, X_n) ( X 1 , X 2 , ⋯ , X n ) 的分布函数为
F ( x 1 , x 2 , ⋯ , x n ) = ∏ i = 1 n F ( x i ) . F(x_1, x_2, \cdots, x_n) = \prod_{i=1}^n F(x_i) . F ( x 1 , x 2 , ⋯ , x n ) = i = 1 ∏ n F ( x i ) .
相应地:
(1) 对于离散型随机变量的样本 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n ,联合分布为
P { X 1 = x 1 , X 2 = x 2 , ⋯ , X n = x n } = ∏ i = 1 n P { X i = x i } . P\{X_1 = x_1, X_2 = x_2, \cdots, X_n = x_n\} = \prod_{i=1}^n P\{X_i = x_i\} . P { X 1 = x 1 , X 2 = x 2 , ⋯ , X n = x n } = i = 1 ∏ n P { X i = x i } .
(2) 对于连续型随机变量的样本 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n ,联合概率密度为
f ( x 1 , x 2 , ⋯ , x n ) = ∏ i = 1 n f ( x i ) . f(x_1, x_2, \cdots, x_n) = \prod_{i=1}^n f(x_i) . f ( x 1 , x 2 , ⋯ , x n ) = i = 1 ∏ n f ( x i ) .
6.2 统计量及其分布 P135
设 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 为来自总体 X X X 的一个样本,g ( x 1 , x 2 , ⋯ , x n ) g(x_1, x_2, \cdots, x_n) g ( x 1 , x 2 , ⋯ , x n ) 为 n n n 元函数,如果 g g g 中不含任何未知参数,则称 g ( X 1 , X 2 , ⋯ , X n ) g(X_1, X_2, \cdots, X_n) g ( X 1 , X 2 , ⋯ , X n ) 为样本 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 的一个统计量 . 若 ( x 1 , x 2 , ⋯ , x n ) (x_1, x_2, \cdots, x_n) ( x 1 , x 2 , ⋯ , x n ) 为样本值,则称 g ( x 1 , x 2 , ⋯ , x n ) g(x_1, x_2, \cdots, x_n) g ( x 1 , x 2 , ⋯ , x n ) 为 g ( X 1 , X 2 , ⋯ , X n ) g(X_1, X_2, \cdots, X_n) g ( X 1 , X 2 , ⋯ , X n ) 的观测值 .
(1) 样本数字特征
① 样本均值 X ‾ = 1 n ∑ i = 1 n X i \overline{X} = \dfrac{1}{n} \sum_{i=1}^n X_i X = n 1 ∑ i = 1 n X i ;
② 样本方差 S 2 = 1 n − 1 ∑ i = 1 n ( X i − X ‾ ) 2 S^2 = \dfrac{1}{n-1} \sum_{i=1}^n (X_i - \overline{X})^2 S 2 = n − 1 1 ∑ i = 1 n ( X i − X ) 2 ;
样本标准差 S = 1 n − 1 ∑ i = 1 n ( X i − X ‾ ) 2 S = \sqrt{\dfrac{1}{n-1} \sum_{i=1}^n (X_i - \overline{X})^2} S = n − 1 1 ∑ i = 1 n ( X i − X ) 2 ;
③ 样本 k k k 阶(原点)矩 A k = 1 n ∑ i = 1 n X i k ( k = 1 , 2 , ⋯ ) A_k = \dfrac{1}{n} \sum_{i=1}^n X_i^k (k = 1, 2, \cdots) A k = n 1 ∑ i = 1 n X i k ( k = 1 , 2 , ⋯ ) ;
④ 样本 k k k 阶中心矩 B k = 1 n ∑ i = 1 n ( X i − X ‾ ) k ( k = 2 , 3 , ⋯ ) B_k = \dfrac{1}{n} \sum_{i=1}^n (X_i - \overline{X})^k (k = 2, 3, \cdots) B k = n 1 ∑ i = 1 n ( X i − X ) k ( k = 2 , 3 , ⋯ ) .
(2) 顺序统计量
将样本 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 的 n n n 个观测值按其取值从小到大的顺序排列,得
X ( 1 ) ⩽ X ( 2 ) ⩽ ⋯ ⩽ X ( n ) . X_{(1)} \leqslant X_{(2)} \leqslant \cdots \leqslant X_{(n)} . X ( 1 ) ⩽ X ( 2 ) ⩽ ⋯ ⩽ X ( n ) .
随机变量 X ( k ) ( k = 1 , 2 , ⋯ , n ) X_{(k)} (k = 1, 2, \cdots, n) X ( k ) ( k = 1 , 2 , ⋯ , n ) 称作第 k k k 顺序统计量 ,其中 X ( 1 ) X_{(1)} X ( 1 ) 是最小顺序统计量 ,而 X ( n ) X_{(n)} X ( n ) 是最大顺序统计量 :
X ( 1 ) = min { X 1 , X 2 , ⋯ , X n } , X ( n ) = max { X 1 , X 2 , ⋯ , X n } . X_{(1)} = \min\{X_1, X_2, \cdots, X_n\}, \quad X_{(n)} = \max\{X_1, X_2, \cdots, X_n\} . X ( 1 ) = min { X 1 , X 2 , ⋯ , X n } , X ( n ) = max { X 1 , X 2 , ⋯ , X n } .
(3) 性质.
设总体 X X X 的期望 E X = μ EX = \mu E X = μ ,方差 D X = σ 2 DX = \sigma^2 D X = σ 2 ,X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 是取自总体 X X X 、容量为 n n n 的一个样本,X ‾ , S 2 \overline{X}, S^2 X , S 2 分别为样本均值和样本方差,则
E X i = μ , D X i = σ 2 ( i = 1 , 2 , ⋯ , n ) , E X ‾ = E X = μ , D X ‾ = 1 n D X = σ 2 n , E ( S 2 ) = D X = σ 2 . EX_i = \mu, \quad DX_i = \sigma^2 \, (i = 1, 2, \cdots, n), \quad E\overline{X} = EX = \mu, \quad D\overline{X} = \frac{1}{n} DX = \frac{\sigma^2}{n}, \quad E(S^2) = DX = \sigma^2 . E X i = μ , D X i = σ 2 ( i = 1 , 2 , ⋯ , n ) , E X = E X = μ , D X = n 1 D X = n σ 2 , E ( S 2 ) = D X = σ 2 .
6.3 三大分布 P137
6.3.1 χ 2 \chi^2 χ 2 分布 P137
①概念.
若随机变量 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 相互独立,且都服从标准正态分布,则随机变量 X = ∑ i = 1 n X i 2 X = \sum_{i=1}^n X_i^2 X = ∑ i = 1 n X i 2 服从自由度为 n n n 的 χ 2 \chi^2 χ 2 分布,记为 X ∼ χ 2 ( n ) X \sim \chi^2(n) X ∼ χ 2 ( n ) .
②上 α \alpha α 分位数.
对于给定的 α ( 0 < α < 1 ) \alpha (0 < \alpha < 1) α ( 0 < α < 1 ) ,称满足
P { χ 2 > χ α 2 ( n ) } = ∫ χ α 2 ( n ) + ∞ f ( x ) d x = α P\{\chi^2 > \chi_\alpha^2(n)\} = \int_{\chi_\alpha^2(n)}^{+\infty} f(x) \mathrm{d}x = \alpha P { χ 2 > χ α 2 ( n )} = ∫ χ α 2 ( n ) + ∞ f ( x ) d x = α
的 χ α 2 ( n ) \chi_\alpha^2(n) χ α 2 ( n ) 为 χ 2 ( n ) \chi^2(n) χ 2 ( n ) 分布的上 α \alpha α 分位数(见图 6-1). 对于不同的 α , n \alpha, n α , n ,χ 2 ( n ) \chi^2(n) χ 2 ( n ) 分布上 α \alpha α 分位数可通过查表求得.
③性质.
a. 若 X 1 ∼ χ 2 ( n 1 ) , X 2 ∼ χ 2 ( n 2 ) X_1 \sim \chi^2(n_1), X_2 \sim \chi^2(n_2) X 1 ∼ χ 2 ( n 1 ) , X 2 ∼ χ 2 ( n 2 ) ,X 1 X_1 X 1 与 X 2 X_2 X 2 相互独立,则
X 1 + X 2 ∼ χ 2 ( n 1 + n 2 ) . X_1 + X_2 \sim \chi^2(n_1 + n_2) . X 1 + X 2 ∼ χ 2 ( n 1 + n 2 ) .
此结论可推广至有限多个的和.
b. 若 X ∼ χ 2 ( n ) X \sim \chi^2(n) X ∼ χ 2 ( n ) ,则 E X = n , D X = 2 n EX = n, DX = 2n E X = n , D X = 2 n .
6.3.2 t t t 分布 P138
①概念.
设随机变量 X ∼ N ( 0 , 1 ) X \sim N(0, 1) X ∼ N ( 0 , 1 ) ,Y ∼ χ 2 ( n ) Y \sim \chi^2(n) Y ∼ χ 2 ( n ) ,且 X X X 与 Y Y Y 相互独立,则随机变量 t = X Y / n t = \frac{X}{\sqrt{Y/n}} t = Y / n X 服从自由度为 n n n 的 t t t 分布,记为 t ∼ t ( n ) t \sim t(n) t ∼ t ( n ) .
②上 α \alpha α 分位数.
对于给定的 α ( 0 < α < 1 ) \alpha (0 < \alpha < 1) α ( 0 < α < 1 ) ,称满足
P { t > t α ( n ) } = α P\{t > t_\alpha(n)\} = \alpha P { t > t α ( n )} = α
的 t α ( n ) t_\alpha(n) t α ( n ) 为 t ( n ) t(n) t ( n ) 分布的上 α \alpha α 分位数(见图 6-2).
③性质.
a. t t t 分布的概率密度 f ( x ) f(x) f ( x ) 的图形关于 x = 0 x = 0 x = 0 对称(见图 6-3),因此
E t = 0 ( n ⩾ 2 ) . Et = 0 (n \geqslant 2) . E t = 0 ( n ⩾ 2 ) .
b. 由 t t t 分布的概率密度 f ( x ) f(x) f ( x ) 图形的对称性,知 P { t > − t α ( n ) } = P { t > t 1 − α ( n ) } P\{t > -t_\alpha(n)\} = P\{t > t_{1-\alpha}(n)\} P { t > − t α ( n )} = P { t > t 1 − α ( n )} ,故 t 1 − α ( n ) = − t α ( n ) t_{1-\alpha}(n) = -t_\alpha(n) t 1 − α ( n ) = − t α ( n ) . 当 α \alpha α 值在表中没有时,可用此式求得上 α \alpha α 分位数.
6.3.3 F F F 分布 P138
①概念.
设随机变量 X ∼ χ 2 ( n 1 ) X \sim \chi^2(n_1) X ∼ χ 2 ( n 1 ) ,Y ∼ χ 2 ( n 2 ) Y \sim \chi^2(n_2) Y ∼ χ 2 ( n 2 ) ,且 X X X 与 Y Y Y 相互独立,则 F = X / n 1 Y / n 2 F = \dfrac{X/n_1}{Y/n_2} F = Y / n 2 X / n 1 服从自由度为 ( n 1 , n 2 ) (n_1, n_2) ( n 1 , n 2 ) 的 F F F 分布,记为 F ∼ F ( n 1 , n 2 ) F \sim F(n_1, n_2) F ∼ F ( n 1 , n 2 ) ,其中 n 1 n_1 n 1 称为第一自由度,n 2 n_2 n 2 称为第二自由度. F F F 分布的概率密度 f ( x ) f(x) f ( x ) 的图形如图 6-4 所示.
②上 α \alpha α 分位数.
对于给定的 α ( 0 < α < 1 ) \alpha (0 < \alpha < 1) α ( 0 < α < 1 ) ,称满足
P { F > F α ( n 1 , n 2 ) } = α P\{F > F_\alpha(n_1, n_2)\} = \alpha P { F > F α ( n 1 , n 2 )} = α
的 F α ( n 1 , n 2 ) F_\alpha(n_1, n_2) F α ( n 1 , n 2 ) 为 F ( n 1 , n 2 ) F(n_1, n_2) F ( n 1 , n 2 ) 分布的上 α \alpha α 分位数(见图 6-5).
③性质.
a. 若 F ∼ F ( n 1 , n 2 ) F \sim F(n_1, n_2) F ∼ F ( n 1 , n 2 ) ,则 1 F ∼ F ( n 2 , n 1 ) . \dfrac{1}{F} \sim F(n_2, n_1) . F 1 ∼ F ( n 2 , n 1 ) .
b. F 1 − α ( n 1 , n 2 ) = 1 F α ( n 2 , n 1 ) F_{1-\alpha}(n_1, n_2) = \dfrac{1}{F_\alpha(n_2, n_1)} F 1 − α ( n 1 , n 2 ) = F α ( n 2 , n 1 ) 1 ,常用求解 F F F 分布表中未列出的上 α \alpha α 分位数.
c. 若 t ∼ t ( n ) t \sim t(n) t ∼ t ( n ) ,则 t 2 ∼ F ( 1 , n ) . t^2 \sim F(1, n) . t 2 ∼ F ( 1 , n ) .
6.3.4 正态总体条件下的重用结论 P139
设 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 是来自正态总体 N ( μ , σ 2 ) N(\mu, \sigma^2) N ( μ , σ 2 ) 的一个样本,X ‾ , S 2 \overline{X}, S^2 X , S 2 分别是样本均值和样本方差,则
① X ‾ ∼ N ( μ , σ 2 n ) \overline{X} \sim N\left(\mu, \frac{\sigma^2}{n}\right) X ∼ N ( μ , n σ 2 ) ,即 X ‾ − μ σ n = n ( X ‾ − μ ) σ ∼ N ( 0 , 1 ) \frac{\overline{X} - \mu}{\frac{\sigma}{\sqrt{n}}} = \frac{\sqrt{n}(\overline{X} - \mu)}{\sigma} \sim N(0, 1) n σ X − μ = σ n ( X − μ ) ∼ N ( 0 , 1 ) ;
② 1 σ 2 ∑ i = 1 n ( X i − μ ) 2 ∼ χ 2 ( n ) \frac{1}{\sigma^2} \sum_{i=1}^n (X_i - \mu)^2 \sim \chi^2(n) σ 2 1 ∑ i = 1 n ( X i − μ ) 2 ∼ χ 2 ( n ) ;
③ ( n − 1 ) S 2 σ 2 = ∑ i = 1 n ( X i − X ‾ σ ) 2 ∼ χ 2 ( n − 1 ) \frac{(n-1)S^2}{\sigma^2} = \sum_{i=1}^n \left( \frac{X_i - \overline{X}}{\sigma} \right)^2 \sim \chi^2(n-1) σ 2 ( n − 1 ) S 2 = ∑ i = 1 n ( σ X i − X ) 2 ∼ χ 2 ( n − 1 ) (μ \mu μ 未知时,在②中用 X ‾ \overline{X} X 替代 μ \mu μ );
④ X ‾ \overline{X} X 与 S 2 S^2 S 2 相互独立,n ( X ‾ − μ ) S ∼ t ( n − 1 ) \frac{\sqrt{n}(\overline{X} - \mu)}{S} \sim t(n-1) S n ( X − μ ) ∼ t ( n − 1 ) (σ \sigma σ 未知时,在①中用 S S S 替代 σ \sigma σ ). 进一步有
n ( X ‾ − μ ) 2 S 2 ∼ F ( 1 , n − 1 ) . \frac{n(\overline{X} - \mu)^2}{S^2} \sim F(1, n-1) . S 2 n ( X − μ ) 2 ∼ F ( 1 , n − 1 ) .
6.4 参数的点估计 P142
设总体 X X X 的分布函数为 F ( x ; θ ) F(x; \theta) F ( x ; θ ) (可以是多维的),其中 θ \theta θ 是一个未知参数,X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 是取自总体 X X X 的一个样本. 由样本构造一个适当的统计量 θ ^ ( X 1 , X 2 , ⋯ , X n ) \hat{\theta}(X_1, X_2, \cdots, X_n) θ ^ ( X 1 , X 2 , ⋯ , X n ) 作为参数 θ \theta θ 的估计,则称统计量 θ ^ ( X 1 , X 2 , ⋯ , X n ) \hat{\theta}(X_1, X_2, \cdots, X_n) θ ^ ( X 1 , X 2 , ⋯ , X n ) 为 θ \theta θ 的估计量 .
如果 x 1 , x 2 , ⋯ , x n x_1, x_2, \cdots, x_n x 1 , x 2 , ⋯ , x n 是样本的一个观测值,将其代入估计量 θ ^ \hat{\theta} θ ^ 中得值 θ ^ ( x 1 , x 2 , ⋯ , x n ) \hat{\theta}(x_1, x_2, \cdots, x_n) θ ^ ( x 1 , x 2 , ⋯ , x n ) ,统计学中称这个值为未知参数 θ \theta θ 的估计值 .
6.4.1 矩估计 P143
(1) 对于一个参数:
① 用一阶矩建立方程:令 X ‾ = E X \overline{X} = EX X = E X ;
② 若“①”不能用,用二阶矩建立方程:令 1 n ∑ i = 1 n X i 2 = E ( X 2 ) \dfrac{1}{n} \sum_{i=1}^n X_i^2 = E(X^2) n 1 ∑ i = 1 n X i 2 = E ( X 2 ) .
一个方程解出一个参数即可作为矩估计.
(2) 对于两个参数,用一阶矩与二阶矩建立两个方程,即 ① X ‾ = E X \overline{X} = EX X = E X 与 ② 1 n ∑ i = 1 n X i 2 = E ( X 2 ) \dfrac{1}{n} \sum_{i=1}^n X_i^2 = E(X^2) n 1 ∑ i = 1 n X i 2 = E ( X 2 ) ,两个方程解出两个参数即可作为矩估计.
注 显然,一般情况下,将 1 n ∑ i = 1 n X i k = E ( X k ) ( k = 1 , 2 , ⋯ , m ) \dfrac{1}{n} \sum_{i=1}^n X_i^k = E(X^k) \, (k = 1, 2, \cdots, m) n 1 ∑ i = 1 n X i k = E ( X k ) ( k = 1 , 2 , ⋯ , m ) 联立,即可求 m m m 个参数的矩估计. 那么,若求一个参数的矩估计,是否 k k k 可任取一个正整数呢?答案是否定的,在统计的问题中,一般以低阶为原则,即取能解出含参数的方程的最小 k k k 值.
6.4.2 最大似然估计 P143
对未知参数 θ \theta θ 进行估计时,在该参数可能的取值范围内选取,使“样本获此观测值 x 1 , x 2 , ⋯ , x n x_1, x_2, \cdots, x_n x 1 , x 2 , ⋯ , x n ”的概率最大的参数值 θ ^ \hat{\theta} θ ^ 作为 θ \theta θ 的估计,这样选定的 θ ^ \hat{\theta} θ ^ 最有利与 x 1 , x 2 , ⋯ , x n x_1, x_2, \cdots, x_n x 1 , x 2 , ⋯ , x n 的出现,即“参数 θ = ? \theta = ? θ = ? 时,观测值出现的概率最大”.
(1) 写似然函数:
L ( x 1 , x 2 , ⋯ , x n ; θ ) = { ∏ i = 1 n p ( x i ; θ ) (这是离散型总体 X 取 x 1 , x 2 , ⋯ , x n 的概率), ∏ i = 1 n f ( x i ; θ ) (这是连续型总体 X 取 x 1 , x 2 , ⋯ , x n 的联合概率密度). L(x_1, x_2, \cdots, x_n; \theta) = \begin{cases} \prod\limits_{i=1}^n p(x_i; \theta) & \text{(这是离散型总体 } X \text{ 取 } x_1, x_2, \cdots, x_n \text{ 的概率),} \\[1.5ex] \prod\limits_{i=1}^n f(x_i; \theta) & \text{(这是连续型总体 } X \text{ 取 } x_1, x_2, \cdots, x_n \text{ 的联合概率密度).} \end{cases} L ( x 1 , x 2 , ⋯ , x n ; θ ) = ⎩ ⎨ ⎧ i = 1 ∏ n p ( x i ; θ ) i = 1 ∏ n f ( x i ; θ ) (这是离散型总体 X 取 x 1 , x 2 , ⋯ , x n 的概率), (这是连续型总体 X 取 x 1 , x 2 , ⋯ , x n 的联合概率密度) .
为方便求解 θ ^ \hat{\theta} θ ^ ,也可取对数,即
ln L ( θ ) = { ∑ i = 1 n ln p ( x i ; θ ) , ∑ i = 1 n ln f ( x i ; θ ) . \ln L(\theta) = \begin{cases} \sum\limits_{i=1}^n \ln p(x_i; \theta), \\[1.5ex] \sum\limits_{i=1}^n \ln f(x_i; \theta) . \end{cases} ln L ( θ ) = ⎩ ⎨ ⎧ i = 1 ∑ n ln p ( x i ; θ ) , i = 1 ∑ n ln f ( x i ; θ ) .
(2) 求参数 { 若似然函数有驻点,则令 d L d θ = 0 或 d ( ln L ) d θ = 0 ,解出 θ ^ , 若似然函数无驻点(单调),则用定义求 θ ^ , 若似然函数为常数,则用定义求 θ ^ ,此时 θ ^ 不唯一. \begin{cases} \text{若似然函数有驻点,则令 } \dfrac{\mathrm{d}L}{\mathrm{d}\theta} = 0 \text{ 或 } \dfrac{\mathrm{d}(\ln L)}{\mathrm{d}\theta} = 0 \text{,解出 } \hat{\theta}, \\[1.5ex] \text{若似然函数无驻点(单调),则用定义求 } \hat{\theta}, \\[1.5ex] \text{若似然函数为常数,则用定义求 } \hat{\theta} \text{,此时 } \hat{\theta} \text{ 不唯一.} \end{cases} ⎩ ⎨ ⎧ 若似然函数有驻点,则令 d θ d L = 0 或 d θ d ( ln L ) = 0 ,解出 θ ^ , 若似然函数无驻点(单调),则用定义求 θ ^ , 若似然函数为常数,则用定义求 θ ^ ,此时 θ ^ 不唯一 .
(3) 最大似然估计量的不变性原则 .
设 θ ^ \hat{\theta} θ ^ 是总体分布中未知参数 θ \theta θ 的最大似然估计,函数 u = u ( θ ) u = u(\theta) u = u ( θ ) 具有反函数,则 u ^ = u ( θ ^ ) \hat{u} = u(\hat{\theta}) u ^ = u ( θ ^ ) 是 u ( θ ) u(\theta) u ( θ ) 的最大似然估计,如 θ ^ \hat{\theta} θ ^ 是 θ \theta θ 的最大似然估计,则 e θ ^ \mathrm{e}^{\hat{\theta}} e θ ^ 是 e θ \mathrm{e}^{\theta} e θ 的最大似然估计 .
6.4.3 估计量的评价标准 P144
(1) 无偏性 .
对于估计量 θ ^ \hat{\theta} θ ^ ,若 E θ ^ = θ E\hat{\theta} = \theta E θ ^ = θ ,则称 θ ^ \hat{\theta} θ ^ 为 θ \theta θ 的无偏估计量 .
(2) 有效性(最小方差性).
若 E θ ^ 1 = θ , E θ ^ 2 = θ E\hat{\theta}_1 = \theta, E\hat{\theta}_2 = \theta E θ ^ 1 = θ , E θ ^ 2 = θ ,即 θ ^ 1 , θ ^ 2 \hat{\theta}_1, \hat{\theta}_2 θ ^ 1 , θ ^ 2 均是 θ \theta θ 的无偏估计量,当 D θ ^ 1 < D θ ^ 2 D\hat{\theta}_1 < D\hat{\theta}_2 D θ ^ 1 < D θ ^ 2 时,称 θ ^ 1 \hat{\theta}_1 θ ^ 1 比 θ ^ 2 \hat{\theta}_2 θ ^ 2 有效 .
(3) 一致性(相合性)(只针对大样本 n → ∞ n \to \infty n → ∞ ).
若 θ ^ \hat{\theta} θ ^ 为 θ \theta θ 的估计量,对任意 ε > 0 \varepsilon > 0 ε > 0 ,有
lim n → ∞ P { ∣ θ ^ − θ ∣ ⩾ ε } = 0 , \lim_{n \to \infty} P\{|\hat{\theta} - \theta| \geqslant \varepsilon\} = 0 , n → ∞ lim P { ∣ θ ^ − θ ∣ ⩾ ε } = 0 ,
或
lim n → ∞ P { ∣ θ ^ − θ ∣ < ε } = 1 , \lim_{n \to \infty} P\{|\hat{\theta} - \theta| < \varepsilon\} = 1 , n → ∞ lim P { ∣ θ ^ − θ ∣ < ε } = 1 ,
即当 θ ^ → P θ \hat{\theta} \xrightarrow{P} \theta θ ^ P θ 时,称 θ ^ \hat{\theta} θ ^ 为 θ \theta θ 的一致(或相合)估计 .
6.5 参数的区间估计 P151
6.5.1 概念 P151
设 θ \theta θ 是总体 X X X 的分布函数的一个未知参数,对于给定 α ( 0 < α < 1 ) \alpha (0 < \alpha < 1) α ( 0 < α < 1 ) ,如果由样本 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 确定的两个统计量 θ ^ 1 = θ ^ 1 ( X 1 , X 2 , ⋯ , X n ) \hat{\theta}_1 = \hat{\theta}_1(X_1, X_2, \cdots, X_n) θ ^ 1 = θ ^ 1 ( X 1 , X 2 , ⋯ , X n ) ,θ ^ 2 = θ ^ 2 ( X 1 , X 2 , ⋯ , X n ) \hat{\theta}_2 = \hat{\theta}_2(X_1, X_2, \cdots, X_n) θ ^ 2 = θ ^ 2 ( X 1 , X 2 , ⋯ , X n ) ,使
P { θ ^ 1 ( X 1 , X 2 , ⋯ , X n ) < θ < θ ^ 2 ( X 1 , X 2 , ⋯ , X n ) } = 1 − α , P\{\hat{\theta}_1(X_1, X_2, \cdots, X_n) < \theta < \hat{\theta}_2(X_1, X_2, \cdots, X_n)\} = 1 - \alpha, P { θ ^ 1 ( X 1 , X 2 , ⋯ , X n ) < θ < θ ^ 2 ( X 1 , X 2 , ⋯ , X n )} = 1 − α ,
则称随机区间 ( θ ^ 1 , θ ^ 2 ) (\hat{\theta}_1, \hat{\theta}_2) ( θ ^ 1 , θ ^ 2 ) 是 θ \theta θ 的置信度为 1 − α 1 - \alpha 1 − α 的置信区间 ,θ ^ 1 \hat{\theta}_1 θ ^ 1 和 θ ^ 2 \hat{\theta}_2 θ ^ 2 分别称为 θ \theta θ 的置信度为 1 − α 1 - \alpha 1 − α 的双侧置信区间的置信下限 和置信上限 ,1 − α 1 - \alpha 1 − α 称为置信度 或置信水平 ,α \alpha α 称为显著性水平 . 如果 P { θ < θ ^ 1 } = P { θ > θ ^ 2 } = α 2 P\{\theta < \hat{\theta}_1\} = P\{\theta > \hat{\theta}_2\} = \frac{\alpha}{2} P { θ < θ ^ 1 } = P { θ > θ ^ 2 } = 2 α ,则称这种置信区间为等尾置信区间 .
6.5.2 单个正态总体均值和方差的置信区间 P151
设 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^2) X ∼ N ( μ , σ 2 ) ,从总体 X X X 中抽取样本 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n ,样本均值为 X ‾ \overline{X} X ,样本方差为 S 2 S^2 S 2 .
(1) σ 2 \sigma^2 σ 2 已知,μ \mu μ 的置信水平是 1 − α 1 - \alpha 1 − α 的置信区间为
( X ‾ − σ n z α 2 , X ‾ + σ n z α 2 ) . \left( \overline{X} - \frac{\sigma}{\sqrt{n}} z_{\frac{\alpha}{2}}, \, \overline{X} + \frac{\sigma}{\sqrt{n}} z_{\frac{\alpha}{2}} \right) . ( X − n σ z 2 α , X + n σ z 2 α ) .
(2) σ 2 \sigma^2 σ 2 未知,μ \mu μ 的置信水平是 1 − α 1 - \alpha 1 − α 的置信区间为
( X ‾ − S n t α 2 ( n − 1 ) , X ‾ + S n t α 2 ( n − 1 ) ) . \left( \overline{X} - \frac{S}{\sqrt{n}} t_{\frac{\alpha}{2}}(n-1), \, \overline{X} + \frac{S}{\sqrt{n}} t_{\frac{\alpha}{2}}(n-1) \right) . ( X − n S t 2 α ( n − 1 ) , X + n S t 2 α ( n − 1 ) ) .
(3) μ \mu μ 已知,σ 2 \sigma^2 σ 2 的置信水平是 1 − α 1 - \alpha 1 − α 的置信区间为
( ∑ i = 1 n ( X i − μ ) 2 χ α 2 2 ( n ) , ∑ i = 1 n ( X i − μ ) 2 χ 1 − α 2 2 ( n ) ) . \left( \frac{\sum\limits_{i=1}^n (X_i - \mu)^2}{\chi_{\frac{\alpha}{2}}^2(n)}, \, \frac{\sum\limits_{i=1}^n (X_i - \mu)^2}{\chi_{1-\frac{\alpha}{2}}^2(n)} \right) . χ 2 α 2 ( n ) i = 1 ∑ n ( X i − μ ) 2 , χ 1 − 2 α 2 ( n ) i = 1 ∑ n ( X i − μ ) 2 .
(4) μ \mu μ 未知,σ 2 \sigma^2 σ 2 的置信水平是 1 − α 1 - \alpha 1 − α 的置信区间为
( ( n − 1 ) S 2 χ α 2 2 ( n − 1 ) , ( n − 1 ) S 2 χ 1 − α 2 2 ( n − 1 ) ) . \left( \frac{(n-1)S^2}{\chi_{\frac{\alpha}{2}}^2(n-1)}, \, \frac{(n-1)S^2}{\chi_{1-\frac{\alpha}{2}}^2(n-1)} \right) . ( χ 2 α 2 ( n − 1 ) ( n − 1 ) S 2 , χ 1 − 2 α 2 ( n − 1 ) ( n − 1 ) S 2 ) .
6.6 假设检验 P154
6.6.1 概念 P154
关于总体(分布中的未知参数,分布的类型、特征、不相关性、独立性……)的每一种论断(“看法”)称为统计假设 ,然后根据样本观察数据或试验结果所提供的信息去推断(检验)这个“看法”(即假设)是否成立,这类统计推断问题称为假设检验 .
6.6.2 原假设与备择假设 P155
常常把没有充分理由不能轻易否定的假设取为原假设 (基本假设或零假设),记为 H 0 H_0 H 0 ,将其否定的陈述(假设)称为对立假设 或备择假设 ,记为 H 1 H_1 H 1 .
6.6.3 小概率原理与显著性水平 P155
(1) 小概率原理 .
对假设进行检验的基本思想是采用某种带有概率性质的反证法 . 这种方法的依据是小概率原理——概率很接近于 0 的事件在一次试验或观察中认为不会发生 . 若小概率事件发生了,则拒绝原假设 .
(2) 显著性水平 α \alpha α .
小概率事件中的“小概率”的值没有统一规定,通常是根据实际问题的要求,规定一个界限 α ( 0 < α < 1 ) \alpha (0 < \alpha < 1) α ( 0 < α < 1 ) ,当一个事件的概率不大于 α \alpha α 时,即认为它是小概率事件 . 在假设检验问题中,α \alpha α 称为显著性水平 ,通常取 α = 0.1 , 0.05 , 0.01 \alpha = 0.1, 0.05, 0.01 α = 0.1 , 0.05 , 0.01 等 .
6.6.4 正态总体下的六大检验及拒绝域 P155
(1) σ 2 \sigma^2 σ 2 已知,μ \mu μ 未知 . H 0 : μ = μ 0 H_0: \mu = \mu_0 H 0 : μ = μ 0 ,H 1 : μ ≠ μ 0 H_1: \mu \neq \mu_0 H 1 : μ = μ 0 ,则拒绝域为 ( − ∞ , μ 0 − σ n z α 2 ] ⋃ [ μ 0 + σ n z α 2 , + ∞ ) \left(-\infty, \, \mu_0 - \frac{\sigma}{\sqrt{n}} z_{\frac{\alpha}{2}}\right] \bigcup \left[\mu_0 + \frac{\sigma}{\sqrt{n}} z_{\frac{\alpha}{2}}, \, +\infty\right) ( − ∞ , μ 0 − n σ z 2 α ] ⋃ [ μ 0 + n σ z 2 α , + ∞ ) .
(2) σ 2 \sigma^2 σ 2 未知,μ \mu μ 未知 . H 0 : μ = μ 0 H_0: \mu = \mu_0 H 0 : μ = μ 0 ,H 1 : μ ≠ μ 0 H_1: \mu \neq \mu_0 H 1 : μ = μ 0 ,则拒绝域为
( − ∞ , μ 0 − S n t α 2 ( n − 1 ) ] ⋃ [ μ 0 + S n t α 2 ( n − 1 ) , + ∞ ) . \left(-\infty, \, \mu_0 - \frac{S}{\sqrt{n}} t_{\frac{\alpha}{2}}(n-1)\right] \bigcup \left[\mu_0 + \frac{S}{\sqrt{n}} t_{\frac{\alpha}{2}}(n-1), \, +\infty\right) . ( − ∞ , μ 0 − n S t 2 α ( n − 1 ) ] ⋃ [ μ 0 + n S t 2 α ( n − 1 ) , + ∞ ) .
(3) σ 2 \sigma^2 σ 2 已知,μ \mu μ 未知 . H 0 : μ ⩽ μ 0 H_0: \mu \leqslant \mu_0 H 0 : μ ⩽ μ 0 (或写 μ = μ 0 \mu = \mu_0 μ = μ 0 ),H 1 : μ > μ 0 H_1: \mu > \mu_0 H 1 : μ > μ 0 ,则拒绝域为 [ μ 0 + σ n z α , + ∞ ) \left[\mu_0 + \frac{\sigma}{\sqrt{n}} z_\alpha, \, +\infty\right) [ μ 0 + n σ z α , + ∞ ) .
(4) σ 2 \sigma^2 σ 2 已知,μ \mu μ 未知 . H 0 : μ ⩾ μ 0 H_0: \mu \geqslant \mu_0 H 0 : μ ⩾ μ 0 (或写 μ = μ 0 \mu = \mu_0 μ = μ 0 ),H 1 : μ < μ 0 H_1: \mu < \mu_0 H 1 : μ < μ 0 ,则拒绝域为 ( − ∞ , μ 0 − σ n z α ] \left(-\infty, \, \mu_0 - \frac{\sigma}{\sqrt{n}} z_\alpha\right] ( − ∞ , μ 0 − n σ z α ] .
(5) σ 2 \sigma^2 σ 2 未知,μ \mu μ 未知 . H 0 : μ ⩽ μ 0 H_0: \mu \leqslant \mu_0 H 0 : μ ⩽ μ 0 (或写 μ = μ 0 \mu = \mu_0 μ = μ 0 ),H 1 : μ > μ 0 H_1: \mu > \mu_0 H 1 : μ > μ 0 ,则拒绝域为 [ μ 0 + S n t α ( n − 1 ) , + ∞ ) \left[\mu_0 + \frac{S}{\sqrt{n}} t_\alpha(n-1), \, +\infty\right) [ μ 0 + n S t α ( n − 1 ) , + ∞ ) .
(6) σ 2 \sigma^2 σ 2 未知,μ \mu μ 未知 . H 0 : μ ⩾ μ 0 H_0: \mu \geqslant \mu_0 H 0 : μ ⩾ μ 0 (或写 μ = μ 0 \mu = \mu_0 μ = μ 0 ),H 1 : μ < μ 0 H_1: \mu < \mu_0 H 1 : μ < μ 0 ,则拒绝域为 ( − ∞ , μ 0 − S n t α ( n − 1 ) ] \left(-\infty, \, \mu_0 - \frac{S}{\sqrt{n}} t_\alpha(n-1)\right] ( − ∞ , μ 0 − n S t α ( n − 1 ) ] .
6.7 两类错误 P157
第一类错误(“弃真”):若 H 0 H_0 H 0 为真,按检验法则否定 H 0 H_0 H 0 ,此时犯了“弃真”的错误,这种错误称为第一类错误,犯第一类错误的概率为 α = P { 拒绝 H 0 ∣ H 0 为真 } \alpha = P\{\text{拒绝 } H_0 \mid H_0 \text{ 为真}\} α = P { 拒绝 H 0 ∣ H 0 为真 } .
第二类错误(“取伪”):若 H 0 H_0 H 0 不真,按检验法则接受 H 0 H_0 H 0 ,此时犯了“取伪”的错误,这种错误称为第二类错误,犯第二类错误的概率为 β = P { 接受 H 0 ∣ H 0 为假 } = P { 接受 H 0 ∣ H 1 为真 } \beta = P\{\text{接受 } H_0 \mid H_0 \text{ 为假}\} = P\{\text{接受 } H_0 \mid H_1 \text{ 为真}\} β = P { 接受 H 0 ∣ H 0 为假 } = P { 接受 H 0 ∣ H 1 为真 } .