概率论

3. 多维随机变量及其分布

3.1

3.2 离散型与连续型

二维离散型随机变量 二维连续型随机变量
概率分布 / 概率密度 (X,Y)∼pij(X,Y)\sim p_{ij} (X,Y)∼f(x,y)(X,Y)\sim f(x,y)
联合分布 F(x,y)=∑xi≤x∑yj≤ypijF(x,y)=\displaystyle\sum_{x_i\le x}\sum_{y_j\le y}p_{ij} F(x,y)=∫−∞y dv∫−∞xf(u,v) duF(x,y)=\displaystyle\int_{-\infty}^{y}\,dv\int_{-\infty}^{x}f(u,v)\,du
边缘分布 X∼pi=∑j=1∞pij\displaystyle X\sim p_i=\sum_{j=1}^{\infty}p_{ij}
Y∼pj=∑i=1∞pij\displaystyle Y\sim p_j=\sum_{i=1}^{\infty}p_{ij}		 X∼FX(x)=∫−∞x∫−∞+∞f(u,v) dv du\displaystyle X\sim F_X(x)=\int_{-\infty}^{x}\int_{-\infty}^{+\infty}f(u,v)\,dv\,du
Y∼FY(y)=∫−∞y∫−∞+∞f(u,v) du dv\displaystyle Y\sim F_Y(y)=\int_{-\infty}^{y}\int_{-\infty}^{+\infty}f(u,v)\,du\,dv
条件分布 P(Y=yj∣X=xi)=pijpi\displaystyle P(Y=y_j\mid X=x_i)=\frac{p_{ij}}{p_i}
P(X=xi∣Y=yj)=pijpj\displaystyle P(X=x_i\mid Y=y_j)=\frac{p_{ij}}{p_j}		 FY∣X(y∣x)=∫−∞yf(x,v)fX(x) dv\displaystyle F_{Y\mid X}(y\mid x)=\int_{-\infty}^{y}\frac{f(x,v)}{f_X(x)}\,dv
FX∣Y(x∣y)=∫−∞xf(u,y)fY(y) du\displaystyle F_{X\mid Y}(x\mid y)=\int_{-\infty}^{x}\frac{f(u,y)}{f_Y(y)}\,du

二维正态分布

如果 (X,Y)(X,Y) 的概率密度为

f(x,y)=12πσ1σ21−ρ2exp⁡{−12(1−ρ2)[(x−μ1σ1)2−2ρ(x−μ1σ1)(y−μ2σ2)+(y−μ2σ2)2]} f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\left\{-\frac{1}{2(1-\rho^2)} \left[ \left(\frac{x-\mu_1}{\sigma_1}\right)^2 -2\rho\left(\frac{x-\mu_1}{\sigma_1}\right)\left(\frac{y-\mu_2}{\sigma_2}\right) +\left(\frac{y-\mu_2}{\sigma_2}\right)^2 \right]\right\}

其中 μ1∈R\mu_1\in\mathbb{R}，μ2∈R\mu_2\in\mathbb{R}，σ1>0\sigma_1>0，σ2>0\sigma_2>0，−1<ρ<1-1<\rho<1，则称 (X,Y)(X,Y) 服从参数为 μ1,μ2,σ12,σ22,ρ\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho 的二维正态分布，记为(X,Y)∼N(μ1,μ2;σ12,σ22;ρ)(X,Y)\sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho)

3.3 随机变量的相互独立性

概念

如果 nn 维随机变量 (X1,X2,⋯ ,Xn)(X_1,X_2,\cdots,X_n) 的分布函数等于边缘分布函数的乘积，即

F(x1,x2,⋯ ,xn)=F1(x1)⋅F2(x2)⋯Fn(xn), F(x_1,x_2,\cdots,x_n)=F_1(x_1)\cdot F_2(x_2)\cdots F_n(x_n),

其中 Fi(xi) (i=1,2,⋯ ,n)F_i(x_i)\ (i=1,2,\cdots,n) 为 XiX_i 的边缘分布函数，xix_i 为任意实数，则称 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 相互独立。

充要条件

nn 个随机变量 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 相互独立

⟺对任意的 n 个实数 xi (i=1,2,⋯ ,n)，n 个事件 {X1≤x1},{X2≤x2},⋯ ,{Xn≤xn} 相互独立。 \Longleftrightarrow \text{对任意的 }n\text{ 个实数 }x_i\ (i=1,2,\cdots,n)， n\text{ 个事件 } \{X_1\le x_1\},\{X_2\le x_2\},\cdots,\{X_n\le x_n\} \text{ 相互独立。}
离散型随机变量：联合分布律等于边缘分布相乘

nn 个离散型随机变量 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 相互独立

⟺对任意的 xi∈Di={Xi 的一切可能值}(i=1,2,⋯ ,n)，有 \Longleftrightarrow \text{对任意的 }x_i\in D_i = \{X_i\text{ 的一切可能值}\} \quad(i=1,2,\cdots,n)，\text{有}
P{X1=x1,⋯ ,Xn=xn}=∏i=1nP{Xi=xi}. P\{X_1=x_1,\cdots,X_n=x_n\} = \prod_{i=1}^{n}P\{X_i=x_i\}.
连续型随机变量：概率密度等于边缘概率密度相乘

设 (X1,X2,⋯ ,Xn)(X_1,X_2,\cdots,X_n) 为 nn 维连续型随机变量，则

X1,X2,⋯ ,Xn 相互独立⟺概率密度等于边缘概率密度相乘 X_1,X_2,\cdots,X_n\text{ 相互独立} \Longleftrightarrow \text{概率密度等于边缘概率密度相乘}

即

f(x1,x2,⋯ ,xn)=f1(x1)⋅f2(x2)⋯fn(xn), f(x_1,x_2,\cdots,x_n) = f_1(x_1)\cdot f_2(x_2)\cdots f_n(x_n),

其中 fi(xi)f_i(x_i) 为 XiX_i 的边缘概率密度。

性质

  1. 设 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 相互独立，则其中任意 k (2≤k≤n)k\ (2\le k\le n) 个随机变量也相互独立。

  2. 设 (X,Y)(X,Y) 为二维离散型随机变量，XX 与 YY 独立，则条件分布等于边缘分布：

    P{X=xi∣Y=yj}=P{X=xi},(P{Y=yj}>0). P\{X=x_i\mid Y=y_j\} = P\{X=x_i\}, \qquad \bigl(P\{Y=y_j\}>0\bigr).
    P{Y=yj∣X=xi}=P{Y=yj},(P{X=xi}>0). P\{Y=y_j\mid X=x_i\} = P\{Y=y_j\}, \qquad \bigl(P\{X=x_i\}>0\bigr).

  3. 设 (X,Y)(X,Y) 为二维连续型随机变量，XX 与 YY 独立，则条件概率密度等于边缘概率密度：

    fX∣Y(x∣y)=f(x,y)fY(y)=fX(x),(fY(y)>0). f_{X\mid Y}(x\mid y) = \frac{f(x,y)}{f_Y(y)} = f_X(x), \qquad \bigl(f_Y(y)>0\bigr).
    fY∣X(y∣x)=f(x,y)fX(x)=fY(y),(fX(x)>0). f_{Y\mid X}(y\mid x) = \frac{f(x,y)}{f_X(x)} = f_Y(y), \qquad \bigl(f_X(x)>0\bigr).

  4. 若 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n 相互独立，g1(x),g2(x),⋯ ,gn(x)g_1(x),g_2(x),\cdots,g_n(x) 为一元连续函数，则g1(X1),g2(X2),⋯ ,gn(Xn)g_1(X_1),g_2(X_2),\cdots,g_n(X_n)相互独立。

不独立的判断与证明

要证不独立，举出一个反例 (x0,y0)(x_0, y_0) 即可。找一对点，让这两个区域要么包含（一个发生导致另一个必定发生），要么互斥（不可能同时发生）。只要满足这种强关联，它们就绝不可能独立。

X 与 Y 不独立⟺存在 x0,y0，使 A={X≤x0} 与 B={Y≤y0} 不独立, 即 F(x0,y0)≠FX(x0)⋅FY(y0) X\text{ 与 }Y\text{ 不独立} \Longleftrightarrow \text{存在 }x_0,y_0， \text{使 }A=\{X\le x_0\}\text{ 与 }B=\{Y\le y_0\}\text{ 不独立, 即 } F(x_0,y_0)\ne F_X(x_0)\cdot F_Y(y_0)

也即取合适的 x0,y0x_0,y_0，使 P{X≤x0}⋅P{Y≤y0}≠P{X≤x0, Y≤y0}P\{X\le x_0\}\cdot P\{Y\le y_0\}\ne P\{X\le x_0,\ Y\le y_0\}.

例如：取 x0,y0x_0,y_0，使0<P{X≤x0},P{Y≤y0}<1,0<P\{X\le x_0\},P\{Y\le y_0\}<1, 但