概率论与数理统计 · 知识图谱
将原笔记的六章拆为 61 个知识点,并建立 114 组双向语义关联。
按章阅读
| 章节 | 教材起始页 | 知识点数 |
|---|---|---|
| 第1章 随机事件及其概率 | P1 | 4 |
| 第2章 一维随机变量及其分布 | P33 | 13 |
| 第3章 多维随机变量及其分布 | P62 | 15 |
| 第4章 随机变量的数字特征 | P103 | 7 |
| 第5章 大数定律和中心极限定理 | P125 | 4 |
| 第6章 数理统计 | P133 | 18 |
跨章节学习路线
条件概率与独立性
条件概率 → 全概率与贝叶斯公式 → 事件的独立性 → 随机变量的相互独立性 → 独立性与不相关性的判定
分布与变量变换
分布函数 → 多维随机变量与联合分布函数 → 联合分布、边缘分布与条件分布 → 多维随机变量函数的分布 → 二维换元法与雅可比行列式
数字特征与极限定理
数学期望 → 方差与标准差 → 切比雪夫不等式 → 大数定律 → 中心极限定理
正态分布与统计推断
正态分布 → 卡方分布 → t分布 → 正态总体的抽样分布 → 正态总体的置信区间 → 正态总体均值的六种检验
样本与参数估计
总体与样本 → 统计量与样本数字特征 → 参数的点估计 → 矩估计 → 最大似然估计 → 估计量的评价标准
在 Obsidian 中查看
以 master 文件夹作为 Obsidian 库,打开本页或上方图谱画布。每个知识点末尾的“关联知识”可直接跳转,并在原生关系图谱中形成连线。
全局关系图谱搜索 path:"数学一/概率论/概率论知识图谱",只查看本知识图谱。若只想看概念间的关联,再加 -tag:导航,并关闭“标签”节点。
排列与组合
所属章节:第1章 随机事件及其概率
- 排列:Pnm=(n−m)!n!
- 组合:Cnm=m!Pnm=m!(n−m)!n!
- Cnm=Cnn−m
关联知识
原文:原笔记 · 概率论(原文件第 1–7 行)。
条件概率
所属章节:第1章 随机事件及其概率
- 条件概率公式:P(B∣A)=P(A)P(AB)
关联知识
- 全概率与贝叶斯公式:全概率公式和贝叶斯公式都使用条件概率。
- 事件的独立性:在条件事件概率为正时,可用条件概率判断独立性。
- 联合分布、边缘分布与条件分布:条件分布把条件概率用于随机变量。
原文:原笔记 · 1. 随机事件及其概率 P1(原文件第 8–9 行)。
全概率与贝叶斯公式
所属章节:第1章 随机事件及其概率
如果 i=1⋃nAi=Ω,AiAj=∅(i=j;i,j=1,2,⋯,n),P(Ai)>0,则对任一事件 B,有
- 全概率公式
- B=⋃i=1nAiB
- P(B)=∑i=1nP(Ai)P(B∣Ai)
- 贝叶斯公式(逆概率公式):只要 P(B)>0,就有P(Aj∣B)=i=1∑nP(Ai)P(B∣Ai)P(Aj)P(B∣Aj)(j=1,2,⋯,n)
关联知识
- 条件概率:全概率公式和贝叶斯公式都使用条件概率。
- 多维随机变量函数的分布:混合类型的随机变量函数可用全概率公式分解。
原文:原笔记 · 1. 随机事件及其概率 P1(原文件第 10–16 行)。
事件的独立性
所属章节:第1章 随机事件及其概率
如果 P(AB)=P(A)P(B),则称事件 A 与 B 相互独立.
- P(B∣A)=P(A)P(AB)=P(A)P(A)P(B)=P(B)
- A 与 B 相互独立 ⟺A 与 B 相互独立 ⟺A 与 B 相互独立 ⟺A 与 B 相互独立
- 对独立事件组不含相同事件作运算,得到的新事件组仍独立
- 如 A,B,C,D 相互独立,则 AB 与 CD 相互独立,A 与 BC−D 相互独立
- 若 P(A)=0 或 P(A)=1,则 A 与任意事件 B 相互独立
关联知识
- 条件概率:在条件事件概率为正时,可用条件概率判断独立性。
- 随机变量的相互独立性:随机变量独立性通过相应事件的独立性定义。
原文:原笔记 · 1. 独立性(原文件第 17–28 行)。
分布函数
所属章节:第2章 一维随机变量及其分布
(1) 概念 .
F(x)=P{X⩽x}(x∈R) 为随机变量 X 的分布函数,或称 X 服从 F(x) 分布,记为 X∼F(x) .
(2) 性质 .
① F(x) 是 x 的单调不减函数,即对任意实数 x1<x2,有 F(x1)⩽F(x2)
② F(x) 是 x 的右连续函数,即对任意 x0∈R,有 x→x0+limF(x)=F(x0+0)=F(x0)
③ F(−∞)=x→−∞limF(x)=0,F(+∞)=x→+∞limF(x)=1
关联知识
- 离散型随机变量:离散型随机变量的分布函数由分布律累加得到。
- 连续型随机变量与概率密度:连续型随机变量的分布函数是密度的积分。
- 多维随机变量与联合分布函数:联合分布函数推广了一维分布函数。
- 分布函数法与一维换元公式:分布函数法直接使用分布函数的定义。
原文:原笔记 · 2.1 分布函数(原文件第 29–42 行)。
离散型随机变量
所属章节:第2章 一维随机变量及其分布
如果随机变量 X 只可能取有限个或可列无限个值 x1,x2,⋯,则称 X 为离散型随机变量
概率分布:P{X=xi}=pi,i=1,2,⋯,记为 X∼pi,常用表格形式或矩阵形式表示:
XPx1p1x2p2⋯⋯或X∼(x1p1x2p2⋯⋯)分布函数:F(x)=P{X⩽x}=∑xi⩽xP{X=xi}
数列 {pi}(i=1,2,⋯) 是离散型随机变量的概率分布的充要条件:pi⩾0(i=1,2,⋯),且 i∑pi=1 .
关联知识
- 分布函数:离散型随机变量的分布函数由分布律累加得到。
- 0-1分布:0-1分布是离散分布。
- 二项分布:二项分布是离散分布。
- 泊松分布:泊松分布是离散分布。
- 几何分布:几何分布是离散分布。
- 超几何分布:超几何分布是离散分布。
- 一维随机变量函数的分布:离散变量变换后相同取值的概率需要合并。
原文:原笔记 · 2.1.1 离散型(原文件第 43–60 行)。
连续型随机变量与概率密度
所属章节:第2章 一维随机变量及其分布
如果随机变量 X 的分布函数可以表示为
F(x)=∫−∞xf(t)dt(x∈R),其中 f(x) 是非负可积函数,则称 X 为连续型随机变量,称 f(x) 为 X 的概率密度函数,简称概率密度,记为 X∼f(x) .
f(x) 为某一随机变量 X 的概率密度的充分必要条件:f(x)⩾0,且 ∫−∞+∞f(x)dx=1(由此可知,在保证非负的条件下,改变 f(x) 有限个点的值,f(x) 仍然是概率密度).
- 对任意实数 c,有 P{X=c}=0
- 对实数轴上任一集合 B,有P{X∈B}=∫Bf(x)dx
- P{a<X<b}=P{a⩽X<b}=P{a<X⩽b}=P{a⩽X⩽b}=∫abf(x)dx=F(b)−F(a)
关联知识
原文:原笔记 · 2.1.2 连续型(原文件第 61–78 行)。
0-1分布
所属章节:第2章 一维随机变量及其分布
(1) 0—1 分布 B(1,p)(Ber−E1) .
如果 X 的概率分布为 X∼(1p01−p),即 P{X=1}=p,P{X=0}=1−p,则称 X 服从参数为 p 的 0—1 分布,记为 X∼B(1,p)(0<p<1) .
关联知识
原文:原笔记 · 2.2.1 离散型 P40(原文件第 79–82 行)。
二项分布
所属章节:第2章 一维随机变量及其分布
(2) 二项分布 B(n,p)(Ber−En) .
如果 X 的概率分布为 P{X=k}=Cnkpk(1−p)n−k(k=0,1,⋯,n;0<p<1),则称 X 服从参数为 (n,p) 的二项分布,记为 X∼B(n,p) .
关联知识
- 排列与组合:二项分布的分布律使用组合数。
- 离散型随机变量:二项分布是离散分布。
- 0-1分布:独立同参数0-1变量之和服从二项分布。
- 常见分布的可加性:独立且成功概率相同的二项变量之和仍服从二项分布。
- 二项分布的概率近似:二项概率可按参数条件选择直接计算或近似计算。
原文:原笔记 · 2.2.1 离散型 P40(原文件第 83–86 行)。
泊松分布
所属章节:第2章 一维随机变量及其分布
(3) 泊松分布 P(λ) .
如果 X 的概率分布为
P{X=k}=k!λke−λ(k=0,1,⋯;λ>0),则称 X 服从参数为 λ 的泊松分布,记为 X∼P(λ) .
关联知识
原文:原笔记 · 2.2.1 离散型 P40(原文件第 87–94 行)。
几何分布
所属章节:第2章 一维随机变量及其分布
(4) 几何分布 G(p)(Ber−E∞) .
如果 X 的概率分布为
P{X=k}=(1−p)k−1p(k=1,2,⋯;0<p<1),则称 X 服从参数为 p 的几何分布,记为 X∼G(p) .
关联知识
- 离散型随机变量:几何分布是离散分布。
原文:原笔记 · 2.2.1 离散型 P40(原文件第 95–102 行)。
超几何分布
所属章节:第2章 一维随机变量及其分布
(5) 超几何分布 H(n,N,M) .
如果 X 的概率分布为 P{X=k}=CNnCMkCN−Mn−k(max{0,n−N+M}⩽k⩽min{M,n};M,N,n 为正整数且 M⩽N,n⩽N,k 为整数),则称 X 服从参数为 (n,N,M) 的超几何分布,记为 X∼H(n,N,M) .
关联知识
原文:原笔记 · 2.2.1 离散型 P40(原文件第 103–108 行)。
均匀分布
所属章节:第2章 一维随机变量及其分布
(1) 均匀分布 U(a,b) .
如果随机变量 X 的概率密度和分布函数(见图 2-1,图 2-2)分别为
f(x)={b−a1,0,a<x<b,其他,F(x)=⎩⎨⎧0,b−ax−a,1,x<a,a⩽x<b,x⩾b,则称 X 在区间 (a,b) 上服从均匀分布,记为 X∼U(a,b) .
关联知识
- 连续型随机变量与概率密度:均匀分布通过概率密度描述。
- 二维均匀分布:二维均匀分布把区间上的均匀性推广到平面区域。
原文:原笔记 · 2.2.2 连续型 P42(原文件第 109–116 行)。
指数分布
所属章节:第2章 一维随机变量及其分布
(2) 指数分布 E(λ) .
如果 X 的概率密度和分布函数(见图 2-3,图 2-4)分别为
f(x)={λe−λx,0,x>0,其他,F(x)={1−e−λx,0,x⩾0,x<0(λ>0),则称 X 服从参数为 λ 的指数分布,记为 X∼E(λ) .
关联知识
- 连续型随机变量与概率密度:指数分布通过概率密度描述。
原文:原笔记 · 2.2.2 连续型 P42(原文件第 117–124 行)。
正态分布
所属章节:第2章 一维随机变量及其分布
(3) 正态分布 N(μ,σ2) .
这是由于 λ 是常数,失效频率不变,也即研究对象(如元件、产品等)被视为理想状态,无任何损耗 .
如果 X 的概率密度为
f(x)=2πσ1e−21(σx−μ)2(−∞<x<+∞),其中 −∞<μ<+∞,σ>0,则称 X 服从参数为 (μ,σ2) 的正态分布或称 X 为正态变量,记为 X∼N(μ,σ2) . 此时 f(x) 的图形关于直线 x=μ 对称,即 f(μ−x)=f(μ+x),并在 x=μ 处有唯一最大值 f(μ)=2πσ1.
称 μ=0,σ=1 时的正态分布 N(0,1) 为标准正态分布,通常记标准正态分布的概率密度为 φ(x)=2π1e−21x2,分布函数为 Φ(x)=2π1∫−∞xe−2t2dt . 显然 φ(x) 为偶函数,则
Φ(0)=21,Φ(−x)=1−Φ(x).若 X∼N(0,1),P{X>uα}=α,则称 uα 为标准正态分布的上侧 α 分位数(上 α 分位点).
如果 X∼N(μ,σ2),则
F(x)=P{X⩽x}=Φ(σx−μ), F(μ−x)+F(μ+x)=1, P{a<X<b}=Φ(σb−μ)−Φ(σa−μ), aX+b∼N(aμ+b,a2σ2)(a=0).关联知识
- 连续型随机变量与概率密度:正态分布通过概率密度描述。
- 二维正态分布:二维正态分布的边缘分布是一维正态分布。
- 常见分布的可加性:独立正态变量相加时均值与方差分别相加。
- 中心极限定理:中心极限定理的标准化和趋于标准正态分布。
- 卡方分布:独立标准正态变量的平方和服从卡方分布。
- t分布:t统计量的分子是标准正态变量。
- 正态总体的抽样分布:这些抽样分布结论要求样本来自正态总体。
- 正态总体的置信区间:方差已知时均值区间使用标准正态分位数。
- 正态总体均值的六种检验:方差已知时均值检验使用标准正态分位数。
原文:原笔记 · 2.2.2 连续型 P42(原文件第 125–150 行)。
一维随机变量函数的分布
所属章节:第2章 一维随机变量及其分布
设 X 为随机变量,函数 y=g(x),则以随机变量 X 作为自变量的函数 Y=g(X) 也是随机变量,称为随机变量 X 的函数 . 例如:Y=aX2+bX+c,Y=∣X−a∣,Y={X,1,X⩽1,X>1, 等等 .
示例 设随机变量 X∼(121231561),令 Y=10000X+8,则 Y∼(100082120008315000861) .
随机变量函数的分布
(1) 离散型 → 离散型 .
设 X 为离散型随机变量,其概率分布为 P{X=xi}=pi(i=1,2,⋯),则 X 的函数 Y=g(X) 也是离散型随机变量,其概率分布为 P{Y=g(xi)}=pi(i=1,2,⋯),即
Y∼(g(x1)p1g(x2)p2⋯⋯).如果有若干个 g(xi) 值相同,则合并诸项为一项 g(xk),并将相应概率相加作为 Y 取 g(xk) 值的概率 .
示例 设随机变量 X∼(−131031131),令 Y=X2,则 Y∼(031132) .
关联知识
- 离散型随机变量:离散变量变换后相同取值的概率需要合并。
- 分布函数法与一维换元公式:连续变量函数的分布可用定义法或换元公式求解。
- 多维随机变量函数的分布:函数分布问题从一维推广到多维。
原文:原笔记 · 2.3 一维随机变量函数的分布 P47(原文件第 151–170 行)。
分布函数法与一维换元公式
所属章节:第2章 一维随机变量及其分布
(2) 连续型 → 连续型(或混合型) .
设 X 为连续型随机变量,其分布函数、概率密度分别为 FX(x) 与 fX(x),随机变量 Y=g(X) 是 X 的函数,则 Y 的分布函数或概率密度可用下面两种方法求得 .
① 分布函数法(定义法) .
直接由定义求 Y 的分布函数
FY(y)=P{Y⩽y}=P{g(X)⩽y}=∫g(x)⩽yfX(x)dx,如果 FY(y) 连续,且除有限个点外,FY′(y) 存在且连续,则 Y 的概率密度 fY(y)=FY′(y) .
② 公式法 .
根据上面的分布函数法,若 y=g(x) 在 (a,b) 上是关于 x 的严格单调可导函数,则存在 x=h(y) 是 y=g(x) 在 (a,b) 上的可导反函数 .
若 y=g(x) 严格单调增加,则 x=h(y) 也严格单调增加,即 h′(y)>0,且
FY(y)=P{Y⩽y}=P{g(X)⩽y}=P{X⩽h(y)}=∫−∞h(y)fX(x)dx,故 fY(y)=FY′(y)=fX[h(y)]⋅h′(y) .
若 y=g(x) 严格单调减少,则 x=h(y) 也严格单调减少,即 h′(y)<0,且
FY(y)=P{Y⩽y}=P{g(X)⩽y}=P{X⩾h(y)}=∫h(y)+∞fX(x)dx,故 fY(y)=FY′(y)=−fX[h(y)]⋅h′(y)=fX[h(y)]⋅[−h′(y)] .
综上,
fY(y)={fX[h(y)]⋅∣h′(y)∣,0,α<y<β,其他,其中 α=min{x→a+limg(x),x→b−limg(x)},β=max{x→a+limg(x),x→b−limg(x)} .
关联知识
- 分布函数:分布函数法直接使用分布函数的定义。
- 一维随机变量函数的分布:连续变量函数的分布可用定义法或换元公式求解。
- 二维换元法与雅可比行列式:一维换元公式的导数因子在二维推广为雅可比行列式。
原文:原笔记 · 2.3.2 随机变量函数的分布(原文件第 171–206 行)。
第3章 多维随机变量及其分布
教材起始页:P62 · 原笔记本章
知识点
- 多维随机变量与联合分布函数
- 边缘分布函数
- 联合分布、边缘分布与条件分布
- 二维均匀分布
- 二维正态分布
- 随机变量的相互独立性
- 不独立的判断与证明
- 多维随机变量函数的分布
- 二维换元法与雅可比行列式
- 卷积公式与和差分布
- 积的分布
- 商的分布
- 最大值分布
- 最小值分布
- 常见分布的可加性
章节导航
上一章:第2章 一维随机变量及其分布
下一章:第4章 随机变量的数字特征
多维随机变量与联合分布函数
所属章节:第3章 多维随机变量及其分布
如果 X1,X2,⋯,Xn 是定义在同一个样本空间 Ω 上的 n 个随机变量,则称 (X1,X2,⋯,Xn) 为 n 维随机变量 或 n 维随机向量,Xi(i=1,2,⋯,n) 称为第 i 个分量.
当 n=2 时,称 (X,Y) 为二维随机变量或二维随机向量.
n维随机变量的分布函数
概念
NOTE
P{X1⩽x1,X2⩽x2,⋯,Xn⩽xn} 类似于 P(A1A2⋯An):A1,A2,⋯,An 同时发生的概率
对任意的 n 个实数 x1,x2,⋯,xn,称 n 元函数
F(x1,x2,⋯,xn)=P{X1⩽x1,X2⩽x2,⋯,Xn⩽xn}为 n 维随机变量 (X1,X2,⋯,Xn) 的分布函数或随机变量 X1,X2,⋯,Xn 的联合分布函数.
当 n=2 时,对任意的实数 x,y,称二元函数
F(x,y)=P{X⩽x,Y⩽y}为二维随机变量 (X,Y) 的分布函数或随机变量 X 和 Y 的联合分布函数,记为 (X,Y)∼F(x,y).
性质
- 单调性
- F(x,y) 是 x,y 的单调不减函数
- 对任意固定的 y,当 x1<x2 时,F(x1,y)⩽F(x2,y)
- 对任意固定的 x,当 y1<y2 时,F(x,y1)⩽F(x,y2)
- 右连续性 F(x,y) 是 x,y 的右连续函数:
- limx→x0+F(x,y)=F(x0+0,y)=F(x0,y)
- limy→y0+F(x,y)=F(x,y0+0)=F(x,y0)
- 有界性
- F(−∞,y)=F(x,−∞)=F(−∞,−∞)=0
- F(+∞,+∞)=1
- 非负性 对任意的 x1<x2,y1<y2,有 P{x1<X⩽x2,y1<Y⩽y2}=F(x2,y2)−F(x2,y1)−F(x1,y2)+F(x1,y1)⩾0
关联知识
- 分布函数:联合分布函数推广了一维分布函数。
- 边缘分布函数:联合分布函数取其余分量的正无穷极限可得边缘分布函数。
- 联合分布、边缘分布与条件分布:联合分布可通过分布律或密度表示。
原文:原笔记 · 3.1 n维随机变量及其分布函数 P63(原文件第 207–248 行)。
边缘分布函数
所属章节:第3章 多维随机变量及其分布
设二维随机变量 (X,Y) 的分布函数为 F(x,y),随机变量 X 与 Y 的分布函数 FX(x) 与 FY(y) 分别称为 (X,Y) 关于 X 和关于 Y 的边缘分布函数. 由概率性质得
FX(x)=P{X⩽x}=P{X⩽x,Y<+∞} =y→+∞limP{X⩽x,Y⩽y} =y→+∞limF(x,y)=F(x,+∞).同理,有 FY(y)=F(+∞,y).
关联知识
- 多维随机变量与联合分布函数:联合分布函数取其余分量的正无穷极限可得边缘分布函数。
- 联合分布、边缘分布与条件分布:边缘分布可由联合分布求和或积分得到。
原文:原笔记 · 3.1.3 边缘分布函数 P64(原文件第 249–262 行)。
联合分布、边缘分布与条件分布
所属章节:第3章 多维随机变量及其分布
| 二维离散型随机变量 | 二维连续型随机变量 | |
|---|---|---|
| 概率分布 / 概率密度 | (X,Y)∼pij | (X,Y)∼f(x,y) |
| 联合分布 | F(x,y)=xi≤x∑yj≤y∑pij | F(x,y)=∫−∞ydv∫−∞xf(u,v)du |
| 边缘分布 | X∼pi=j=1∑∞pij Y∼pj=i=1∑∞pij | X∼FX(x)=∫−∞x∫−∞+∞f(u,v)dvdu Y∼FY(y)=∫−∞y∫−∞+∞f(u,v)dudv |
| 条件分布 | P(Y=yj∣X=xi)=pipij P(X=xi∣Y=yj)=pjpij | FY∣X(y∣x)=∫−∞yfX(x)f(x,v)dv FX∣Y(x∣y)=∫−∞xfY(y)f(u,y)du |
关联知识
- 条件概率:条件分布把条件概率用于随机变量。
- 多维随机变量与联合分布函数:联合分布可通过分布律或密度表示。
- 边缘分布函数:边缘分布可由联合分布求和或积分得到。
- 二维均匀分布:二维均匀分布是联合密度的具体例子。
- 二维正态分布:二维正态分布是联合密度的具体例子。
- 随机变量的相互独立性:独立时联合分布分解为边缘分布的乘积。
- 二维随机变量函数的数学期望:二维函数期望按联合分布加权求和或积分。
原文:原笔记 · 3.2.1 公式 P69(原文件第 263–273 行)。
二维均匀分布
所属章节:第3章 多维随机变量及其分布
如果 (X,Y) 的概率密度为
f(x,y)=⎩⎨⎧SD1,0,(x,y)∈D,其他,其中 SD 为区域 D 的面积,则称 (X,Y) 在平面有界区域 D 上服从均匀分布.
关联知识
- 联合分布、边缘分布与条件分布:二维均匀分布是联合密度的具体例子。
- 均匀分布:二维均匀分布把区间上的均匀性推广到平面区域。
原文:原笔记 · 3.2.2.1 二维均匀分布 P70(原文件第 274–281 行)。
二维正态分布
所属章节:第3章 多维随机变量及其分布
如果 (X,Y) 的概率密度为
f(x,y)=2πσ1σ21−ρ21exp{−2(1−ρ2)1[(σ1x−μ1)2−2ρ(σ1x−μ1)(σ2y−μ2)+(σ2y−μ2)2]}其中 μ1∈R,μ2∈R,σ1>0,σ2>0,−1<ρ<1,则称 (X,Y) 服从参数为 μ1,μ2,σ12,σ22,ρ 的二维正态分布,记为(X,Y)∼N(μ1,μ2;σ12,σ22;ρ)
- 若 (X1,X2)∼N(μ1,μ2;σ12,σ22;ρ),则X1∼N(μ1,σ12),X2∼N(μ2,σ22)
- 若 X1∼N(μ1,σ12),X2∼N(μ2,σ22) 且 X1,X2 相互独立,则(X1,X2)∼N(μ1,μ2;σ12,σ22;0)
- (X1,X2)∼N⇒k1X1+k2X2∼N(k1,k2 是不全为 0 的常数)
关联知识
- 联合分布、边缘分布与条件分布:二维正态分布是联合密度的具体例子。
- 正态分布:二维正态分布的边缘分布是一维正态分布。
- 独立性与不相关性的判定:二维正态条件下独立与不相关等价。
原文:原笔记 · 3.2.2.2 二维正态分布 P70(原文件第 282–301 行)。
随机变量的相互独立性
所属章节:第3章 多维随机变量及其分布
如果 n 维随机变量 (X1,X2,⋯,Xn) 的分布函数等于边缘分布函数的乘积,即
F(x1,x2,⋯,xn)=F1(x1)⋅F2(x2)⋯Fn(xn),其中 Fi(xi) (i=1,2,⋯,n) 为 Xi 的边缘分布函数,xi 为任意实数,则称 X1,X2,⋯,Xn 相互独立。
充要条件
n 个随机变量 X1,X2,⋯,Xn 相互独立
⟺对任意的 n 个实数 xi (i=1,2,⋯,n),n 个事件 {X1≤x1},{X2≤x2},⋯,{Xn≤xn} 相互独立。离散型随机变量:联合分布律等于边缘分布相乘
n 个离散型随机变量 X1,X2,⋯,Xn 相互独立
⟺对任意的 xi∈Di={Xi 的一切可能值}(i=1,2,⋯,n),有 P{X1=x1,⋯,Xn=xn}=i=1∏nP{Xi=xi}.连续型随机变量:概率密度等于边缘概率密度相乘
设 (X1,X2,⋯,Xn) 为 n 维连续型随机变量,则
X1,X2,⋯,Xn 相互独立⟺概率密度等于边缘概率密度相乘即
f(x1,x2,⋯,xn)=f1(x1)⋅f2(x2)⋯fn(xn),其中 fi(xi) 为 Xi 的边缘概率密度。
性质
-
设 X1,X2,⋯,Xn 相互独立,则其中任意 k (2≤k≤n) 个随机变量也相互独立。
-
设 (X,Y) 为二维离散型随机变量,X 与 Y 独立,则条件分布等于边缘分布:
P{X=xi∣Y=yj}=P{X=xi},(P{Y=yj}>0). P{Y=yj∣X=xi}=P{Y=yj},(P{X=xi}>0). -
设 (X,Y) 为二维连续型随机变量,X 与 Y 独立,则条件概率密度等于边缘概率密度:
fX∣Y(x∣y)=fY(y)f(x,y)=fX(x),(fY(y)>0). fY∣X(y∣x)=fX(x)f(x,y)=fY(y),(fX(x)>0). -
若 X1,X2,⋯,Xn 相互独立,g1(x),g2(x),⋯,gn(x) 为一元连续函数,则g1(X1),g2(X2),⋯,gn(Xn)相互独立。
关联知识
- 事件的独立性:随机变量独立性通过相应事件的独立性定义。
- 联合分布、边缘分布与条件分布:独立时联合分布分解为边缘分布的乘积。
- 不独立的判断与证明:反例可否定联合分布等于边缘分布乘积的条件。
- 独立性与不相关性的判定:独立性按分布判断,不相关性按数字特征判断。
- 卷积公式与和差分布:独立时和差分布公式中的联合密度可分解。
- 常见分布的可加性:本笔记列出的可加性结论以相互独立为条件。
- 大数定律:本笔记列出的大数定律使用独立性条件。
- 总体与样本:简单随机样本的各分量相互独立且同分布。
原文:原笔记 · 3.3 随机变量的相互独立性 P75(原文件第 302–404 行)。
不独立的判断与证明
所属章节:第3章 多维随机变量及其分布
X 与 Y 不独立⟺存在 x0,y0,使 A={X≤x0} 与 B={Y≤y0} 不独立, 即 F(x0,y0)=FX(x0)⋅FY(y0)TIP
要证不独立,举出一个反例 (x0,y0) 即可。找一对点,让这两个区域要么包含(一个发生导致另一个必定发生),要么互斥(不可能同时发生)。只要满足这种强关联,它们就绝不可能独立。
也即取合适的 x0,y0,使 P{X≤x0}⋅P{Y≤y0}=P{X≤x0, Y≤y0}.
例如:取 x0,y0,使0<P{X≤x0},P{Y≤y0}<1, 但
- {X≤x0}⊆{Y≤y0}, 或
- {Y≤y0}⊆{X≤x0}, 或
- {X≤x0, Y≤y0}=∅ 等
关联知识
- 随机变量的相互独立性:反例可否定联合分布等于边缘分布乘积的条件。
原文:原笔记 · 3.3.4 不独立的判断与证明 P77(原文件第 405–425 行)。
多维随机变量函数的分布
所属章节:第3章 多维随机变量及其分布
已知 (X,Y) 的分布,求函数 Z=g(X,Y) 的分布. 首先要确定 X,Y 的类型,然后采用相应的公式计算.
- 如果 (X,Y) 是二维离散型随机变量,则 Z=g(X,Y) 也是离散型的,先确定 Z 的值,而后求其相应的概率,即可求得 Z 的分布.
- 如果 X,Y 其中一个是离散型的,另一个是非离散型的,将事件对离散型的一切可能值进行全集分解,而后应用全概率公式求得 Z 的分布.
- 如果 (X,Y) 是二维连续型随机变量,即 (X,Y)∼f(x,y),则 Z=g(X,Y) 的分布函数 F(z)=P{g(X,Y)⩽z}=g(x,y)⩽z∬f(x,y)dxdy,
关联知识
- 全概率与贝叶斯公式:混合类型的随机变量函数可用全概率公式分解。
- 一维随机变量函数的分布:函数分布问题从一维推广到多维。
- 二维换元法与雅可比行列式:连续型多维变量的变换可用雅可比公式。
- 卷积公式与和差分布:和差分布是多维变量函数分布的特例。
- 积的分布:积的分布是多维变量函数分布的特例。
- 商的分布:商的分布是多维变量函数分布的特例。
- 最大值分布:最大值的分布可由联合分布函数求得。
- 最小值分布:最小值的分布可由联合分布函数求得。
原文:原笔记 · 3.4 多维随机变量函数的分布 P79(原文件第 426–436 行)。
二维换元法与雅可比行列式
所属章节:第3章 多维随机变量及其分布
TIP
换元法求 fU,V(u,v),这是比卷积公式更为有用且极为简便的方法:
设 (X,Y) 是二维连续型随机变量,且 (X,Y)∼f(x,y),若 {u=u(x,y),v=v(x,y), 且 u,v 具有一阶连续偏导数,{x=x(u,v),y=y(u,v) 是其唯一反函数,则
(U,V)∼fU,V(u,v)=f[x(u,v),y(u,v)]⋅∣J∣ U∼fU(u)=∫−∞+∞f[x(u,v),y(u,v)]∣J∣dv, V∼fV(v)=∫−∞+∞f[x(u,v),y(u,v)]∣J∣du. 其中 J=∂(u,v)∂(x,y)=∂u∂x∂u∂y∂v∂x∂v∂y=[∂(x,y)∂(u,v)]−1=∂x∂u∂x∂v∂y∂u∂y∂v−1=0
关联知识
- 多维随机变量函数的分布:连续型多维变量的变换可用雅可比公式。
- 分布函数法与一维换元公式:一维换元公式的导数因子在二维推广为雅可比行列式。
- 积的分布:积的密度公式可由二维换元法推导。
- 商的分布:商的密度公式可由二维换元法推导。
原文:原笔记 · 3.4.1 求法 P79(原文件第 437–445 行)。
卷积公式与和差分布
所属章节:第3章 多维随机变量及其分布
NOTE
=独立 表示 当 X 与 Y 相互独立时等号成立.
和的分布
设 (X,Y)∼f(x,y),则 Z=X+Y 的概率密度为
fZ(z)=∫−∞+∞f(x,z−x)dx=∫−∞+∞f(z−y,y)dy =独立∫−∞+∞fX(x)fY(z−x)dx=∫−∞+∞fX(z−y)fY(y)dy.差的分布
设 (X,Y)∼f(x,y),则 Z=X−Y 的概率密度为
fZ(z)=∫−∞+∞f(x,x−z)dx=∫−∞+∞f(y+z,y)dy =独立∫−∞+∞fX(x)fY(x−z)dx=∫−∞+∞fX(y+z)fY(y)dy.关联知识
- 多维随机变量函数的分布:和差分布是多维变量函数分布的特例。
- 随机变量的相互独立性:独立时和差分布公式中的联合密度可分解。
- 常见分布的可加性:可加性给出特定分布求和时的简便结论。
原文:原笔记 · 3.4.2 相互独立随机变量函数的分布及卷积公式 P81(原文件第 446–466 行)。
积的分布
所属章节:第3章 多维随机变量及其分布
设 (X,Y)∼f(x,y),则 Z=XY 的概率密度为
fZ(z)=∫−∞+∞∣x∣1f(x,xz)dx=∫−∞+∞∣y∣1f(yz,y)dy =独立∫−∞+∞∣x∣1fX(x)fY(xz)dx=∫−∞+∞∣y∣1fX(yz)fY(y)dy.关联知识
- 多维随机变量函数的分布:积的分布是多维变量函数分布的特例。
- 二维换元法与雅可比行列式:积的密度公式可由二维换元法推导。
原文:原笔记 · 3.4.2.3 积的分布 P81(原文件第 467–474 行)。
商的分布
所属章节:第3章 多维随机变量及其分布
设 (X,Y)∼f(x,y),则 Z=YX 的概率密度为
fZ(z)=∫−∞+∞∣y∣f(yz,y)dy=独立∫−∞+∞∣y∣fX(yz)fY(y)dy.关联知识
- 多维随机变量函数的分布:商的分布是多维变量函数分布的特例。
- 二维换元法与雅可比行列式:商的密度公式可由二维换元法推导。
原文:原笔记 · 3.4.2.4 商的分布 P82(原文件第 475–480 行)。
最大值分布
所属章节:第3章 多维随机变量及其分布
设 (X,Y)∼F(x,y),则 Z=max{X,Y} 的分布函数为
Fmax(z)=P{max{X,Y}⩽z}=P{X⩽z,Y⩽z}=F(z,z) =独立Fmax(z)=FX(z)⋅FY(z).推广到 n 个相互独立的随机变量 X1,X2,⋯,Xn 的情况
Fmax(z)=FX1(z)FX2(z)⋯FXn(z)特别地,当 Xi(i=1,2,⋯,n) 相互独立且有相同的分布函数 F(x) 与概率密度 f(x) 时
Fmax(x)=[F(x)]n fmax(x)=n[F(x)]n−1f(x).关联知识
- 多维随机变量函数的分布:最大值的分布可由联合分布函数求得。
- 最小值分布:极大值和极小值分别对应事件交与补事件交。
- 顺序统计量:最大顺序统计量等于样本最大值。
原文:原笔记 · 3.4.2.5 $\max\{X, Y\}$ 分布 P83(原文件第 481–498 行)。
最小值分布
所属章节:第3章 多维随机变量及其分布
设 (X,Y)∼F(x,y),则 Z=min{X,Y} 的分布函数为
Fmin(z)=P{min{X,Y}⩽z}=P{{X⩽z}∪{Y⩽z}} =P{X⩽z}+P{Y⩽z}−P{X⩽z,Y⩽z} =FX(z)+FY(z)−F(z,z) =独立Fmin(z)=FX(z)+FY(z)−FX(z)FY(z) =1−[1−FX(z)][1−FY(z)].推广到 n 个相互独立的随机变量 X1,X2,⋯,Xn 的情况
Fmin(z)=1−[1−FX1(z)][1−FX2(z)]⋯[1−FXn(z)].特别地,当 Xi(i=1,2,⋯,n) 相互独立且有相同的分布函数 F(x) 与概率密度 f(x) 时
Fmin(x)=1−[1−F(x)]n fmin(x)=n[1−F(x)]n−1f(x).关联知识
- 多维随机变量函数的分布:最小值的分布可由联合分布函数求得。
- 最大值分布:极大值和极小值分别对应事件交与补事件交。
- 顺序统计量:最小顺序统计量等于样本最小值。
原文:原笔记 · 3.4.2.6 $\min\{X, Y\}$ 分布 P83(原文件第 499–522 行)。
常见分布的可加性
所属章节:第3章 多维随机变量及其分布
设随机变量 X 与 Y 相互独立,则
- 若 X∼B(n,p), Y∼B(m,p),则 X+Y∼B(n+m,p)
- 若 X∼P(λ1), Y∼P(λ2),则 X+Y∼P(λ1+λ2)
- 若 X∼N(μ1,σ12), Y∼N(μ2,σ22),则 X+Y∼N(μ1+μ2,σ12+σ22)
- 若 X∼χ2(n), Y∼χ2(m),则 X+Y∼χ2(n+m)
关联知识
- 卷积公式与和差分布:可加性给出特定分布求和时的简便结论。
- 随机变量的相互独立性:本笔记列出的可加性结论以相互独立为条件。
- 二项分布:独立且成功概率相同的二项变量之和仍服从二项分布。
- 泊松分布:独立泊松变量相加时参数相加。
- 正态分布:独立正态变量相加时均值与方差分别相加。
- 卡方分布:独立卡方变量相加时自由度相加。
原文:原笔记 · 3.4.2.7 常见分布的可加性 P83(原文件第 523–533 行)。
数学期望
所属章节:第4章 随机变量的数字特征
设 X 是随机变量,Y 是 X 的函数,Y=g(X)(g 为连续函数).
- 离散型随机变量
- 如果 X 是离散型随机变量,其分布序列为 pi=P{X=xi}(i=1,2,⋯). 若级数 ∑i=1∞xipi 绝对收敛,则 EX=∑i=1∞xipi,否则称 X 的数学期望不存在.
- 若级数 ∑i=1∞g(xi)pi 绝对收敛,则 E[g(X)]=∑i=1∞g(xi)pi,否则称 g(X) 的数学期望不存在.
- 连续型随机变量
- 如果 X 是连续型随机变量,其概率密度为 f(x). 若积分 ∫−∞+∞xf(x)dx 绝对收敛,则 EX=∫−∞+∞xf(x)dx,否则称 X 的数学期望不存在.
- 若积分 ∫−∞+∞g(x)f(x)dx 绝对收敛,则 E[g(X)]=∫−∞+∞g(x)f(x)dx,否则称 g(X) 的数学期望不存在.
性质
- Ea=a,E(EX)=EX
- E(aX+bY)=aEX+bEY,E(∑i=1naiXi)=∑i=1naiEXi
- 若 X,Y 相互独立,则 E(XY)=EXEY
关联知识
- 方差与标准差:方差通过数学期望定义并可用二阶矩计算。
- 常见分布的数字特征:速查表列出常见分布的数学期望。
- 二维随机变量函数的数学期望:函数期望公式从一维推广到二维。
- 大数定律:大数定律将样本平均与总体期望联系起来。
- 样本均值和样本方差的性质:样本均值和样本方差的无偏性质通过期望表达。
- 矩估计:总体矩由随机变量幂的期望定义。
- 估计量的评价标准:无偏性由估计量的期望是否等于参数判断。
原文:原笔记 · 4.1 随机变量的数学期望 P103(原文件第 534–552 行)。
方差与标准差
所属章节:第4章 随机变量的数字特征
设 X 是随机变量,如果 E[(X−EX)2] 存在,则
- 方差 DX=E[(X−EX)2]=E(X2)−(EX)2
- 标准差或均方差 σ(X)=DX
- 随机变量 X∗=DXX−EX 为 X 的标准化随机变量,此时 EX∗=0,DX∗=1
性质
- DX⩾0,E(X2)=DX+(EX)2⩾(EX)2
- Dc=0(c 为常数)
- DX=0⇔X 几乎处处为某个常数 a,即 P{X=a}=1
- D(aX+b)=a2DX
- D(X±Y)=DX+DY±2Cov(X,Y),D(∑i=1naiXi)=∑i=1nai2DXi+2∑1⩽i<j⩽naiajCov(Xi,Xj)
- 如果 X 与 Y 相互独立,则
- D(aX+bY)=a2DX+b2DY
- D(XY)=DXDY+DX(EY)2+DY(EX)2⩾DXDY
- 如果 X1,X2,⋯,Xn 相互独立,gi(x)(i=1,2,⋯,n) 为 x 的连续函数,则
- D(∑i=1naiXi)=∑i=1nai2DXi
- D[∑i=1ngi(Xi)]=∑i=1nD[gi(Xi)]
- 对任意常数 c,有 DX=E[(X−EX)2]⩽E[(X−c)2]
关联知识
- 数学期望:方差通过数学期望定义并可用二阶矩计算。
- 常见分布的数字特征:速查表列出常见分布的方差。
- 协方差与相关系数:相关系数用两个标准差归一化协方差。
- 切比雪夫不等式:切比雪夫不等式用方差控制偏离均值的概率。
- 中心极限定理:中心极限定理使用和的均值与标准差进行标准化。
- 样本均值和样本方差的性质:独立同分布样本均值的方差为总体方差除以样本量。
- 估计量的评价标准:比较无偏估计量的方差可判断相对有效性。
原文:原笔记 · 4.2 随机变量的方差、标准差(原文件第 553–577 行)。
常见分布的数字特征
所属章节:第4章 随机变量的数字特征
| 分布 | 分布列 pk 或概率密度 f(x) | 数学期望 | 方差 |
|---|---|---|---|
| 0−1 分布 | P{X=k}=pk(1−p)1−k,k=0,1 | p | p(1−p) |
| 二项分布 B(n,p) | P{X=k}=Cnkpk(1−p)n−k,k=0,1,⋯,n | np | np(1−p) |
| 泊松分布 P(λ) | P{X=k}=k!λke−λ,k=0,1,⋯ | λ | λ |
| 几何分布 G(p) | P{X=k}=(1−p)k−1p,k=1,2,⋯ | p1 | p21−p |
| 正态分布 N(μ,σ2) | f(x)=2πσ1exp{−2σ2(x−μ)2},−∞<x<+∞ | μ | σ2 |
| 均匀分布 U(a,b) | f(x)=b−a1,a<x<b | 2a+b | 12(b−a)2 |
| 指数分布 E(λ) | f(x)=λe−λx,x>0 | λ1 | λ21 |
关联知识
原文:原笔记 · 4.2.2 性质 P105(原文件第 578–587 行)。
二维随机变量函数的数学期望
所属章节:第4章 随机变量的数字特征
设 X,Y 为随机变量,g(X,Y) 为 X,Y 的函数(g 是连续函数).
(1) 如果 (X,Y) 为离散型随机变量,其联合分布律为 pij=P{X=xi,Y=yj}(i,j=1,2,⋯)
若级数 ∑i∑jg(xi,yj)pij 绝对收敛,则定义 E[g(X,Y)]=======Z=g(X,Y)EZ=∑i∑jg(xi,yj)pij
(2) 如果 (X,Y) 为连续型随机变量,其概率密度为 f(x,y),若积分 ∫−∞+∞∫−∞+∞g(x,y)f(x,y)dxdy 绝对收敛,则定义
E[g(X,Y)]=======Z=g(X,Y)EZ=∫−∞+∞∫−∞+∞g(x,y)f(x,y)dxdy关联知识
- 数学期望:函数期望公式从一维推广到二维。
- 联合分布、边缘分布与条件分布:二维函数期望按联合分布加权求和或积分。
- 协方差与相关系数:协方差的计算使用乘积的期望。
原文:原笔记 · 4.3 二维随机变量函数的数学期望 P109(原文件第 588–601 行)。
协方差与相关系数
所属章节:第4章 随机变量的数字特征
(1) 概念.
如果随机变量 X 与 Y 的方差存在且 DX>0,DY>0,则称 E[(X−EX)(Y−EY)] 为随机变量 X 与 Y 的协方差,并记为 Cov(X,Y),即
Cov(X,Y)=E[(X−EX)(Y−EY)]=E(XY)−EX⋅EY,其中
E(XY)=⎩⎨⎧i∑j∑xiyjP{X=xi,Y=yj} (离散型),∫−∞+∞∫−∞+∞xyf(x,y)dxdy (连续型).称 ρXY=DXDYCov(X,Y) 为随机变量 X 与 Y 的相关系数. 如果 ρXY=0,则称 X 与 Y 不相关;如果 ρXY=0,则称 X 与 Y 相关.
若有随机变量 X,数字特征为 EX,DX,有 X∗=DXX−EX 为 X 的标准化;类似的,有随机变量 Y,Y∗ 为 Y 的标准化,则
Cov(X∗,Y∗)=Cov(DXX−EX,DYY−EY) =DXDYCov(X−EX,Y−EY)=DXDYCov(X,Y)=ρXY.性质
(2) 性质.
① Cov(X,Y)=Cov(Y,X).
② Cov(aX,bY)=abCov(X,Y).
③ Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y).
④ ∣ρXY∣⩽1.
⑤ ρXY=1⇔P{Y=aX+b}=1(a>0).
ρXY=−1⇔P{Y=aX+b}=1(a<0).关联知识
- 二维随机变量函数的数学期望:协方差的计算使用乘积的期望。
- 方差与标准差:相关系数用两个标准差归一化协方差。
- 独立性与不相关性的判定:方差为正且有限时,协方差为零等价于不相关。
原文:原笔记 · 4.4 两个随机变量的协方差与相关系数 P110(原文件第 602–639 行)。
独立性与不相关性的判定
所属章节:第4章 随机变量的数字特征
(1) 随机变量 X 与 Y 相互独立,意指对任意实数 x,y,事件 {X⩽x} 与 {Y⩽y} 相互独立,即 (X,Y) 的分布等于边缘分布相乘:F(x,y)=FX(x)⋅FY(y).
若 (X,Y) 是离散型的,则 X 与 Y 独立的充要条件是
P{X=xi,Y=yj}=P{X=xi}⋅P{Y=yj};若 (X,Y) 是连续型的,则 X 与 Y 独立的充要条件是
f(x,y)=fX(x)⋅fY(y).一般通过分布判定独立性.
(2) 随机变量 X 与 Y 不相关,意指 X 与 Y 之间不存在线性相关性,即 ρXY=0,其充要条件是
ρXY=0⇔Cov(X,Y)=0⇔E(XY)=EX⋅EY⇔D(X±Y)=DX+DY.一般通过数字特征判定不相关性.
(3) 几个重要结论:
① 如果 X 与 Y 独立,则 X,Y 不相关,反之不然;
② 如果 (X,Y) 服从二维正态分布,则 X,Y 独立 ⇔X,Y 不相关;
③ 由 ① 知,如果 X 与 Y 相关,则 X,Y 不独立.
综上所述,我们在讨论随机变量 X 与 Y 的不相关性、独立性时,总是先计算 Cov(X,Y),而后按下列程序进行判断或再计算:
Cov(X,Y)=E(XY)−EXEY⎩⎨⎧=0⇔X 与 Y 相关⇒X 与 Y 不独立,=0⇔X 与 Y 不相关,通过分布推断{X,Y 独立,X,Y 不独立.关联知识
- 随机变量的相互独立性:独立性按分布判断,不相关性按数字特征判断。
- 二维正态分布:二维正态条件下独立与不相关等价。
- 协方差与相关系数:方差为正且有限时,协方差为零等价于不相关。
原文:原笔记 · 4.5 独立性与不相关性的判定 P113(原文件第 640–671 行)。
切比雪夫不等式
所属章节:第4章 随机变量的数字特征
如果随机变量 X 的期望 EX 和方差 DX 存在,则对任意 ε>0,有
P{∣X−EX∣⩾ε}⩽ε2DX或P{∣X−EX∣<ε}⩾1−ε2DX.关联知识
原文:原笔记 · 4.6 切比雪夫不等式 P114(原文件第 672–679 行)。
依概率收敛
所属章节:第5章 大数定律和中心极限定理
设随机变量 X 与随机变量序列 {Xn}(n=1,2,⋯),如果对任意的 ε>0,有
n→∞limP{∣Xn−X∣⩾ε}=0或n→∞limP{∣Xn−X∣<ε}=1,则称随机变量序列 {Xn} 依概率收敛于随机变量 X,记为
n→∞limXn=X(P)或XnPX(n→∞).关联知识
原文:原笔记 · 5.1 依概率收敛 P125(原文件第 680–689 行)。
大数定律
所属章节:第5章 大数定律和中心极限定理
定理 1(切比雪夫大数定律) 假设 {Xn}(n=1,2,⋯) 是相互独立的随机变量序列,如果方差 DXi (i⩾1) 存在且一致有上界,即存在常数 C,使 DXi⩽C 对一切 i⩾1 均成立,则 {Xn} 服从大数定律:
n1i=1∑nXiPn1i=1∑nEXi.定理 2(伯努利大数定律) 假设 μn 是 n 重伯努利试验中事件 A 发生的次数,在每次试验中事件 A 发生的概率为 p(0<p<1),则 nμnPp,即对任意 ε>0,有
n→∞limP{nμn−p<ε}=1.定理 3(辛钦大数定律) 假设 {Xn}(n=1,2,⋯) 是独立同分布的随机变量序列,如果数学期望 EXi=μ(i=1,2,⋯) 存在,则 n1∑i=1nXiPμ,即对任意 ε>0,有
n→∞limP{n1i=1∑nXi−μ<ε}=1.关联知识
- 切比雪夫不等式:切比雪夫大数定律可借助切比雪夫不等式证明。
- 依概率收敛:大数定律描述平均量的依概率收敛。
- 数学期望:大数定律将样本平均与总体期望联系起来。
- 随机变量的相互独立性:本笔记列出的大数定律使用独立性条件。
- 中心极限定理:两者分别研究平均量的稳定性与标准化和的极限分布。
- 估计量的评价标准:大数定律可用于证明相应估计量的一致性。
原文:原笔记 · 5.2 大数定律 P126(原文件第 690–703 行)。
中心极限定理
所属章节:第5章 大数定律和中心极限定理
定理 4(列维 - 林德伯格定理) 假设 {Xn}(n=1,2,⋯) 是独立同分布的随机变量序列,如果
EXi=μ,DXi=σ2>0(i=1,2,⋯)存在,则对任意的实数 x,有
n→∞limP⎩⎨⎧nσi=1∑nXi−nμ⩽x⎭⎬⎫=2π1∫−∞xe−2t2dt=Φ(x).定理 5(棣莫弗 - 拉普拉斯定理) 假设随机变量 Yn∼B(n,p)(0<p<1,n⩾1),则对任意实数 x,有
n→∞limP{np(1−p)Yn−np⩽x}=2π1∫−∞xe−2t2dt=Φ(x).关联知识
- 大数定律:两者分别研究平均量的稳定性与标准化和的极限分布。
- 正态分布:中心极限定理的标准化和趋于标准正态分布。
- 方差与标准差:中心极限定理使用和的均值与标准差进行标准化。
- 二项分布的概率近似:棣莫弗-拉普拉斯定理支持二项分布的正态近似。
原文:原笔记 · 5.3 中心极限定理 P128(原文件第 704–717 行)。
二项分布的概率近似
所属章节:第5章 大数定律和中心极限定理
二项分布概率计算的三种方法.
设 X∼B(n,p).
① 当 n 不太大时 (n⩽10),直接计算
P{X=k}=Cnkpk(1−p)n−k,k=0,1,⋯,n;② 当 n 较大且 p 较小时 (n>10,p<0.1),λ=np 适中,根据泊松定理有近似公式
P{X=k}=Cnkpk(1−p)n−k≈k!λke−λ,k=0,1,⋯,n;③ 当 n 较大而 p 不太大时 (p<0.1,np⩾10),根据中心极限定理,有近似公式
P{a<X<b}≈Φ(np(1−p)b−np)−Φ(np(1−p)a−np).
关联知识
原文:原笔记 · 5.3 中心极限定理 P128(原文件第 718–735 行)。
第6章 数理统计
教材起始页:P133 · 原笔记本章
知识点
- 总体与样本
- 统计量与样本数字特征
- 顺序统计量
- 样本均值和样本方差的性质
- 卡方分布
- t分布
- F分布
- 正态总体的抽样分布
- 参数的点估计
- 矩估计
- 最大似然估计
- 估计量的评价标准
- 参数的区间估计
- 正态总体的置信区间
- 假设检验与原假设备择假设
- 小概率原理与显著性水平
- 正态总体均值的六种检验
- 假设检验的两类错误
章节导航
上一章:第5章 大数定律和中心极限定理
总体与样本
所属章节:第6章 数理统计
研究对象的全体称为总体,组成总体的每一个元素称为个体. 在对总体进行统计研究时,我们所关心的是表征总体状况的某个(或某几个)数量指标 X(可以是向量)和该指标在总体中的分布情况. 我们把总体与随机变量 X 等同起来,说“总体 X”,所谓总体的分布就是随机变量 X 的分布.
n 个相互独立且与总体 X 具有相同概率分布的随机变量 X1,X2,⋯,Xn 所组成的整体 (X1,X2,⋯,Xn) 称为来自总体 X、容量为 n 的一个简单随机样本,简称样本. 一次抽样结果的 n 个具体数值 (x1,x2,⋯,xn) 称为样本 X1,X2,⋯,Xn 的一个观测值(或样本值).
对于容量为 n 的样本 X1,X2,⋯,Xn,有如下定理:
假设总体 X 的分布函数为 F(x)(概率密度为 f(x),或概率分布为 pi=P{X=xi}),则 (X1,X2,⋯,Xn) 的分布函数为
F(x1,x2,⋯,xn)=i=1∏nF(xi).相应地:
(1) 对于离散型随机变量的样本 X1,X2,⋯,Xn,联合分布为
P{X1=x1,X2=x2,⋯,Xn=xn}=i=1∏nP{Xi=xi}.(2) 对于连续型随机变量的样本 X1,X2,⋯,Xn,联合概率密度为
f(x1,x2,⋯,xn)=i=1∏nf(xi).关联知识
- 随机变量的相互独立性:简单随机样本的各分量相互独立且同分布。
- 统计量与样本数字特征:统计量是样本的不含未知参数的函数。
- 最大似然估计:简单随机样本的独立性使似然函数写为乘积。
原文:原笔记 · 6.1 总体与样本 P134(原文件第 736–757 行)。
统计量与样本数字特征
所属章节:第6章 数理统计
设 X1,X2,⋯,Xn 为来自总体 X 的一个样本,g(x1,x2,⋯,xn) 为 n 元函数,如果 g 中不含任何未知参数,则称 g(X1,X2,⋯,Xn) 为样本 X1,X2,⋯,Xn 的一个统计量. 若 (x1,x2,⋯,xn) 为样本值,则称 g(x1,x2,⋯,xn) 为 g(X1,X2,⋯,Xn) 的观测值.
(1) 样本数字特征
① 样本均值 X=n1∑i=1nXi;
② 样本方差 S2=n−11∑i=1n(Xi−X)2;
样本标准差 S=n−11∑i=1n(Xi−X)2;
③ 样本 k 阶(原点)矩 Ak=n1∑i=1nXik(k=1,2,⋯);
④ 样本 k 阶中心矩 Bk=n1∑i=1n(Xi−X)k(k=2,3,⋯).
关联知识
- 总体与样本:统计量是样本的不含未知参数的函数。
- 顺序统计量:按大小排序后的样本分量也是统计量。
- 样本均值和样本方差的性质:样本均值和样本方差具有相应的期望和方差性质。
- 正态总体的抽样分布:正态总体的抽样结论研究样本均值和样本方差的分布。
- 参数的点估计:点估计用统计量估计未知参数。
- 矩估计:矩估计用样本矩替代相应总体矩。
原文:原笔记 · 6.2 统计量及其分布 P135(原文件第 758–773 行)。
顺序统计量
所属章节:第6章 数理统计
(2) 顺序统计量
将样本 X1,X2,⋯,Xn 的 n 个观测值按其取值从小到大的顺序排列,得
X(1)⩽X(2)⩽⋯⩽X(n).随机变量 X(k)(k=1,2,⋯,n) 称作第 k 顺序统计量,其中 X(1) 是最小顺序统计量,而 X(n) 是最大顺序统计量:
X(1)=min{X1,X2,⋯,Xn},X(n)=max{X1,X2,⋯,Xn}.关联知识
- 统计量与样本数字特征:按大小排序后的样本分量也是统计量。
- 最大值分布:最大顺序统计量等于样本最大值。
- 最小值分布:最小顺序统计量等于样本最小值。
原文:原笔记 · 6.2 统计量及其分布 P135(原文件第 774–783 行)。
样本均值和样本方差的性质
所属章节:第6章 数理统计
(3) 性质.
设总体 X 的期望 EX=μ,方差 DX=σ2,X1,X2,⋯,Xn 是取自总体 X、容量为 n 的一个样本,X,S2 分别为样本均值和样本方差,则
EXi=μ,DXi=σ2(i=1,2,⋯,n),EX=EX=μ,DX=n1DX=nσ2,E(S2)=DX=σ2.关联知识
- 统计量与样本数字特征:样本均值和样本方差具有相应的期望和方差性质。
- 数学期望:样本均值和样本方差的无偏性质通过期望表达。
- 方差与标准差:独立同分布样本均值的方差为总体方差除以样本量。
原文:原笔记 · 6.2 统计量及其分布 P135(原文件第 784–791 行)。
卡方分布
所属章节:第6章 数理统计
①概念.
若随机变量 X1,X2,⋯,Xn 相互独立,且都服从标准正态分布,则随机变量 X=∑i=1nXi2 服从自由度为 n 的 χ2 分布,记为 X∼χ2(n).
②上 α 分位数.
对于给定的 α(0<α<1),称满足
P{χ2>χα2(n)}=∫χα2(n)+∞f(x)dx=α的 χα2(n) 为 χ2(n) 分布的上 α 分位数(见图 6-1). 对于不同的 α,n,χ2(n) 分布上 α 分位数可通过查表求得.
③性质.
a. 若 X1∼χ2(n1),X2∼χ2(n2),X1 与 X2 相互独立,则
X1+X2∼χ2(n1+n2).此结论可推广至有限多个的和.
b. 若 X∼χ2(n),则 EX=n,DX=2n.
关联知识
- 常见分布的可加性:独立卡方变量相加时自由度相加。
- 正态分布:独立标准正态变量的平方和服从卡方分布。
- t分布:t统计量的分母使用独立卡方变量。
- F分布:两个独立卡方变量除以各自自由度后的比值服从F分布。
- 正态总体的抽样分布:正态总体中标准化的离差平方和服从卡方分布。
- 正态总体的置信区间:正态总体的方差区间使用卡方分位数。
原文:原笔记 · 6.3.1 $\chi^2$ 分布 P137(原文件第 792–815 行)。
t分布
所属章节:第6章 数理统计
①概念.
设随机变量 X∼N(0,1),Y∼χ2(n),且 X 与 Y 相互独立,则随机变量 t=Y/nX 服从自由度为 n 的 t 分布,记为 t∼t(n).
②上 α 分位数.
对于给定的 α(0<α<1),称满足
P{t>tα(n)}=α的 tα(n) 为 t(n) 分布的上 α 分位数(见图 6-2).
③性质.
a. t 分布的概率密度 f(x) 的图形关于 x=0 对称(见图 6-3),因此
Et=0(n⩾2).b. 由 t 分布的概率密度 f(x) 图形的对称性,知 P{t>−tα(n)}=P{t>t1−α(n)},故 t1−α(n)=−tα(n). 当 α 值在表中没有时,可用此式求得上 α 分位数.
关联知识
- 正态分布:t统计量的分子是标准正态变量。
- 卡方分布:t统计量的分母使用独立卡方变量。
- F分布:t变量的平方服从第一自由度为1的F分布。
- 正态总体的抽样分布:正态总体方差未知时标准化的样本均值服从t分布。
- 正态总体的置信区间:方差未知时均值区间使用t分位数。
- 正态总体均值的六种检验:方差未知时均值检验使用t分位数。
原文:原笔记 · 6.3.2 $t$ 分布 P138(原文件第 816–837 行)。
F分布
所属章节:第6章 数理统计
①概念.
设随机变量 X∼χ2(n1),Y∼χ2(n2),且 X 与 Y 相互独立,则 F=Y/n2X/n1 服从自由度为 (n1,n2) 的 F 分布,记为 F∼F(n1,n2),其中 n1 称为第一自由度,n2 称为第二自由度. F 分布的概率密度 f(x) 的图形如图 6-4 所示.
②上 α 分位数.
对于给定的 α(0<α<1),称满足
P{F>Fα(n1,n2)}=α的 Fα(n1,n2) 为 F(n1,n2) 分布的上 α 分位数(见图 6-5).
③性质.
a. 若 F∼F(n1,n2),则 F1∼F(n2,n1).
b. F1−α(n1,n2)=Fα(n2,n1)1,常用求解 F 分布表中未列出的上 α 分位数.
c. 若 t∼t(n),则 t2∼F(1,n).
关联知识
原文:原笔记 · 6.3.3 $F$ 分布 P138(原文件第 838–859 行)。
正态总体的抽样分布
所属章节:第6章 数理统计
设 X1,X2,⋯,Xn 是来自正态总体 N(μ,σ2) 的一个样本,X,S2 分别是样本均值和样本方差,则
① X∼N(μ,nσ2),即 nσX−μ=σn(X−μ)∼N(0,1);
② σ21∑i=1n(Xi−μ)2∼χ2(n);
③ σ2(n−1)S2=∑i=1n(σXi−X)2∼χ2(n−1)(μ 未知时,在②中用 X 替代 μ);
④ X 与 S2 相互独立,Sn(X−μ)∼t(n−1)(σ 未知时,在①中用 S 替代 σ). 进一步有
S2n(X−μ)2∼F(1,n−1).关联知识
- 统计量与样本数字特征:正态总体的抽样结论研究样本均值和样本方差的分布。
- 正态分布:这些抽样分布结论要求样本来自正态总体。
- 卡方分布:正态总体中标准化的离差平方和服从卡方分布。
- t分布:正态总体方差未知时标准化的样本均值服从t分布。
- F分布:正态样本均值对应的t统计量平方服从F分布。
- 正态总体的置信区间:正态总体置信区间根据相应抽样分布构造。
- 正态总体均值的六种检验:均值检验使用原假设下相应统计量的抽样分布。
原文:原笔记 · 6.3.4 正态总体条件下的重用结论 P139(原文件第 860–873 行)。
参数的点估计
所属章节:第6章 数理统计
设总体 X 的分布函数为 F(x;θ)(可以是多维的),其中 θ 是一个未知参数,X1,X2,⋯,Xn 是取自总体 X 的一个样本. 由样本构造一个适当的统计量 θ^(X1,X2,⋯,Xn) 作为参数 θ 的估计,则称统计量 θ^(X1,X2,⋯,Xn) 为 θ 的估计量.
如果 x1,x2,⋯,xn 是样本的一个观测值,将其代入估计量 θ^ 中得值 θ^(x1,x2,⋯,xn),统计学中称这个值为未知参数 θ 的估计值.
关联知识
- 统计量与样本数字特征:点估计用统计量估计未知参数。
- 矩估计:矩估计是构造点估计的一种方法。
- 最大似然估计:最大似然估计是构造点估计的一种方法。
- 估计量的评价标准:估计量通过无偏性、有效性和一致性等标准评价。
- 参数的区间估计:点估计与区间估计是参数估计的两种形式。
原文:原笔记 · 6.4 参数的点估计 P142(原文件第 874–879 行)。
矩估计
所属章节:第6章 数理统计
(1) 对于一个参数:
- ① 用一阶矩建立方程:令 X=EX;
- ② 若“①”不能用,用二阶矩建立方程:令 n1∑i=1nXi2=E(X2).
一个方程解出一个参数即可作为矩估计.
(2) 对于两个参数,用一阶矩与二阶矩建立两个方程,即 ① X=EX 与 ② n1∑i=1nXi2=E(X2),两个方程解出两个参数即可作为矩估计.
注 显然,一般情况下,将 n1∑i=1nXik=E(Xk)(k=1,2,⋯,m) 联立,即可求 m 个参数的矩估计. 那么,若求一个参数的矩估计,是否 k 可任取一个正整数呢?答案是否定的,在统计的问题中,一般以低阶为原则,即取能解出含参数的方程的最小 k 值.
关联知识
- 参数的点估计:矩估计是构造点估计的一种方法。
- 统计量与样本数字特征:矩估计用样本矩替代相应总体矩。
- 数学期望:总体矩由随机变量幂的期望定义。
原文:原笔记 · 6.4.1 矩估计 P143(原文件第 880–892 行)。
最大似然估计
所属章节:第6章 数理统计
对未知参数 θ 进行估计时,在该参数可能的取值范围内选取,使“样本获此观测值 x1,x2,⋯,xn”的概率最大的参数值 θ^ 作为 θ 的估计,这样选定的 θ^ 最有利与 x1,x2,⋯,xn 的出现,即“参数 θ=? 时,观测值出现的概率最大”.
(1) 写似然函数:
L(x1,x2,⋯,xn;θ)=⎩⎨⎧i=1∏np(xi;θ)i=1∏nf(xi;θ)(这是离散型总体 X 取 x1,x2,⋯,xn 的概率),(这是连续型总体 X 取 x1,x2,⋯,xn 的联合概率密度).为方便求解 θ^,也可取对数,即
lnL(θ)=⎩⎨⎧i=1∑nlnp(xi;θ),i=1∑nlnf(xi;θ).(2) 求参数 ⎩⎨⎧若似然函数有驻点,则令 dθdL=0 或 dθd(lnL)=0,解出 θ^,若似然函数无驻点(单调),则用定义求 θ^,若似然函数为常数,则用定义求 θ^,此时 θ^ 不唯一.
(3) 最大似然估计量的不变性原则 .
设 θ^ 是总体分布中未知参数 θ 的最大似然估计,函数 u=u(θ) 具有反函数,则 u^=u(θ^) 是 u(θ) 的最大似然估计,如 θ^ 是 θ 的最大似然估计,则 eθ^ 是 eθ 的最大似然估计 .
关联知识
原文:原笔记 · 6.4.2 最大似然估计 P143(原文件第 893–910 行)。
估计量的评价标准
所属章节:第6章 数理统计
(1) 无偏性 .
对于估计量 θ^,若 Eθ^=θ,则称 θ^ 为 θ 的无偏估计量 .
(2) 有效性(最小方差性).
若 Eθ^1=θ,Eθ^2=θ,即 θ^1,θ^2 均是 θ 的无偏估计量,当 Dθ^1<Dθ^2 时,称 θ^1 比 θ^2 有效 .
(3) 一致性(相合性)(只针对大样本 n→∞).
若 θ^ 为 θ 的估计量,对任意 ε>0,有
n→∞limP{∣θ^−θ∣⩾ε}=0,或
n→∞limP{∣θ^−θ∣<ε}=1,即当 θ^Pθ 时,称 θ^ 为 θ 的一致(或相合)估计 .
关联知识
- 参数的点估计:估计量通过无偏性、有效性和一致性等标准评价。
- 数学期望:无偏性由估计量的期望是否等于参数判断。
- 方差与标准差:比较无偏估计量的方差可判断相对有效性。
- 依概率收敛:一致性要求估计量依概率收敛于参数。
- 大数定律:大数定律可用于证明相应估计量的一致性。
原文:原笔记 · 6.4.3 估计量的评价标准 P144(原文件第 911–932 行)。
参数的区间估计
所属章节:第6章 数理统计
设 θ 是总体 X 的分布函数的一个未知参数,对于给定 α(0<α<1),如果由样本 X1,X2,⋯,Xn 确定的两个统计量 θ^1=θ^1(X1,X2,⋯,Xn),θ^2=θ^2(X1,X2,⋯,Xn),使
P{θ^1(X1,X2,⋯,Xn)<θ<θ^2(X1,X2,⋯,Xn)}=1−α,则称随机区间 (θ^1,θ^2) 是 θ 的置信度为 1−α 的置信区间,θ^1 和 θ^2 分别称为 θ 的置信度为 1−α 的双侧置信区间的置信下限和置信上限,1−α 称为置信度或置信水平,α 称为显著性水平. 如果 P{θ<θ^1}=P{θ>θ^2}=2α,则称这种置信区间为等尾置信区间.
关联知识
原文:原笔记 · 6.5 参数的区间估计 P151(原文件第 933–942 行)。
正态总体的置信区间
所属章节:第6章 数理统计
设 X∼N(μ,σ2),从总体 X 中抽取样本 X1,X2,⋯,Xn,样本均值为 X,样本方差为 S2.
(1) σ2 已知,μ 的置信水平是 1−α 的置信区间为
(X−nσz2α,X+nσz2α).(2) σ2 未知,μ 的置信水平是 1−α 的置信区间为
(X−nSt2α(n−1),X+nSt2α(n−1)).(3) μ 已知,σ2 的置信水平是 1−α 的置信区间为
χ2α2(n)i=1∑n(Xi−μ)2,χ1−2α2(n)i=1∑n(Xi−μ)2.(4) μ 未知,σ2 的置信水平是 1−α 的置信区间为
(χ2α2(n−1)(n−1)S2,χ1−2α2(n−1)(n−1)S2).关联知识
- 参数的区间估计:正态总体置信区间是区间估计的具体应用。
- 正态总体的抽样分布:正态总体置信区间根据相应抽样分布构造。
- 正态分布:方差已知时均值区间使用标准正态分位数。
- t分布:方差未知时均值区间使用t分位数。
- 卡方分布:正态总体的方差区间使用卡方分位数。
- 正态总体均值的六种检验:对应的双侧置信区间和双侧检验使用相同的分位数。
原文:原笔记 · 6.5.2 单个正态总体均值和方差的置信区间 P151(原文件第 943–962 行)。
假设检验与原假设备择假设
所属章节:第6章 数理统计
关于总体(分布中的未知参数,分布的类型、特征、不相关性、独立性……)的每一种论断(“看法”)称为统计假设,然后根据样本观察数据或试验结果所提供的信息去推断(检验)这个“看法”(即假设)是否成立,这类统计推断问题称为假设检验.
原假设与备择假设
常常把没有充分理由不能轻易否定的假设取为原假设(基本假设或零假设),记为 H0,将其否定的陈述(假设)称为对立假设或备择假设,记为 H1.
关联知识
- 小概率原理与显著性水平:显著性水平给出假设检验中的小概率界限。
- 正态总体均值的六种检验:正态总体均值检验通过原假设和备择假设选择拒绝域。
- 假设检验的两类错误:检验决策可能发生弃真或取伪两类错误。
原文:原笔记 · 6.6 假设检验 P154(原文件第 963–972 行)。
小概率原理与显著性水平
所属章节:第6章 数理统计
(1) 小概率原理 .
对假设进行检验的基本思想是采用某种带有概率性质的反证法 . 这种方法的依据是小概率原理——概率很接近于 0 的事件在一次试验或观察中认为不会发生 . 若小概率事件发生了,则拒绝原假设 .
(2) 显著性水平 α .
小概率事件中的“小概率”的值没有统一规定,通常是根据实际问题的要求,规定一个界限 α(0<α<1),当一个事件的概率不大于 α 时,即认为它是小概率事件 . 在假设检验问题中,α 称为显著性水平,通常取 α=0.1,0.05,0.01 等 .
关联知识
- 假设检验与原假设备择假设:显著性水平给出假设检验中的小概率界限。
- 正态总体均值的六种检验:显著性水平决定拒绝域的边界。
- 假设检验的两类错误:显著性水平控制第一类错误的概率。
原文:原笔记 · 6.6.3 小概率原理与显著性水平 P155(原文件第 973–982 行)。
正态总体均值的六种检验
所属章节:第6章 数理统计
(1) σ2 已知,μ 未知 . H0:μ=μ0,H1:μ=μ0,则拒绝域为 (−∞,μ0−nσz2α]⋃[μ0+nσz2α,+∞).
(2) σ2 未知,μ 未知 . H0:μ=μ0,H1:μ=μ0,则拒绝域为
(−∞,μ0−nSt2α(n−1)]⋃[μ0+nSt2α(n−1),+∞).(3) σ2 已知,μ 未知 . H0:μ⩽μ0(或写 μ=μ0),H1:μ>μ0,则拒绝域为 [μ0+nσzα,+∞).
(4) σ2 已知,μ 未知 . H0:μ⩾μ0(或写 μ=μ0),H1:μ<μ0,则拒绝域为 (−∞,μ0−nσzα].
(5) σ2 未知,μ 未知 . H0:μ⩽μ0(或写 μ=μ0),H1:μ>μ0,则拒绝域为 [μ0+nStα(n−1),+∞).
(6) σ2 未知,μ 未知 . H0:μ⩾μ0(或写 μ=μ0),H1:μ<μ0,则拒绝域为 (−∞,μ0−nStα(n−1)].
关联知识
- 假设检验与原假设备择假设:正态总体均值检验通过原假设和备择假设选择拒绝域。
- 正态总体的抽样分布:均值检验使用原假设下相应统计量的抽样分布。
- 正态分布:方差已知时均值检验使用标准正态分位数。
- t分布:方差未知时均值检验使用t分位数。
- 小概率原理与显著性水平:显著性水平决定拒绝域的边界。
- 正态总体的置信区间:对应的双侧置信区间和双侧检验使用相同的分位数。
原文:原笔记 · 6.6.4 正态总体下的六大检验及拒绝域 P155(原文件第 983–998 行)。
假设检验的两类错误
所属章节:第6章 数理统计
第一类错误(“弃真”):若 H0 为真,按检验法则否定 H0,此时犯了“弃真”的错误,这种错误称为第一类错误,犯第一类错误的概率为 α=P{拒绝 H0∣H0 为真} .
第二类错误(“取伪”):若 H0 不真,按检验法则接受 H0,此时犯了“取伪”的错误,这种错误称为第二类错误,犯第二类错误的概率为 β=P{接受 H0∣H0 为假}=P{接受 H0∣H1 为真} .
关联知识
- 假设检验与原假设备择假设:检验决策可能发生弃真或取伪两类错误。
- 小概率原理与显著性水平:显著性水平控制第一类错误的概率。
原文:原笔记 · 6.7 两类错误 P157(原文件第 999–1003 行)。