最大似然估计

所属章节:第6章 数理统计

对未知参数 θ\theta 进行估计时,在该参数可能的取值范围内选取,使“样本获此观测值 x1,x2,⋯ ,xnx_1, x_2, \cdots, x_n”的概率最大的参数值 θ^\hat{\theta} 作为 θ\theta 的估计,这样选定的 θ^\hat{\theta} 最有利与 x1,x2,⋯ ,xnx_1, x_2, \cdots, x_n 的出现,即“参数 θ=?\theta = ? 时,观测值出现的概率最大”.

(1) 写似然函数:

L(x1,x2,⋯ ,xn;θ)={∏i=1np(xi;θ)(这是离散型总体 X 取 x1,x2,⋯ ,xn 的概率),∏i=1nf(xi;θ)(这是连续型总体 X 取 x1,x2,⋯ ,xn 的联合概率密度).L(x_1, x_2, \cdots, x_n; \theta) = \begin{cases} \prod\limits_{i=1}^n p(x_i; \theta) & \text{(这是离散型总体 } X \text{ 取 } x_1, x_2, \cdots, x_n \text{ 的概率),} \\[1.5ex] \prod\limits_{i=1}^n f(x_i; \theta) & \text{(这是连续型总体 } X \text{ 取 } x_1, x_2, \cdots, x_n \text{ 的联合概率密度).} \end{cases}

为方便求解 θ^\hat{\theta},也可取对数,即

ln⁡L(θ)={∑i=1nln⁡p(xi;θ),∑i=1nln⁡f(xi;θ).\ln L(\theta) = \begin{cases} \sum\limits_{i=1}^n \ln p(x_i; \theta), \\[1.5ex] \sum\limits_{i=1}^n \ln f(x_i; \theta) . \end{cases}

(2) 求参数 {若似然函数有驻点,则令 dLdθ=0 或 d(ln⁡L)dθ=0,解出 θ^,若似然函数无驻点(单调),则用定义求 θ^,若似然函数为常数,则用定义求 θ^,此时 θ^ 不唯一.\begin{cases} \text{若似然函数有驻点,则令 } \dfrac{\mathrm{d}L}{\mathrm{d}\theta} = 0 \text{ 或 } \dfrac{\mathrm{d}(\ln L)}{\mathrm{d}\theta} = 0 \text{,解出 } \hat{\theta}, \\[1.5ex] \text{若似然函数无驻点(单调),则用定义求 } \hat{\theta}, \\[1.5ex] \text{若似然函数为常数,则用定义求 } \hat{\theta} \text{,此时 } \hat{\theta} \text{ 不唯一.} \end{cases}

(3) 最大似然估计量的不变性原则 .

设 θ^\hat{\theta} 是总体分布中未知参数 θ\theta 的最大似然估计,函数 u=u(θ)u = u(\theta) 具有反函数,则 u^=u(θ^)\hat{u} = u(\hat{\theta}) 是 u(θ)u(\theta) 的最大似然估计,如 θ^\hat{\theta} 是 θ\theta 的最大似然估计,则 eθ^\mathrm{e}^{\hat{\theta}} 是 eθ\mathrm{e}^{\theta} 的最大似然估计 .

关联知识

原文:原笔记 · 6.4.2 最大似然估计 P143(原文件第 893–910 行)。

返回概率论导航