统计推断

什么是置信区间？

在重复抽样的意义下，95% 置信区间表示什么？

查看答案

如果不断重复抽样并使用同一种方法构造区间，那么长期来看，大约 95% 的区间会包含真实参数。

LR、Wald、Score、F 和 t 检验有什么区别？

Likelihood Ratio Test、Wald Test、Score Test、F-test 和 t-test 有什么区别？为什么需要 LR、Wald 和 Score 三种不同的检验？它们各自的优缺点是什么？

查看答案

前三种检验都可以检验参数限制，例如 \(H_0:r(\theta)=0\)，但它们从不同角度衡量原假设与数据之间的冲突。

• Likelihood Ratio（LR）检验比较受限模型和非受限模型的最大化对数似然： \[ LR=2\{\ell(\widehat\theta)-\ell(\widetilde\theta)\}. \] 它需要同时估计两个模型。LR 检验具有参数变换不变性，通常表现稳定，但估计非受限模型可能很困难。

• Wald 检验考察非受限估计值距离原假设有多远，并用估计方差进行标准化。它通常只需估计非受限模型，计算直接；但它对参数化方式较敏感，在小样本、边界附近或似然函数不对称时可能表现较差。

• Score（LM）检验只在受限估计值处考察对数似然的斜率。如果非受限模型难以估计，它很方便，因为通常只需估计原假设下的受限模型；但其结果依赖原假设附近的局部曲率，远离原假设时可能不够稳定。

在常规正则条件和大样本下，LR、Wald 与 Score 检验渐近等价，统计量都趋近于自由度等于限制数量的 \(\chi^2\) 分布。之所以保留三种检验，是因为它们的计算成本、参数变换性质和有限样本表现不同。

• F 检验常用于正态线性回归中的一个或多个线性限制。当误差方差需要估计时，它在正态假设下具有精确的有限样本 \(F\) 分布。
• t 检验通常检验单个系数或单个线性组合。在经典线性模型中，单个限制的检验满足 \(t^2=F_{1,\,df}\)。

在线性正态模型中，这些检验往往紧密相关，甚至给出等价结论；在更一般的非线性模型、广义线性模型或小样本中，它们之间的差异才会更加明显。