本
文
摘
要
首先指明，参数估计是指如下三类未知参数:
分布中所含的未知参数 θ\theta . 如: 二点分布 b(1,p)b(1,p) 中的概率 pp , 正态分布 N(μ,σ2)N(\mu,\sigma^2) 中的 μ\mu 和 σ\sigma .分布中所含的未知参数 θ\theta 的函数. 如: 服从正态分布 N(μ,σ2)N(\mu,\sigma^2) 的变量 XX 不超过某给定值 aa 的概率 P(X≤a)=Φ(a−μσ)P(X\leq a)=\Phi(\frac{a-\mu}{\sigma}) 是未知参数 μ,σ\mu,\sigma 的函数.分布的各种特征数也都是未知参数. 如: 均值 E(X)E(X) , 方差 Var(X)Var(X) , 分布的分位数等.参数估计的形式有两种: 点估计和区间估计. 这篇文章主要讨论区间估计.
我们知道, 参数的点估计仅是给出一个具体的数值, 但其精度如何, 点估计本身不能回答. 实际中, 度量一个点估计的精度的最直观的方法就是给出未知参数的一个区间, 于是引出区间估计的概念.
先给出区间估计的定义:
设 θ\theta 是总体的一个参数, 其参数空间是 Θ\Theta , x1,x2,⋯,xnx_1,x_2,\cdots,x_n 是来自该总体的的样本, 对给定的一个Pθ(θ^L≤θ≤θ^U)=1−α,P_\theta(\hat{\theta}_L\leq\theta\leq\hat{\theta}_U)=1-\alpha, \\ 这表明 [θ^L,θ^U][\hat{\theta}_L,\ \hat{\theta}_U] 为 θ\theta 的 1−α1-\alpha 同等置信区间.以这个方法构造置信区间的关键在于构造枢轴量 GG , 因此称为枢轴量法. 枢轴量的寻找一般从 θ\theta 的点估计出发.
假如找到这样的 c,dc, d 使 Eθ(θ^U,θ^L)E_\theta(\hat{\theta}_U,\hat{\theta}_L) (可以理解为区间长度的期望)最短当然是最好的, 不过常常很难做到这一点, 最小置信区间往往是很难确定的. 所以我们常常选择选择 c,dc,d 使两个尾部概率各为
α2\frac{\alpha}2 , 即
Pθ(Gc)=α2,P_\theta(Gc)=\frac{\alpha}2, \\
这样得到的置信区间称为等尾置信区间, 实用的置信区间往往都是等尾置信区间.下面我们利用枢轴量法计算得到一些关于正态总体的置信区间.
单个正态总体参数的置信区间
σ\sigma 已知时,μ\mu 的置信区间
还记得我们前面讲, "枢轴量的寻找一般从 θ\theta 的点估计出发". 在这种情况下, μ\mu 的点估计为样本均值 x¯\bar{x} , 其分布为 N(μ,σ2n)N(\mu,\frac{\sigma^2}n) , 对其进行标准化, 得到 n(x¯−μ)σ∼N(0,1)\frac{\sqrt n(\bar{x}-\mu)}{\sigma}\sim N(0,1) , 枢轴量可取为 G=n(x¯−μ)σG=\frac{\sqrt n(\bar{x}-\mu)}{\sigma} , cc 和 dd 应满足P(c≤G≤d)=Φ(d)−Φ(c)=1−α⇔Pμ(x¯−dσn≤μ≤x¯−cσn)=1−αP(c\leq G\leq d)=\Phi(d)-\Phi(c)=1-\alpha \Leftrightarrow P_\mu(\bar{x}-\frac{d\sigma}{\sqrt n} \leq \mu \leq\bar{x}-\frac{c\sigma}{\sqrt n})=1-\alpha \\
在 Φ(d)−Φ(c)=1−α\Phi(d)-\Phi(c)=1-\alpha 的情况下, 要使区间长度 (d−c)σn\frac{(d-c)\sigma}{\sqrt n} 最小, 需使c=uα2,d=u1−α2c = u_\frac{\alpha}2, d=u_{1-\frac{\alpha}2} .
由此给出 μ\mu 的 1−α1-\alpha 同等置信区间为 [x¯−u1−α2σ/n,x¯−uα2σ/n][\bar{x}-u_{1-\frac{\alpha}2}\sigma/\sqrt n,\ \bar{x}-u_\frac{\alpha}2\sigma/\sqrt n] , 也可写作 x¯±u1−α2σ/n\bar{x} \pm u_{1-\frac{\alpha}2}\sigma/\sqrt n .σ\sigma 未知时,μ\mu 的置信区间
这里选用 tt 统计量作为枢轴量, t=n(x¯−μ)s∼t(n−1)t=\frac{\sqrt n(\bar{x}-\mu)}{s}\sim t(n-1) , 类似(1.), 得到 μ\mu 的 1−α1-\alpha 同等置信区间为 x¯±t1−α2(n−1)s/n\bar{x} \pm t_{1-\frac{\alpha}2}(n-1)s/\sqrt n .σ2\sigma^2 的置信区间
在实际中, σ2\sigma^2 未知而 μ\mu 已知的情形是极为罕见的, 所以这里只在 μ\mu 未知的条件下讨论σ2\sigma^2 的置信区间.
这里选用 (n−1)s2σ2∼χ2(n−1)\frac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1) 作为枢轴量. 由于卡方分布是一个偏态分布, 难以寻找平均长度最短区间, 一般都改为寻找等尾置信区间: 即将 α\alpha 平分为两部分, 在卡方分布两侧各截取面积为 α2\frac\alpha2 的部分, 即采用两个分位数 χα22(n−1)\chi^2_\frac\alpha2(n-1) 和 χ1−α22(n−1)\chi^2_{1-\frac{\alpha}2}(n-1) , 满足P(χα22(n−1)≤(n−1)s2σ2≤χ1−α22(n−1))=1−αP(\chi^2_\frac\alpha2(n-1)\leq\frac{(n-1)s^2}{\sigma^2}\leq \chi^2_{1-\frac{\alpha}2}(n-1))=1-\alpha \\
由此得到 σ2\sigma^2 的 1−α1-\alpha 同等置信区间为 [(n−1)s2/χ1−α22(n−1),(n−1)s2/χα22(n−1)][(n-1)s^2/\chi^2_{1-\frac{\alpha}2}(n-1),\ (n-1)s^2/\chi^2_\frac\alpha2(n-1)] .以上涉及到"三大抽样分布"中的知识, 这里简单回顾.
χ2\chi^2 分布
X1,X2,⋯,Xn∼i.i,d.N(0,1)X_1,X_2,\cdots,X_n \overset{i.i,d.}{\sim}N(0,1) , 则 χ2=X12+X22+⋯+Xn2∼χ2(n)\chi^2=X_1^2+X_2^2+\cdots+X_n^2\sim \chi^2(n) .FF 分布
随机变量 X1∼χ2(m),X2∼χ2(n)X_1\sim\chi^2(m), X_2\sim\chi^2(n) , X1X_1 与 X2X_2 独立, 则称 F=X1/mX2/nF=\frac{X_1/m}{X_2/n} 的分布是自由度为 mm 和 nn 的 FF 分布, 记为 F∼F(m,n)F\sim F(m,n) .tt 分布
随机变量 X1∼N(0,1),X2∼χ2(n)X_1\sim N(0,1), X_2\sim \chi^2(n) , X1X_1 与 X2X_2 独立, 则称 t=X1X2/nt=\frac{X_1}{\sqrt{X_2/n}} 的分布为自由度为 nn 的 tt 分布, 记为 t∼t(n)t\sim t(n) .x1,x2,⋯,xnx_1,x_2,\cdots,x_n 是来自正态总体 N(μ,σ2)N(\mu,\sigma^2) 的样本, 其样本均值和样本方差分别为 x¯=∑i=1nxi\bar{x}=\sum\limits^n_{i=1}x_i 和s2=1n−1∑i=1n(xi−x¯)2s^2=\frac1{n-1}\sum\limits^n_{i=1}(x_i-\bar{x})^2 则有
(1) x¯\bar{x} 与s2s^2 相互独立
(2)x¯∼N(μ,σ2n)\bar{x}\sim N(\mu,\frac{\sigma^2}n)
(3) (n−1)s2σ2∼χ2(n−1)\frac{(n-1)s^2}{\sigma^2}\sim \chi^2(n-1)构造枢轴量的关键就是找到一个 GG , 使它包含未知参数 θ\theta , 而它的分布不含 θ\theta .
两个正态总体下的置信区间
设 x1,x2,⋯,xmx_1,x_2,\cdots,x_m 是来自 N(μ1,σ12)N(\mu_1,\sigma_1^2) 的样本, y1,y2,⋯,yny_1,y_2,\cdots,y_n 是来自 N(μ2,σ22)N(\mu_2,\sigma_2^2) 的样本, 两个样本相互独立.
μ1−μ2\mu_1-\mu_2 的置信区间
比如我们有两块田, 一块是对照组, 一块是实验组. 我们想知道实验组和对照组平均产量的差异, 这个时候就可以求 μ1−μ2\mu_1-\mu_2 的置信区间.σ12\sigma^2_1 和σ22\sigma_2^2 已知时
x¯−y¯∼N(μ1−μ2,σ12m+σ22n)\bar{x}-\bar{y}\sim N(\mu_1-\mu_2,\frac{\sigma_1^2}m+\frac{\sigma_2^2}n) , 标准化得 (x¯−y¯)−(μ1−μ2)σ12m+σ22n∼N(0,1)\frac{(\bar{x}-\bar{y})-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}m+\frac{\sigma_2^2}n}}\sim N(0,1) , 以此为枢轴量, 解得置信区间为 x¯−y¯±u1−α2σ12m+σ22n\bar{x}-\bar{y}\pm u_{1-{\frac{\alpha}2}}\sqrt{\frac{\sigma_1^2}m+\frac{\sigma_2^2}n}σ12=σ22=σ2\sigma_1^2=\sigma_2^2=\sigma^2 已知时
此时 (x¯−y¯)−(μ1−μ2)σ1m+1n∼N(0,1)\frac{(\bar{x}-\bar{y})-(\mu_1-\mu_2)}{\sigma\sqrt{\frac1m+\frac1n}}\sim N(0,1) , (m−1)sx2+(n−1)sy2σ2∼χ2(m+n−2)\frac{(m-1)s_x^2+(n-1)s_y^2}{\sigma^2}\sim \chi^2(m+n-2) , 可以考虑构造服从 tt 分布的枢轴量t=mn(m+n−2)m+n(x¯−y¯)−(μ1−μ2)(m−1)sx2+(n−1)sy2∼t(m+n−2)t=\sqrt{\frac{mn(m+n-2)}{m+n}}\frac{(\bar{x}-\bar{y})-(\mu_1-\mu_2)}{\sqrt{(m-1)s_x^2+(n-1)s_y^2}}\sim t(m+n-2) \\
则置信区间为 x¯−y¯±m+nmn(m−1)sx2+(n−1)sy2m+n−2t1−α2(m+n−2)\bar{x}-\bar{y}\pm \sqrt{\frac{m+n}{mn}\frac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2}}t_{1-\frac{\alpha}{2}}(m+n-2)σ22/σ12=c\sigma_2^2/\sigma_1^2=c 已知时
做法类似于(2.),t=mn(m+n−2)mc+n(x¯−y¯)−(μ1−μ2)(m−1)sx2+(n−1)sy2/c∼t(m+n−2)t=\sqrt{\frac{mn(m+n-2)}{mc+n}}\frac{(\bar{x}-\bar{y})-(\mu_1-\mu_2)}{\sqrt{(m-1)s_x^2+(n-1)s_y^2/c}}\sim t(m+n-2) \\
则置信区间为 x¯−y¯±mc+nmn(m−1)sx2+(n−1)sy2/cm+n−2t1−α2(m+n−2)\bar{x}-\bar{y}\pm \sqrt{\frac{mc+n}{mn}\frac{(m-1)s_x^2+(n-1)s_y^2/c}{m+n-2}}t_{1-\frac{\alpha}{2}}(m+n-2)σ12/σ22\sigma_1^2/\sigma_2^2 的置信区间
由于 (m−1)sx2σ12∼χ2(m−1)\frac{(m-1)s_x^2}{\sigma_1^2}\sim \chi^2(m-1) , (n−1)sy2σ22∼χ2(n−1)\frac{(n-1)s_y^2}{\sigma_2^2}\sim \chi^2(n-1) , 可以构造 F=sx2/σ12sy2/σ22∼F(m−1,n−1)F=\frac{s_x^2/\sigma_1^2}{s_y^2/\sigma_2^2}\sim F(m-1,n-1) , 由P(Fα2(m−1,n−1)≤sx2sy2⋅σ22σ12≤F1−α2(m−1,n−1))=1−αP(F_\frac\alpha2(m-1,n-1)\leq\frac{s_x^2}{s_y^2}\cdot\frac{\sigma_2^2}{\sigma_1^2}\leq F_{1-\frac\alpha2}(m-1,n-1))=1-\alpha \\
得到置信区间为 [sx2sy2⋅1F1−α2(m−1,n−1),sx2sy2⋅1Fα2(m−1,n−1)][\frac{s_x^2}{s_y^2}\cdot \frac1{F_{1-\frac\alpha2}(m-1,n-1)},\ \frac{s_x^2}{s_y^2}\cdot \frac1{F_{\frac\alpha2}(m-1,n-1)}]参考文献: 茆诗松, 程依明, 濮晓龙. 概率论与数理统计教程(3版). 高等教育出版社
