第一章：把均值差推过验收线

第一章：把均值差推过验收线

本章造假目标

某项新工艺完成了一次五对五的小样本耐久性试验。对照组为

$$8,\ 9,\ 10,\ 11,\ 12,$$

新工艺组为

$$9,\ 10,\ 11,\ 12,\ 13.$$

当前结论：新工艺平均提高 $1.0$ 个单位，针对零差异的双侧 $p=0.347$。

验收目标：样本平均提高至少 $1.4$ 个单位，并且同一个双侧检验满足 $p\le0.05$；当前结果两项均未达标。

可动范围：只能把新工艺组的整数读数向上改动；对照组、样本量和记录顺序保持不变。

本章任务：构造一张同时通过两条验收线的数据表，再查清它在离散程度、经验分布和分析路径中留下的痕迹。

先把“结论不够好”写成两个缺口

验收表中的“平均提高”要求先为每组找一个代表性水平。设一组五个读数的总和为 $S$。若把总量平均分给五个对象，每个对象分到的数 $m$ 满足

$$5m=S.$$

因此

$$m=\frac{S}{5}.$$

对一般的 $n$ 个观测 $x_1,\ldots,x_n$，这个等分后的代表值写成

$$\bar x=\frac{x_1+\cdots+x_n}{n} =\frac1n\sum_{i=1}^n x_i,$$

称为样本均值。本章使用 $C$ 表示对照组，$E$ 表示新工艺组。两组总量分别为

$$S_C=50, \qquad S_E=55,$$

所以

$$\bar x_C=10, \qquad \bar x_E=11.$$

报告中的平均提高量就是均值差

$$D=\bar x_E-\bar x_C=1.$$

第一条验收线要求

$$D\ge 1.4.$$

对照组均值固定为 $10$，于是新工艺组必须达到

$$\bar x_E\ge 11.4.$$

当前均值还差 $0.4$。第二条验收线 $p\le0.05$ 还涉及样本波动和重复抽样，暂时把它保留为待解释的软件输出。先解决均值缺口，再检查同一次操作对 $p$ 值有什么影响。

均值为什么能把改动换算成总量预算

均值还可以看成数轴上的平衡点。把每个观测到均值的有向距离相加，必有

$$\begin{aligned} \sum_{i=1}^n(x_i-\bar x) &=\sum_{i=1}^n x_i-n\bar x\\ &=\sum_{i=1}^n x_i -n\left(\frac1n\sum_{i=1}^n x_i\right)\\ &=0. \end{aligned}$$

均值恰好位于全部有向偏差相互抵消的位置。令第 $i$ 个观测增加 $\delta_i$，便可直接算出修改后的均值：

$$\begin{aligned} \bar x^{\mathrm{new}} &=\frac1n\sum_{i=1}^n(x_i+\delta_i)\\ &=\bar x+\frac1n\sum_{i=1}^n\delta_i. \end{aligned}$$

若目标是让均值提高 $a$，全部改动必须满足

$$\sum_{i=1}^n\delta_i=na.$$

这里 $n=5$、$a=0.4$，所以最少要向新工艺组增加

$$B=5\times0.4=2$$

个单位。$B$ 可以理解为本轮伪造的总量预算。只要总预算等于 $2$，均值公式就无法分辨这些单位落在何处。由于原仪器只报告整数，本轮候选操作也必须保持整数。

操作	修改后的新工艺组	总预算 $B$	新均值
抬高最低值	$11,10,11,12,13$	$2$	$11.4$
抬高中间值	$9,10,13,12,13$	$2$	$11.4$
抬高最高值	$9,10,11,12,15$	$2$	$11.4$

三张表都通过第一条验收线。下一步必须解释，为何统计软件仍然给出三个不同的 $p$ 值，而且全部大于 $0.05$。

有向偏差总会抵消，怎样量出数据的松散程度

三张修改表的中心相同，形状却有明显差别。抬高最低值使左端向中心收拢；抬高中间值使中心右侧变得拥挤；抬高最高值把右端继续拉长。若继续使用有向偏差之和，三张表都得到零，因为

$$\sum_i(x_i-\bar x)=0$$

对任何数据都成立。这把尺子无法区分松散与紧密。

要阻止正负抵消，可以取绝对值，也可以取平方。本章选择平方偏差

$$(x_i-\bar x)^2.$$

平方处理带来三项直接后果：每个观测的贡献都非负；贡献随距离的平方增长；平方和可以进行代数展开、求导和分解。把所有平方偏差相加，得到

$$SS=\sum_{i=1}^n(x_i-\bar x)^2,$$

其中 $SS$ 表示围绕样本中心的总离散量。

原新工艺组的均值为 $11$，偏差为

$$-2,\ -1,\ 0,\ 1,\ 2,$$

所以

$$SS_E=4+1+0+1+4=10.$$

$SS$ 会随样本量增长，暂时还不能称为每个观测的典型波动。不过，本章四张表的样本量都等于 $5$，直接比较 $SS$ 已经足以看出修改位置的影响。

操作	修改后的新工艺组	$\bar x_E$	$SS_E$
原始数据	$9,10,11,12,13$	$11.0$	$10.0$
抬高最低值	$11,10,11,12,13$	$11.4$	$5.2$
抬高中间值	$9,10,13,12,13$	$11.4$	$13.2$
抬高最高值	$9,10,11,12,15$	$11.4$	$21.2$

均值只取决于总量，平方偏差和还会随改动位置变化。若要用 $SS$ 估计总体波动，就要为它选择一个具有概率意义的除数；若要解释验收表中的 $p$ 值，就要知道同一试验反复进行时统计量怎样变化。这两个问题都需要重复抽样的观点。

一次样本怎样进入重复抽样世界

先用一个可以完全列举的小例子观察均值的波动。假设某总体只会出现 $8,10,12$ 三个等可能结果，每次独立抽取两个观测并允许重复。九个等可能的有序样本及其均值为

$$\begin{array}{c|ccc} & 8 & 10 & 12\\ \hline 8 & 8 & 9 & 10\\ 10 & 9 & 10 & 11\\ 12 & 10 & 11 & 12 \end{array}$$

单个观测的总体均值为 $10$，总体方差为

$$\sigma^2 =\frac{(8-10)^2+(10-10)^2+(12-10)^2}{3} =\frac83.$$

九个样本均值的取值及次数为

样本均值	$8$	$9$	$10$	$11$	$12$
出现次数	$1$	$2$	$3$	$2$	$1$

这些均值仍以 $10$ 为中心，方差却只有

$$\frac{1(8-10)^2+2(9-10)^2+3(10-10)^2 +2(11-10)^2+1(12-10)^2}{9} =\frac43,$$

恰好等于原总体方差的一半。平均两个独立观测后，一高一低有机会相互抵消，均值比单个观测更稳定。

一般地，独立同分布的 $X_1,\ldots,X_n$ 满足

$$\mathbb{E}(X_i)=\mu, \qquad \operatorname{Var}(X_i)=\sigma^2.$$

样本均值的期望为

$$\mathbb{E}(\bar X) =\mathbb{E}\left(\frac1n\sum_{i=1}^nX_i\right) =\mu.$$

它的方差为

$$\begin{aligned} \operatorname{Var}(\bar X) &=\operatorname{Var}\left(\frac1n\sum_{i=1}^nX_i\right)\\ &=\frac1{n^2} \left[ \sum_{i=1}^n\operatorname{Var}(X_i) +2\sum_{i<j}\operatorname{Cov}(X_i,X_j) \right]\\ &=\frac{\sigma^2}{n}, \end{aligned}$$

最后一步使用了独立性，使所有协方差项为零。

样本方差为什么除以 $n-1$

上一节已经得到

$$\operatorname{Var}(\bar X)=\frac{\sigma^2}{n}.$$

现在可以返回平方偏差和。设 $X_1,\ldots,X_n$ 独立同分布，总体均值为 $\mu$，总体方差为 $\sigma^2$。在总体均值已知时，围绕 $\mu$ 的平方偏差和平均有

$$\mathbb{E}\left[\sum_{i=1}^n(X_i-\mu)^2\right] =n\sigma^2.$$

样本中不知道 $\mu$，只能先用同一批数据估计 $\bar X$。下面的恒等式把围绕 $\mu$ 的总离差分成两部分：样本内部围绕 $\bar X$ 的离差，以及 $\bar X$ 偏离 $\mu$ 的距离。

推导：估计均值会占用一个自由度

将 $X_i-\mu$ 写成 $(X_i-\bar X)+(\bar X-\mu)$：

$$\begin{aligned} \sum_{i=1}^n(X_i-\mu)^2 &=\sum_{i=1}^n \left[(X_i-\bar X)+(\bar X-\mu)\right]^2\\ &=\sum_{i=1}^n(X_i-\bar X)^2 +n(\bar X-\mu)^2, \end{aligned}$$

因为交叉项含有

$$2(\bar X-\mu)\sum_{i=1}^n(X_i-\bar X)=0.$$

两边取期望：

$$n\sigma^2 =\mathbb{E}\left[\sum_{i=1}^n(X_i-\bar X)^2\right] +n\operatorname{Var}(\bar X).$$

代入 $\operatorname{Var}(\bar X)=\sigma^2/n$，得到

$$\mathbb{E}\left[\sum_{i=1}^n(X_i-\bar X)^2\right] =(n-1)\sigma^2.$$

于是用

$$s^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar x)^2 =\frac{SS}{n-1}$$

估计总体方差时，$s^2$ 在重复抽样中的平均值恰好等于 $\sigma^2$，因此称为总体方差的无偏估计量。样本标准差定义为 $s=\sqrt{s^2}$，它与原始观测使用相同单位。除数 $n-1$ 也能从约束看见：$n$ 个样本偏差之和固定为零，知道前 $n-1$ 个偏差后，最后一个已经被决定，只剩 $n-1$ 个可以自由变化的方向。

当前四张表都有 $n=5$，把上一节的 $SS$ 除以 $4$，得到

操作	原始数据	抬高最低值	抬高中间值	抬高最高值
$s_E^2$	$2.5$	$1.3$	$3.3$	$5.3$

固定数据的松散程度已经可以比较。下一步需要把总体方差的估计带入均值差的抽样波动。

标准差描述个体，标准误描述结论

总体标准差 $\sigma$ 描述单个观测围绕总体均值的典型距离。样本均值在重复抽样中的标准差为

$$\operatorname{SD}(\bar X)=\frac{\sigma}{\sqrt n}.$$

统计量抽样分布的标准差称为标准误。总体标准差未知时，用样本标准差 $s$ 代替，得到均值标准误的估计

$$\operatorname{SE}(\bar X)=\frac{s}{\sqrt n}.$$

两组独立时，均值差

$$D=\bar X_E-\bar X_C$$

的方差由两部分相加：

$$\begin{aligned} \operatorname{Var}(D) &=\operatorname{Var}(\bar X_E)+\operatorname{Var}(\bar X_C)\\ &=\frac{\sigma_E^2}{n_E} +\frac{\sigma_C^2}{n_C}. \end{aligned}$$

相应的估计标准误为

$$\operatorname{SE}(D)= \sqrt{ \frac{s_E^2}{n_E} +\frac{s_C^2}{n_C} }.$$

原始数据中，两组都有 $n=5$、$s^2=2.5$，所以

$$\operatorname{SE}(D) =\sqrt{\frac{2.5}{5}+\frac{2.5}{5}} =1.$$

原始均值差 $D=1$ 恰好等于一个标准误。若两个总体均值相同，样本均值差落到一个标准误之外并不罕见，因此原报告的 $p$ 值不会很小。

适用边界：独立性决定协方差项能否消失

一般情况下，均值差的方差还包含

$$-2\operatorname{Cov}(\bar X_E,\bar X_C).$$

两组独立时，这一项才等于零。同一对象的前后测量、同一设备的连续读数、同一班级内的学生都可能相关，此时应采用配对、聚类或时间序列等相应结构。直接套用独立样本公式可能严重误判结论的稳定程度。

从“差了多少”走到 $t$ 统计量

第二条验收线以“两个总体均值相同”为参照。这个参照称为零假设，写成

$$H_0:\mu_E-\mu_C=0,$$

即两种工艺的总体均值没有差异。当前样本与这个参照值的原始距离为

$$D-0=D.$$

这个距离仍以耐久性单位计量，尚不能判断它相对于抽样波动有多大。改用均值差的标准误作单位，得到

$$t =\frac{D-0}{\operatorname{SE}(D)} =\frac{\bar x_E-\bar x_C} {\sqrt{s_E^2/n_E+s_C^2/n_C}}.$$

$t$ 表示观测差异离零假设有多少个标准误。原数据给出

$$t=\frac1{1}=1.$$

若总体方差已知并满足正态条件，标准化距离可以使用标准正态参照。本例的总体方差未知，分母中的 $s_E^2,s_C^2$ 也会随样本变化，这层额外波动带来尾部更厚的参照分布。允许两组方差不相等时，可以使用 Welch t 统计量，并用 Satterthwaite 公式近似自由度：

$$\nu= \frac{\left(s_E^2/n_E+s_C^2/n_C\right)^2} {\dfrac{(s_E^2/n_E)^2}{n_E-1} +\dfrac{(s_C^2/n_C)^2}{n_C-1}}.$$

原始两组的样本量和方差相同，因此 $\nu=8$。

方法来路：小样本为什么需要 t 分布

1908 年，William Sealy Gosset 以 “Student” 为笔名研究小样本均值。酿造实验的样本量有限，总体方差又无法预先知道；用样本方差代替总体方差后，标准化均值比正态变量更容易落入尾部。t 分布把这层额外不确定性纳入参照分布。原论文见 https://doi.org/10.1093/biomet/6.1.1。

$p$ 值是在怎样的重复实验中计数

现在可以解释验收表中的 $p$。先固定抽样方式、数据清洗、双侧检验、样本量和停止规则，把这套完整方案记为 $A$。若零假设和检验所需的模型条件成立，重复执行方案 $A$ 会得到许多 t 统计量。用随机变量 $T$ 表示重复试验尚未观察到的统计量，用 $t_{\mathrm{obs}}$ 表示当前样本算出的数值，则双侧 p 值为

$$p=\Pr\left( |T|\ge |t_{\mathrm{obs}}| \,\middle|\, H_0,A \right).$$

它统计零假设世界中出现“当前这么远或更远”的长期比例。原始数据的 $t=1$、自由度为 $8$，所以

$$p\approx0.347.$$

这表示在上述参照条件下，重复实验得到的 $|T|$ 大约有 $34.7\%$ 会达到或超过 $1$。验收线 $p\le0.05$ 要求观测差异进入参照分布更远的尾部。p 值衡量当前数据与零假设的相容程度；它不提供零假设为真的概率，也不判断 $1.4$ 个单位是否具有工程意义。第一条验收线规定实际差异，第二条验收线规定差异相对于抽样误差的距离。

同一个 t 参照还可以构造均值差的 $95\%$ 置信区间：

$$D\pm t_{0.975,\nu}\operatorname{SE}(D).$$

原数据中 $t_{0.975,8}\approx2.306$，所以区间为

$$1\pm2.306\times1 =[-1.306,\ 3.306].$$

这套区间构造程序若在相同条件下反复使用，长期约有 $95\%$ 的区间会覆盖真实总体差异。这里的 $95\%$ 描述构造程序的长期覆盖率，不能说参数有 $95\%$ 的概率位于当前两个端点之间。当前区间覆盖零，与双侧 $p>0.05$ 给出一致结论；区间也很宽，说明五对五样本无法精确定位真实差异。

适用边界：小样本 t 参照仍然依赖分布条件

Welch t 检验假定两组相互独立，并用近似 t 分布处理两组方差估计。每组只有五个观测时，强偏态、离群点和大量相同值都可能让参照分布失真。软件可以为任何五个数输出 p 值，输出精确到三位小数并不等于模型条件已经成立。

第一次伪造通过了均值线，却没有通过证据线

现在把标准误、t 统计量和 p 值带回三种总预算为 $2$ 的方案。对照组始终保持 $\bar x_C=10$、$s_C^2=2.5$。

操作	$D$	$s_E^2$	$\operatorname{SE}(D)$	$t$	$\nu$	双侧 $p$
原始数据	$1.0$	$2.5$	$1.000$	$1.000$	$8.00$	$0.347$
抬高最低值	$1.4$	$1.3$	$0.872$	$1.606$	$7.27$	$0.151$
抬高中间值	$1.4$	$3.3$	$1.077$	$1.300$	$7.85$	$0.231$
抬高最高值	$1.4$	$5.3$	$1.249$	$1.121$	$7.09$	$0.299$

三种操作都使 $D=1.4$，第一条线已经通过。第二条线仍然失败。提高最低值表现最好，因为它同时增大分子、缩小分母；提高中间值和最高值都扩大了离散程度，其中最高值把新增总量直接变成右尾。

这张表给出明确方向：继续修改时，应优先抬高低端观测，让均值差继续增大，同时避免制造更长的右尾。下一步需要算清单点上调会怎样改变平方偏差和。

单点更新公式解释低值为何特别有用

平方偏差和还有一个便于更新的形式：

$$\begin{aligned} SS &=\sum_i(x_i-\bar x)^2\\ &=\sum_i x_i^2-n\bar x^2. \end{aligned}$$

将第 $j$ 个观测从 $x_j$ 改为 $x_j+\delta$。平方和 $\sum_i x_i^2$ 增加

$$(x_j+\delta)^2-x_j^2 =2\delta x_j+\delta^2,$$

均值则增加 $\delta/n$。因此

$$\begin{aligned} \Delta SS &=2\delta x_j+\delta^2 -n\left[ \left(\bar x+\frac\delta n\right)^2-\bar x^2 \right]\\ &=2\delta(x_j-\bar x) +\delta^2\left(1-\frac1n\right). \end{aligned}$$

若 $x_j<\bar x$ 且 $\delta>0$，一次项为负，表示观测正在靠近中心；二次项为正，表示上调过头后会在另一侧形成新尾部。平方偏差和下降的范围为

$$0<\delta< \frac{2(\bar x-x_j)}{1-1/n}.$$

对最低值 $x_j=9$、原均值 $\bar x=11$、样本量 $n=5$，上调量在 $0<\delta<5$ 内都会降低 $SS$。这解释了为什么把 $9$ 改成 $11$ 比把 $13$ 改成 $15$ 更有利。不过，只改一个点仍未把 t 推入足够远的尾部。

把所有低值抬到同一门槛

读数只允许按整数向上修改。沿着上一节的方向，可以选定整数门槛 $c$，把低于门槛的观测统一抬到 $c$：

$$y_i(c)=\max\{x_i,c\}.$$

这项操作的总预算为

$$B(c)=\sum_i\max\{0,c-x_i\}.$$

它同时增加总量并填平低端。依次尝试 $c=11,12,13$：

$c$	修改后数据	$B$	$D$	$s_E^2$	$\operatorname{SE}$	$t$	$p$
$11$	$11,11,11,12,13$	$3$	$1.6$	$0.8$	$0.812$	$1.969$	$0.094$
$12$	$12,12,12,12,13$	$6$	$2.2$	$0.2$	$0.735$	$2.994$	$0.033$
$13$	$13,13,13,13,13$	$10$	$3.0$	$0$	$0.707$	$4.243$	$0.013$

在这三个整数门槛中，$c=12$ 第一次同时满足

$$D\ge1.4, \qquad p\le0.05.$$

把前三个新工艺读数改为 $12,12,12$ 后，新工艺组成为

$$12,\ 12,\ 12,\ 12,\ 13.$$

它的均值和方差可以直接复算：

$$\bar x_E=\frac{61}{5}=12.2,$$ $$SS_E =4(12-12.2)^2+(13-12.2)^2 =0.8,$$ $$s_E^2=\frac{0.8}{4}=0.2.$$

于是

$$\operatorname{SE}(D) =\sqrt{\frac{0.2}{5}+\frac{2.5}{5}} \approx0.735,$$ $$t=\frac{2.2}{0.735}\approx2.994.$$

Welch 自由度约为 $4.64$，双侧 p 值约为 $0.033$。相应的 $95\%$ 置信区间为

$$2.2\pm2.633\times0.735 \approx[0.27,\ 4.13].$$

零已经落在区间之外。按照验收表的两个机械条件，这份修改后的结果已经合格。

验收表的两列对应着两个不同命题。双侧 $p=0.033$ 检验总体差异是否为零，置信区间下端只有 $0.27$，因此数据仍然允许总体改善远低于 $1.4$。若工程问题是“总体平均改善是否超过 $1.4$”，参照假设应写成

$$H_0:\mu_E-\mu_C\le1.4.$$

边界 $1.4$ 下的单侧统计量为

$$t=\frac{2.2-1.4}{0.735}\approx1.089,$$

对应单侧 p 值约为 $0.165$，仍然无法证明总体改善超过 $1.4$。修改数据通过了表格字段，“样本点估计超过门槛”与“总体效应有证据超过门槛”之间仍有一段抽样不确定性。

造假动作留下的影子

合格来自两项同时发生的变化：均值差从 $1.0$ 增到 $2.2$，新工艺组方差从 $2.5$ 降到 $0.2$。五个读数中有四个恰好等于 $12$，经验分布会在 $12$ 处一次跳过 $80\%$，原始修改日志还会显示三个低值朝同一门槛移动。即使暂且把改后数据当作固定样本，门槛 $c=11,12,13$ 也是在比较结果后选出的，最终 $p=0.033$ 没有计入这次搜索机会。第二章将从方差骤降出发，研究怎样控制波动，以及过度稳定会留下哪些证据。

从均值缺口到检验通过

原报告的均值差为 $1.0$，距离验收线还差 $0.4$；原始 t 值为 $1$，对应 $p=0.347$。均值的线性结构先把 $0.4$ 换成总预算 $2$。这项预算放在任何一个读数上都能通过均值线，方差却会随落点改变。

第二条验收线需要重复抽样模型。单个观测的标准差描述对象差异，均值差的标准误描述结论在重复试验中的波动，t 统计量再用标准误作单位衡量样本差异离零假设有多远。三种预算为 $2$ 的方案都未通过 $p\le0.05$。单点更新公式随后指出，抬高低端观测能在一定范围内增加 t 的分子并减小分母；整数门槛 $c=12$ 最终生成 $12,12,12,12,13$，使两条机械验收线同时通过。

这次操作把方差从 $2.5$ 压到 $0.2$，四个读数堆在同一点；针对总体差异超过 $1.4$ 的单侧检验也仍未通过。第二章将接着处理前一项痕迹，并把“波动太大”改写成一个明确的稳定性规格。

本章知识链

1. 均值目标 $D\ge1.4$ 把缺口 $0.4$ 换成最小总量预算 $B=5(0.4)=2$。

2. 平方偏差和 $SS=\sum_i(x_i-\bar x)^2$ 区分相同预算的不同落点；样本方差 $s^2=SS/(n-1)$ 无偏估计总体方差。

3. 独立同分布抽样给出 $\operatorname{Var}(\bar X)=\sigma^2/n$；标准误描述统计量在重复抽样中的波动。

4. Welch t 统计量用 $\operatorname{SE}(D)$ 衡量观测均值差离零假设有多远，p 值还以完整分析方案 $A$ 为条件。

5. 门槛 $c=12$ 使机械验收得到 $D=2.2,p=0.033$；针对总体差异超过 $1.4$ 的单侧 p 值仍约为 $0.165$。

思考与练习

1. 将原新工艺组最低值 $9$ 分别提高到 $10,11,12,13,14$。用单点更新公式计算每种情况下的 $SS$，并找出 $SS$ 最小时的上调量。

2. 证明整体平移 $y_i=x_i+a$ 会使均值增加 $a$，同时保持所有偏差 $y_i-\bar y$ 以及样本方差不变。

3. 对总体 $\{8,10,12\}$ 独立抽取三个观测并允许重复。无需列出全部 $27$ 个样本，直接用方差公式求样本均值的方差，再说明答案为何小于 $8/3$。

4. 从恒等式

   $$\sum_i(X_i-\mu)^2 =\sum_i(X_i-\bar X)^2+n(\bar X-\mu)^2$$

   出发，重新推导 $\mathbb{E}(s^2)=\sigma^2$。

5. 复算门槛 $c=11$ 时的均值、方差、标准误和 t 值。说明它已经通过哪条验收线，又停在哪条线外。

6. 若两组样本量都扩大为原来的四倍，均值和方差保持不变，$\operatorname{SE}(D)$ 会怎样变化？在这些条件下重新计算原始 $t$ 值。

7. 列出最终数据 $12,12,12,12,13$ 至少四项可检查痕迹，并说明均值、方差、经验分布和原始日志分别能看到什么。

专题导航

• 目录：替上帝掷骰子
• 上一篇：序章：从一处改动开始
• 下一篇：第二章：把波动压进稳定性规格