第十五章：换一个先验，让后验过线

第十五章：换一个先验，让后验过线

本章造假目标

十次相互独立的元件试验中成功八次。注册分析使用 $\operatorname{Beta}(1,1)$ 先验，得到后验 $\operatorname{Beta}(9,3)$；后验均值为 $0.75$，且 $\Pr(p\ge 0.7\mid X=8)\approx0.687$。验收要求后验均值至少为 $0.8$，同时要求门槛概率至少为 $0.9$，注册分析未能通过。允许的操作只有从备选 Beta 先验中更换一项，不得修改十次结果、二项似然或验收线。本章选取 $\operatorname{Beta}(20,5)$，使两项指标同时过线；随后用先验预测、敏感性分析、可信区间和后验预测追查这个结论有多少来自当前数据，又有多少来自看完数据后的先验选择。

贝叶斯公式把旧信息与当前证据分开

令 $Y=(Y_1,\ldots,Y_n)$ 表示观测，$p$ 表示未知成功概率。在频率学模型中，$p$ 是未知常数；贝叶斯模型进一步用先验密度 $\pi(p)$ 描述观测当前数据前对 $p$ 的不确定性。为避免把不同对象都写成同一个字母，以下用

$$f(y\mid p)$$

表示抽样模型，用 $\pi(p\mid y)$ 表示后验密度。数据离散时，$f(y\mid p)$ 是概率质量函数；数据连续时，它是密度。两种情形的联合函数都可按两种顺序分解：

$$f(y,p) =f(y\mid p)\pi(p) =\pi(p\mid y)m(y),$$

其中

$$m(y)=\int_0^1 f(y\mid u)\pi(u)\,du$$

是数据的边际概率质量或边际密度，也叫模型证据或先验预测分布在 $y$ 处的值。只要 $0<m(y)<\infty$，整理联合分布恒等式便得到

$$\boxed{ \pi(p\mid y) =\frac{f(y\mid p)\pi(p)}{m(y)} }$$

以及常用的核形式

$$\pi(p\mid y)\propto f(y\mid p)\pi(p).$$

分母与候选值 $p$ 无关，负责把后验密度归一化。这个比例式适合推导后验的形状；计算绝对的先验预测概率时，分母本身又成为研究对象。

本章数据给出最大似然估计 $8/10=0.8$。贝叶斯结论还取决于先验，因此相同似然可以对应不同的后验均值、区间和门槛概率。先验的来源与强度由此成为分析的一部分，不能藏在软件默认值中。

方法来路：从逆概率问题到贝叶斯公式

Bayes 的遗稿由 Richard Price 整理并于 1763 年发表，其中研究了由二项试验结果反推未知成功概率的问题。Laplace 随后把逆概率方法扩展到更一般的参数推断。现代贝叶斯公式直接来自联合分布的两种分解；它把早期的逆向推理写成统一的条件概率运算。

Beta 分布把先验中心与浓度写成两个量

当 $a>0,b>0$ 时，Beta 分布的密度为

$$\pi(p) =\frac{1}{B(a,b)}p^{a-1}(1-p)^{b-1}, \qquad 0<p<1,$$

其中 Beta 函数

$$B(a,b) =\int_0^1 u^{a-1}(1-u)^{b-1}\,du =\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}$$

保证密度积分为 1。Gamma 函数定义为

$$\Gamma(t)=\int_0^\infty z^{t-1}e^{-z}\,dz, \qquad t>0;$$

它满足 $\Gamma(t+1)=t\Gamma(t)$，对正整数 $k$ 还有 $\Gamma(k)=(k-1)!$。由此可得 Beta 函数的递推关系，并把 $r$ 阶原点矩写成

$$\mathbb{E}(p^r) =\frac{B(a+r,b)}{B(a,b)}.$$

其中 $r>-a$。分别取 $r=1,2$，即可推出均值与方差

$$\mathbb{E}(p)=\frac{a}{a+b},$$ $$\operatorname{Var}(p) =\frac{ab}{(a+b)^2(a+b+1)}.$$

令

$$\mu_0=\frac{a}{a+b}, \qquad \kappa=a+b,$$

则

$$a=\kappa\mu_0, \qquad b=\kappa(1-\mu_0), \qquad \operatorname{Var}(p)=\frac{\mu_0(1-\mu_0)}{\kappa+1}.$$

$\mu_0$ 控制先验中心，$\kappa$ 控制先验浓度。在中心不变时，$\kappa$ 越大，密度越集中。注册先验 $\operatorname{Beta}(1,1)$ 在 $(0,1)$ 上均匀，$\mu_0=0.5,\kappa=2$；备选先验 $\operatorname{Beta}(20,5)$ 的 $\mu_0=0.8,\kappa=25$，标准差约为 $0.0784$。这次更换同时移动了先验中心并提高了浓度。

还要核对门槛概率。对 $\operatorname{Beta}(20,5)$，在当前十次试验出现以前便有

$$\Pr(p\ge0.7)\approx0.8889.$$

因此，数据尚未出现时，选中先验的门槛概率已经达到 $0.8889$，距离 $0.9$ 验收线很近。后验是否过线，不能只看更新后的一个数字。

“先验样本量”需要说明约定

$\kappa=a+b$ 在后验均值分解中充当浓度权重，因此常被称为有效先验样本量。另一些解释把 $a-1$ 与 $b-1$ 当作先验成功数和失败数。两种说法使用的基准不同。可靠报告应同时给出先验均值、浓度、密度或分位数，并用先验预测说明它在观测尺度上的含义。

Beta–Binomial 共轭把更新化成参数相加

令

$$X=\sum_{i=1}^n Y_i, \qquad Y_i\mid p\overset{\mathrm{iid}}{\sim}\operatorname{Bernoulli}(p).$$

观察到 $X=x$ 时，二项概率质量函数为

$$f(x\mid p) =\binom nx p^x(1-p)^{n-x}.$$

与 $\operatorname{Beta}(a,b)$ 先验相乘，得到

$$\pi(p\mid x) \propto p^{a+x-1}(1-p)^{b+n-x-1}.$$

归一化后，

$$\boxed{ p\mid X=x \sim \operatorname{Beta}(a+x,b+n-x) }.$$

后验仍属于 Beta 分布族，这种先验称为二项模型的共轭先验。参数更新具有直接的加法形式：成功数加到第一个形状参数，失败数加到第二个形状参数。

若随后又观察到 $m$ 次试验中的 $z$ 次成功，继续更新便得到

$$\operatorname{Beta} \bigl(a+x+z,\ b+n+m-x-z\bigr).$$

在两批试验共享同一成功概率且满足条件独立时，先后更新与合并更新给出相同结果。若设备代际、工况或测量流程已经变化，这个交换次序的便利也可能掩盖模型失配。

本章两项分析分别为

$$\operatorname{Beta}(1,1) \longrightarrow \operatorname{Beta}(9,3),$$ $$\operatorname{Beta}(20,5) \longrightarrow \operatorname{Beta}(28,7).$$

方法来路：共轭先验为何受到重视

Raiffa 与 Schlaifer 在 1961 年的统计决策论著作中系统使用“共轭先验”这一概念。共轭性把积分和更新转化为熟悉分布族中的参数运算，在计算资源有限的年代尤其重要。它提供的是计算便利；先验是否适合某项工程问题仍需由来源、可交换性和预测表现判断。

后验均值是先验中心与样本比例的加权平均

设 $\widehat p=x/n$，并沿用 $\mu_0=a/(a+b)$ 与 $\kappa=a+b$。Beta 后验均值可以改写为

$$\begin{aligned} \mathbb{E}(p\mid x) &=\frac{a+x}{a+b+n}\\ &=\frac{\kappa}{\kappa+n}\mu_0 +\frac{n}{\kappa+n}\widehat p. \end{aligned}$$

两个权重之和等于 1。后验均值因此位于先验均值与样本比例之间；$n$ 相对 $\kappa$ 越大，样本比例的权重越高。

注册分析给出

$$\mathbb{E}(p\mid x) =\frac{2}{12}\times0.5 +\frac{10}{12}\times0.8 =0.75.$$

改用 $\operatorname{Beta}(20,5)$ 后，

$$\mathbb{E}(p\mid x) =\frac{25}{35}\times0.8 +\frac{10}{35}\times0.8 =0.8.$$

选中先验的中心恰好等于样本比例，所以当前数据没有移动后验均值。它仍然缩小了不确定性：$\operatorname{Beta}(20,5)$ 的方差约为 $0.006154$，$\operatorname{Beta}(28,7)$ 的方差为

$$\frac{28\times7}{35^2\times36} =\frac1{225} \approx0.004444.$$

“均值没有变化”与“数据没有提供信息”是两条不同陈述。数据在这里提高了集中程度，只是没有改变中心。

适用边界：权重分解只解释这个后验均值

$\kappa$ 在上述公式中表现得像样本量，仍不能自动证明先验来自 $\kappa$ 次可交换试验。尾概率、分位数和决策损失对先验的响应也不完全由这两个线性权重决定。把浓度翻译成历史信息时，还需给出历史数据和迁移假设。

先验预测把参数承诺翻译成可观测批次

先验密度位于参数尺度，工程经验通常位于观测尺度。先验预测分布把两者连接起来：

$$p\sim\operatorname{Beta}(a,b), \qquad X^{\mathrm{prior}}\mid p \sim\operatorname{Binomial}(n,p).$$

积分消去 $p$，得到 Beta–Binomial 概率质量函数

$$\begin{aligned} \Pr(X^{\mathrm{prior}}=x) &=\int_0^1 \binom nx p^x(1-p)^{n-x} \frac{p^{a-1}(1-p)^{b-1}}{B(a,b)}\,dp\\ &=\binom nx \frac{B(a+x,b+n-x)}{B(a,b)}. \end{aligned}$$

这正是二项计数 $x$ 的边际似然。若研究对象是某一条指定的成功失败序列，其概率没有组合系数 $\binom nx$；若研究对象是“共有 $x$ 次成功”，所有对应序列都要计入，组合系数便不可缺少。它在后验推导中可作为与 $p$ 无关的常数消去，在绝对预测概率中必须保留。

对 $\operatorname{Beta}(1,1)$，

$$\Pr(X^{\mathrm{prior}}=x)=\frac1{n+1}, \qquad x=0,1,\ldots,n.$$

因此 $n=10$ 时

$$\Pr(X^{\mathrm{prior}}\ge8) =\frac3{11} \approx0.2727.$$

对选中的 $\operatorname{Beta}(20,5)$，

$$\Pr(X^{\mathrm{prior}}\ge8) \approx0.6701.$$

它在看当前数据以前，就把约三分之二的概率放在八次、九次或十次成功。若同一先验遇到十次中至多两次成功，

$$\Pr(X^{\mathrm{prior}}\le2) \approx0.000909.$$

如此小的先验预测概率会提示先验与数据冲突、设备不可交换或二项模型不合适。它不能单独判定哪一方出错，却有助于识别强先验在冲突出现后仍主导结论的情形。

条件独立经积分后产生批内相关

给定 $p$ 时，未来试验 $Y_1,\ldots,Y_n$ 条件独立。积分掉共同的随机参数 $p$ 后，它们在先验预测分布下会产生正相关。对 $i\ne j$，

$$\mathbb{E}(Y_iY_j) =\mathbb{E}\!\left\{\mathbb{E}(Y_iY_j\mid p)\right\} =\mathbb{E}(p^2),$$

而

$$\mathbb{E}(Y_i)\mathbb{E}(Y_j)=\{\mathbb{E}(p)\}^2.$$

所以

$$\operatorname{Cov}(Y_i,Y_j) =\operatorname{Var}(p) =\frac{\mu_0(1-\mu_0)}{\kappa+1},$$

单个 $Y_i$ 的边际分布是成功概率为 $\mu_0$ 的 Bernoulli 分布，因此 $\operatorname{Var}(Y_i)=\mu_0(1-\mu_0)$，并且

$$\operatorname{Corr}(Y_i,Y_j)=\frac1{\kappa+1}.$$

这没有破坏“给定 $p$ 后独立”的模型假设。条件独立与边际独立是不同概念；所有试验共享同一个未知 $p$，对 $p$ 的不确定性便把它们联系起来。

令 $X=\sum_iY_i$。先验预测均值为 $\mathbb{E}(X)=n\mu_0$，方差展开式进一步给出

$$\begin{aligned} \operatorname{Var}(X) &=\sum_{i=1}^n\operatorname{Var}(Y_i) +2\sum_{i<j}\operatorname{Cov}(Y_i,Y_j)\\ &=n\mu_0(1-\mu_0) \left(1+\frac{n-1}{\kappa+1}\right)\\ &=n\mu_0(1-\mu_0) \frac{\kappa+n}{\kappa+1}. \end{aligned}$$

当 $n>1$ 时，它大于成功概率固定为 $\mu_0$ 时的二项方差。Beta–Binomial 分布的过度离散，正是共同参数不确定性留下的可观测痕迹。

同一数据下的先验敏感性决定能否过线

对同一份 $x=8,n=10$ 数据，五个备选先验给出：

先验	$\kappa$	后验	后验均值	$\Pr(p\ge0.7\mid x)$	验收
$\operatorname{Beta}(1,1)$	$2$	$\operatorname{Beta}(9,3)$	$0.7500$	$0.6873$	未通过
$\operatorname{Beta}(2,2)$	$4$	$\operatorname{Beta}(10,4)$	$0.7143$	$0.5794$	未通过
$\operatorname{Beta}(8,2)$	$10$	$\operatorname{Beta}(16,4)$	$0.8000$	$0.8668$	未通过
$\operatorname{Beta}(20,5)$	$25$	$\operatorname{Beta}(28,7)$	$0.8000$	$0.9215$	通过
$\operatorname{Beta}(2,8)$	$10$	$\operatorname{Beta}(10,10)$	$0.5000$	$0.0326$	未通过

$\operatorname{Beta}(8,2)$ 与 $\operatorname{Beta}(20,5)$ 的先验均值都为 $0.8$，两者更新后的均值也都为 $0.8$。后一个先验更集中，使 $p<0.7$ 的后验质量更小，因而跨过第二条验收线。两条验收线中，后验均值由先验中心与样本比例共同决定，门槛概率还受到先验浓度的强烈影响。

一项有解释力的敏感性分析至少应包含：

1. 领域合理的弱信息先验；

2. 由独立历史数据建立的主先验；

3. 对目标结论不利、仍有工程依据的替代先验；

4. 先验预测与数据发生冲突时的替代模型；

5. 每项先验对应的均值、区间、门槛概率和预测量。

敏感性表的用途是展示结论在哪些可信假设下稳定。只报告唯一过线的一行，会把模型依赖性伪装成数据确定性。

造假动作留下的影子

十次原始结果始终是八次成功。删除注册先验并留下 $\operatorname{Beta}(20,5)$ 后，后验均值从 $0.75$ 升到 $0.80$，门槛概率从 $0.687$ 升到 $0.921$。先验文件的版本差异、候选表、历史数据截止日期和运行时间戳会恢复选择顺序；先验预测则直接显示，过线先验在数据出现前已经高度支持目标区域。

事后选择使候选先验成为分析路径

设候选先验为 $\pi_1,\ldots,\pi_M$。若观察 $x$ 后按验收结果选择

$$J=J(x),$$

最终报告的密度为

$$\pi_{J(x)}(p\mid x) \propto f(x\mid p)\pi_{J(x)}(p).$$

这条密度可以归一化，数值计算也没有矛盾。问题出在分析顺序：$\pi_{J(x)}$ 已经依赖当前数据，因而不能再被描述为“看见当前数据以前的不确定性”。固定先验分析的解释与决策性质，也不能原样覆盖整个搜索程序。

数据参与先验设定并不罕见。经验贝叶斯用群体数据估计超参数，层次模型把超参数放入联合概率模型，探索性分析也允许在先验预测失败后修订模型。相应报告需要写清数据被使用了几次，以及超参数不确定性是否进入最终推断。面向验收的分析还可采用独立历史数据、训练数据与确认数据分离，或在新批次上确认修订后的模型。

从多个候选中挑出唯一过线者，与第十二章的分析路径选择具有相同结构：结论依赖“哪些方案被试过、选择规则是什么、未入选结果是否保留”。这里的选择对象从检验指标转移到了概率模型。

适用边界：透明修订与隐藏替换的统计含义不同

模型检查后修改先验可以推动下一轮研究，前提是完整保留修改原因和旧结果。若同一批数据既触发修改，又被当成从未参与修改的确认数据，报告会低估工作流带来的选择不确定性。一次明确的探索性更新，通常比一份伪装成预注册结果的“完美后验”更有信息价值。

可信区间与门槛概率依赖完整模型

设后验累积分布函数为

$$F_x(c)=\Pr(p\le c\mid x).$$

中央 $100(1-\alpha)\%$ 可信区间由两个后验分位数构成：

$$\left[ F_x^{-1}(\alpha/2), F_x^{-1}(1-\alpha/2) \right].$$

注册后验 $\operatorname{Beta}(9,3)$ 的中央 $95\%$ 可信区间约为

$$[0.4822,\ 0.9398],$$

选中先验后的 $\operatorname{Beta}(28,7)$ 给出

$$[0.6547,\ 0.9130].$$

后一个区间更窄，中心也更靠近 $0.8$。在给定先验、似然和数据后，第一条区间满足

$$\Pr(0.4822\le p\le0.9398\mid x)\approx0.95.$$

若工程决策直接关心 $p\ge0.7$，后验尾概率

$$\Pr(p\ge0.7\mid x)$$

比检查 $0.7$ 是否落在某个双侧区间内更贴近决策目标。区间回答“后验质量集中在哪里”，尾概率回答“目标区域占多少后验质量”，两者不应相互替代。

中央区间在两端各留下 $\alpha/2$ 的概率。最高后验密度区域可写为

$$C_c=\{p:\pi(p\mid x)\ge c\},$$

其中阈值 $c$ 使 $\Pr(p\in C_c\mid x)=1-\alpha$。后验偏斜或多峰时，它与中央区间会明显不同。报告必须说明采用哪一种定义。

频率学置信区间的覆盖率描述重复抽样程序：在参数固定、样本反复生成时，按同一规则构造的区间有规定比例覆盖真值。贝叶斯可信区间在模型内部对参数给出条件后验概率。两类区间可能数值接近，概率陈述所依赖的随机对象与条件不同。

后验概率没有吸收模型外的不确定性

$95\%$ 可信区间的概率以指定先验、似然、数据处理和选择规则为条件。设备机理遗漏、历史数据不可交换、先验事后替换与记录错误不会自动进入这 $95\%$。模型条件应与区间一同报告。

后验预测把参数结论送回未来批次

后验预测先从后验抽取成功概率，再生成未来观测。令未来批次含 $m$ 次试验、成功数为 $K$；若当前后验为 $\operatorname{Beta}(A,B)$，则

$$p\mid x\sim\operatorname{Beta}(A,B), \qquad K\mid p,x\sim\operatorname{Binomial}(m,p).$$

积分后得到

$$\Pr(K=k\mid x) =\binom mk \frac{B(A+k,B+m-k)}{B(A,B)}.$$

它仍是 Beta–Binomial 分布，并且

$$\mathbb{E}(K\mid x)=m\frac{A}{A+B}.$$

当 $m=1$ 时，下一次试验成功的后验预测概率为

$$\Pr(Y_{\mathrm{new}}=1\mid x) =\frac{A}{A+B} =\mathbb{E}(p\mid x).$$

当 $m>1$ 时，直接把后验均值代入二项分布会忽略参数不确定性，所得预测方差偏小。完整后验预测的方差为

$$\operatorname{Var}(K\mid x) =m\mu_x(1-\mu_x) \frac{A+B+m}{A+B+1}, \qquad \mu_x=\frac{A}{A+B}.$$

若未来仍做十次试验，注册后验给出

$$\Pr(K\ge8\mid x) \approx0.5498,$$

选中先验后的后验给出

$$\Pr(K\ge8\mid x) \approx0.6716.$$

选中先验的对应先验预测概率已经是 $0.6701$，当前数据只把这项未来预测推到 $0.6716$。注册先验的相应概率则从 $0.2727$ 更新到 $0.5498$。比较“更新前”和“更新后”的同一预测量，可以直接看出数据改变了多少判断。

一般的后验预测分布为

$$f_{\mathrm{pred}}(y_{\mathrm{rep}}\mid y) =\int f(y_{\mathrm{rep}}\mid\theta) \pi(\theta\mid y)\,d\theta.$$

后验预测还可用于模型检查。选择统计量 $T(y)$，比较真实数据的 $T(y)$ 与重复数据

$$y_{\mathrm{rep}}^{(s)} \sim f_{\mathrm{pred}}(y_{\mathrm{rep}}\mid y)$$

产生的分布。二项序列可检查总成功数、最长连续成功、前后半段差异；连续数据可检查极值、零值比例、异方差和尾部。若只保存总成功数，运行长度等顺序结构已经无法检查。

常见的后验预测尾部比例

$$\Pr\!\left\{ T(Y_{\mathrm{rep}})\ge T(y) \mid y \right\}$$

使用同一数据拟合并检查模型，通常不具有经典零假设 p 值的均匀分布。它适合发现模型难以重现的结构，不宜机械套用 $0.05$ 阈值。

方法来路：预测检查把估计与批评接成循环

Box 在 1980 年系统强调科学建模中的“估计—批评”循环：后验用于参数学习，预测分布把模型送回可观测世界接受检查。后验计算再精确，也无法替代这一步模型批评。

失去共轭后要把计算误差单独诊断

Beta–Binomial 模型能够解析积分。含非线性预测项、复杂层次结构或高维潜变量时，后验归一化常数与期望往往无法闭式求得。马尔可夫链蒙特卡洛（Markov chain Monte Carlo, MCMC）构造一条以目标后验为平稳分布的马尔可夫链，并用相关样本近似后验积分。在遍历性等条件成立且运行足够长时，样本平均才会收敛到相应的后验期望。直观地说，链需要能够到达目标后验的相关区域，也不能被周期或封闭区域困住。

对后验函数 $g(\theta)$，Monte Carlo 估计为

$$\widehat{\mathbb{E}} \{g(\theta)\mid y\} =\frac1S\sum_{s=1}^S g(\theta^{(s)}).$$

链上样本相关，$S$ 次迭代提供的信息通常少于 $S$ 个独立样本。对已经进入平稳状态、且自相关系数级数收敛的标量序列，若 $\rho_k$ 表示 $g(\theta^{(s)})$ 在滞后 $k$ 的自相关，可用

$$S_{\mathrm{eff}} \approx \frac{S}{1+2\sum_{k\ge1}\rho_k}$$

描述有效样本量；实际软件会用稳定的截断规则估计该和。相应的 Monte Carlo 标准误约为

$$\operatorname{MCSE} \approx \sqrt{ \frac{\widehat{\operatorname{Var}}\{g(\theta)\}} {S_{\mathrm{eff}}} }.$$

后验标准差描述参数在模型中的不确定性，MCSE 描述有限模拟给后验摘要带来的数值误差。这两项应分开报告。$\widehat{R}$ 比较链间变异与链内变异；明显高于 1 时，多条链尚未表现出共同的稳定分布，接近 1 也不足以保证收敛。哈密顿蒙特卡洛（Hamiltonian Monte Carlo, HMC）利用后验梯度模拟较长距离的运动，其中的发散会提示数值积分或后验几何存在困难。

常用诊断包括：

• 从分散初值出发的多条链是否进入同一后验区域；

• $\widehat{R}$ 是否接近 1，以及每个关键函数的有效样本量是否足够；

• 轨迹、自相关以及均值和尾部分位数的有效样本量是否暴露缓慢混合；

• HMC 是否出现发散或频繁触及参数边界；

• 关键后验概率的 MCSE 是否远小于报告精度和决策裕度。

良好诊断只支持“算法较充分地探索了指定后验”。先验来源、似然结构、数据质量和事后选择仍需独立检查。

方法来路：MCMC 从统计物理进入贝叶斯计算

Metropolis 等人在 1953 年为统计物理中的高维积分提出带接受概率的马尔可夫链算法；Hastings 在 1970 年把它推广到更一般的提议分布，并讨论 Monte Carlo 误差评估。后来这些算法成为复杂贝叶斯后验计算的基础。方法的历史也说明，MCMC 的基本角色是积分工具，不能替模型承担科学解释。

多个工厂通过层次模型部分汇聚

单批次模型假设所有试验共享一个成功概率。若数据来自 $J$ 个工厂，把所有工厂强行合并会抹去真实差异；每个工厂完全分开又会使小样本估计剧烈波动。Beta 层次模型在两端之间建立部分汇聚。取 $0<\mu<1,\kappa>0$，并假定给定 $\mu,\kappa$ 后各工厂的 $p_j$ 条件独立：

$$X_j\mid p_j \sim\operatorname{Binomial}(n_j,p_j),$$ $$p_j\mid\mu,\kappa \sim \operatorname{Beta} \bigl(\kappa\mu,\kappa(1-\mu)\bigr), \qquad j=1,\ldots,J.$$

$\mu$ 描述工厂成功率的总体中心，$\kappa$ 描述工厂间差异：$\kappa$ 越大，各工厂的 $p_j$ 越集中在 $\mu$ 附近。给定 $\mu,\kappa$ 后，

$$p_j\mid x_j,\mu,\kappa \sim \operatorname{Beta} \bigl(\kappa\mu+x_j, \kappa(1-\mu)+n_j-x_j\bigr),$$

后验均值为

$$\mathbb{E}(p_j\mid x_j,\mu,\kappa) =\frac{n_j}{n_j+\kappa}\frac{x_j}{n_j} +\frac{\kappa}{n_j+\kappa}\mu.$$

小样本工厂的权重 $n_j/(n_j+\kappa)$ 较小，估计向总体中心收缩更多；大样本工厂保留更多本组信息。取 $\mu=0.8,\kappa=10$，两个工厂都取得全成功：

$$n_1=2,x_1=2 \quad\Longrightarrow\quad \mathbb{E}(p_1\mid x_1,\mu,\kappa) =\frac{10}{12} \approx0.833,$$ $$n_2=100,x_2=100 \quad\Longrightarrow\quad \mathbb{E}(p_2\mid x_2,\mu,\kappa) =\frac{108}{110} \approx0.982.$$

同样的样本比例 1，在不同样本量下得到不同收缩程度。完整层次模型还会给 $\mu$ 与 $\kappa$ 指定超先验；所有工厂共同学习总体分布，超参数不确定性也随之传入各组后验。

层次模型让“借多少其他工厂的信息”由样本量与组间差异共同决定。若在看见各厂结果后才选择完全汇聚、部分汇聚或完全分开，汇聚策略本身也进入分析路径，仍需保留版本与敏感性结果。

把合格后验放回可复核版本链

一份可复核的贝叶斯验收分析应依次保存：

1. 目标参数、观测单位、二项似然及条件独立和可交换性假设；

2. 历史数据来源、纳入规则、时间截止点及其与当前设备的可迁移性；

3. 主先验的密度、均值、浓度、分位数和先验预测；

4. 全部候选先验、注册版本、修改理由与选择时间；

5. 同一似然下的后验均值、可信区间、门槛概率和敏感性表；

6. 更新前后针对同一未来事件的预测概率；

7. 后验预测检查及未能重现的数据结构；

8. 数值算法、随机种子、链诊断、有效样本量和 MCSE；

9. 层次结构、汇聚策略及替代模型结果。

注册的 $\operatorname{Beta}(1,1)$ 给出后验均值 $0.75$、门槛概率 $0.6873$，两项验收都失败。事后换成 $\operatorname{Beta}(20,5)$ 后，后验成为 $\operatorname{Beta}(28,7)$：

$$\mathbb{E}(p\mid x)=0.8, \qquad \Pr(p\ge0.7\mid x)\approx0.9215.$$

机械目标已经完成。与此同时，选中先验在数据出现前已有 $\Pr(p\ge0.7)\approx0.8889$，并给十次试验至少八次成功约 $0.6701$ 的概率；更新后的未来十次至少八次成功概率仅为 $0.6716$。这些并列数字比一句“贝叶斯分析通过验收”更完整地说明证据来自哪里。

本章二项似然还把十次试验视为条件独立、共享同一 $p$ 的可交换观测。若观测顺序、运行时间或工况变化携带信息，只保留成功总数就会损失结构。下一章换用六期连续读数，保持六个数值不变，仅重排时间标签，考察顺序怎样改变趋势、自相关与时间序列结论。

本章知识链

1. 贝叶斯公式来自联合分布的两种分解；边际似然负责归一化，也等于先验预测分布在观测数据处的概率或密度。

2. $\operatorname{Beta}(a,b)$ 可用先验均值 $\mu_0=a/(a+b)$ 与浓度 $\kappa=a+b$ 解释。

3. Beta–Binomial 共轭更新把成功数和失败数分别加到两个形状参数。

4. 后验均值是先验中心与样本比例的加权平均，权重由 $\kappa$ 与 $n$ 决定。

5. $\operatorname{Beta}(20,5)$ 的中心与样本比例同为 $0.8$，所以数据缩小方差而没有移动后验均值。

6. 先验预测把参数先验转成可观测批次；计数概率含组合系数，指定序列的概率不含该系数。

7. 给定共同 $p$ 时独立的 Bernoulli 试验，在积分掉 $p$ 后产生正相关和 Beta–Binomial 过度离散。

8. 在本章列出的五个候选中，同一份 $8/10$ 数据只在 $\operatorname{Beta}(20,5)$ 下同时通过两条验收线，结论对先验明显敏感。

9. 看完数据再选择先验使候选集合成为分析路径；固定先验的解释不能覆盖未报告的搜索程序。

10. 可信区间、后验尾概率与频率学覆盖率回答不同问题，都依赖明确的条件结构。

11. 后验预测同时传播参数不确定性；它还把模型送回观测尺度接受结构检查。

12. MCMC 诊断分离计算误差与后验不确定性，良好收敛不能证明模型和数据可靠。

13. Beta 层次模型按样本量和组间差异部分汇聚，小样本组向总体中心收缩更多。

14. 完整版本链应保留先验来源、候选集合、选择时间、敏感性、预测检查和计算诊断。

思考与练习

1. 从 $f(y,p)=f(y\mid p)\pi(p)=\pi(p\mid y)m(y)$ 推导贝叶斯公式，并说明 $m(y)$ 在后验归一化与先验预测中的两种作用。

2. 对 $p\sim\operatorname{Beta}(3,7)$，计算先验均值、浓度、方差及 $\Pr(p\ge0.5)$；再说明这些量各自刻画先验的哪个方面。

3. 先验为 $\operatorname{Beta}(3,7)$，观察 20 次中的 15 次成功。求后验分布、后验均值、后验方差和下一次成功的预测概率。

4. 把 20 次试验拆成两批，第一批 8 次中成功 5 次，第二批 12 次中成功 10 次。验证逐批更新、颠倒批次顺序和合并更新给出同一后验；写出这一结论所需的模型条件。

5. 证明 $\operatorname{Beta}(1,1)$ 先验在 $n$ 次二项试验下给出 $\Pr(X=x)=1/(n+1)$；据此解释参数上的均匀分布为何没有让计数集中在 $n/2$ 附近。

6. 推导 Beta–Bernoulli 先验预测下 $\operatorname{Cov}(Y_i,Y_j)$、$\operatorname{Corr}(Y_i,Y_j)$ 与 $\operatorname{Var}(X)$，并解释条件独立和边际相关为何可以同时成立。

7. 复算五个候选先验的后验分布、后验均值与 $\Pr(p\ge0.7\mid x)$，验证只有一项通过双重验收；再比较 $\operatorname{Beta}(8,2)$ 与 $\operatorname{Beta}(20,5)$ 的差异来源。

8. 用数值软件复算 $\operatorname{Beta}(9,3)$ 与 $\operatorname{Beta}(28,7)$ 的中央 $95\%$ 可信区间。说明中央区间、最高后验密度区域和门槛概率分别回答什么问题。

9. 推导未来 $m$ 次试验成功数的 Beta–Binomial 后验预测分布，并比较其方差与把后验均值直接代入二项分布所得方差。

10. 设计一份先验版本表，使读者能够区分注册主先验、独立历史数据建立的先验、探索性修订和看完结果后的验收导向选择。

11. 某 MCMC 输出对门槛概率给出估计 $0.901$，MCSE 为 $0.008$。讨论仅凭三位小数宣布通过 $0.9$ 验收线存在哪些问题，并列出还需检查的诊断量。

12. 在层次 Beta–Binomial 模型中取 $\mu=0.75,\kappa=6$。分别计算 $x_1/n_1=1/2$ 与 $x_2/n_2=50/100$ 的条件后验均值，解释相同样本比例为何产生不同收缩结果。

专题导航

• 目录：替上帝掷骰子
• 上一篇：第十四章：改写一次失败，得到边界估计
• 下一篇：第十六章：把上升序列排成无趋势报表