辛普森悖论:每组都赢,加起来却输了

假设你是两种肾结石疗法A和B的评估者。A疗法治疗小结石成功率93%,大结石成功率73%。B疗法对应为87%和69%。
假设你是两种肾结石疗法A和B的评估者。A疗法治疗小结石成功率93%,大结石成功率73%。B疗法对应为87%和69%。看起来A在每个子组完胜B,对吧?但当你把所有病人合并在一起时——A整体成功率78%,B整体成功率83%。每组都赢的组合,汇总后反而输了。这就是辛普森悖论。
这个悖论由英国统计学家Edward Simpson于1951年正式描述,但类似的统计反转现象在真实世界里层出不穷。最著名的例子之一:1973年加州大学伯克利分校研究生录取数据——整体上男性录取率44%高于女性35%,但当按院系分解时,大多数院系女性录取率等于或高于男性。问题出在女性倾向于申请竞争更激烈的院系(如英语文学),男性则多申请工程类院系——一个隐藏的混杂变量(院系申请分布)彻底反转了结论。
另一个著名的例子:1986年《英国医学杂志》发表的肾结石疗法比较。两组中A都赢B,合计后反而输是因为——A更多用于严重的大结石病例(难度更大),B更多用于小结石(相对容易)。这种"更有效的方法被用于更难的病例"的模式在医学研究中反复出现。
辛普森悖论的核心教训:永远不要只看汇总数据就下结论。当你手头有数据时,按合理的维度分层——年龄、地区、产品类型、病例严重程度——检查趋势是否在每个子组中保持一致。如果汇总趋势和子组趋势矛盾,大概率存在一个混杂变量在"暗中导演"这场反转。一个有用的口诀:"看到汇总结果,先问子组。"在数据分析越来越普及的今天,辛普森悖论不是数学家的猎奇游戏,而是每一个做决策的人都应该安装的"脑内杀毒软件"。
补充:两个例子的原始人数与计算过程
一、肾结石疗法(Charig et al., 1986, BMJ)—— 原始病例数
原文的 93% / 87% / 73% / 69% / 78% / 83% 全部来自同一份真实临床试验数据,具体人数是:
| 疗法 | 小结石(易) | 大结石(难) | 合计 |
|---|---|---|---|
| A(开放手术) | 81 / 87 | 192 / 263 | 273 / 350 |
| B(经皮肾镜) | 234 / 270 | 55 / 80 | 289 / 350 |
| 成功率 | A小 93% · B小 87% | A大 73% · B大 69% | A 78% · B 83% |
逐项验算:
- A 小结石:81 ÷ 87 = 0.9296 ≈ 93%
- A 大结石:192 ÷ 263 = 0.7300 ≈ 73%
- A 合计:(81+192) ÷ (87+263) = 273 ÷ 350 = 0.7800 = 78%
- B 小结石:234 ÷ 270 = 0.8667 ≈ 87%
- B 大结石:55 ÷ 80 = 0.6875 ≈ 69%
- B 合计:(234+55) ÷ (270+80) = 289 ÷ 350 = 0.8257 ≈ 83%
为什么汇总反转了? 看病例分布:A 多用于难的大结石(263 例 vs 仅 87 例小结石),B 多用于易的小结石(270 例 vs 80 例大结石)。A 的总成功率被大量的「73%」拖累,B 的总成功率被大量的「87%」拉高——严重程度这个混杂变量在两个疗法间的分布完全不同,所以分组里 A 全胜,合计却 B 胜。
二、伯克利 1973 录取(Bickel et al., 1975)—— 原始申请/录取人数
原文 44% vs 35% 来自全校汇总:
| 申请人数 | 录取人数 | 录取率 | |
|---|---|---|---|
| 男性 | 8442 | 3738 | 44% |
| 女性 | 4321 | 1494 | 35% |
但按院系拆开(经典 6 个院系的演示数据),女性录取率大多不低于男性:
| 院系 | 男 申请/录取 | 男率 | 女 申请/录取 | 女率 |
|---|---|---|---|---|
| A | 825 / 512 | 62% | 108 / 89 | 82% |
| B | 560 / 353 | 63% | 25 / 17 | 68% |
| C | 325 / 120 | 37% | 593 / 202 | 34% |
| D | 417 / 138 | 33% | 375 / 131 | 35% |
| E | 191 / 53 | 28% | 393 / 94 | 24% |
| F | 373 / 22 | 6% | 341 / 24 | 7% |
关键点: 女性大量申请 C/D/E/F 这些「低录取率」院系(合计 1702 人),男性则更多集中在 A/B 等高录取率院系。汇总时,女性被「难进的院系」稀释,于是全校层面看起来更低——混杂变量是「院系的选择难度分布」。
三、为什么汇总会反转?(一句话数学直觉)
分组胜率是个「比值」,汇总胜率是「加权平均」。当两个组在各分层的人数权重不一样时,加权方向就会把结论扳过来。上面肾结石里 A 的权重大头在 73%,B 的权重大头在 87%,于是合计被反转。这就是辛普森悖论的全部秘密:比较之前,先看清分母(样本量)站在哪一边。
评论 (0)
正文划词可点「问萝卜特」——自动发评论并由 AI 回复
加载评论中…