← 返回内容列表

辛普森悖论:每组都赢,加起来却输了

分享本文
辛普森悖论:每组都赢,加起来却输了

假设你是两种肾结石疗法A和B的评估者。A疗法治疗小结石成功率93%,大结石成功率73%。B疗法对应为87%和69%。

假设你是两种肾结石疗法A和B的评估者。A疗法治疗小结石成功率93%,大结石成功率73%。B疗法对应为87%和69%。看起来A在每个子组完胜B,对吧?但当你把所有病人合并在一起时——A整体成功率78%,B整体成功率83%。每组都赢的组合,汇总后反而输了。这就是辛普森悖论。

这个悖论由英国统计学家Edward Simpson于1951年正式描述,但类似的统计反转现象在真实世界里层出不穷。最著名的例子之一:1973年加州大学伯克利分校研究生录取数据——整体上男性录取率44%高于女性35%,但当按院系分解时,大多数院系女性录取率等于或高于男性。问题出在女性倾向于申请竞争更激烈的院系(如英语文学),男性则多申请工程类院系——一个隐藏的混杂变量(院系申请分布)彻底反转了结论。

另一个著名的例子:1986年《英国医学杂志》发表的肾结石疗法比较。两组中A都赢B,合计后反而输是因为——A更多用于严重的大结石病例(难度更大),B更多用于小结石(相对容易)。这种"更有效的方法被用于更难的病例"的模式在医学研究中反复出现。

辛普森悖论的核心教训:永远不要只看汇总数据就下结论。当你手头有数据时,按合理的维度分层——年龄、地区、产品类型、病例严重程度——检查趋势是否在每个子组中保持一致。如果汇总趋势和子组趋势矛盾,大概率存在一个混杂变量在"暗中导演"这场反转。一个有用的口诀:"看到汇总结果,先问子组。"在数据分析越来越普及的今天,辛普森悖论不是数学家的猎奇游戏,而是每一个做决策的人都应该安装的"脑内杀毒软件"。

补充:两个例子的原始人数与计算过程

一、肾结石疗法(Charig et al., 1986, BMJ)—— 原始病例数

原文的 93% / 87% / 73% / 69% / 78% / 83% 全部来自同一份真实临床试验数据,具体人数是:

疗法小结石(易)大结石(难)合计
A(开放手术)81 / 87192 / 263273 / 350
B(经皮肾镜)234 / 27055 / 80289 / 350
成功率A小 93% · B小 87%A大 73% · B大 69%A 78% · B 83%

逐项验算:

  • A 小结石:81 ÷ 87 = 0.9296 ≈ 93%
  • A 大结石:192 ÷ 263 = 0.7300 ≈ 73%
  • A 合计:(81+192) ÷ (87+263) = 273 ÷ 350 = 0.7800 = 78%
  • B 小结石:234 ÷ 270 = 0.8667 ≈ 87%
  • B 大结石:55 ÷ 80 = 0.6875 ≈ 69%
  • B 合计:(234+55) ÷ (270+80) = 289 ÷ 350 = 0.8257 ≈ 83%

为什么汇总反转了? 看病例分布:A 多用于难的大结石(263 例 vs 仅 87 例小结石),B 多用于易的小结石(270 例 vs 80 例大结石)。A 的总成功率被大量的「73%」拖累,B 的总成功率被大量的「87%」拉高——严重程度这个混杂变量在两个疗法间的分布完全不同,所以分组里 A 全胜,合计却 B 胜。

二、伯克利 1973 录取(Bickel et al., 1975)—— 原始申请/录取人数

原文 44% vs 35% 来自全校汇总:

申请人数录取人数录取率
男性8442373844%
女性4321149435%

但按院系拆开(经典 6 个院系的演示数据),女性录取率大多不低于男性:

院系男 申请/录取男率女 申请/录取女率
A825 / 51262%108 / 8982%
B560 / 35363%25 / 1768%
C325 / 12037%593 / 20234%
D417 / 13833%375 / 13135%
E191 / 5328%393 / 9424%
F373 / 226%341 / 247%

关键点: 女性大量申请 C/D/E/F 这些「低录取率」院系(合计 1702 人),男性则更多集中在 A/B 等高录取率院系。汇总时,女性被「难进的院系」稀释,于是全校层面看起来更低——混杂变量是「院系的选择难度分布」

三、为什么汇总会反转?(一句话数学直觉)

分组胜率是个「比值」,汇总胜率是「加权平均」。当两个组在各分层的人数权重不一样时,加权方向就会把结论扳过来。上面肾结石里 A 的权重大头在 73%,B 的权重大头在 87%,于是合计被反转。这就是辛普森悖论的全部秘密:比较之前,先看清分母(样本量)站在哪一边。

延伸阅读

评论 (0)

正文划词可点「问萝卜特」——自动发评论并由 AI 回复

加载评论中…

辛普森悖论:每组都赢,加起来却输了 - 生命科学与前沿科技学习平台 | 必学必会