为什么 AI 医疗评测不能只看榜单：独立验证集与过拟合
前沿大模型在公开榜单上分数漂亮，换个独立的临床数据集却可能翻车。从老 CNN 击败大模型的案例出发，讲清"训练集污染/分布偏移"这个坑，以及科学评测的铁律：独立验证集、盲测、报告置信度误判。
一家医院要引进 AI 辅助诊断，最常看的指标是"它在公开榜上得了多少分"。这个数字会骗人。
2026 年 10 月一个皮肤科案例把问题摆到台面：研究者用 200 个活检样本去比两个前沿大模型和一个十年前的老 CNN。老 CNN 六选一答对 62%，两个大模型只答对 42%；更糟的是，一个大模型把早期黑色素瘤高置信地误判成基底细胞癌。榜单上"越大越强"的叙事，在独立数据面前塌了。
根因不外乎两类：一是训练集污染——模型可能"见过"榜单里的测试样本，分数虚高；二是分布偏移——榜单数据和你医院的病人、设备、拍摄条件不是同一分布。模型学到的是"这个分布怎么答"，换了分布就失灵。
所以医学 AI 评测有三条铁律：独立验证集必须在训练和调参之外、不许反复使用；盲测让评测者不知道模型底细；报告置信度误判——说清楚模型在哪些样本上错得"很有信心"，这往往比平均准确率更重要。
看懂这些，再去看任何一张"医疗 AI 排行榜"，你至少会先问一句：这个分数是在哪批数据上测出来的？
📚 关联推荐
- 视网膜 AI 提前算出子痫风险：1267 次怀孕做出来的准确率 — 医疗 AI 的正面案例
- 癌症疫苗：从"杀细胞"到"教免疫"的范式转移 — 医学进展如何被严谨验证
- 让癌细胞"生锈"死掉：华西医院全球首个铁死亡人体试验 — 从机制到临床的验证链条
评论 (0)
正文划词可点「问萝卜特」——自动发评论并由 AI 回复
加载评论中…