← 返回课程列表
给模型出一张不会被背下来的卷子:基准设计与独立复现实战

给模型出一张不会被背下来的卷子:基准设计与独立复现实战

课程简介

这门课教的是「怎么不被分数骗」。不讲模型结构,不讲训练技巧,只讲一件事:从零搭一套评测,让它在别人手里也能复现,并且能分辨出一个模型是学会了干活,还是背下了题。

七章走完,你会有一套自己写的评测脚本:题集分层、变体生成、沙箱执行、判分对账、置信区间计算,以及一份能直接交给同事复核的记录格式。课程里所有例子都来自真实公开的评测事故——MaxxBench 的 89 道变体题、Lean 定理文件的四道关卡、SWE-bench 的私有测试集争议。

学习目标

  • 能设计一份避开污染的题集,说清留出集、变体集、对抗集各自防什么
  • 能写出可复现的判分脚本,处理超时、环境差异、非确定性输出三类失败
  • 能用置信区间和配对比较,判断两个模型的分数差是否存在
  • 能识别厂商自报指标里的三个常见话术,并设计一个低成本的反证实验

章节概览

  1. 第一章:分数在测什么——能力、题型适配,还是记忆
  2. 第二章:题集分层——留出集怎么切,切多少才够
  3. 第三章:变体生成——改需求而不是改皮肤
  4. 第四章:沙箱与执行——把不可信的代码关进笼子
  5. 第五章:判分对账——测试通过不等于任务完成
  6. 第六章:统计——置信区间、配对比较与多次运行的噪声
  7. 第七章:写一份别人能复核的评测报告

每章末尾有一个动手任务,产出物是可运行的脚本和一份记录。第七章的任务是把前六章的产物拼成一套能交给第三方跑的评测包,附上依赖锁定、随机种子与失败样本清单。

这门课不承诺让你的模型分数变高。它承诺的是:下次有人拿一张榜单跟你说「我们提升了 30%」,你知道该问哪五个问题。