🌡️ 大模型生成参数

Temperature · Top-p · Max Tokens — 阶段 1 认知入门

📚 核心概念

大语言模型每次生成下一个 token时,会对词表给出概率分布。我们看到的「续写」「创作」效果,很大程度由采样策略决定:

参数作用典型范围
temperature控制随机性:越低越保守(重复高频词),越高越发散(乱编)0.1 ~ 1.5
top-p(核采样)只从累积概率达 p 的最小词集合里采样,砍掉长尾噪声0.8 ~ 0.95
max_tokens限制生成长度,防止无限输出、控制成本16 ~ 4096

💡 学习规则(来自 plan.md)

入门阶段只调 temperature 与 max_tokens,先用微型模型(本页用浏览器内古诗 bigram 模拟,约等价于 tiny-gpt2 的教学版)。

固定输入「窗前明月光,」,分别设 temperature = 0.1 / 0.7 / 1.5,各生成 3 次,记录输出差异 — 这就是 Hugging Face Playground 同款实验。

🎮 交互:古诗续写实验室

基于内置唐诗语料的字符级模型,纯浏览器运行,无需 GPU。

窗前明月光,(点击生成)

✅ 阶段 1 验收测验(5 题)

1. temperature 设为 0.1 时,模型输出通常会怎样?
2. top-p = 0.9 的含义是?
3. max_tokens 主要影响什么?
4. 阶段 1 推荐使用的模型规模是?
5. 「验证闭环规则」要求每完成一个演示后做什么?