📚 核心概念
大语言模型每次生成下一个 token时,会对词表给出概率分布。我们看到的「续写」「创作」效果,很大程度由采样策略决定:
| 参数 | 作用 | 典型范围 |
|---|---|---|
| temperature | 控制随机性:越低越保守(重复高频词),越高越发散(乱编) | 0.1 ~ 1.5 |
| top-p(核采样) | 只从累积概率达 p 的最小词集合里采样,砍掉长尾噪声 | 0.8 ~ 0.95 |
| max_tokens | 限制生成长度,防止无限输出、控制成本 | 16 ~ 4096 |
💡 学习规则(来自 plan.md)
入门阶段只调 temperature 与 max_tokens,先用微型模型(本页用浏览器内古诗 bigram 模拟,约等价于 tiny-gpt2 的教学版)。
固定输入「窗前明月光,」,分别设 temperature = 0.1 / 0.7 / 1.5,各生成 3 次,记录输出差异 — 这就是 Hugging Face Playground 同款实验。
🎮 交互:古诗续写实验室
基于内置唐诗语料的字符级模型,纯浏览器运行,无需 GPU。
窗前明月光,(点击生成)
✅ 阶段 1 验收测验(5 题)
1. temperature 设为 0.1 时,模型输出通常会怎样?
2. top-p = 0.9 的含义是?
3. max_tokens 主要影响什么?
4. 阶段 1 推荐使用的模型规模是?
5. 「验证闭环规则」要求每完成一个演示后做什么?