1. 特殊 Token
训练/推理还会插入控制符：<bos> 开始、<eos> 结束、<pad> 对齐、<unk> 未知。对话模型还有角色标记（如 <|user|>）。它们通常禁止被拆开。
2. 词表越大，同样文本 token 越少？
—token 数
—字符数
—字符 / token
示意：合并越多 ≈ 词表越大，常见词被合成更长子词，序列变短，但稀有词/新词仍可能碎成字节。
3. 中英压缩率差异
英文
中文
—英文 字符/token
—中文 字符/token
—同样语义的 token 比
多语言模型里，中文常见「同样意思占更多 token」→ 上下文窗口更贵。这是选型与 prompt 长度要算账的原因。
4. 未知字符与字节回退
5. Chat Template（角色符号）
应用侧看到的是多轮对话；模型看到的是「带特殊标记的一整段 token」。换模型时要对齐官方 chat template，否则会乱答或拒绝。