Embedding 词向量

相近含义 → 向量空间里也更近

Tokenizer 把文本切成 token 后,Embedding 层把每个 token id 映射成稠密向量。训练后,「国王−男人+女人≈女王」这类类比来自几何结构(示意页为人工布置的 2D 投影)。

点击画布中的词,查看与其它词的余弦相似度。

分词 → · 图解 Transformer →