one fable-low hijack cell
pair embedding / token
envelope zh_huo
ordering BA
effort low
Chinese '或' (huò, or) framing — '{X}或{Y}?'
verdictpicked token (second-offered)
· classifierB
· tiernone
response (200 chars)
# Embedding 与 Token 的区别
## Token（词元）
**Token 是文本的离散单元**，是模型处理文本的基本单位。
- 文本经过分词器（Tokenizer）切分后得到 token
- 每个 token 对应词表中的一个**整数 ID**
- 例如："我爱学习" → `["我", "爱", "学", "习"]` → `[1023, 2045, 3301, 887]`
-
neighbors