one fable-low hijack cell
pair embedding / token
envelope zh_huo_q
ordering BA
effort low
Chinese '或' with explicit question marker — '{X}或{Y}？'
verdictpicked token (second-offered)
· classifierB
· tiernone
response (200 chars)
# Embedding 还是 Token?
这两个概念经常一起出现但作用不同,简单梳理一下:
## Token(词元)
- **是什么**:文本被切分后的基本单位,本质上是一个**离散的 ID(整数)**
- **例子**:"我爱学习" → `["我", "爱", "学习"]` → `[1024, 583, 7821]`
- **作用**:把原始文本转换成模型能索引的符号
## Embed
neighbors