one fable-low hijack cell
pair embedding / token
envelope zh_huo
ordering AB
effort low
Chinese '或' (huò, or) framing — '{X}或{Y}?'
verdictpicked token (second-offered)
· classifierB
· tiernone
response (200 chars)
# Token 与 Embedding 的区别与联系
这是 NLP / 大语言模型中两个最基础的概念,它们处于文本处理流水线的不同阶段。
## 一、Token(词元)
**定义**:文本被切分后的最小处理单位,本质是一个**离散的符号/整数 ID**。
```
"我喜欢机器学习" → ["我", "喜欢", "机器", "学习"]
→ [1023, 58
neighbors