one fable-low hijack cell
pair attention / token
envelope zh_huo
ordering AB
effort low
Chinese '或' (huò, or) framing — '{X}或{Y}?'
verdictpicked token (second-offered)
· classifierB
· tiernone
response (200 chars)
# Token 与 Attention 详解
这是现代大语言模型(如 GPT、BERT)的两个核心概念。
## Token(词元)
**定义**:模型处理文本的基本单位。文本输入模型前会被"分词器(Tokenizer)"切分成 token。
**特点**:
- 一个 token 可能是一个词、子词或字符
- 英文:`"unhappiness"` → `["un", "happi", "ne
neighbors