one fable-low hijack cell
pair attention / token
envelope zh_huo
ordering BA
effort low
Chinese '或' (huò, or) framing — '{X}或{Y}?'
verdictpicked token (second-offered)
· classifierB
· tiernone
response (200 chars)
# Attention 与 Token
这两个是大语言模型(LLM)和 Transformer 架构中的核心概念,我分别介绍一下:
## Token(词元)
**Token 是模型处理文本的基本单位。**
- 文本输入模型前,先被**分词器(Tokenizer)**切分成 token
- 一个 token 可能是:一个词、一个子词、一个字符,甚至标点符号
- 例如:
- 英文 `"un
neighbors