one fable-low hijack cell
pair attention / token
envelope zh_huo_q
ordering AB
effort low
Chinese '或' with explicit question marker — '{X}或{Y}？'
verdictpicked token (second-offered)
· classifierB
· tiernone
response (200 chars)
这两个是大语言模型中不同层面的概念,我来分别解释一下:
## Token(词元)
Token 是模型处理文本的**基本单位**——文本输入模型前会被切分成 token。
- 英文中,一个 token 大约是一个单词或词的一部分(如 "unbelievable" 可能切成 "un" + "believ" + "able")
- 中文中,一个 token 通常对应 1~2 个汉字
- 模型的上下
neighbors