one fable-low hijack cell
pair token / weights
envelope zh_huo
ordering BA
effort low
Chinese '或' (huò, or) framing — '{X}或{Y}?'
verdictpicked weights (second-offered)
· classifierB
· tiernone
response (200 chars)
你问的可能是大语言模型里的两个概念,我分别解释一下,如果你想问的是别的,请补充说明:
## Token(词元)
**是什么**:模型处理文本的基本单位。文本输入模型前会被"分词器"(tokenizer)切分成 token。
- 一个 token 可能是一个词、半个词、一个汉字,或者标点
- 英文大约 1 token ≈ 0.75 个单词;中文大约 1 个汉字 ≈ 1~2 个 token(取决
neighbors