one fable-low hijack cell
pair token / weights
envelope zh_huo
ordering AB
effort low
Chinese '或' (huò, or) framing — '{X}或{Y}?'
verdictpicked weights (second-offered)
· classifierB
· tiernone
response (200 chars)
你想了解的应该是「weights(权重)」和「token」这两个概念的区别吧?这是大语言模型中两个完全不同的东西:
## Token(词元)
**是什么**:文本被切分后的基本单位,是模型的输入和输出。
- 一个 token 可能是一个单词、半个单词、一个汉字或标点
- 英文大约 1 token ≈ 0.75 个单词
- 中文大约 1 个汉字 ≈ 1~2 个 token(取决于分词器)
*
neighbors