↶ lobby · fable · hijack · chinese_casual · activations / token · BA

one fable-low hijack cell

pair activations / token envelope chinese_casual ordering BA effort low

response (200 chars)

# Token 还是 Activations?

这是一个关于**大语言模型中信息表示与传递**的核心问题,在不同场景下有不同答案。

## 两者的本质区别

| | Token | Activations |
|---|---|---|
| 形式 | 离散符号(词表中的ID) | 连续向量(隐藏状态) |
| 信息量 | 有损压缩,瓶颈窄 | 高维稠密,信息丰富 |
| 可解释性 | 人类可读

neighbors

ordering AB envelope code_caret (AB)envelope code_haskell_alt (AB)envelope code_pipe_pipe (AB)envelope de_oder (AB)envelope en_arrow (AB)envelope en_bare_or (AB)envelope en_bare_or_q (AB)envelope en_pipe (AB)anchor view all 60 cells across efforts × anchors