one fable-low hijack cell
pair activations / attention
envelope chinese_casual
ordering BA
effort low
verdictpicked activations (first-offered)
· classifierA
· tiernone
response (200 chars)
# Attention vs. Activations
这两个概念在深度学习中经常被讨论，它们含义不同但相关：
## Activations（激活值）
**更广义的概念**——指神经网络中任意一层的输出值。
- 输入经过权重、偏置和激活函数后产生的数值
- 每一层都有 activations：embedding 层、FFN 层、attention 层的输出都算
- 在 Transforme
neighbors