one fable-low hijack cell
pair activations / gradient
envelope chinese_casual
ordering AB
effort low
verdictpicked activations (first-offered)
· classifierA
· tiernone
response (200 chars)
# Activations vs. Gradients
这两个概念在深度学习中扮演不同角色,我帮你梳理一下：
## Activations（激活值）
- **是什么**：前向传播中每一层的输出值
- **计算时机**：前向传播（forward pass）
- **公式示意**：`a = f(Wx + b)`，其中 f 是激活函数（ReLU、sigmoid 等）
- **用途**：
- 传递
neighbors