one fable-low hijack cell
pair attention / gradient
envelope zh_huo
ordering AB
effort low
Chinese '或' (huò, or) framing — '{X}或{Y}?'
verdictpicked gradient (second-offered)
· classifierB
· tiernone
response (200 chars)
# Gradient 与 Attention 概述
这两个是深度学习中的重要概念,我分别介绍一下:
## Gradient(梯度)
**定义**:损失函数对模型参数的偏导数,指示参数更新的方向。
**核心作用**:
- **反向传播**:通过链式法则计算每层参数的梯度
- **参数更新**:`θ = θ - lr × ∇L(θ)`
**常见问题**:
| 问题 | 原因 | 解决方法 |
neighbors