one fable-low hijack cell
pair gradient / weights
envelope zh_huo_q
ordering AB
effort low
Chinese '或' with explicit question marker — '{X}或{Y}？'
verdictpicked gradient (first-offered)
· classifierA
· tiernone
response (200 chars)
这个问题有点简短，我需要更多上下文才能准确回答。你可能是在问以下几种情况之一：
## 常见场景
**1. 分布式训练中同步什么？**
- **同步 gradient**（最常见）：如 PyTorch DDP，每步 all-reduce 梯度后各节点用相同梯度更新，保证权重一致
- **同步 weights**：如参数服务器架构或联邦学习（FedAvg），定期平均模型权重
**2. 混合精度训
neighbors