one fable-low hijack cell
pair data / model
envelope zh_huo
ordering AB
effort low
Chinese '或' (huò, or) framing — '{X}或{Y}?'
verdictpicked model (second-offered)
· classifierB
· tiernone
response (200 chars)
您是想了解 **模型并行(Model Parallelism)和数据并行(Data Parallelism)** 的区别吗?以下是简要对比(如果您问的是其他内容,请补充说明):
## 数据并行(Data Parallelism)
**核心思想**:每个设备保存**完整的模型副本**,但处理**不同的数据批次**。
- 将一个 batch 切分成多份,分发到不同 GPU
- 各 GPU 独立前
neighbors