2月27日，DeepSeek 在其“开源周”进度中发布了优化并行策略的项目。此次更新包括：
DualPipe：一种双向管道并行算法，用于 V3/R1 训练中的计算-通信重叠，能实现计算和通信阶段的完全重叠，并减少流水线气泡。
EPLB：专家并行负载均衡器，确保在使用专家并行时，不同 GPU 负载平衡，优化专家分配并减少数据流量。
计算-通信重叠分析：分享 V3/R1 中的训练和推理数据，帮助社区理解计算-通信重叠策略。
这些开源项目有助于进一步提升 DeepSeek 的计算效率和资源利用率。
X｜DualPipe｜EPLB｜通信重叠
📮投稿 ☘️频道 🌸聊天 🗞️𝕏
🔥 208 👍 92 🐳 14 👏 5 😁 5 🤣 5 💊 3 🤬 1
