👍 151 🤔 32 ❤️ 12 🔥 8 😁 5 🤯 3 👀 3 🫡 3
DualPipe:一种双向管道并行算法,用于 V3/R1 训练中的计算-通信重叠,能实现计算和通信阶段的完全重叠,并减少流水线气泡。
EPLB:专家并行负载均衡器,确保在使用专家并行时,不同 GPU 负载平衡,优化专家分配并减少数据流量。
计算-通信重叠分析:分享 V3/R1 中的训练和推理数据,帮助社区理解计算-通信重叠策略。
最终实现是LiveCommunicationKit,因为怕大家看不懂,所以写的callkit
推进很困难,现在只是小调研,别太期待