11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
腾讯云
12-20
百度百舸发布LoongForge DP负载均衡方案,针对大语言和多模态模型训练中数据并行负载不均的行业难题。该方案通过两阶段优化策略(热身建模与在线自适应重分配),精准计算开销并动态重分配样本,在超大规模分布式场景下实现近10%性能提升。其核心特性包括多模态双重负载均衡、迭代级全局均衡、智能触发机制和零额外时延,兼容主流模型且无需修改训练代码。实验表明,在DP512规模下性能提升显著,有效降低训练成本并提升GPU利用率。