当模型开始同时理解图像、视频乃至物理世界，并逐步具备行动能力时，一个问题也随之变得不可回避:我们是否仍在用 LLM 时代的基础设施，来训练新一代的多模态大模型?
如果答案是肯定的，那么问题就不再只是效率上的「还能不能再优化一点」，而是训练体系本身与模型形态之间已经出现了结构性的错位。全模态训练框架 LoongForge，正是在这样的背景下提出的一套系统性解决方案。
行业背景:两条主线，正在重塑 AI 基础设施
过去三年，大模型领域的变化，并不只是规模变大，而是基础假设正在发生改变。单独看，它们分别属于模型侧与算力侧的自然演进;但放在一起看，它们正在重新定义 AI 基础设施应有的形态。
多模态，正在成为大模型的新底座
从模型架构的演进路径来看，这一趋势已经相当清晰。早期的多模态模型，通常是在纯文本 LLM 之外，通过外挂视觉编码器的方式补充图像理解能力，例如 InternVL、Qwen3-VL 等。这种方式实现，本质上仍然是「在语言模型之外增加一个视觉插件」，两者在训练目标与表征空间上并未真正统一。
而新一代模型已经开始走向另一条路径。以 Ernie4.5、Qwen3.6、Kimi K2.6等为代表，多模态能力被直接纳入预训练全过程，视觉与语言从一开始就共享同一套学习机制。这种变化意味着，多模态不再是可以按需添加的能力，而是构成模型能力上限的基础结构本身。
具身智能的兴起，使这一判断进一步得到强化。VLA（Vision-Language-Action）模型并不是对多模态的替代，而是建立在 VLM 之上的自然延伸:只有当模型能够稳定地看懂和理解世界，才谈得上进一步与物理环境交互。从这个角度看，多模态的重要性不止体现在视觉理解，而是在于它构成了 AI 向真实世界延伸的起点。
算力从单一供给走向多元异构
与此同时，算力体系也在发生变化。以昆仑芯 P800为代表的国产芯片，已经从早期的单点探索进入到规模化落地阶段，千卡级集群参与大模型训练逐渐成为常态。算力来源的多元化，正在成为行业的基本现实。
这带来了一个新的要求:训练框架需要具备跨平台运行能力。「一套代码，在不同硬件上稳定运行」，不再只是工程优化目标，而是直接关系到模型迭代效率与成本控制的基础能力。
核心挑战:多模态时代的能力错配
多模态训练带来的变化，并不是单一维度的复杂度提升，而是多种异构性的叠加:数据从文本扩展到图像、视频甚至动作信号，模型结构从单一主干演变为多组件协同系统。与此同时，算力平台也从单一 GPU 走向多种硬件共存。
相比之下，当前主流训练框架的设计前提仍然是「数据同质、结构单一、平台固定」。在这种前提下构建的系统，在面对多模态任务时，逐渐显露出不匹配的问题。
挑战1:迭代速度被工程复杂度拖累
多模态模型研发的重点已从「单一主干的规模扩展」转向「多组件的联合调优」。
以 Megatron 为代表的高性能框架，模型定义与分布式策略深度耦合，每接入一个新模型都需深入底层代码，调整模型组网，工程门槛较高，适配周期动辄数周;而以 FSDP 为代表的方案，虽然模型接入快速、调试方便，但在大规模训练场景下，通信效率与显存管理仍有优化空间，在极致性能要求下存在瓶颈。
结果是，团队不得不在「快速迭代」与「高效性能」之间反复取舍。
挑战2:异构结构带来的隐性性能损耗
多模态训练面临两个突出的效率问题:一是视觉组件（ViT）与语言组件(LLM)的参数量差异悬殊，传统框架「一刀切」的并行策略无法为不同组件分配最优资源;二是多模态数据的高度不均匀性，会在大规模集群中放大为明显的负载不平衡，导致部分 GPU 长时间等待最慢节点。
这些问题不会中断训练，却持续降低整体效率，使算力成本在不知不觉中被放大。
挑战3:跨平台迁移的沉没成本
社区框架深度绑定特定硬件生态，企业尝试国产芯片时往往需要维护两套完全独立的代码分支。
更关键的是，即便完成迁移，因缺乏框架级深度优化，不同平台之间的性能表现也难以对齐。「可以运行」与「高效运行」之间，存在明显差距。
LoongForge 产品定位与核心价值
在上述背景下，百度百舸开源发布全模态训练框架 LoongForge，旨在从根本上解决多模态训练中的结构性问题。
LoongForge 与 LoongFlow 均属于百度百舸的 Loong 开源系列。
这套框架由百度百舸 AIAK 训练加速套件演进而来，以 Megatron 为核心引擎，并针对全模态场景进行了原生重构。LoongForge 已在 GPU 与昆仑芯 XPU 两大平台、数千卡规模集群上完成长期生产验证，覆盖 LLM 到 VLM、VLA 等多种业务场景。
LoongForge 为原生多模态时代提供一套统一、高效、易用的训练加速解决方案。
统一:一套框架覆盖 LLM、VLM、VLA、Diffusion 等不同场景，内置20+ 模型族标准组件，原生兼容 DeepSeek、Qwen、InternVL、LLaVA-OV、ERNIE、MiniMax、MIMO，以及 Pi0.5、WAN 等主流模型。贯通预训练到 SFT 全流程，兼容 NVIDIA GPU 与昆仑芯 XPU 多硬件平台。
高效: 覆盖 LLM 基座优化、多模态专项优化，到底层算子加速的完整链路。LoongForge 在主流模型上普遍实现15%～45% 的端到端训练加速，在 DeepSeek V3.2等前沿架构上实现倍级性能提升，并在5000+ 卡昆仑 P800集群上实现90%+ 的线性扩展效率。
易用:依托统一的模型层抽象，将模型拆解为 Encoder、Foundation、组合调度三层。新模型接入只需注册对应组件，通过 YAML 配置完成模块拼接与策略配置，无需修改底层代码，适配周期从数周压缩至天级。
LoongForge 架构设计与核心技术能力
LoongForge 的整体架构由模型层、系统层与硬件层构成，这三层分别对应多模态训练中的工程复杂性、系统效率与算力平台割裂问题。
模型层:统一抽象，降低多模态模型构建门槛
多模态模型种类繁多，但底层结构有一个共同规律:骨干始终是 LLM，差异在于外围挂接了哪些模态的编解码器。
LoongForge 在 Megatron 之上构建了统一的模型层组网抽象，将多模态模型拆解为感知编码层（Encoder）、生成主干层(Foundation)、组合调度层(OmniCombinationModel)等三个部分。
通过一份 YAML 配置文件，即可自动完成不同组件的组网与并行策略配置，跨层协作的复杂性全部由框架接管，对模型开发者完全透明。
系统层:端到端优化，释放多模态训练效率
LoongForge 的优化思路是逐层叠加，先把 LLM 基座的训练效率做到极致，再针对多模态引入的新瓶颈逐项击破。多模态训练的上限，首先取决于语言基座的效率地基;地基不稳，上层优化再精细也是空中楼阁。
下文选取若干代表性方向加以说明。
针对 LLM 基座的优化:
CCT 算通传并行:打破 MoE 长序列训练的「显存-通信」二选一困局。MoE 模型做长上下文训练时，专家并行（EP）引入的 All-to-All 通信带来了显著通信开销。为隐藏这一开销，业界方案通常将计算模块细粒度拆分，但这一设计与长序列训练必备的全层重计算存在根本冲突。结果是，要么通信快但显存爆炸，要么显存省但通信慢，两者无法共存。LoongForge 提出 CCT(Computation-Communication-Transfer)通算传并行方案，引入显存 offload 策略，并将计算、通信、数据传输进行统一调度与编排，实现极致的 overlap，从而打破这一僵局。实测 Qwen3-30B-A3B32K 序列训练性能在 A800集群中提升16%;社区同类方案在相同条件下因显存不足直接 OOM，通信优化根本无法启用。
ChunkPipe 流水线并行:让超长序列训练在中小规模集群上真正可落地。上下文窗口持续拉长，1M 级别超长序列的训练需求正在成为现实。但在 TP、PP、EP 等并行度已占满有限集群资源的情况下，往往已无余量开启序列并行，使得训练任务无法运行。LoongForge 实现 ChunkPipe 流水线并行，将超长序列的显存开销从「随长度线性增长」转为「可控的固定开销」，不依赖序列并行即可突破显存瓶颈。
DSA 算子融合:针对 DeepSeek V3.2的稀疏注意力架构实现端到端加速。LoongForge 对注意力计算全链路进行了深度算子融合与优化，涵盖索引内核、稀疏注意力、MQA Absorbed KV 布局、序列拼接等多个关键环节。相比非 CUDA 融合版本，端到端训练性能提升约5倍。
针对多模态架构的优化:
DP 负载均衡:消除多模态数据异构带来的隐性算力损耗。多模态样本由单图、多图、视频、纯文本混合组成，序列长度差异极大。传统数据并行将样本平均分配到各 GPU，实则因 Attention 的二次复杂度特性，各卡实际计算量可能相差悬殊。LoongForge 构建了自动化的计算负载均衡机制，在每轮迭代前对样本分配进行动态重排，显著收窄各 Rank 间的负载差距。这是 LoongForge 在昆仑芯千卡级集群训练中实现90%+ 线性扩展效率的关键支撑之一。
模型异构并行:让 ViT 与 LLM 各用最优策略，而非被迫共享一套配置。典型 VLM 模型中，ViT 参数量约300M，LLM 主干可高达数百 B，两者相差数百倍。LoongForge 实现组件级异构并行，允许视觉编码器与语言主干各自独立配置最优策略，并进一步实现了 Encoder-Decoder 全分离并行训练，从根本上消除了视觉编码器引入的流水线负载不均与气泡损耗。实测 Qwen3-VL-30B32K 序列训练，相比社区方案端到端吞吐提升高达50%。
混合精度训练优化:
自适应 FP8:让混合精度训练「从全局统一配置」走向「按场景动态最优」。FP8虽然能显著提升训练效率，但在 MoE 小专家、高并行度、短序列，以及视觉-语言混合的多模态场景下，额外的量化开销可能导致性能回退。LoongForge 提出自适应 FP8（Selective FP8）机制，基于离线 benchmark 生成动态精度策略，在模型初始化阶段按层、按组件自动选择 FP8或 BF16，并支持 ViT 与 LLM 分别采用独立策略，避免「一套配置套全模型」的低效。这样既保留了 FP8的吞吐收益，又规避了不利场景下的回退;在 Qwen3-VL235B 的16K 训练中，实测相比全量 FP8进一步提升约10%。
硬件层:一套代码，多平台运行
GPU 侧通过 PyTorch/CUDA 原生对接 Megatron，完整保留原生训练的极致性能;XPU 侧通过插件化的 XPU_Plugin 硬件接入层，封装昆仑芯与 NVIDIA GPU 之间的底层接口差异，实现 Megatron 引擎的零侵入改造。
同一份训练代码仅需切换硬件环境变量，即可在 NVIDIA GPU 与昆仑芯 XPU 两大平台上无缝切换运行。
性能数据:在同等硬件条件下，数字说话
以下为 LoongForge 在多个典型场景下的实测表现，所有对比均为各框架相同硬件配置下最优可运行方案。
在同等 GPU 硬件与任务条件下，LoongForge 在主流模型上普遍实现15%～45% 的端到端训练加速。在 DeepSeek 等前沿架构上实现4.8倍性能提升，同时得益于显存层面的深度优化，相同硬件条件下可训练的序列长度显著增加。此外，在5000+ 卡昆仑 P800集群上，LoongForge 达到90%+ 的线性扩展效率。
典型案例:经过真实生产打磨的框架
LoongForge 的能力不来自 benchmark，而是在真实生产环境中持续打磨出来的结果。
案例1:LLaVA-OneVision-2.0
LLaVA-OneVision-2.0是一款全开源的全帧率多模态视觉语言模型。面向真实业务场景中的视频理解需求，该模型在不丢帧的前提下，重构了视频理解路径，优化了帧级信息提取与视觉编码方式，显著减少了冗余计算，从而将视频 token 消耗大幅降低。在显著降低成本与延迟的同时，其视频理解能力可达到与 Qwen3-VL 相当的水平。
在训练与优化过程中，LoongForge 提供了多模态训练框架层面的系统性支持。基于其在异构并行、负载均衡等方面的能力，模型训练的资源利用率和迭代效率获得了显著改善，为整体研发过程提供了稳定支撑。
案例2:LLaVA-OneVision-1.5
引入全新 RICE-ViT 视觉编码器的开源多模态模型。团队数天内完成新编码器适配，在128张 A800上完成8B VLM Stage-1.5预训练。
框架适配与性能优化全程开箱即用，验证了 LoongForge 快速支持新架构的工程能力。
案例3:千帆 VL 系列
Qianfan-VL 模型系列是面向企业级应用场景强化打造的多模态大模型系列，在保持通用多模态能力的基础上，针对产业落地中的高频场景进行了深度优化。
该系列涵盖3B、8B、70B 三个规格的企业级多模态大模型，全部基于昆仑芯 P800芯片，在5，000+ 卡的超大规模分布式训练系统上完成训练。训练过程采用3D 并行策略与通信 - 计算融合技术，实现了90% 以上的集群扩展效率，并高效完成了3T tokens 多模态数据的处理。
三个规格的模型共用一套框架代码，核心能力在生产环境中得到全面验证，充分证明了 LoongForge 在国产算力大规模集群下的稳定性与性能表现。
操作演示:YAML 配置驱动，开箱即用
LoongForge 将模型定义、训练策略、数据处理到权重管理的全流程，统一收敛到配置驱动的操作范式:一份 YAML 定义模型组网，一行参数切换并行策略，一条命令启动训练。如下展示从组网到训练的完整流程。
1. 模型组网:换基座，只需改一行配置
LoongForge 通过声明式配置，支持将不同模态组件灵活组合为完整的多模态模型。以 Qwen3.5-35B-A3B 为例，一份 YAML 即可完成视觉编码器、投影层与语言主干的组网:
如果需要将语言主干替换为 DeepSeek V3，仅需修改如下引用路径:
2. 训练配置:Megatron 用户零学习成本
LoongForge 保留 Megatron 原生参数风格，同时支持通过 Hydra 对不同组件独立配置并行策略与冻结策略。
基础训练参数（与 Megatron 兼容）:
组件级独立配置（Hydra 扩展能力），例如:
3. 加载权重:从离线转换到在线加载
LoongForge 既支持将 HuggingFace 权重离线转换为 Megatron 训练格式，也支持直接加载 HuggingFace 格式权重启动训练，跳过转换步骤。训练完成后可一键导出回 HF 格式，实现与下游社区生态的无缝衔接。
4. 处理数据:一条命令，数据就绪
LoongForge 内置数据预处理工具链，可将原始数据一键转换为框架兼容的数据格式。示例命令如下:
5. 启动训练:20+ 模型族，开箱即跑
LoongForge 对主流开源模型提供了完整支持。用户可在 GitHub 项目的 configs/models/ 目录获取模型组网配置示例，在 examples/ 目录获取数据预处理脚本与训练启动脚本。
完整的模型支持列表。
路线图:持续迭代方向
基于当前生产级实践，LoongForge 将聚焦以下方向持续迭代:
模型生态:持续扩充模型适配矩阵，覆盖 Kimi K2.6、DeepSeek V4等新开源基座，并增强对具身领域模型的深度支持。
长序列训练:完善百万级超长序列的训练支持，扩展策略兼容性，降低长上下文场景下的显存与资源门槛。
训练性能:从并行策略、算子融合、显存优化、通信调度等维度持续提升引擎效率，进一步释放大规模集群算力。
训推一体:打通训练与推理的协同优化链路，提供 MTP 扩展最佳实践，提升推理阶段的解码效率与端到端交付速度。
易用与工具链:持续降低模型接入与调优门槛，完善框架周边工具链，让开发者将更多精力回归模型创新本身。
工具决定速度，基础设施决定行业高度
科技史上有一个反复出现的规律:当一个领域的复杂性超出个人或小团队的驾驭边界，总会出现一个工具，把复杂性收进去，把创新的门槛降下来，然后这个领域的发展速度就会突然加快。
CUDA 让研究者无需掌握图形学知识就能利用 GPU 做通用计算，深度学习的规模化由此真正启动。PyTorch 把分布式训练、自动求导封装成可直接调用的工具，模型创新的速度因此大幅提升。
今天，多模态大模型训练正处于这样一个临界点。
OpenAI 核心基础设施构建者翁家翌在公开分享中多次强调:「当前大模型的竞争，拼的不是谁的 Idea 更精妙，而是 AI Infra 的正确性与单位时间内的迭代次数。」
他同时指出:「Idea 是廉价的，能被快速验证的 Idea 才值钱。」
真正拉开差距的，是同样算力下，谁能跑更多实验、谁能更快试错、谁能更稳定地训练出高质量模型。AI 工程与基础设施，正在成为大模型时代最核心的能力边界。
模型架构快速演进、数据形态高度异构、算力平台多元分化，这些复杂性已成为行业普遍的摩擦与损耗。LoongForge 所要做的，正是把这层复杂性收进框架，让开发团队把更多精力重新投入到模型创新本身。
当训练不再成为瓶颈，多模态时代的加速，才会真正开始。
LoongForge 采用 Apache2.0协议开源，让统一、高效、易用的训练能力，逐步沉淀为行业的公共基础设施，让更多有价值的 Idea 能被快速验证。
（推广）