首页 > AI头条  > 正文

京东开源视频实时编辑模型:30 帧秒级推理,边看边改重新定义视频创作

2026-08-05 11:04 · 来源: AIbase基地

京东宣布开源自研实时流式视频编辑模型 JoyAI-Video-Edit,用户可以一边观看视频一边修改人物与场景,让视频创作从"先有素材再修改"变为可实时互动编辑。京东官方表示,在流式实时视频编辑方向,该模型对比当前业内代表性模型各项指标全面领先,达到世界一流水平。

image.png

视频实时编辑首先要解决速度问题。视频由一帧帧连续画面组成,如果模型处理速度跟不上播放速度,就会出现卡顿与延迟。JoyAI-Video-Edit 基于全自研 JoyAI-Video 模型,在 720P 分辨率下实现每秒 30 帧的模型推理速度,能够在保持较高画面清晰度的同时跟上常见影视视频的播放节奏。

视频长度也是流式编辑的一道门槛。此前流式编辑模型只能处理几秒或分钟级片段,而 JoyAI-Video-Edit 支持任意时长的稳定流式编辑,可以随着视频持续播放、持续处理。用户不必等待整段视频生成完成,就能在播放过程中实时修改场景、替换物体、调整人物形象或改变画面风格,实现"边观看边创作"。

权威评测全面登顶,四类编辑任务优势突出

为评估模型能力,研究团队将 JoyAI-Video-Edit 与 SANA Streaming、LiveEdit、Xmax-X2.0 等国际代表性流式视频编辑模型进行对比。结果显示,在覆盖典型视频编辑场景的评测数据中,JoyAI-Video-Edit 整体效果全面领先。

在业界权威的 OpenVE-Bench 通用评测中,该模型超越了目前所有的流式编辑方法,在全局风格、局部替换、局部删除和字幕编辑等任务中优势尤其突出,大幅领先行业同类模型。具体应用场景上,创作者可以让视频中的人物连续更换服装,在直播中把普通街道变成动画世界,也可以在家装设计中尝试不同的家具、墙面和灯光效果。

不止视频创作,还能为机器人"量产"训练数据

值得关注的是,JoyAI-Video-Edit 还为具身智能数据大规模合成提供了新的技术路径。机器人训练需要大量物体抓取、搬运与操作视频,但真机数据采集成本较高,危险或少见场景也难以反复采集。

依托对场景、物体与画面内容的可控编辑能力,JoyAI-Video-Edit 可将人手操作视频转化为机械手或机械臂操作素材,并在保留物体位置、空间关系与动作轨迹的基础上,替换场景、物体与机器人形态,让一段视频扩展出更多训练样本。从视频创作到机器人训练数据合成,这款模型的开源或将为多个赛道同时打开新的想象空间。


  • 相关推荐
  • AI日报:京东开源视频实时编辑模型;Qwen-Image-3.0上线;腾讯混元发布Hy ASR 3.0 preview

    本期AI日报聚焦八大突破:京东开源实时视频编辑模型;阿里千问图像生成开放API;腾讯混元语音识别读懂语境;字节全双工SeedRealtime上车豆包;马斯克Grok 4.6将灌入SpaceX数据;影石硬件联手千问推出语音助手;Mistral开源3B多模态审核模型Shieldstral;宇树科技机器人冲刺科创板IPO。

  • 京东开源JoyAI-Video-Edit模型!实现视频边播边改:综合性能全球领先

    京东正式开源自研实时流式视频编辑模型JoyAI-Video-Edit,打破传统视频先成片再剪辑的固有模式,实现播放画面同步实时修改,在流式实时视频编辑方向的各项指标全面领先,达到世界一流水平。 依托JoyAI基础大模型底座,设备在720P分辨率下可稳定实现30帧实时运算,画面处理无明显延迟卡顿,适配常规视频播放同步修改需求。模型摒弃行业只能剪辑短视频片段的短板,支持超

  • 规避千篇一律,AI视频创作沉淀个人风格和模板什么工具好?

    AI视频创作常因零散工具无法固化风格参数,导致画面同质化、个人风格难以沉淀。文章推荐AI创作平台updream,其Skill画布功能可将剧本、人物、光影等全流程封装为专属模板,永久复用;Skill社区能共享并改造成熟经验。平台还支持全链路溯源、独家IP创作和自主把控创作节奏,帮助创作者彻底摆脱流水线式撞款,高效沉淀可复用的个人风格。

  • AI视频创作选哪个省钱省Token?从成本账看4款Seedance产品差异

    AI视频创作成本远不止显性的Token或会员费,更关键的是时间、试错、返工、学习等隐形成本。文章从创作者经济视角,解析了接入Seedance模型的四款主流工具的四种成本模式:1)沉淀型,前期投入高但复用后边际成本递减;2)按需型,门坎低但无规模效应;3)混合制,功能拆分易产生切换成本;4)捆绑型,功能轻量化。不同模式匹配探索期、成长期、成熟期创作者的需求。行业竞争正从功能比拼转向成本结构竞争,谁能帮助创作者建立高效、可复用、低成本的工作流,谁就能赢得未来。

  • 小熊钢钢好饮水机Pro全链路抑菌升级,重新定义“一杯好水”

    小熊电器钢钢好饮水机Pro上市,主打全链路抑菌。采用316L不锈钢水箱和管路、紫外线杀菌等技术,实现健康饮水。新增咖啡、泡茶模式及±1℃精细调温,满足多样需求,配偏硅酸富锶滤芯优化水质。一键蒸汽清洁免去手动清洗烦恼,4L大水箱兼顾便捷,已在天猫开售。

  • 不止翻译工具:时空壶X1Meeting重新定义现代国际会议的沟通边界

    跨国会议常困于翻译短板:人工同传稀缺昂贵,软件难处理多方自由讨论,传统设备仅支持双人对话。时空壶X1Meeting以会议级同传方案破局,通过骨声纹拾音、专用算力、弱网压缩与双模式AI引擎,重构多语种圆桌场景的即兴交互体验。独立硬件终端免布线、免装APP,支持线上线下混合会议,让专业级多人多向同传从高端峰会标配降为中小企业常态,实现平等自由的思想碰撞。

  • AI视频创作选哪个更划算省token?盘点4款Seedance工具区别

    AI视频创作选工具,本质是选成本结构。本文剖析四款集成Seedance的主流工具:**updream**属沉淀型,前期磨合后复用工作流,长期单位成本最低,适合系列化生产;**即梦AI**按需付费,门槛低、灵活无压力,适合新手或偶尔玩玩;**剪映**后期为主、AI为辅,适合有剪辑基础、AI仅做补充的实拍创作者;**豆包**附赠式体验,适合会员随用或快速验证创意。核心提醒:算账勿只看积分价格,时间和返工才是最大隐性成本。工具可搭配使用,比选对更重要的是先行动起来。

  • AI视频创作选哪个剪辑工具省钱省Token?优选一站式平台updream

    AI视频创作常因多工具切换、素材反复生成导致高成本低效。核心理清:碎片化工具增加时间和算力双重消耗。源头解法是选一体化的AI创作平台,如updream。它借可视化工作流、成熟模板复用、内置编辑与消耗可溯源,大幅减少无效Token浪费,且独有热门IP素材,兼顾省钱与专业出品。

  • 善意流动,万物共生:网红产业带共创之旅重新定义跨境价值创造

    敦煌网邀海外创作者开启深广义共创之旅,摒弃纯流量变现,构建三方深度对话的共生场域。四位网红将社群洞察转化为能量蜡烛、熟龄护肤等原创品牌,依托中国柔性供应链落地。模式从先有货再找人,变为社群共创建品牌,工厂从代工升级为海外IP长期伙伴,摆脱低价竞争。共赢机制让创意、制造与用户需求双向奔赴,沉淀可持续资产,开启商业新可能。

  • AI视频创作工作台哪个好?4款接入Seedance主流工具实测对比

    2026年AI视频工具的核心不在于底层模型,而在于上层工作台。同样是Seedance模型,不同平台体验迥异:**updream**主打Skill社区与Agent引导,适合做系列内容的专业创作者;**即梦AI**门槛最低,主打轻量快速生成,适合纯新手;**剪映专业版**强在后期编辑与AI结合,适合有剪辑基础的创作者;**豆包**以自然的对话交互取胜,适合快速试错。选择关键是看需求,没有最好只有最合适,建议组合使用,先上手边做边学。

今日大家都在搜的词: