首页 > 业界 > 关键词  > StreamingT2V最新资讯  > 正文

超越Sora!AI视频模型StreamingT2V可生成120秒超长视频

2024-03-26 14:05 · 稿源:站长之家

划重点:

StreamingT2V技术实现了长视频生成的突破,可生成高度一致且长度可扩展的视频。

⭐ 该技术核心构架包括条件注意力模块(CAM)和外观保持模块(APM),确保视频连续性和视觉质量。

⭐ 实现方法分为初始化、Streaming T2V生成和Streaming Refinement三个阶段,提高了视频生成的质量和分辨率。

站长之家(ChinaZ.com)3月26日 消息:近日,UT奥斯丁等机构提出的StreamingT2V技术引发了广泛关注,将AI视频生成推向了新的高度。这项技术突破了以往视频长度的限制,实现了生成高度一致且长度可扩展的视频。

image.png

StreamingT2V技术的核心构架包括条件注意力模块(CAM)和外观保持模块(APM)。CAM利用短期记忆单元确保视频连续性,而APM作为长期记忆单元保持视频中对象或场景的一致性。这两个模块的结合,使得生成的视频不仅动态连贯,而且视觉效果高质量。在测试中,研究人员用Streaming T2V生成1200帧,长达2分钟的视频。

具体实现方法分为三个阶段:初始化、Streaming T2V生成和Streaming Refinement。在初始化阶段,利用文本到视频模型创造视频的前16帧;接着进入Streaming T2V阶段,通过自回归技术生成后续帧,保证视频内容连贯性;最后,在Streaming Refinement阶段对生成的视频进行优化,提高画质和动态效果。

特色亮点包括:

  • 从文本描述生成2分钟的视频

  • 创建具有复杂动态运动的视频

  • 确保长视频中的时间一致性

该技术的出现标志着AI视频生成的新突破,不仅可以生成1200帧甚至无限长的视频,而且内容过渡自然平滑,丰富多样。与此同时,StreamingT2V技术的不断完善和提升也将进一步推动AI视频生成领域的发展,为视频内容创作提供更多可能性。

项目入口:https://top.aibase.com/tool/streamingt2v

论文地址:https://arxiv.org/abs/2403.14773

举报

  • 相关推荐
  • AI日报:字节将发布AI编程工具TRAE2.0版本;Mistral重磅推出音频模型Voxtral;月之暗面回应Kimi K2 API速度慢

    AI日报栏目聚焦AI领域最新动态:1)字节跳动将发布TRAE 2.0编程工具,新增语音交互功能;2)Mistral推出开源音频模型Voxtral,支持多语言;3)月之暗面回应Kimi K2API速度慢问题,正在优化系统;4)昆仑万维发布AgentOrchestra框架,实现多智能体协作;5)OpenAI前CTO创立的Thinking Machines Lab获20亿美元融资;6)Kimi-2上线,性能超越GPT-4.1;7)TRAE推出Kimi-K2模型服务,国际版支持Grok-4;8)字节跳动Seed团队开源POLARIS训练方法,提升小模型数学推理能力;9)ima网页版上线,提供更便捷的知识库访问体验。

  • 周杰伦发布第一条抖音视频:回顾成长史 粉丝超1200万

    今日上午11时,华语流行乐巨星周杰伦在其抖音账号“周同学”上发布了首部视频作品,以一段90秒的精彩视频回顾了自己的成长历程,迅速在网络上引发了广泛关注和热议。 视频中,周杰伦通过展示自己从小到大的珍贵照片,带领观众穿越时光,见证了他从童年到青年的蜕变。画面里的童年周杰伦,眼神清澈,笑容可爱,神态娇憨,让人不禁为之动容。尤为有趣的是,周杰�

  • 闪剪AI:一键生成数字人营销视频,助力商家轻松实现内容获客

    闪剪AI是一款专为营销视频制作设计的智能工具,主要解决实体商家和小白用户制作高质量营销视频的痛点。核心功能包括:1)一键生成数字人视频,支持定制专属形象;2)提供1000+数字人模特素材;3)多语种语音克隆,实现本地化内容;4)内置爆款文案素材库;5)智能成片功能简化制作流程;6)照片数字人让静态图片"开口说话";7)直播切片功能实时引流。该工具

  • AI日报:阿里通义开源音频生成模型ThinkSound;谷歌Veo3支态图片生成视频;昆仑万维发布 Skywork-R1V 3.0

    【AI日报】今日AI领域重要动态:1)阿里开源支持链式推理的音频生成模型ThinkSound,实现高保真空间音频生成;2)谷歌Veo3升级,支持静态图片生成生动视频;3)Hugging Face发布30亿参数小模型SmolLM3,性能优于Llama-3.2-3B;4)阿里开源网络智能体WebSailor,展现强大推理和检索能力;5)Moonvalley发布原生1080P视频生成模型Marey Realism v1.5;6)Vidu Q1支持最多七张参考图像生成一致性视频;7)苹果�

  • A日报:B站升级动漫视频生成模型AniSora V3;字节开源4D视频生成框架EX-4D;DeepSWE开源AI Agent系统强势登顶

    AI日报栏目汇总了近期AI领域的重要进展:1)字节跳动开源EX-4D框架,可将单目视频转换为多视角4D视频;2)B站开源动漫视频生成模型AniSora V3,支持多种风格;3)DeepSWE+开源基于Qwen3-32B的AI Agent系统;4)字节开源3亿参数图像编辑模型VINCIE-3B;5)Stability AI推出移动端音频生成模型Stable Audio Open Small;6)谷歌发布免费教育AI工具套件Gemini for Education;7)Topview推出革命性AI数字人带货技术Avatar

  • AI日报:智谱上线PPT生成功能AI Slides;可灵 AI 发布可图2.1模型

    本文介绍了AI日报栏目及近期AI领域多项突破性进展:1)智谱推出免费AI Slides工具,基于GLM模型快速生成高质量PPT;2)可灵AI发布可图2.1模型,支持180多种风格图像生成;3)NVIDIA推出DiffusionRenderer技术,实现视频到可编辑3D场景转换;4)墨刀AI新增30秒生成高保真原型功能;5)Higgsfield推出Soul ID工具,10张照片即可生成虚拟形象;6)谷歌DeepMind开源GenAI Processors工具库;7)谷歌Veo新增图像转视频功能;8)Mistral AI发布专为代码建模的Devstral2507系列模型。这些创新展示了AI在内容生成、3D建模、产品设计等领域的快速发展。

  • AI日报:美图发布影像AI Agent RoboNeo;1.8bit量化Kimi K2模型上线;亚马逊推AI代码编辑器 Kiro

    【AI日报】今日AI领域重要动态:1)美图推出RoboNeo,通过自然语言指令实现图片精修、品牌设计等全能影像处理;2)Unsloth AI将Kimi K2模型量化至1.8bit,体积缩减78%保持性能;3)谷歌Gemini嵌入模型登顶MTEB榜单,超越OpenAI;4)亚马逊发布免费AI代码编辑器Kiro,集成Claude模型;5)Claude新增应用工具目录功能提升工作效率;6)MiniMax完成近3亿美元融资,估值超40亿美元;7)UTCP新协议让AI代理直

  • 2499元起 荣耀平板GT2 Pro发布:3K电竞屏 第三代骁龙8

    今日,荣耀平板GT2 Pro发布,售价2499元起,国补优惠价2124.15元起,将于7月28日正式开售。 荣耀平板GT2 Pro可选冰晶白、幻影灰两款配色,搭载第三代骁龙8旗舰芯片,配备幻影引擎,游戏性能拉满,全面适配《穿越火线-枪战王者》原生165帧。 平板采用一块分辨率达3048 x 2032的护眼电竞屏,支持165Hz刷新率。

  • 共探AI视频新纪元:讯飞“绘镜开放麦”全回顾

    7月12日,科大讯飞与WaytoAGI联合主办的"绘镜开放麦"活动在杭州举行,汇聚全国百余位AI视频创作者探讨AI视频创作潜力。活动发布了"讯飞绘镜共创者计划",邀请视频爱好者参与AI创作。多位创作者分享了AI赋能视频创作的经验,讯飞工程师详解了AI视频生成技术原理,强调精准提示词的重要性。讯飞绘镜平台通过精细化提示词优化、角色DNA赋予等技术,提升视频生成质量。活动还展示了AI视频挑战赛优秀作品,6位获奖者获颁荣誉。WaytoAGI作为最大AI开源社区,将持续推动AI创作生态发展。

  • AI日报:12306 MCP Server上线;百度推AI搜索助手Tizzy.ai;ChatGPT录音模式面向Plus用户开放

    【AI日报】今日AI领域重要动态:1)百度推出无广告智能搜索助手Tizzy.ai,整合影视资源与深度思考功能;2)12306开源火车票查询引擎上线,采用FastAPI架构实现秒级响应;3)ChatGPT向Plus用户全面开放录音功能,支持实时记录与内容总结;4)开源SaaS模板FireGEO助力快速构建现代化Web应用;5)国产工具ReadMeX可一键生成高质量GitHub文档;6)百度AI助手新增视频通话功能,支持方言识别;7)Jackywine发布可成长AI伴侣"贝拉",具备情感学习能力;8)OpenAI将推出Agent模式,实现浏览器自动化与云端文件分析;9)MidJourney计划开放企业级API;10)MiniMax推出全栈开发功能,自然语言描述即可生成电商网站;11)Windsurf重新上线Claude Sonnet4模型,提升代码补全能力。