首页 > 业界 > 关键词  > AtomoVideo最新资讯  > 正文

阿里推AtomoVideo文本+图片生视频模型,媲美Gen-2和Pika

2024-03-11 08:56 · 稿源:站长之家

划重点:

1. 🌐 AtomoVideo介绍:阿里技术团队推出的文本+图片生成高保真视频模型,通过简单的文本提示和高清图片即可生成逼真高清视频。

2. 🚀 技术创新:AtomoVideo融合多粒度图片注入和时间建模,利用VAE编码器和CLIP编码器提高细节信息和文本语义的一致性,同时在时间维度上进行创新以学习时序动态模式。

3. 📊 评测数据:经深度比较,AtomoVideo在动作连贯性、图片一致性、时序一致性、运动强度等多个评估维度上超越开源模型VideoCrafter、I2VGEN-XL、SVD,媲美商业模型Gen-2Pika

站长之家(ChinaZ.com)3月11日 消息:阿里巴巴集团近期推出了一款引人瞩目的视频生成模型,命名为AtomoVideo。该模型以文本和图片为输入,能够高效生成高保真视频,与商业模型Gen-2和Pika相媲美。

AtomoVideo的使用非常简便,用户只需提供高清图片和简单的文本提示即可在短时间内生成逼真的高清视频,并保留细致的细节。据评测数据显示,AtomoVideo在动作连贯性、图片一致性、时序一致性、运动强度等方面超过了多个开源模型,表现出色。

image.png

该模型的技术创新主要体现在多个方面。首先,AtomoVideo使用了预训练的Stable Diffusion1.5作为基础模型,并在每个空间卷积和注意力层后新增了1D时序卷积和时序注意力模块。其次,模型融合了多粒度图片注入和时间建模,通过VAE编码器处理输入图片,得到细粒度的图片潜在表征,并与高斯噪声拼接在一起作为UNet的输入。此外,AtomoVideo还利用CLIP编码器进行高层语义表征,通过交叉注意力注入到UNet中,使模型能够同时捕捉到图片的细节信息和文本语义提示,提高生成视频与原始图片的一致性。

在时间维度上,AtomoVideo引入了一维时间卷积和时间注意力模块,在UNet的每一个空间卷积和注意力层之后,赋予了模型学习时序动态模式的能力。除了图片生成视频,该模型还可用于其他视频相关任务,如给定视频的前几帧,对剩余未知帧进行视频扩展预测,为视频添加无缝延续的新内容;基于上下文帧,自动修复受损帧或插值缺失帧,实现自动修复损坏的视频。

image.png

在训练阶段,研究人员采用了零终端信噪比和v-预测等策略,显著提升了生成视频的稳定性,无需依赖于噪声先验。通过最小化零终端信噪比来优化模型,在生成过程中更好地控制生成视频的稳定性和质量,以及对生成的细节和一致性的精准掌控。此外,固定了预训练的文本到图片模型的权重,仅训练新添加的时序层和输入层参数,使得AtomoVideo能够无缝集成到目前流行的个性化文生图模型、可控生成模型等,进一步扩展了其应用场景。

为了评估AtomoVideo的性能,研究人员在AIGCBench测试集上与多个开源模型和商业模型进行了深度比较,结果显示AtomoVideo在多个评估维度上表现卓越,尤其在保持较大运动强度的同时实现了优异的时间稳定性。这一创新性的视频生成模型将为AIGC领域带来更多可能性,引领视频生成技术的发展。

论文地址:https://arxiv.org/abs/2403.01800

项目入口地址:https://top.aibase.com/tool/atomovideo

举报

  • 相关推荐
  • 大家在看
  • SignLLM:首个多语种手语生成模型,优化手语翻译与教学。

    SignLLM是首个多语种手语生成模型,它基于公共手语数据构建,包括美国手语(ASL)和其他七种手语。该模型能够从文本或提示生成手语手势,并通过强化学习加速训练过程,提高数据采样质量。SignLLM在八种手语的生产任务上都达到了最先进的性能。

  • InstructAvatar:文本引导的情感和动作控制,生成生动的2D头像

    InstructAvatar是一个创新的文本引导方法,用于生成具有丰富情感表达的2D头像。该模型通过自然语言接口控制头像的情感和面部动作,提供了细粒度控制、改进的交互性和对生成视频的泛化能力。它设计了一个自动化注释流程来构建指令-视频配对的训练数据集,并配备了一个新颖的双分支扩散基础生成器,可以同时根据音频和文本指令预测头像。实验结果表明,InstructAvatar在细粒度情感控制、唇同步质量和自然度方面均优于现有方法。

  • AnyNode:ComfyUI的节点,能够根据用户指令生成任何类型的输出。

    AnyNode是一个为ComfyUI设计的插件,它利用LLMs(大型语言模型)的能力,根据用户的输入生成所需的输出。它支持使用OpenAI API或本地LLMs API,允许用户通过简单的配置和指令,实现复杂的编程任务,无需编写代码。该插件的主要优点包括易用性、灵活性和强大的功能,能够显著提高开发效率,尤其适合需要快速原型开发和自动化任务的开发者。

  • FlashRAG:高效的检索增强生成研究工具包

    FlashRAG是一个Python工具包,用于检索增强生成(RAG)研究的复现和开发。它包括32个预处理的基准RAG数据集和12种最先进的RAG算法。FlashRAG提供了一个广泛且可定制的框架,包括检索器、重排器、生成器和压缩器等RAG场景所需的基本组件,允许灵活组装复杂流程。此外,FlashRAG还提供了高效的预处理阶段和优化的执行,支持vLLM、FastChat等工具加速LLM推理和向量索引管理。

  • MusicGPT:在本地使用 LLMs 根据自然语言提示生成音乐。

    MusicGPT 是一款允许在任何平台上以高性能方式在本地运行最新音乐生成 AI 模型的应用程序。它支持文本条件音乐生成、旋律条件音乐生成以及不确定长度 / 无限音乐流。产品优势在于无需安装重型依赖如 Python 或机器学习框架,能够本地运行 AI 模型,提供自然语言提示生成音乐的功能。

  • AI Menti Builder:AI驱动的快速演示文稿制作工具

    AI Menti Builder是一个在线工具,它利用人工智能技术帮助用户快速创建演示文稿。这个工具能够根据用户输入的主题,即时生成一个可交互的演示文稿草稿,用户可以根据自己的需求进行调整和完善。它适用于团队会议、研讨会、讲座、调查、趣味测验等多种场合,大大减少准备时间,提高效率。

  • Copilot for Telegram:Telegram上的AI伴侣,智能聊天新体验。

    Copilot for Telegram是由微软推出的一款AI聊天助手,它通过GPT技术为用户提供智能聊天体验。用户可以与Copilot进行无缝对话,获取信息,享受更智能的聊天体验,所有这些功能都集成在Telegram应用中。Copilot for Telegram的主要优点包括提供个性化建议、娱乐内容、生活小贴士等,旨在提高用户的社交互动质量。

  • 一设MJ咒语解析:反向解析AI提示词的效率工具

    MJ咒语解析是一个专注于设计领域的工具,它能够帮助用户根据图片和绘画反向解析AI提示词,从而提高设计工作的效率和质量。该工具的背景信息表明,它是由一群对AI技术在设计领域应用充满热情的开发者所创建,旨在解决设计师在创作过程中遇到的提示词难题。

  • Marlee:AI协作与绩效助手,提升团队协作与个人发展。

    Marlee是一款致力于提升团队协作和个人绩效的AI工具。它通过个性化洞察,帮助团队成员在工作流程中相互促进,提供连接、激励、协作和发展的解决方案。Marlee利用科学支持的问题和分析,以高达98%的可靠性度量48种工作动机,帮助团队成员感到被看见和接受,从而在工作中展现最佳状态。此外,Marlee还提供人才招聘、人才发展、解决冲突、团队绩效和沟通等方面的帮助,以及在并购中预测文化协同的可能性。

  • Rehance:提升SaaS产品生产力的AI助手

    Rehance是一个AI助手插件,旨在为SaaS产品提供自动化任务执行和问题解答功能,帮助用户提高工作效率,简化复杂操作,并提供使用数据以优化产品。

  • HyperCrawl:专为LLM和RAG应用设计的高效网络爬虫

    HyperCrawl是第一个为LLM(大型语言模型)和RAG(检索增强生成模型)应用设计的网络爬虫,旨在开发强大的检索引擎。它通过引入多种先进方法,显著减少了域名的爬取时间,提高了检索过程的效率。HyperCrawl是HyperLLM的一部分,致力于构建未来LLM的基础设施,这些模型需要更少的计算资源,并且性能超越现有的任何模型。

  • 2D to 3D Image Converter:快速将2D图像转换为3D,开启全新的视觉体验和无限可能性。

    Stylar AI的2D to 3D Image Converter是一个强大的图像转换工具,它利用先进的Image-to-Image技术,将平面2D图像转换为3D图像。这款工具提供高质量的图像转换和多种风格选项,能够满足用户对图像进行3D化的需求。产品的主要功能包括上传图片、选择3D效果、下载3D创作等。它还提供了多种3D风格,如3D卡通效果、3D艺术作品等,以及将草图转换为3D设计的功能。

  • ComfyUI ProPainter Nodes:ComfyUI 实现的 ProPainter 框架用于视频修补。

    ComfyUI ProPainter Nodes 是基于 ProPainter 框架的视频修补插件,利用流传播和时空转换器实现高级视频帧编辑,适用于无缝修补任务。该插件具有用户友好的界面和强大的功能,旨在简化视频修补过程。

  • Play It, Say It:个人语言教练,助你像母语者一样发音。

    Play It, Say It 是一款结合了尖端AI技术和用户友好设计的个人语言教练APP,为初学者和多语言者提供全面的学习体验。通过真实生活例句、母语者发音、录音对比和无限学习等功能,帮助用户提高语言技能,实现流畅沟通。

  • What The Product:Chrome扩展,一键获取产品洞察

    What The Product是一款Chrome浏览器扩展,利用OpenAI ChatGPT技术,为用户提供对任何网站或产品的即时洞察。用户只需一键点击,即可生成详尽的报告,帮助用户评估新产品和网站。该插件免费使用,无需注册或登录,安装后即可立即使用。

  • All in AI:探索最佳的AI产品和工具

    All in AI是一个集合了多种AI产品和服务的平台,旨在帮助用户发现包括人工智能、大型模型学习、生成工具等在内的最佳AI产品和工具。平台提供了从图像生成、聊天机器人、文本写作到视频创作、代码辅助、设计辅助、教育学习、音乐生成等多种AI应用的导航和工具目录。

  • BestBlogs.dev:为开发者提供高质量编程、AI等领域阅读体验

    BestBlogs.dev 是一个专注于编程、人工智能、产品设计、商业科技及个人成长领域的阅读平台。它通过先进的语言模型,为开发者提供智能摘要、精准评分与多语言辅助,帮助用户高效过滤信息噪音,节约时间,实现技术与认知的双重飞跃。

  • Forloop:无需编码即可快速收集和自动化数据流程。

    Forloop是一个易于使用的AI工具,专为快速增长的数据团队设计,用于数据准备和管道管理。它支持从各种数据源创建管道,如数据仓库、存储和驱动器。无代码环境允许数据科学家独立于DevOps团队工作,主要针对AI初创公司和拥有机器学习产品的公司。

  • Make-An-Audio 2:基于扩散模型的文本到音频生成技术

    Make-An-Audio 2是一种基于扩散模型的文本到音频生成技术,由浙江大学、字节跳动和香港中文大学的研究人员共同开发。该技术通过使用预训练的大型语言模型(LLMs)解析文本,优化了语义对齐和时间一致性,提高了生成音频的质量。它还设计了基于前馈Transformer的扩散去噪器,以改善变长音频生成的性能,并增强时间信息的提取。此外,通过使用LLMs将大量音频标签数据转换为音频文本数据集,解决了时间数据稀缺的问题。

  • llama-fs:自组织文件系统,智能管理文件

    LlamaFS是一个自组织文件管理器,它基于文件内容和已知约定(例如时间)自动重命名和组织文件。支持多种文件类型,包括通过Moondream处理的图片和通过Whisper处理的音频文件。它有两种运行模式:批量处理(批处理模式)和交互式守护进程(监视模式)。在监视模式下,LlamaFS启动守护进程监视目录,拦截所有文件系统操作,使用最近的编辑上下文主动学习和预测您如何重命名文件。此外,它还具有“隐身模式”的切换功能,允许通过Ollama而不是Groq路由每个请求,以确保隐私。

今日大家都在搜的词: