首页 > 传媒 > 关键词  > 文生视频大模型最新资讯  > 正文

快手发布对标Sora的视频生成大模型「可灵」 已开放邀测体验

2024-06-07 15:59 · 稿源: 站长之家用户

在OpenAI文生视频大模型Sora发布后,国内企业争相入局,国产文生视频大模型迈入加速阶段。近日,又一国产视频大模型加入战局,快手“可灵”视频生成大模型官网正式上线。相较此前各家放出的视频大模型以展示视频为主,本次亮相的可灵大模型不但效果对标Sora,且已在快手旗下的快影App开放邀测体验。

作为短视频领域头部玩家,快手在短视频视频技术方面有多年的深入积累,其视频生成大模型也有天然、广泛的应用场景。可灵大模型为快手AI团队自研,采用类Sora的技术路线并结合多项自研创新技术,具备诸多优势:1、能够生成大幅度的合理运动;2、能够模拟物理世界特性;3、具备强大的概念组合能力和想象力;4、生成的视频分辨率高达1080p,时长高达2分钟(帧率30fps),且支持自由的宽高比。具体而言:

可灵大模型能够生成大幅度的合理运动。可灵采用了3D时空联合注意力机制,能够更好地建模视频中的复杂时空运动。因此,可灵大模型不仅能够生成较大幅度的运动,且更符合客观运动规律,能够真正做到让想象力动起来。下面宇航员在月球上奔跑的例子中,随着镜头慢慢抬升,我们可以看到宇航员跑步的动作流畅轻盈,步态和影子的运动合理恰当。

prompt:一名宇航员在月球表面奔跑,低角度镜头展现了月球的广阔背景,动作流畅且显得轻盈

能够模拟真实物理世界的特性。得益于自研模型架构及Scaling Law激发出的强大建模能力,可灵大模型为我们构建起了一个无限逼近现实的想象空间,无论是真实世界的光影反射,重力影响下的流体运动,还是与物理世界的交互,可灵大模型都能够生成符合物理规律的视频。下面是小男孩吃汉堡的生成视频,一口咬下去,汉堡被咬掉一个大大的缺口,并在视频中一直保持。可以看到小孩咀嚼汉堡的享受表情,脸部的肌肉动态非常逼真。

prompt:一个戴眼镜的中国男孩在快餐店内闭眼享受美味的芝士汉堡

具备强大的概念组合能力和想象力。凭借模型对文本-视频语义的深刻理解和基于 Diffusion Transformer 架构学到的强大概念组合能力,可灵大模型能够将用户丰富的想象力转化为具体的画面,让创意触手可及。下面的视频展示了熊猫吉他手坐在湖边弹着吉唱着歌的想象场景。

prompt:一只大熊猫在湖边弹吉他

可灵大模型生成的视频分辨率高达1080p、时长高达2分钟(帧率30fps),且支持自由的输出视频宽高比。可灵大模型的自研3D VAE能够将视频编码到紧凑的隐空间并解码成带有丰富细节的视频,可以生成高达1080p分辨率30fps的视频。得益于有效的训练基础设施、极 致的推理优化和可扩展的基础架构,可灵大模型能够生成长达2分钟的视频。在推理过程中,还可以做到同样内容输出多种视频宽高比。下面的视频展示了分钟级的视频生成,我们可以跟随镜头,陪伴小男孩骑自行车游览花园,在一镜到底中欣赏春夏秋冬四季的风景。

(完整视频详见可灵官网)

大模型的生成效果取决于数据的规模和质量、以及大规模训练的效率。可灵大模型在研发过程中,配套建设了有效的大规模自动化数据解决方案,覆盖了海量视频挖掘、多维打标筛选、视频描述增强、及数据驱动的效果质量评估等多个方面。在训练过程中,采用了多种计算优化和通信优化方案,极大提升了GPU和网络带宽利用率,并通过自动故障检测和failover等机制,提供了分钟级故障恢复能力。保障了短时间内模型效果的快速提升。

快影App的AI创作功能中已正式开放文生视频功能的邀测,支持创作者申请并体验可灵大模型最 新的文生视频功能。图生视频功能也将于近期开放。

快影App还将在近期开放图生视频功能。基于可灵大模型,更多应用方向也已经或即将落地。例如,基于肢体驱动的“AI舞王”功能已在快手和快影App成功落地,用户只需上传一张全身或半身照片,即可体验一键跳舞的乐趣。近期还将首发上线“AI唱跳”新玩法,可以同时驱动表情和肢体动作,仅需一张照片就能生成唱跳“爱你”的生动视频。

随着AI大模型时代来临,作为头部短视频公司,快手已展开全面布局。公开资料显示,快手已先后发布通用大语言模型“快意”、文生图大模型产品“可图”,还推出了Direct-a-Video、Video-LaVIT、I2V-Adapter、UNIAA等视频关键技术,引发了广泛关注。据悉,伴随此次可灵大模型的发布,快手将持续加速大模型的研发与应用,带来更加多元的AI创作与互动体验。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • Gobi:个性化情绪健康指导APP

    Gobi是一款致力于提供个性化情绪健康指导的应用程序。它由一群对AI充满热情的团队开发,团队成员来自Google、Microsoft、Meta和Scale AI等知名公司。Gobi通过实时生成基于科学的语音指导健康实践,帮助用户管理情绪健康。产品的主要优点包括全天候的人性化健康支持、适应性AI个性化、实时健康实践生成、日常检查和情绪健康跟踪等。

  • DiT-MoE:大规模参数扩散变换器模型

    DiT-MoE是一个使用PyTorch实现的扩散变换器模型,能够扩展到160亿参数,与密集网络竞争的同时展现出高度优化的推理能力。它代表了深度学习领域在处理大规模数据集时的前沿技术,具有重要的研究和应用价值。

  • Picogen AI Image API:AI图像生成API,提供高质量的4K图像生成和编辑功能。

    Picogen AI Image API是一个领先的AI图像生成平台,提供与Midjourney, Stable Diffusion和DALL-E相媲美的高质量图像生成服务。它支持生成高达4K分辨率的图像,并且具备图像合并、背景移除和8K分辨率的图像放大等高级功能。Picogen旨在为数字营销人员、平面设计师、内容创作者等专业人士提供强大的视觉内容创作工具。

  • Colocio AI:一站式在线营销工具,由AI驱动,简化广告和内容创作。

    Colocio AI是一款集成了人工智能技术的在线营销工具,旨在帮助用户创建、评估和自动化在线广告活动。它通过AI技术生成高转化率的广告文案和社交媒体内容,提供无障碍的内容调度功能,以及实时的AI辅助和数据驱动的报告,帮助用户优化广告活动,提高性能。Colocio AI的背景是简化内容和媒体创作流程,专注于为品牌和目标受众量身定制内容,同时释放用户时间,让他们专注于战略规划和与受众互动,推动业务创新和增长。

  • Supermemory.ai:你的个人数字第二大脑

    Supermemory是一个致力于帮助用户组织、搜索和利用保存信息的平台。它提供强大的工具,如搜索引擎、写作助手和画布,旨在成为用户的个人第二大脑。它注重隐私保护,可在任何地方工作,支持自托管,并且价格亲民,提供免费层级。

  • Dialed:个性化AI激励演讲,激发潜能。

    Dialed是一款AI驱动的应用程序,旨在通过个性化的激励演讲来激发用户的潜能。无论是健身、演讲还是日常挑战,Dialed都能提供个性化的激励和启发。产品的主要优点包括个性化的激励演讲、真诚的支持、传奇的演讲定制、多种声音选择、背景音乐以及AI生成的激励图像。此外,Dialed还允许用户将激励演讲分享给朋友和家人。

  • Aphrodite-engine:PygmalionAI的大规模推理引擎

    Aphrodite是PygmalionAI的官方后端引擎,旨在为PygmalionAI网站提供推理端点,并允许以极快的速度为大量用户提供Pygmalion模型服务。Aphrodite利用vLLM的分页注意力技术,实现了连续批处理、高效的键值管理、优化的CUDA内核等特性,支持多种量化方案,以提高推理性能。

  • ICSFSurvey:深入研究大型语言模型的内部一致性和自我反馈

    ICSFSurvey是一个关于大型语言模型内部一致性和自我反馈的调查研究。它提供了对LLMs自我评估和自我更新机制的统一视角,包括理论框架、系统分类、评估方法、未来研究方向等。

  • Stable Audio Open demo:从文本提示生成立体声音频

    Stable Audio Open 是一个能够从文本提示生成长达47秒的立体声音频的技术。它包含三个主要组件:一个将波形压缩到可管理序列长度的自编码器、一个基于T5的文本嵌入用于文本条件、以及一个在自编码器的潜在空间中操作的基于变换的扩散(DiT)模型。该技术在生成音频方面表现出色,能够根据文本提示生成各种类型的音频,如打击乐、电子音乐、自然声音等。

  • Claude Engineer:利用Anthropic的Claude模型辅助软件开发任务的高级命令行界面。

    Claude Engineer是一个高级的命令行界面,它利用Anthropic的Claude 3和Claude 3.5模型的能力,来协助完成广泛的软件开发任务。这个工具无缝地结合了最先进大型语言模型的能力与实用的文件系统操作、网页搜索功能、智能代码分析和执行能力。

  • Aiuni:探索3D虚拟世界,体验梦想家宇宙。

    Aiuni是一个提供3D虚拟世界体验的平台,用户可以在这里创建和探索个性化的3D模型,享受沉浸式的宇宙探索之旅。Aiuni以其创新的3D技术、丰富的互动性和高度的个性化定制,为用户提供了一个全新的虚拟体验空间。

  • Morphic.com:创新故事讲述的未来,使用突破性技术。

    Morphic Studio是一个利用先进人工智能技术,为创意产业带来革命性变化的在线平台。它提供了从构思到最终故事的全面工具,包括画布(Canvas)和视频编辑器,以及Morphic Playground,允许用户通过简单的消息创建资产。Morphic Studio旨在为创意专业人士,如游戏设计师和电影制作人,提供工具,以减少产品上市时间,并提高创作效率。

  • RapidOCR:快速、多语言支持的OCR工具包

    RapidOCR是一个基于ONNXRuntime、OpenVINO和PaddlePaddle的OCR多语言工具包。它将PaddleOCR模型转换为ONNX格式,支持Python/C++/Java/C#等多平台部署,具有快速、轻量级、智能的特点,并解决了PaddleOCR内存泄露的问题。

  • 百度智金・金融智能体:依托大模型技术,助力金融智能化转型,降本增效。

    智金・金融智能体是基于百度领先的大模型技术,结合多年的金融行业知识,专为金融从业人员设计的智能化解决方案。该产品通过智能化的咨询、交易引导和报告生成等功能,旨在提升金融业务的效率与合规性,帮助用户在信贷、投资、监管和保险等多个场景实现数字化转型。定位为金融行业的智能助手,智金・金融智能体通过 AI 技术为客户提供了高效、准确的支持,降低了人力成本并提高了服务质量。其背景源自百度在 AI 领域的深厚积累,价格策略灵活,具体情况可咨询客服。

  • Proton Scribe:智能隐私优先的邮件写作助手

    Proton Scribe是一个集成在Proton Mail中的智能写作助手,它以隐私优先,可以帮助用户撰写和润色邮件草稿,节省撰写邮件的时间,同时保护最敏感、最有价值的数据。Proton Scribe设计为本地运行,确保用户数据不会离开设备。Proton一直致力于研究保护隐私的AI技术,并在2023年推出了Proton Sentinel,这是第一个利用AI提供增强账户保护的功能。Proton Scribe也是开源的,可以进行独立的安全和隐私审计。

  • Dialog AI:先进的对话式AI面试平台,提升招聘效率。

    Dialog AI 是一个利用人工智能技术进行面试的在线平台,它通过自动化面试安排、实时AI面试和即时反馈报告,帮助企业简化招聘流程,提高面试效率和候选人满意度。该平台支持24/7的面试安排,确保公平一致的面试过程,并提供定制化的反馈报告,帮助企业做出更有信心的招聘决策。

  • ENSTANT 智云即弹:全档位AI吉他,让音乐创作更自由。

    ENSTANT 智云即弹是一款结合人工智能技术的吉他学习与创作应用,它通过模拟真实吉他的演奏体验,为用户提供了一种全新的音乐创作和学习方式。该产品利用先进的AI算法,能够即时生成和弦和旋律,帮助用户快速掌握吉他演奏技巧,激发音乐创作灵感。智云即弹以其创新性、易用性和强大的功能,为吉他爱好者和音乐创作者提供了一个便捷的音乐创作平台。

  • AI文本检测器:确保文本原创性,防止抄袭的AI检测工具。

    AI文本检测器是一款专业的AI检测工具,利用先进的AI技术,为用户提供文本原创性检测服务。它通过多种检测模型,如Chatgpt Detector Roberta、Roberta-Large OpenAI Detector和Roberta Academic Detector,确保检测结果的准确性和可靠性。该工具不仅免费使用,还支持多语言,响应速度快,并且强调用户隐私和数据安全。

  • story-writing:使用LangGraph代理帮助用户编写故事

    story-writing是一个基于LangGraph Cloud的应用程序,旨在以一种有趣且互动的方式展示LangGraph Cloud的功能。该应用程序允许用户在LangGraph代理的帮助下编写故事,用户可以编辑已经写好的章节,或者继续编写下一章。用户可以有多个相同章节编号的版本,并选择他们最喜欢的版本继续故事。在开始时,用户提供故事摘要、所需的写作风格和对故事重要的任何其他细节。从那时起,他们只需要提供编辑和继续指令,以引导代理朝期望的方向发展。注意:这个应用程序是一个原型,尚未准备好部署,可能会有bug或代理的输出结果不佳。

  • Zenquiz:智能生成考试复习题

    Zenquiz是一款将学习笔记转换为考试复习题的在线工具。它利用AI技术帮助学生、教师和企业用户提高学习效率和教学体验,通过个性化的选择题、判断题和填空题来强化记忆并准备考试。产品背景是教育领域的数字化转型,主要优点包括个性化学习、节省时间、增强记忆和提升参与度。

今日大家都在搜的词:

热文