首页 > 业界 > 关键词  > 视频合成最新资讯  > 正文

革命性视频合成工具MAGVIT-v2 将视觉内容转化为大模型的标记

2023-10-12 11:53 · 稿源:站长之家

站长之家(ChinaZ.com)10月12日 消息:最近,卡内基梅隆大学、Google研究以及乔治亚理工学院联合推出了一项名为MAGVIT-v2的视频标记工具,它成功地将图像和视频输入转化为大型语言模型(LLM)可识别的标记。

image.png

项目地址:https://magvit.cs.cmu.edu/

MAGVIT-v2的独特算法让开发者可以实现令人惊叹的应用。从全景视频到智能去除、图像转动动画,再到自动翻转等等。MAGVIT不仅为创作者提供无限灵感,还为视频编辑带来前所未有的便捷性。

通过MAGVIT-v2的应用,LLM在视觉生成任务中的表现已明显超越了传统的扩散模型。视频标记化是将视觉内容(如图像或视频)转化为大型语言模型能够理解和处理的标记的过程。MAGVIT-v2的问世,毫无疑问为大型语言模型在视觉任务方面提供了崭新的机遇。

在视觉生成任务方面,这一新型标记工具已经展现出极大的潜力,可以明显改善模型的表现。总的来看,MAGVIT-v2的发布,预示着视觉生成领域的一次重大突破。

举报

  • 相关推荐
  • 保时捷女销冠称被合成AI不雅视频 本人:坚决追究涉案人员的法律责任

    近日青岛保时捷销售中心的工作人员牟女士称,近期发现由AI恶意合成的虚假视频和不良视频,对其进行诽谤和侮辱,她已报案。当事人表示,她坚决追究所有涉案人员的民事及刑事责任。 牟女士在接受采访时表示,她之前曾经历过被人造黄谣,但这次不太一样,造谣视频在不断发酵,可能有900多万浏览量,还有人给我打电话,说一些不合适的话。 公开报道显示,牟女士今�

  • 青岛保时捷女销冠被人用AI合成不雅视频 涉事男子被行拘 手写悔过书

    日前,青岛保时捷中心销售冠军牟倩文发文称,近期发现有人利用AI技术恶意合成虚假、不良视频,这些视频是百分之百伪造的”,并表示对造谣者宣战”。 今日,牟倩文在社交平台再发文,晒出青岛市公安局李沧分局行政处罚决定书。 行政处罚决定书显示,一男子在群内转发牟某文照片图文并搭配不雅视频,对其侮辱,后被查获。

  • 豆包语音合成模型 2.0 重磅升级,语义理解 + 情感演绎双突破

    10月16日,火山引擎升级豆包语音合成模型2.0与声音复刻模型2.0。新模型基于大语言模型架构,具备深度语义理解能力,实现从文本朗读到情感表达的进化。对话式合成支持多轮交互,声音复刻仅需5秒即可还原音色。针对教育场景优化,复杂公式符号朗读准确率达90%,覆盖数学、化学等全学科。目前模型已在火山引擎语音平台上线,为OPPO、Keep等客户提供多场景语音服务。

  • 保时捷女销冠被合成AI不雅视频:称被造黄谣已报案

    近日,连续两年蝉联青岛保时捷中心销售冠军的女销售牟倩文,因遭遇AI伪造视频恶意诽谤事件引发广泛关注。这位在2023年、2024年累计售出170台保时捷的销冠,通过个人社交账号发布声明称,近期发现大量利用AI技术合成的虚假视频在网络传播,这些视频内容纯属伪造,已对其个人名誉及正常生活造成严重影响。 据牟女士介绍,不法分子不仅通过AI技术制作与其面部特征相似�

  • 做乐园,长视频拥抱线下的终极大考

    如果说过去十年中国长视频平台的竞争重点一直在“内容规模”、“会员数”与“时长争夺”这些线上指标上,那么进入2024–2025年之后,这场竞争的重心,正在悄然转向“线下”。 随着短视频、短剧对注意力的强势分流,用户的付费意愿、广告主的投放信心以及内容本身的价值空间都在被压缩,单纯依靠“剧好看”、“综艺够爆”已经无法支撑起平台增长的想象力。 一个�

  • 投身短视频后,「极客」们不再孤单

    「Geek」一词在互联网和科技产业的崛起过程中,本来仅指向比尔·盖茨、史蒂夫·乔布斯等对计算机科学和技术充满热情的人。在当下语境中,其含义则不断拓展,成为智慧、专业、创新和热情的代表,对某一领域或技术极度痴迷并具备深入了解、精通能力的人,都可称之为「极客」。 在科技发展普及、不断平权的当下,极客们拥有了更蓬勃的创造活力。今年来,以抖音、b站

  • Sora App的AI视频社交,给了百度们新希望

    Sora2发布两周后,百度的蒸汽机AI视频模型,和谷歌Veo3.1撞了档期。 两家公司选择同期发布并非有多默契,而是Sora2带来的压迫感促使它们不得不加快脚步。 奥尔特曼将形容Sora2为“创意领域的ChatGPT3.5时刻”,不仅在物理逻辑、画面连贯性、真实感和音画同步等方面实现了质的飞跃,还把Sora从一个“文本到视频”的工具进化成一个“创意到生态”的平台。 这无疑是扔在AI视�

  • 短视频加速跑入AI时代

    「现在是西天取经的第996天,刚把师父从妖怪嘴里救出来,师父身上都还是热乎的,我们就马不停蹄开始出发了。」在抖音,都能看到《西游记》里师徒四人的取经vlog了。 采访高考完刚出考场的爱因斯坦、孟德尔、门捷列夫;慈溪逛颐和园Vlog、大禹治水现场直播,各种AI生成的视频成为网友「玩梗搞抽象」的核心生产力。 尽管在专业影视

  • 拆解英皇商业生态:从珠宝、地产到文化产业,杨受成的跨界方法论

    英皇集团在杨受成、杨政龙父子带领下,以钟表珠宝起家,逐步构建横跨娱乐、金融、地产的跨界生态。其核心在于业务互嵌与价值共生:娱乐产业注入品牌活力,地产提供稳定现金流,金融实现风险对冲。这种"反脆弱"结构使集团在2008年金融危机中平稳过渡。两代人传承中,杨政龙更注入数字化与可持续发展理念。深厚的文化认同与社会责任成为生态体系的精神支柱,印证真正跨界需长期主义——业务互相滋养、风险分散平衡、文化凝聚人心,方为可持续发展之道。

  • 情侣自拍“一语成谶”:手机放地上 真被小狐狸配合叼走

    近日,一段拍摄于新疆景区的趣味视频在网络上迅速走红,引发众多网友关注与讨论。 10月7日傍晚,在克拉玛依市艾里克湖,情侣偶遇一只小狐狸在湖畔悠然漫步,随后将手机放地上自拍时,男生开玩笑称它不会把我们手机叼走吧”,不料一语成谶。 这句话刚说完不久,小狐狸似乎听懂”了一般,径直上前一口叼起地上的手机转身就跑。 这戏剧性的一幕也被手机完整地记�

今日大家都在搜的词: