首页 > 业界 > 关键词  > 视频合成最新资讯  > 正文

革命性视频合成工具MAGVIT-v2 将视觉内容转化为大模型的标记

2023-10-12 11:53 · 稿源:站长之家

站长之家(ChinaZ.com)10月12日 消息:最近,卡内基梅隆大学、Google研究以及乔治亚理工学院联合推出了一项名为MAGVIT-v2的视频标记工具,它成功地将图像和视频输入转化为大型语言模型(LLM)可识别的标记。

image.png

项目地址:https://magvit.cs.cmu.edu/

MAGVIT-v2的独特算法让开发者可以实现令人惊叹的应用。从全景视频到智能去除、图像转动动画,再到自动翻转等等。MAGVIT不仅为创作者提供无限灵感,还为视频编辑带来前所未有的便捷性。

通过MAGVIT-v2的应用,LLM在视觉生成任务中的表现已明显超越了传统的扩散模型。视频标记化是将视觉内容(如图像或视频)转化为大型语言模型能够理解和处理的标记的过程。MAGVIT-v2的问世,毫无疑问为大型语言模型在视觉任务方面提供了崭新的机遇。

在视觉生成任务方面,这一新型标记工具已经展现出极大的潜力,可以明显改善模型的表现。总的来看,MAGVIT-v2的发布,预示着视觉生成领域的一次重大突破。

举报

  • 相关推荐
  • 女子骑车被鸵鸟“追尾” 监控曝光 儿子:每次看视频都忍不住笑

    追尾事故不稀奇,稀奇的是追尾的“车”是一只鸵鸟。 辽宁一名女子骑电动车出行,正好好地在路上走着,突然被一只鸵鸟从后方高速撞上。监控完整拍下了这一幕:鸵鸟飞奔而来,直接怼上电动车尾部,撞击后迅速跑离现场,动作行云流水,毫不拖泥带水。 女子被撞后摔倒在地,所幸只是膝盖轻微擦伤,并无大碍。 事后,女子的儿子说,事发地点在厂区门前的土路上,全�

  • 移动影院,随身体验:深度对比折叠屏看视频选哪个更好

    文章对比了多款热门折叠屏手机,为影音爱好者提供建议。华为Pura X Max凭借7.7英寸OLED内屏(2584×1828分辨率、10.7亿色、P3广色域、1-120Hz LTPO自适应帧率)、5300mAh大电池、立体声扬声器及视频HDR Vivid标准脱颖而出,支持AI动态图书和电影效果功能,外屏也适合单手刷短视频。iPad mini折叠版和小米MIX Fold 5虽有优势,但华为在软硬件优化上更全面,是追剧、看电影和刷视频的理想随身伴侣。

  • 小红书要用长视频“抢”什么?

    全网头部的长视频创作者们,开始悄悄流向小红书了? 旅行、摄影长视频创作者Links,作为B站连续三年百大UP主,一直被称为旅行摄影区的“天花板级”创作者。他视频中出现的画面,往往来自地球上最难以到达的角落。每一次更新,都有网友感叹,“又多了一个此生必去的地方。” 而不久前,全网累计拥有超过千万粉丝的Links,把一个长达36分钟的新视频,首发在了小红书。

  • 风波过后,长视频究竟在用AI做什么

    ​5月6日杨洋新剧《雨霖铃》的看片会上,谈及打戏,制片人侯鸿亮说:“在今天这个AI时代,恐怕也是最后一次这样手搓了。”正午阳光的第一部武侠剧,说出了最后一部的气魄,“手搓武侠”果然成为《雨霖铃》传播最广的标签。 经过整个4月影视行业对AI的激情鼓吹,大众的逆反情绪也确实该走到了反向造神环节。5月伊始,“手搓红利”显现。不管是民间自制的手搓爆款《

  • 扒了上百条AI爆款视频,我们得出了6点观察

    ​在社交媒体上刷到一条标注着“内容由AI生成”的视频,这件事正变得越来越常见。 无论是AI玩梗视频,还是走影视级路线的AI短片,又或是在原内容中注入各类AI元素的博主账号,可以说,AI正在重塑一部分内容生态。不久前,AI视频领域还出现了《纸手机》这样的现象级出圈之作。

  • 创作小队时代,腾讯视频的选择

    人类对AI的理解,终究还是保守了。 去年12月的海南岛国际电影节上,腾讯公司副总裁、腾讯在线视频董事长孙忠怀曾预测:“未来12个月将是AI长片涌现的窗口期”。 在当时看来,这个猜想已足够激进。然而仅仅四个月后的中国网络视听大会上,孙忠怀对AI带来的变化有了更强烈感受:“AI对影视创作的渗透速度超出了业内大多数人的预判,行业工作方式发生了根本性变化。”

  • 带着村里老人们拍视频“已读乱回” 男生回应:为了让他们开心

    最近,一个年轻人和一群老人的视频,在网上火得一塌糊涂。画面很简单:一个小伙子拿着“话筒”问问题,老人们一本正经地“已读乱回”,答非所问,却句句都是笑点。 这个年轻人叫林志鹏,是四川成都一个村子里的“留守青年”。他的视频里没有剧本,没有表演,就是村里爷爷、奶奶们的即兴发挥。可就是这样“粗糙”的内容,让无数网友笑着笑着就哭了。 “大森子”

  • 小狗靠捡瓶子攒10万?主人回应:大部分是拍视频赚的

    广州有只法斗犬,叫小白,因为一个特殊技能走红了——捡瓶子。网上甚至传言,它靠捡瓶子已经攒下了10万块钱。 最近,小白的主人出来澄清了。说实话,这笔钱还真不是靠卖废品攒出来的。小白捡瓶子确实是它的爱好,周边商户也很支持,经常会特意给它留空瓶。但10万块这个数字,绝大部分其实来自短视频平台的创作收益。简单说,是大家喜欢看小白捡瓶子,平台给的�

  • 2026年五款热门Vlog相机推荐:从佳能到索尼,谁的视频拍摄更顺手?

    随着短视频和Vlog成为主流表达方式,选择合适视频相机愈发重要。本文整理了五款关注度较高的机型:佳能R50V(轻巧机身,支持6K超采样4K、Log格式和10-bit色深,专为视频创作设计)、索尼ZV-E10(紧凑APS-C画幅,配备侧翻屏和指向性麦克风)、松下G100(M4/3画幅,内置三麦克风实现环绕声,音频采集出色)、尼康Z30(APS-C画幅,取消取景器,支持4K超采样和眼部自动对焦)、大疆Osmo Pocket 3(一体化手持云台相机,机械增稳,支持4K 120P慢动作)。这些相机各有侧重,从专业规格到便携易用,满足不同视频创作需求。

  • 小狗靠捡瓶子攒10万 主人回应:大部分来自短视频收益

    广州法斗小狗小白因常年捡瓶子走红网络,甚至有传闻称它已经靠这一技能攒下了10万元。面对大家的关注,小白的主人对此进行了澄清,解释了这笔款项背后的真实来源。 事实上,这笔收入并非仅靠卖废品积累,大部分其实来自短视频平台的创作收益。捡瓶子本身是小白的个人爱好,周边商户对此也非常支持,经常会特意为它预留空瓶。 在刚刚过去的五一假期,小白展现�

今日大家都在搜的词: