首页 > 业界 > 关键词  > Make-Your-Anchor最新资讯  > 正文

Make-Your-Anchor:输入1分钟视频训练能生成带手部动作的虚拟人

2024-03-29 17:10 · 稿源:站长之家

划重点:

⭐️ 提出了一种基于扩散的二维头像生成框架,名为 Make-Your-Anchor

⭐️ 通过仅需一分钟的视频片段进行训练,实现了自动生成带有准确躯干和手部动作的锚点样式视频。

⭐️ 实验结果表明,在视觉质量、时间连贯性和身份保留方面,该系统在扩散 / 非扩散方法中具有更高的效果和优越性。

站长之家(ChinaZ.com)3月29日 消息:近日,一项名为 Make-Your-Anchor 的研究成果即将在 CVPR2024上展示。该项目输入1分钟视频进行训练,可以合成带手部动作的虚拟人视频,支持嘴型同步,支持换脸。

image.png

这一创新系统在创造与全身动作的锚点样式视频方面取得了重要突破,尽管基于说唱头像的创作解决方案已有显著进展,但直接生成具有完整躯干和手部动作的视频仍然具有挑战性。

该系统提出了一种全新的解决方案,仅需一个个体的一分钟视频片段进行训练,随后就能自动生成具有精确躯干和手部动作的锚点样式视频。具体而言,他们在输入视频上微调了一个结构引导的扩散模型,将3D 网格条件渲染为人类外观。为了将动作与特定外观有效地绑定,他们采用了两阶段训练策略来训练扩散模型。

image.png

为了生成任意长的时间视频,他们将帧间扩散模型中的2D U-Net 扩展到3D 样式,而无需额外的训练成本,并且提出了一个简单而有效的批次重叠的时间去噪模块,以在推理过程中绕过视频长度的限制。最后,引入了一种新颖的特定身份的面部增强模块,以改善输出视频中面部区域的视觉质量。不过这一项目代码还没发布。

经过比较实验,结果显示该系统在视觉质量、时间连贯性和身份保留方面的有效性和优越性,优于当前最先进的扩散 / 非扩散方法。这一创新的框架为头像生成领域带来了新的可能性和前景。

产品入口:https://top.aibase.com/tool/make-your-anchor

论文:https://arxiv.org/abs/2403.16510v1

举报

  • 相关推荐
  • 七夕“cos委托”走红:年轻人付费请人扮演虚拟恋人

    今天是七夕节,每到七月初七,甜蜜而又浪漫的浪潮奔涌而来。时至今日,七夕节对于现代人的意义依旧重大,随着社会的飞速发展,人们过节的方式似乎悄然发生了改变。 据媒体报道,在今年七夕节,一种名为Cos委托”的七夕约会走红网络,有年

  • 再次定义行业创新范式 跃然创新推出全球首款端到端 AI 玩具 CocoMate

    8月26日,跃然创新推出全球首款搭载端到端语音模型的AI玩具CocoMate系列。该产品采用可拆卸设计,配备3000mAh电池,支持4G和WiFi网络。依托端到端技术,具备丰富交互表现和拟人化情感能力,支持多重唤醒、主题游戏及聊天室等功能。新品将于8月27日开售,首发包含奥特曼及原创IP“泡泡”等角色,后续还将上线财神爷、塔罗猫等系列,目标人群从儿童延伸至成年人。

  • AI日报:阿里开源Qwen-Image-Edit;淘宝“AI万能搜”功能灰度测试;小红书发布DynamicFace人脸生成技术

    本期AI日报聚焦多项AI领域创新:1)阿里开源Qwen-Image-Edit图像编辑模型,支持中文渲染与精准文本编辑;2)淘宝测试"AI万能搜"功能,重构电商搜索体验;3)小红书发布DynamicFace人脸生成技术,实现高质量图像视频换脸;4)Gemini API新增URL Context功能,简化网页内容获取流程;5)Nvidia推出小型开放模型Nemotron-Nano-9B-v2,支持智能推理开关;6)马斯克发布Grok Imagine 0.1测试版,进军AI图像生成领域;7)Vercel推出iOS版AI开发工具v0;8)理想汽车发布MindGPT 3.1模型,处理速度提升5倍;9)ToonComposer工具简化动画制作流程;10)ElevenLabs推出视频到音乐生成流程。

  • 苹果首款折叠iPhone细节曝光:支持eSIM、Touch ID回归

    日前,知名科技记者马克古尔曼(Mark Gurman)曝光苹果首款折叠iPhone更多细节。 古尔曼透露,苹果折叠iPhone将配备四颗镜头,分别是外屏前摄、内屏前摄,以及两颗后摄。 另外,新款iPad Air、iPad mini和入门级iPad机型均配备了Touch ID电源键,这一功能可能会延续到折叠iPhone上,而非目前iPhone所使用的面部识别(Face ID)技术。

  • Matrixport 旗下 Cactus Custody 与 OnChain 合作,完成招银国际美元货币市场基金化上链

    新加坡Matrixport旗下合规数字资产托管商Cactus Custody与OnChain合作,将招商国际美元货币市场基金以化形式上链运营,成为全球首只港新互认基金上链案例。该合作解决市场缺乏可审计、可托管的现金类资产等痛点,通过链上净值计算、白名单管理等机制,为机构与合格投资者提供透明、合规的链上投资选项。未来双方将持续深化合作,推动RWA标准化发展。

  • AI日报:AI内容新规正式生效;美团推出开源大模型LongCat;阶跃发布语音大模型Step-Audio 2 mini

    AI日报栏目每日更新AI领域热点内容,聚焦开发者需求。本期重点包括:阶跃星辰发布端到端语音大模型Step-Audio2 mini,在多项基准测试中表现优异;9月1日起AI生成内容需强制标识;美团推出开源大模型LongCat;上海AI实验室发布多模态大模型InternVL3.5;腾讯ARC团队推出音频生成模型AudioStory;OpenAI发布实时语音模型GPT-realtime;Meta与UCSD合作推出DeepConf技术;xAI代码库遭窃事件;阿里巴巴Qwen团队发布GUI自动化框架;微软推出Copilot Labs实验中心;小红书自动化工具xiaohongshu-mcp上线。

  • AI最新资讯在哪里看?AIbase:高效获取国内外AI新闻头条与行业动态

    文章探讨了AI时代信息过载的困境:有价值的前沿动态、重磅模型发布和行业解读分散各处,筛选成本高、效率低下。AIbase资讯导航站应运而生,通过四大核心功能解决痛点:1)聚合主流信源,过滤低质噪音;2)结构化分类呈现大模型动态、行业应用等六大板块;3)提炼核心要点,拒绝标题党;4)高频更新确保信息鲜度。该平台致力于成为AI领域的"信息雷达",帮助用户节省70%信息搜集时间,将精力聚焦于思考与创造。适用于技术负责人快速掌握行业动态、产品经理调研案例、投资人捕捉趋势等多元场景。

  • 快手向量化引擎Auron 正式加入Apache孵化器

    快手开源的向量化引擎Auron(原Blaze项目)正式进入Apache孵化器,标志着项目发展的重要里程碑。Auron基于Rust开发,采用原生执行和向量化技术,相比Spark性能提升2倍以上,已在快手内部大规模应用并获多家企业采用。项目开源后社区活跃,未来将依托ASF开源治理模式,融入全球开源生态,获得更可持续的创新动能与影响力。

  • 百度APP发布AI星河计划,构建AIGC创作者全方位扶持体系

    8月29日,百度AIGC未来创作联赛颁奖典礼在京举行,活动汇聚众多高质量AIGC作品与优秀创作者。百度发布“AI星河计划”,投入亿级流量和千万现金补贴,通过流量扶持、涨粉加速、分成翻倍、多元变现等手段,构建全方位创作者专属成长扶持体系。该计划根据作者AI技术与内容创作能力区分4档创作者,提供定制化支持套餐,最高可享亿级流量池和3倍分成补贴。百度APP依托月活7.35亿流量池与技术优势,已成为AIGC内容平台市场头部玩家,期待与更多优秀创作者共建未来内容生态。

  • B站要变成AI站

    互联网平台都在跟AI结合,B站没有成为例外。从新一季度财报来看,B站的AI味儿也越来越浓了。 8月21日,B站公布第二季度业绩,总营收达73.4亿元人民币,同比增长20%。其中,游戏业务收入为16.1亿元,同比增长60%,广告业务收入为24.5亿元,同比增长20%。由此推动B站毛利率从去年同期的29.9%提升至36.5%,调整后净利润达到5.6亿元,创下历史最好成绩。 从整体来看,B站生态集聚

今日大家都在搜的词: