首页 > AI头条  > 正文

开源版Heygen来了?TANGO可根据音频无限生成匹配的全身视频

2024-10-16 10:26 · 来源: AIbase基地

TANGO,一个接近HeyGen的强大解决方案。这个创新项目不仅支持面部和唇形同步,更令人惊叹的是,它能够生成与音频完美匹配的全身动作视频。

TANGO的核心优势在于其独特的生成逻辑。首先,系统会分析用户提供的短视频样本,构建一个包含各种身体姿势和动作转换的"动作图谱"。

然后,它会根据输入的音频内容,选择最佳的动作序列。最后,通过生成流畅的过渡帧,创造出自然逼真的动作视频。这种方法使得TANGO能够从短短几十秒的样本视频中,生成无限量的、与音频匹配的全身动作视频。

TANGO项目的技术基础建立在层次音频运动嵌入和扩散插值算法之上。这些先进技术使系统能够精确理解音频中的语音特征,并将其转化为相应的手势动作。

同时,扩散插值技术确保了动作之间的过渡自然流畅,避免了突兀的切换,大大提升了视频的整体观感。

对于开发者和技术爱好者来说,TANGO的开源性质无疑是一个巨大的吸引点。它为进一步的创新和改进提供了广阔的空间。例如,通过结合快手开源的LivePortrait等唇形同步项目,开发者们有望创造出更加完整、逼真的AI视频生成系统。

TANGO的应用前景十分广阔。对于教育工作者、内容创作者,甚至是普通用户,TANGO都提供了一个简单易用的界面。用户只需上传音频文件,就可以生成相应的手势视频,大大简化了视频制作过程,使创作变得更加轻松和高效。

然而,我们也需要认识到,尽管TANGO在全身动作生成方面取得了突破性进展,但目前开源的HeyGen类似项目在某些方面仍有局限。大多数项目主要支持面部和唇形同步,而在更大范围的肢体运动生成上还有待提高。

项目地址:https://pantomatrix.github.io/TANGO/

  • 相关推荐
  • 全球首款生成式人形机器人运动大模型发布:可根据指令生成跑步、舞蹈等连贯动作

    今日上午,国家地方共建人形机器人创新中心联合复旦大学未来信息创新学院,正式发布了全球首款生成式人形机器人运动大模型 龙跃”(MindLoongGPT)。 龙跃大模型以自然语言驱动”为核心,构建了从多模态输入到高保真动作生成的完整闭环,颠覆传统运动控制范式。 也就是说,用户无需学习专业术语或操作复杂软件,仅需像与人类对话一样发出指令,例如以优雅的姿势递

  • AI智能生成2万封邮件,全球首款外贸信AI Agent亮相

    2025年印尼雅加达国际工业周于6月4-7日盛大开幕,米奥兰特推出全球首个展会场景外贸AI+Agent系统,实现"沟通即生成"的智能贸易新模式。展会吸引超4.5万专业买家,AI预展平台和智能体技术驱动下,买卖对接率突破50%。核心亮点包括:1)AI眼镜支持128种语言实时翻译,打破语言壁垒;2)外贸信AI Agent自动生成含产品参数、运输条款等定制邮件,10分钟完成传统需通宵的工

  • 全身瘫痪小伙带全家住集装箱种菜:希望用双手创造价值

    在重庆某乡村,有一处特别的景象:几个大棚旁,一个集装箱静静伫立,里面住着特殊的一家人。36岁的黎夏全身瘫痪,仅有手指和脚趾能轻微活动,却带着母亲和妹妹在此开启了种菜生活。 一家人最初住进集装箱时,条件十分艰苦。集装箱空间狭小,生活设施简陋,但他们没有被困难吓倒。黎夏的母亲和妹妹全力支持他的想法,一家人齐心协力,在大棚里种下了空心菜、菠菜

  • 68岁大爷全身重彩刺青肠子都悔青了:不敢见人 身份证都办不了

    ​6月25日,重庆一家纹身清洗店迎来了一位特殊的顾客——68岁的湖北张大爷。大爷此次前来,是为了洗掉自己全身的重彩刺青,而首要目标便是脸上的刺青。 全身的重彩刺青给张大爷的生活带来了诸多不便。出行时,他常常遭遇异样的眼光,甚至身份证都难以办理。在与亲戚朋友相处时,他也变得小心翼翼,不敢轻易见面,因为每次见面,对方看到他身上的刺青都会忍不住�

  • 数势科技凭SwiftAgent获评 IDC「数据管理分析与生成式AI」中国代表厂商

    IDC最新报告显示,数据管理分析与生成式AI应用呈现四大技术趋势:数据分析平台、数据平台、决策自动化和数据流管理。59%企业计划在2025年前投资自动化基础设施和AI解决方案。数势科技自主研发的SwiftAgent 3.0智能分析平台,通过实时数据洞察、异常预警和智能策略建议,构建"分析-决策-行动"闭环,显著提升企业响应速度。该平台整合企业知识库和历史数据,提供可�

  • 无特效药 1毫克即可致命!一盘凉拌菜让女子全身“换血”

    夏季炎热,吃一盘凉菜成为了很多人就餐时的必选,但危险也往往藏身其中。 近日,浙江68岁的王女士(化名)吃了前一天剩下的凉拌白木耳,结果中毒被送往医院。 医生检查后发现,她的肝功能指标超过正常值的数十倍,虽然进行了护肝、纠酸、补液等治疗,病情仍持续恶化,陷入昏迷并出现肝衰竭。 结合其进食的食物,医生断定其为米酵菌酸”中毒,立即对其进行血浆

  • AI日报:阿里开源3D数字人项目MNN TaoAvatar;MiniMax Agent上线;罗永浩数字人直播再探“AI+IP”带货模式

    本文汇总了AI领域最新动态:1)阿里开源MNN+TaoAvatar技术,实现手机端3D数字人实时交互;2)MiniMax升级AI工具Agent,新增智能图像搜索和多语言支持;3)罗永浩数字人将登陆百度电商直播;4)OpenAI员工套现近30亿美元,软银成最大接盘方;5)ChatGPT推出深度研究和语音模式升级;6)Meta发布V-JEPA2模型,提升机器人环境适应能力;7)AMD与OpenAI合作推出新一代AI芯片;8)Google Gemini集成Imagen4图像生成模型;9)谷歌AI实现10公里级精准天气预报;10)Gartner预测到2028年80%的AI应用开发时间将缩短50%。

  • Agent成了腾讯AI最大的牌面

    抓住DeepSeek带来的契机扭转AI领域的竞争态势之后,腾讯围绕AI应用的布局正在快速深化。 元宝、ima等原生AI应用是腾讯进行探索的最前线。腾讯元宝通过大规模市场投入获得用户增长后,继续拓展了更多能力,包括将元宝放入微信好友列表,打通与腾讯地图、腾讯文档的连接,以及上线Chrome浏览器插件。腾讯管理层目前还在观察用户对这些新增功能的反馈,判断哪些功能可以�

  • 如何用AI Agent让企业效率翻倍?

    2025年5月,红杉资本AI峰会在旧金山落下帷幕。这场汇聚150位全球顶尖AI公司创始人的大会达成重要共识:下一轮AI竞争的核心不再是工具本身,而是为用户创造的实际收益。在此背景下,Agent的重要性被前所未有的推至所有人的视野前沿。 硅谷大厂开启了第一波加速,微软CEO纳德拉在主题演讲中宣布:“我们已经进入了AI Agent时代,正在见证AI系统如何以全新方式帮助我们解决问�

  • AI日报:DeepSeek开源新版R1-0528;字节发布图像Agent小云雀AI;可灵2.1重磅上线

    本期AI日报聚焦多项AI领域突破:1)DeepSeek发布R1-0528模型,支持128K上下文且性能媲美GPT-4;2)字节推出"小云雀AI"图像创作工具;3)可画2.1版本价格降65%性能提升;4)Opera发布全球首款AI浏览器Neon;5)Meta推出多模态空间理解模型;6)北大团队研发ZeroSearch框架降低大模型训练成本88%;7)字节推出AI视频剪辑应用"剪小映";8)MotionPro实现40ms/帧精准视频控制;9)xAI与Telegram达成3亿美元合作部署Grok聊天机器人;10)OpenAI重组架构为IPO铺路;11)像素蛋糕"方糖大模型"获国内首个影像行业备案;12)Paper2Poster实现论文自动转海报;13)Resemble AI开源TTS模型性能比肩ElevenLabs;14)蚂蚁集团开源对标GPT-4o的多模态模型Ming-lite-omni。

今日大家都在搜的词: