首页 > AI头条  > 正文

Sync Labs 发布 Lipsync-2:全球首个零-shot的嘴型同步模型

2025-04-08 14:17 · 来源: AIbase基地

人工智能技术公司 Sync Labs 近日通过 Twitter 宣布推出其最新产品 Lipsync-2,这款模型被誉为“全球首个零-shot嘴型同步模型”,无需额外训练或微调即可保留演讲者的独特风格。这一突破性技术在真实感、表现力、控制力、质量和速度方面均实现了显著提升,适用于真人视频、动画以及AI生成的内容。

QQ_1744092971287.png

Lipsync-2的创新特性

根据 Sync Labs 在4月1日发布的 Twitter 消息,Lipsync-2的核心亮点在于其“零-shot”能力,即无需针对特定演讲者进行预训练,模型便可即时学习并生成符合其独特说话风格的嘴型同步效果。这一特性颠覆了传统嘴型同步技术对大量训练数据的需求,使得内容创作者能够更高效地应用该技术。

此外,Sync Labs 还透露,Lipsync-2在多个维度上实现了技术飞跃。无论是真人视频、动画角色,还是AI生成的人物,Lipsync-2都能提供更高的真实感和表现力。

新增控制功能:温度参数

除了零-shot能力,Lipsync-2引入了一项名为“温度”(temperature)的控制功能。这一参数允许用户调节嘴型同步的表现程度,从简洁自然的同步效果到更具夸张表现力的生成效果,满足不同场景的需求。目前,这一功能处于私人测试阶段,仅逐步向付费用户开放。

应用前景:多语言教育与内容创作

Sync Labs 在4月3日的 Twitter 帖子中进一步展示了 Lipsync-2的潜在应用场景,称其“在准确性、风格和表现力上表现出色”,并提出“让每场讲座都能以每种语言呈现”的愿景。这一技术不仅可用于视频翻译和字级编辑,还能助力角色重新动画化,甚至支持逼真的AI用户生成内容(UGC),为教育、娱乐和营销领域带来革命性变化。

行业反响与未来期待

Lipsync-2的发布迅速引发了行业关注。Sync Labs 表示,该模型已在 fal 平台上开放体验,用户可通过访问 fal 的模型库一探究竟。自4月1日宣布以来,Twitter 上关于 Lipsync-2的讨论持续升温,许多用户对其跨领域应用的潜力表示期待。

作为人工智能视频技术的先锋企业,Sync Labs 通过 Lipsync-2再次证明了其在创新领域的领导地位。随着该技术的逐步推广,内容创作的门槛或将进一步降低,而观众也将享受到更加自然、沉浸式的视听体验。

  • 相关推荐
  • Meta重组仍在继续,Reality Labs部门裁员超百人

    “提高绩效管理的标准,让绩效低下的员工尽快下岗”,扎克伯格在此前的备忘录中如是写道。同时,还敦促员工要提高积极性……

  • 打造全球首个皮肤类XDC平台,N1 Life切入千亿美元蓝海市场

    在全球生物医药技术加速演进的当下,XDC(偶联药物)正成为药物开发的重要方向。这一新型技术通过精准靶向和高效递送,使药物能够直达目标病灶,在提升疗效的同时降低毒副作用。近年来,全球制药巨头纷纷加速布局,借助XDC技术来突破传统药物研发的边界,推动XDC技术走向临床和商业化。当前,XDC的应用仍集中在肿瘤治疗等领域,在非肿瘤领域相对较少,在皮肤类疾病与

  • 全球首个!高德发布AI导航智能体 情绪价值拉满

    快科技4月14日,高德地图正式宣布推出全球首个基于地图的AI导航智能体(NaviAgent)。高德表示,AI导航智能体将推动导航由传统出行工具,向会思考、能预判、有温度”的智能出行伙伴蜕变。据技术负责人介绍,传统导航像按剧本演戏,预设路线后便机械执行;而我们的智能体更像经验丰富的老司机,能实时感知路况、预判风险并主动调整策略。”例如,它能提前预判前方路况�

  • 全球首个!人形机器人半马在北京起跑

    快科技4月19日消息,今日,全球首个人形机器人半程马拉松在北京亦庄开跑,21支机器人队伍将与12000名人类选手同场竞技,共同挑战21.0975公里的赛道。其中既有来自企业或研究机构的队伍,也有清华大学、北京科技职业大学等高校科研组织,其中包括众擎PMOI、宇树G1等热门人形机器人。此次人形机器人半程马拉松的赛道起点,设在南海子公园一期南门,终点为通明湖信息城,

  • 全球首个人形机器人半马竞赛规则发布:最多3名选手同时进入赛道

    快科技4月17日消息,据北京亦庄公众号消息,4月19日,全球首个人形机器人半程马拉松将在北京亦庄激情开跑。今日,《人形机器人半程马拉松竞赛规则》正式发布。比赛规则如下:1.起跑站位。参赛机器人按Z型布阵排成2列,同一列机器人前后垂直间距为3米。2.发枪安排。参赛机器人依次发枪起跑,每个参赛机器人出发时间间隔1分钟,原则上不超过2分钟。3.行进规则。参赛机器人间距应控制在1米以上,且不得妨碍其他参赛机器人的正常行进。如遇超越,高速机器人需主动绕行低速机器人。如遇故障,正常行进的机器人需绕行故障机器人。4.赛道规则。参

  • 国家天文台、阿里云联合发布全球首个太阳AI大模型:耀斑预报准确率超91%

    中科院国家天文台联合阿里云,发布了全球首个太阳AI大模型金乌”,基于阿里通义千问系列开源模型,目前在M5级太阳耀斑预报上准确率超91%,这也是该级别太阳耀斑预报的最高水平。太阳耀斑是太阳表面发生的剧烈能量释放事件,会辐射出大量带电高能粒子,影响地球电磁环境,严重时可造成大范围停电,威胁在轨卫星、空间站的安全。值得一提的是,中科院国家天文台的星语”大模型、中科院青藏高原研究所的全球首个水能粮大模型洛书”、中科院南海所的珊瑚礁多模态大模型瑶华”,都是基于阿里通义千问系列模型打造的。

  • 国产AI起号两周就开始自己赚钱了,全球首个“边想边干”的Agent | 免费无限次

    什么?!用AIAgent搞的小红书账号,竟然14天狂吸5000粉开始赚钱了???你没看错,这是真事。你只需要跟这个Agent说一个想讨论的话题,例如“怎么选咖啡”、“化妆品成分对比”等等,它就可以自己去小红书、知乎等平台上搜索上百个信源做总结。不仅是AutoGLM沉思具备够智能的能力,更是在成本上做到了够低,使得Agent能够被大规模应用成为了一种可能,人人触手可及的AIAgent时代或许已经到来。

  • 广州携旅集团发布全球首个文商旅产业链AI引擎,引领产业智能化转型

    3月25日,全球领先的文商旅产业全场景生态运营服务商广州携旅集团,基于DeepSeek开放式平台正式推出全球首个文商旅全产业链AI引擎——OmniTrekAI文商旅全域探索引擎。OmniTrekAI深度融合AI技术、大数据分析与机器学习等前沿科技,全面推动住前经济、住中经济、住后经济的智能化升级,帮助全球商旅企业和消费者实现更高效、更个性化、更智能的商旅体验。随着OmniTrekAI引擎的推出,未来广州携旅集团将助力全球商旅产业进入智能化、个性化、数据驱动的新纪元,让商旅生活更美好!

  • 超过ChatGPT、Deepseek?谷歌发布 Gemini 2.5 Flash AI 模型

    新版AI模型缩短了响应时间,节约了运算成本;还推出了新的AI芯片“Ironwood”。谷歌发布了新的AI模型“Gemini2.5Flash”,据称,这款AI模型的性能比OpenAI和DeepSeek的AI产品“更高效”。谷歌计划在三星今年上半年推出的AI伴侣机器人Ballie上搭载生成式AI模型。

  • AI革新了电子商务营销:认识AID LabPhotoG

    在当今快速发展的消费格局中,全球生活方式市场前所未有地蓬勃发展。在Z时代重视个性化体验的消费者的推动下,从家居装饰到日常必需品的行业正在经历前所未有的繁荣。通过提高创意效率和实现卓越的消费者体验,PhotoG有望重新定义技术、设计和商业之间的交叉点。

今日大家都在搜的词: