首页 > 业界 > 关键词  > MotionGPT最新资讯  > 正文

多模态运动语言模型MotionGPT 可将语言指令转换为3D人体运动

2024-01-05 11:45 · 稿源:站长之家

站长之家(ChinaZ.com)1月5日 消息:MotionGPT是一款令人惊叹的技术创新,它统一了语言和运动,将语言指令转换为引人入胜的3D人体运动。这一模型的设计灵感源于即时学习,通过混合运动语言数据进行预训练,并通过基于提示的问答任务进行微调,使其具备卓越的性能。

image.png

项目地址:https://top.aibase.com/tool/motiongpt

其操作原理类似于将3D动作转换为动作标记,类似于生成单词标记的过程。模型通过将人体动作视为一种特定的语言进行建模训练,实现了运动与文本的无缝结合。而为了处理人体运动,MotionGPT采用了离散向量量化,将3D运动转化为运动令牌,这一过程类似于生成单词令牌的方式。

研究人员在广泛的实验中展示了MotionGPT的卓越性能。模型在多个运动任务上都取得了最先进的成果。这些任务包括由文本驱动的运动生成,即根据文本描述生成相应的人体动作;运动字幕,可能涉及将运动转化为文本描述;运动预测,即预测接下来的运动;以及中间运动,可能涉及生成两个给定运动之间的运动。

MotionGPT的独特之处在于它能够从零散的语言指令中理解并生成引人入胜的人体运动,无论是踢腿还是跳舞,模型都能迅速响应。这种全新的运动语言模型为虚拟现实、电影制作等领域带来了前所未有的可能性。总体而言,MotionGPT不仅是一种技术的突破,更是对人机交互的重大推动,将语言与运动巧妙地融合,开创了全新的应用前景。

举报

  • 相关推荐
  • AI日报:腾讯混元推3D生成大模型Hunyuan3D-PolyGen;钉钉AI表格重磅来袭;阿里推多模态大语言模型HumanOmniV2

    本文介绍了AI领域多项重要进展:1)腾讯推出首个美术3D生成大模型Hunyuan3D-PolyGen,显著提升建模效率;2)阿里发布多模态大模型HumanOmniV2,准确率达69.33%;3)钉钉AI表格实现1小时处理千项任务;4)百度PaddleOCR3.1版本在多语种识别和文档翻译方面升级;5)微软推出Deep Research智能体,自动化研究流程;6)香港理工与OPPO联合开源视频超清框架DLoRAL;7)谷歌开源MCP工具箱简化AI与数据库集成;8)Win11将推出AI动态壁纸功能。这些创新展示了AI在3D生成、多模态理解、办公效率、视觉处理等领域的突破性进展。

  • 主流AI多模态大模型有哪些?超全的多模态大模型指南分享

    2024年多模态大模型成为AI领域最具前景的技术方向之一。文章全面分析了主流多模态大模型的特点、应用场景和发展趋势。多模态大模型能同时处理文本、图像、音频、视频等多种数据,实现更智能的人机交互。重点介绍了GPT-4V、Claude3.5、Gemini、通义千问等代表性模型,对比了它们在视觉理解、编程能力、中文处理等方面的优势。应用场景涵盖智能客服、内容创作、教育医疗等领域。未来发展趋势包括模型规模扩大、支持更多模态、实时交互能力提升等。选择模型需考虑应用需求、语言支持、性能成本等因素。

  • 苹果自研AI模型难产:改用第三方大语言模型

    苹果可能会跟OpenAI或Anthropic合作,双方正在谈判讨论一项潜在交易,苹果希望调用OpenAI或Anthropic的第三方大语言模型来为Siri提供技术支持。 据悉,OpenAI或Anthropic正在训练适配苹果私有云计算服务器的模型,苹果也在进行测试,目前苹果发现Anthropic的AI模型最适合Siri,且与Anthropic初步讨论了一些财务条款,消息称Anthropic要求苹果每年支付数十亿美元的费用,且该费用会随时间�

  • 国内首个!高德地图正式上线多语言地图:新增14种语言

    日前,高德地图正式上线多语言地图,在原有的中英文基础上,新增多达14种语言。 这14种语言包括西班牙语、葡萄牙语、法语、德语、泰语、日语、韩语、土耳其语、意大利语、俄语、阿拉伯语、马来语、印尼语、越南语。 此次多语言版的推出,使更多非英语国家的用户也能享受高德地图提供的优质出行服务。 高德地图多语言版实现了产品界面与地理信息的多语种适配,�

  • 技嘉科技 STEALTH Revolution 玩转简约装机美学 力邀创作者打造纯白梦幻桌机

    技嘉科技推出STEALTH Revolution活动,主打纯白美学装机概念。活动以X870AORUS STEALTH ICE主板为核心,邀请全球创作者打造个性化桌机。该系列采用背插式设计,简化装机流程,释放机箱空间,便于展示水冷设备和RGB灯效。新品涵盖X870/B850主板、RTX5090显卡及全景机箱等,联合10余家机箱品牌推出20余款兼容产品。活动提供限量主板供参赛者使用,并开放大众投票评选优秀作品,参与者有机会赢取丰厚奖品。技嘉旨在推动"背插主板×纯白机身"的装机新潮流,满足市场对简约风格的需求。

  • AI重构社交生态 Soul以多模态技术赋能社交

    社交平台Soul正通过AI技术重塑社交生态:1)2016年推出智能推荐系统"灵犀引擎",2020年启动AIGC算法研发,2023年推出自研大模型Soul+X,开发AI虚拟人、智能聊天等应用;2)升级多模态大模型,支持文字对话、语音通话、多语言理解等功能,提供拟人化情感陪伴;3)围绕Z世代需求,促成超10万对情侣步入婚姻,并联合开展心理健康公益活动;4)以"技术+人文"双轮驱动,致力于打造更智能舒适的社交环境,重新定义人机关系。

  • 运动疲劳如何快速缓解?iRest艾力斯特按摩椅为专业运动疲劳恢复提供全新方案

    文章探讨运动性疲劳问题及其解决方案。传统消除疲劳方式包括营养补充和物理放松两类,但专业按摩人员短缺且费用较高。iRest艾力斯特按摩椅提供更便捷高效的恢复手段,经与温州医科大学合作研究证实,能有效改善运动员肌肉疲劳状况,降低肌肉硬度,促进恢复。按摩椅操作简便、性价比高,适合专业运动员和普通运动爱好者使用,为大众健康生活提供了智能便捷的解决方案。

  • 「6月30日AI日报」百度开源文心大模型4.5系列;通义千问发布多模态生成模型Qwen VLo

    AI日报精选:1)百度开源文心大模型4.5系列,含10款新模型,性能优异;2)通义千问发布多模态模型Qwen-VL,支持图文交互;3)阿里开源3亿参数多模态模型Ovis-U1;4)华为开源盘古7B稠密和72B混合专家模型;5)美图MOKI推出AI创意广告功能,一键生成专业视频;6)谷歌Gemini 2.5 Pro API重新免费开放;7)豆瓣上线"深入研究"AI功能;8)小米"AI百宝箱"结束内测;9)北京智研院开源多模态系统OmniGen2;10)知乎升级"直答"知识库功能。

  • 高德地图上线AR打卡功能:实现3D立体打卡 生成专属打卡视频

    阿里巴巴旗下高德地图正式上线创新AR打卡功能,通过深度整合AI技术与地图服务,为用户带来虚实融合的沉浸式打卡体验,无缝连接现实世界。 该功能依托前沿AI空间融合技术,突破传统二维地图限制,首创3D立体打卡。用户打开最新版高德地图App,点击右上角 ”号即可轻松开启AR之旅。 支持图片、视频、趣味AR道具及虚拟形象等多种打卡形式,完成打卡后系统将自动生成并

  • TikTok电商抢滩日本,有哪些机遇和挑战?

    ​TikTok电商全球化布局再落一子。 6月30日,TikTok正式在日本上线电商业务,核心模式为直播带货。品牌、卖家及创作者可通过发布含购物功能的视频或直播,在TikTok内直接销售商品。 在东南亚、美区等市场,TikTok电商已证明了其直播带货模式的爆发力。如今全球化布局再下一城,给从业者带来了哪些新的机遇和挑战? TikTok Shop在日本上线 早在4月28日,TikTok日本正式宣布推出