首页 > 业界 > 关键词  > Sora最新资讯  > 正文

解决Sora物理bug!四所美国高校联合发布PhysDreamer模型

2024-05-06 15:30 · 稿源:站长之家

站长之家(ChinaZ.com)5月6日 消息:Sora视频生成器发布后不久,就被网友发现存在物理交互的bug,例如模型对物理世界的理解不足,导致小狗走路时前腿出现不自然的交错问题。为了解决这一问题,提升视频生成的真实感,来自MIT、斯坦福大学、哥伦比亚大学和康奈尔大学的研究人员联合提出了一种基于物理的方法模型——PhysDreamer。

image.png

项目地址:https://top.aibase.com/tool/physdreamer

论文链接:https://arxiv.org/pdf/2404.13026.pdf

PhysDreamer利用视频生成模型学习到的对象动力学先验,为静态3D对象赋予交互式动力学。通过提炼这些先验知识,PhysDreamer能够合成现实物体对全新交互的响应,如外力或智能体操作,并在弹性物体的不同示例上展现了该方法的效果。

问题形式化

PhysDreamer的目标是估计对象的物理材料属性场,以实现真实的交互式运动合成。具体来说,就是估计3D物体的空间变化杨氏模量场E(x),以进行粒子模拟。杨氏模量用来测量材料的刚度,决定物体响应外力作用的运动轨迹。

模型架构

PhysDreamer通过生成运动中物体的可信视频,然后优化材料场E(x)以匹配合成运动。给定一个表示为3D高斯的对象,首先从某个视点进行渲染,然后使用图像到视频生成模型来生成运动中物体的参考视频。接着,使用可微分材质点方法(MPM)和可微分渲染,对空间变化的材质场和初始速度场进行优化,旨在最小化渲染视频和参考视频之间的差异。

实验结果

研究人员收集了八个真实世界的静态场景,并捕捉了四个交互视频来说明其在交互后的自然运动。在用户研究中,超过80%的参与者在两项选择实验中更倾向于PhysDreamer模型,认为其在运动的真实性上更胜一筹;在视觉质量方面,也有65%的参与者更偏好PhysDreamer。

PhysDreamer模型的发布,为解决视频生成中的物理交互问题提供了一种有效的解决方案。通过估计物体的物理材料属性,PhysDreamer能够合成更加逼真的物体动态行为,显著提升了视频生成的真实感。这一研究成果有望推动视频生成技术的发展,为未来的应用带来更多可能性。

举报

  • 相关推荐
  • AI日报:百度发布“绘想”平台与MuseSteamer;阿里音频驱动全身数字人模型OmniAvatar

    【AI日报】今日AI领域重要动态:1.开源语音大模型Step-Audio-AQAA发布,实现音频到语音的端到端自然转换;2.百度推出"绘想"平台与MuseSteamer,通过AI一键生成专业级视频;3.浙大与阿里联合发布OmniAvatar,音频驱动数字人技术取得突破;4.百度搜索迎十年来最大改版,新增智能框、百看和AI助手功能;5.xAI开发者控制台新增Grok4及Grok4Code引用,预示新一代AI模型即将发布;6.Gemin

  • 看好海尔空调制冷快!桂林一高校下单1700套

    桂林信息科技学院今年夏季为应对高温湿热天气,全面升级校园空调系统,一次性安装1700套海尔空调,覆盖教学楼、宿舍及产教融合中心等核心区域。重点补充了未覆盖的宿舍楼栋,选用1.5匹冷暖分体挂机,兼具快速制冷和除湿功能,有效缓解湿热体感。近期海尔空调接连斩获多所高校大额订单,包括齐鲁工业4600套、华北理工8000套等。中怡康数据显示,海尔空调当周份额达27.2%,位居行业第二。

  • OpenAI核心模型采用物理隔离:为防窃密 上网需明确许可

    据媒体报道,OpenAI近期全面升级其安全体系,以应对企业间谍活动风险。此次升级的核心举措之一是推出信息隔离”政策,旨在严格限制员工对敏感算法和新产品的访问权限。 例如,在开发o1模型期间,OpenAI规定只有经过严格审查并获得相应权限的团队成员,才可在公共办公区域讨论相关细节。 同时,公司还采取了多项物理与网络安全强化措施:将核心专有技术存储在隔离�

  • 即构科技“智校通” 让高校招生7*24小时随时在线

    文章介绍了高考志愿填报阶段考生和家长面临的信息咨询难题,传统咨询方式存在效率低、信息不准确等问题。即构科技推出的"智校通"智能咨询助手,通过AI技术实现7*24小时在线服务,支持文本、语音等多模态交互,能基于学校专属知识库提供专业解答。该系统具备秒级响应、上下文记忆、智能推理等功能,确保回答准确可靠,还能转接人工客服。智校通不仅能提升招生服务质量,还能通过数据分析帮助高校优化招生策略。目前已在多所高校落地应用,未来将拓展至更多教育场景。

  • 给“Labubu们”做“精装房”年入3000万,引爆百亿新赛道

    年轻人抽到的盲盒公仔们都去哪里安了家? 小红书上,关于“Labubu收纳”有超过2万条笔记,其中有“潮玩老法师”,也有潮玩萌新,大家讨论的点已经不再围绕如何不让Labubu在家吃灰,而是如何一进门就能在房间的黄金位置看到“娃”的精装房。 伴随着以Labubu为首的搪胶玩偶的新一轮爆发,盲盒公仔的热度也持续走高,而收纳盒、展示柜,这些看似无用的附属品,也不仅承�

  • 华曦达与立讯精密强强联合,解锁AI Home生态“智”变密码

    2025年6月9日,华曦达与立讯精密签署战略合作协议,共建AI Home生态联合实验室。华曦达作为全球AI Home解决方案市场排名第八的企业,将与电子制造巨头立讯精密在智能家居领域展开深度合作。双方将聚焦Home AI Agent研发、智能中枢构建及终端设备创新,通过技术优势互补,打造覆盖算法研发、软硬件协同的完整生态链。此前双方已在智能电视盒项目上取得突破性成果,五个月内完成百万台量产。此次合作将加速AI技术在智能家居场景的落地应用,推动实现设备互联互通与个性化服务,为用户带来更智能便捷的家居体验。

  • 为什么手机厂商还没联名Labubu?

    但凡经常混迹于网络,相信很少有人不知道Labubu已经火到何种程度。 这个外表丑萌的潮玩IP,借着盲盒+限量的东风,不仅成为时下最热门的社交符号,还成功点亮了“理财产品”属性,创造了“溢价超20倍仍一娃难求”“初代藏品级薄荷色LABUBU最终以108万的价格成交”“首开线上预售已排至8月”等一众名场面。 遥想上一个在国内引发类似风潮的IP,还是出自百亿票房电影《�

  • Lamett乐迈石晶发布2025新品,中国全屋整装迎来“石晶时代”

    乐迈石晶在第27届中国建博会(广州)推出"全屋石晶整装解决方案",以"要健康·要安全·要石晶"为主题,通过零醛添加、防水防潮、防蛀防霉等八大性能优势重新定义整装标准。该方案采用天然石灰岩和树脂晶体为原料,通过高温高压工艺实现零甲醛释放,适用于全屋空间。乐迈石晶已建立全球研发中心,拥有多项核心专利技术,业务覆盖80多个国家和地区。此次创新不仅推动建材升级,更引领健康人居新趋势,为消费者打造安全舒适的家居环境。

  • 苹果发布iOS 26 Beta 2:控制中心BUG修复 降低透明度

    苹果今天发布了iOS 26的第二个开发者预览版,相比于发布会后的版本进行了很多改进,尤其是备受吐槽的控制中心修复,加入了背景模糊,易读性大增。 此前很多升级体验的用户吐槽,控制中心透明度太高,跟桌面信息融为一体,都找不到自己需要的按钮。 这一版本还有多项改进,具体如下: 控制中心:液态玻璃控制中心按钮背景虚化效果更强,外观不透明度更高,内容�

  • 高精度三维扫描助力中埃联合考古,揭示“萨卡拉的秘密”

    中埃联合考古项目在埃及萨卡拉地区取得重大成果,通过数字化技术对出土文物进行保护研究。项目团队使用高精度3D扫描仪对上千件人形木乃伊木棺进行数字化采集,精度达0.04毫米,完整记录彩绘纹饰等细节特征。这些数据不仅为文物修复提供科学依据,还将纳入全球学者共享数据库。该项目展现了数字技术在文化遗产保护中的创新应用,促进了中埃文明对话,为人类文明传承开辟了新路径。