首页 > 业界 > 关键词  > Sora最新资讯  > 正文

解决Sora物理bug!四所美国高校联合发布PhysDreamer模型

2024-05-06 15:30 · 稿源:站长之家

站长之家(ChinaZ.com)5月6日 消息:Sora视频生成器发布后不久,就被网友发现存在物理交互的bug,例如模型对物理世界的理解不足,导致小狗走路时前腿出现不自然的交错问题。为了解决这一问题,提升视频生成的真实感,来自MIT、斯坦福大学、哥伦比亚大学和康奈尔大学的研究人员联合提出了一种基于物理的方法模型——PhysDreamer。

image.png

项目地址:https://top.aibase.com/tool/physdreamer

论文链接:https://arxiv.org/pdf/2404.13026.pdf

PhysDreamer利用视频生成模型学习到的对象动力学先验,为静态3D对象赋予交互式动力学。通过提炼这些先验知识,PhysDreamer能够合成现实物体对全新交互的响应,如外力或智能体操作,并在弹性物体的不同示例上展现了该方法的效果。

问题形式化

PhysDreamer的目标是估计对象的物理材料属性场,以实现真实的交互式运动合成。具体来说,就是估计3D物体的空间变化杨氏模量场E(x),以进行粒子模拟。杨氏模量用来测量材料的刚度,决定物体响应外力作用的运动轨迹。

模型架构

PhysDreamer通过生成运动中物体的可信视频,然后优化材料场E(x)以匹配合成运动。给定一个表示为3D高斯的对象,首先从某个视点进行渲染,然后使用图像到视频生成模型来生成运动中物体的参考视频。接着,使用可微分材质点方法(MPM)和可微分渲染,对空间变化的材质场和初始速度场进行优化,旨在最小化渲染视频和参考视频之间的差异。

实验结果

研究人员收集了八个真实世界的静态场景,并捕捉了四个交互视频来说明其在交互后的自然运动。在用户研究中,超过80%的参与者在两项选择实验中更倾向于PhysDreamer模型,认为其在运动的真实性上更胜一筹;在视觉质量方面,也有65%的参与者更偏好PhysDreamer。

PhysDreamer模型的发布,为解决视频生成中的物理交互问题提供了一种有效的解决方案。通过估计物体的物理材料属性,PhysDreamer能够合成更加逼真的物体动态行为,显著提升了视频生成的真实感。这一研究成果有望推动视频生成技术的发展,为未来的应用带来更多可能性。

举报

  • 相关推荐
  • Soul联合发布《Z世代精神世界洞察报告》:绿地与音乐成青年疗愈密码

    Soul App联合上海市精神卫生中心发布《Z世代精神世界分析报告》,揭示当代青年在快节奏生活中呈现独特的心理需求图谱。报告显示,38%受访青年每周至少3次前往公园绿地等自然空间,25%偏爱在菜场、老街等烟火气场所放松。Z世代更倾向通过悲伤基调音乐(而非快乐歌曲)和城市非结构化空间实现情绪释放,形成"在悲伤里找到共鸣"的独特疗愈机制。平台推出的"城市疗愈地图"功能,聚合用户推荐的治愈场所,构建从情绪表达到专业疏导的完整关怀链条。专家指出,这种"悲伤偏好"实则是年轻人通过情感投射完成自我疗愈的心理机制。

  • 清华毕业礼上副校长给LABUBU拨穗:全世界学历最高的labubu来了

    近日,一则“全世界学历最高的Labubu”话题在社交媒体持续发酵,其源头可追溯至2025年清华大学毕业典礼上的一场趣味互动。 典礼现场,一名毕业生在拨穗环节中,将潮流玩偶Labubu带上台,校长或导师配合为其完成“拨穗”仪式,这一充满创意的场景被现场记录并上传至网络,迅速引发全网关注与讨论。 Labubu是泡泡玛特旗下标志性潮玩IP,凭借“丑萌”造型和限量营销策略�

  • 苹果发布iOS 26 Beta 2:控制中心BUG修复 降低透明度

    苹果今天发布了iOS 26的第二个开发者预览版,相比于发布会后的版本进行了很多改进,尤其是备受吐槽的控制中心修复,加入了背景模糊,易读性大增。 此前很多升级体验的用户吐槽,控制中心透明度太高,跟桌面信息融为一体,都找不到自己需要的按钮。 这一版本还有多项改进,具体如下: 控制中心:液态玻璃控制中心按钮背景虚化效果更强,外观不透明度更高,内容�

  • AI日报:百度发布“绘想”平台与MuseSteamer;阿里音频驱动全身数字人模型OmniAvatar

    【AI日报】今日AI领域重要动态:1.开源语音大模型Step-Audio-AQAA发布,实现音频到语音的端到端自然转换;2.百度推出"绘想"平台与MuseSteamer,通过AI一键生成专业级视频;3.浙大与阿里联合发布OmniAvatar,音频驱动数字人技术取得突破;4.百度搜索迎十年来最大改版,新增智能框、百看和AI助手功能;5.xAI开发者控制台新增Grok4及Grok4Code引用,预示新一代AI模型即将发布;6.Gemin

  • 粉丝送Labubu却被水果姐打飞 演唱会大喊“No Labubu”

    近日,一段关于水果姐(Katy Perry)在演唱会上将粉丝递上的Labubu玩偶打飞”的视频在社交媒体上引发热议。 事件发生在水果姐凯蒂佩里(Katy Perry)近期在澳大利亚珀斯演唱会(PERTH NIGHT 1)的粉丝互动环节中,一名台下观众向舞台递出潮玩品牌泡泡玛特旗下IP Labubu玩偶。 水果姐直接用话筒将其打飞,并高喊No Labubu!”耐人寻味的是,Labubu玩偶被打飞至舞台角落,当事粉丝事后

  • 爱马仕成了LABUBU配货 品牌合作营销排起长队

    近日,泡泡玛特旗下的Labubu玩偶在全球范围内掀起热潮,其市场表现及股价波动成为业界与投资者关注的焦点。Labubu玩偶凭借独特的配件设计、名人效应及品牌营销策略,在社交媒体上迅速走红,不仅吸引了众多消费者的目光,还与LV、爱马仕等奢侈品牌展开合作,进一步提升了其知名度与市场价值。 关于Labubu玩偶的成功,有分析认为,这反映了注意力经济与情感消费在数字�

  • 妈妈带顶流LABUBU花束接高考女儿:希望她能开心

    ​今日上午,江苏省选考化学、地理的考生顺利结束高考,完成了人生中这场意义非凡的“成人礼”。考场外,众多家长手捧精心准备的礼物,满心欢喜地等待着孩子凯旋,现场弥漫着温馨与喜悦的氛围。 在众多等待的家长中,一位姐姐手捧一束别出心裁的花束格外引人注目,花束中不仅有娇艳欲滴的鲜花,还搭配着当下顶流玩偶“labubu”。姐姐表示,妹妹平时就很喜欢“lab

  • 为什么“Labubu们”都选择阿里速卖通出海?

    最近,出海四小龙里最火的就是AliExpress速卖通了。 前几天晚上,来自全球24万年轻人冲进AliExpress速卖通直播间,蹲点抢购Labubu等多款热门IP,各种国家的语言刷爆了直播间的弹幕,把主播和工作人员都震惊了。 泡泡玛特出海的线上渠道非常集中,除了官网,就是AliExpress速卖通上的旗舰店了。所以喜欢泡泡玛特的老外们,手机里几乎都有AliExpress App。

  • 为什么手机厂商还没联名Labubu?

    但凡经常混迹于网络,相信很少有人不知道Labubu已经火到何种程度。 这个外表丑萌的潮玩IP,借着盲盒+限量的东风,不仅成为时下最热门的社交符号,还成功点亮了“理财产品”属性,创造了“溢价超20倍仍一娃难求”“初代藏品级薄荷色LABUBU最终以108万的价格成交”“首开线上预售已排至8月”等一众名场面。 遥想上一个在国内引发类似风潮的IP,还是出自百亿票房电影《�

  • 年轻人氪金“塑料茅台”,Labubu养肥了谁?

    去年开始,一个名叫Labubu的新系列潮玩在北美悄然走红。 这个有着尖耳朵和“邪恶笑容”的小怪物,突然出现在各大社交平台的热搜榜上。从洛杉矶的网红咖啡馆到纽约的潮流买手店,年轻人开始热衷于分享自己与Labubu的合影,这种热潮像一阵风似的越刮越猛。 这股风潮很快跨过大洋吹到了国内。几乎是一夜之间,泡泡玛特店门口排起了长队,地铁里能看到年轻人手机壳上�