首页 > 业界 > 关键词  > SyncDreamer最新资讯  > 正文

SyncDreamer:从单视图图像生成多视图一致图像以实现3D重建

2023-09-19 14:15 · 稿源:站长之家

站长之家(ChinaZ.com)9月19日 消息:最近,3D生成领域经历了迅猛的进展,其中一个备受瞩目、在GitHub Repo上广受欢迎的项目备受关注。这个项目被认为是最为稳定和通用的,用户只需提供一张图像,模型就能自动合成多个视图并生成相应的3D模型。

image.png

项目地址:https://github.com/liuyuan-pal/SyncDreamer

这一突破性技术不仅有助于推动3D生成领域的进步,还为相关领域的研究人员和开发者提供了一个强大的工具,帮助他们更深入地探究和应用3D生成技术。

这个项目就是SyncDreamer,一个端到端的框架,可以从单个视角的图像生成多视图一致的图像。 SyncDreamer包含了一个diffusion模型和一个不同iable renderer。

SyncDreamer 的核心流程是:

首先采样一系列随机向量,并通过diffusion模型生成对应的图像。

将生成的图像传入renderer,生成对应的多视图图像。

计算多视图图像之间的一致性损失,并反向传播优化diffusion模型和renderer。

通过先预训练后微调的策略,SyncDreamer可以生成质量高、多视图一致的图像。实验表明,SyncDreamer生成的图像可以用于高质量的3D重建。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天