站长之家（ChinaZ.com）4月29日 消息:根据研究团队发表的预印本文章，InstantMesh是由腾讯PCG ARC实验室和上海科技大学的研究人员开发的人工智能框架，能够在仅需10秒的时间内，从单个2D图像生成高质量的3D网格。
该开源框架由多视图扩散模型和3D网格重建模型组成，通过使用不同角度合成的3D视图来实现高质量的重建。研究人员表示，InstantMesh相较于传统方法取得了更好的感知质量和几何精度结果，可在Hugging Face上找到相关演示和代码。
未来，InstantMesh计划提高生成的3D网格分辨率，并进一步改进多视图扩散架构，以提高视图之间的一致性。这一技术有望显著提升3D行业生产力，尤其在视频游戏开发领域。
演示地址：https://huggingface.co/spaces/TencentARC/InstantMesh
（举报）
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
InstantMesh是一项突破性的技术，能够从单张图像快速生成高质量的三维网格模型。这项技术利用了前馈框架，结合了多视图扩散模型和基于大规模重建模型的稀疏视图重建技术，极大地优化了3D资产的创建过程。InstantMesh的出现，预示着3D建模和可视化领域将迎来新的变革，它将极大地提高工作效率，降低技术门槛，使得更多的人能够参与到3D内容的创作中来。
当用户在与MetaAI的聊天中开始输入文本到图像的提示时，将看到随着添加更多关于想创建的内容的细节，图像如何变化。在Meta分享的示例中，一个用户输入了提示:“想象一场在火星上进行的足球比赛。这一新功能是Meta在其所有应用程序中推出AI功能的一部分，包括WhatsApp、Instagram、Facebook和Messenger。
Adobe公司最新推出的ProjectNeo，是一项革命性的3D技术，旨在通过3D元素和效果的整合，提升传统2D图形设计的视觉效果和制作效率。这项技术不仅让2D设计中的元素看起来具有深度和体积，更通过高效的工具和流程，极大地加快了设计的速度。ProjectNeo的先进光影处理功能，使用户能够自由组合形状，并通过光影效果增强矢量图形，轻松创造出接近现实的光影效果，从增加视觉的�
Spline的最新3D生成工具的发布，标志着3D设计领域的一次重大进步。这款在线3D编辑工具不仅支持从文字和图片生成3D模型能够混合和编辑3D模型，为用户提供了一个全面强大的3D设计解决方案。这意味着用户可以始终接触到行业的最新趋势，并将这些新功能应用到自己的项目中，保持创作的前沿性和创新性。
Interactive3D技术为3D内容的创造和修改提供了一种极其灵活的方法。用户可以直接通过交互操作来指导3D模型的生成，这一过程不仅直观具有高度的创造性。无论是专业的3D设计师还是业余爱好者，都能通过这一技术轻松实现自己的创意构想。
腾讯开源了混元DiT图像生成模型，对英语和中文都有着精细的理解能力。Hunyuan-DiT能够进行多轮多模态对话，根据对话上下文生成并细化图像。它通过结合Transformer结构、文本编码和位置编码，以及训练一个多模态大型语言型，实现了对中英文的细粒度理解，并在图像生成等任务中取得了显著的效果。
AdobePhotoshop的最新测试版现已引入一项革命性的功能，允许用户通过简单的文本提示，利用人工智能技术生成图像。该功能的核心在于Adobe新发布的生成式AI模型系列FireflyImage3。包括谷歌和微软在内的多家科技巨头都在AI领域取得了显著的进展和突破。
谷歌在其深度学习AI部门DeepMind的研究人员发布了一款名为Veo的全新式AI视频模型，能够创建“超过60秒的高质量、1080p剪辑”，“从照片写实主义到超现实主义和动画，它可以应对一系列电影风格”，在逼真度和视觉果方面达到了令人惊叹的水平。Veo的目标是帮助各类用户创作视频，不论是经验富的电影制片人、有抱负的创作者是渴望分享知识的教育工作者，都可以通过Veo实现�
北大和字节联手搞了个大的:提出图像生成新范式，从预测下一个token变成预测下一级分辨率，效果超越Sora核心组件DiffusionTransformer。并且代码开源，短短几天已经揽下1.3k标星，登上GitHub趋势榜。他硕士毕业于浙江大学，目前的研究重点是视觉基础模型、深度生成模型和大语言模型。
打标助手是基于GPT4-Vision开发的一个在线工具，它通过微调prompt实现批量图片文字标注，为基于SD模型的训练提供数据支持。该工具的主要优点在于其免费性、批量处理能力和高效的标注准确性，特别适合需要大量图片标注的科研和商业用户。
Gemma 2是下一代谷歌Gemma模型，拥有27亿参数，提供与Llama 3 70B相当的性能，但模型大小仅为其一半。它在NVIDIA的GPU上运行优化，或在Vertex AI上的单个TPU主机上高效运行，降低了部署成本，使更广泛的用户能够访问和使用。Gemma 2还提供了强大的调优工具链，支持云解决方案和社区工具，如Google Cloud和Axolotl，以及与Hugging Face和NVIDIA TensorRT-LLM的无缝合作伙伴集成。
Gemini 1.5 Flash是Google DeepMind团队推出的最新AI模型，它通过'蒸馏'过程从更大的1.5 Pro模型中提炼出核心知识和技能，以更小、更高效的模型形式提供服务。该模型在多模态推理、长文本处理、聊天应用、图像和视频字幕生成、长文档和表格数据提取等方面表现出色。它的重要性在于为需要低延迟和低成本服务的应用提供了解决方案，同时保持了高质量的输出。
Imagen 3 是谷歌一个先进的文本到图像的生成模型，它能够生成具有极高细节水平和逼真效果的图像，并且相较于之前的模型，其视觉干扰元素显著减少。该模型对自然语言的理解更为深入，能够更好地把握提示背后的意图，并从更长的提示中提取细节。此外，Imagen 3 在渲染文本方面表现出色，为个性化生日信息、演示文稿标题幻灯片等提供了新的可能性。
Veo是Google最新推出的视频生成模型，能够生成高质量的1080p分辨率视频，支持多种电影和视觉风格。它通过先进的自然语言和视觉语义理解，能够精确捕捉用户创意愿景，生成与提示语调一致且细节丰富的视频内容。Veo模型提供前所未有的创意控制水平，理解电影术语如“延时摄影”或“航拍景观”，创造出连贯一致的画面，使人物、动物和物体在镜头中逼真地移动。
PaliGemma是Google发布的一款先进的视觉语言模型，它结合了图像编码器SigLIP和文本解码器Gemma-2B，能够理解图像和文本，并通过联合训练实现图像和文本的交互理解。该模型专为特定的下游任务设计，如图像描述、视觉问答、分割等，是研究和开发领域的重要工具。
lluminous是一个快速、轻量级的开源聊天界面，支持多供应商API密钥，提供完整的隐私保护，所有对话历史和密钥都存储在本地。它支持多模态输入、多轮对话提示、预填充响应、模型切换以及对话分享等功能。
CuMo是一种多模态大型语言模型（LLMs）的扩展架构，它通过在视觉编码器和MLP连接器中融入稀疏的Top-K门控专家混合（MoE）块，提高了模型的可扩展性，同时在推理时几乎不增加激活参数。CuMo在预训练MLP块后，初始化MoE块中的每个专家，并在视觉指令调整阶段使用辅助损失以确保专家的均衡负载。CuMo在各种VQA和视觉指令遵循基准测试中超越了其他同类模型，且完全基于开源数据集进行训练。
混元-DiT是腾讯推出的首个中英双语DiT架构的人工智能模型，专注于中文元素理解，具备长文本理解能力和细粒度语义理解。该模型能够分析和理解长篇文本中的信息，并生成相应的艺术作品，包括但不限于人物写真、创意创作等。混元-DiT的推出，对于提升中文文本理解的深度和广度，以及促进中英双语交流具有重要意义。
GPT-4o（'o'代表'omni'）是自然人机交互的重要一步，它可以接受任意组合的文本、音频、图像和视频输入，并生成任意组合的文本、音频和图像输出。它在音频输入响应上的速度极快，平均响应时间仅为320毫秒，与人类对话的响应时间相近。在非英语文本处理上取得了显著进步，同时在API上速度更快且成本降低了50%。GPT-4o在视觉和音频理解方面也比现有模型更出色。
AutoGroq是一个AI驱动的对话助手，旨在通过自动生成专家代理来彻底改变用户与AI工具的互动方式。它克服了现有解决方案的局限性，提供了一个用户友好、强大且无需配置的体验。该平台专注于通过自动生成专门针对任何问题的专家代理，无论问题的复杂性如何，提供即时和相关的帮助。
OpenGlass是一款可穿戴眼镜，它能够记录用户的生活，并提供有帮助的总结和建议。这款眼镜可以针对不同的使用场景进行定制，适合追求个性化体验和生活记录的用户。它结合了最新的硬件技术和软件开发，为用户带来全新的交互体验。
Refuel LLM-2 是一款为数据标注、清洗和丰富而设计的先进语言模型。它在约30种数据标注任务的基准测试中超越了所有现有的最先进语言模型，包括GPT-4-Turbo、Claude-3-Opus和Gemini-1.5-Pro。Refuel LLM-2 旨在提高数据团队的工作效率，减少在数据清洗、规范化、标注等前期工作上的手动劳动，从而更快地实现数据的商业价值。
Aloe是由HPAI开发的一款医疗领域的语言模型，基于Meta Llama 3 8B模型进行优化。它通过模型融合和先进的提示策略，达到了与其规模相匹配的最先进水平。Aloe在伦理和事实性指标上得分较高，这得益于红队和对齐工作的结合。该模型提供了医疗特定的风险评估，以促进这些系统的安全使用和部署。
FunClip是一款完全开源、本地部署的自动化视频剪辑工具，通过调用阿里巴巴通义实验室开源的FunASR Paraformer系列模型进行视频的语音识别，随后用户可以自由选择识别结果中的文本片段或说话人，点击裁剪按钮即可获取对应片段的视频。FunClip集成了阿里巴巴开源的工业级模型Paraformer-Large，是当前识别效果最优的开源中文ASR模型之一，并且能够一体化的准确预测时间戳。
FilmAction 是一款一站式 AI 电影制作平台，通过 AI 技术革新创作流程，使艺术创作更简单。它提供脚本、分镜、视频和旁白的一键生成，支持模拟胶片风格，适用于奇幻片等不同类型的电影创作。FilmAction 还可以生成配乐和合成成片，方便创作者进行后期制作。它的优点是节省时间和精力，提供丰富的创作工具和资源，以及强大的 AI 技术支持。
Voicenotes 是一款智能语音笔记应用，它允许用户记录新想法、家庭时刻、会议要点、播客收获等任何内容。用户可以要求AI回顾过去的笔记或头脑风暴新想法，因为AI具有完美的记忆力。该应用支持创建摘要、待办事项列表、博客文章等，提供智能建议，并支持50多种语言。它即将在智能手表上推出，承诺对隐私、持久性和美观的承诺。
Yi-1.5是零一万物一款文本生成模型，它利用最新的人工智能技术，能够生成流畅、连贯且多样化的文本。该模型特别适合于需要大量文本创作的领域，如内容创作、新闻撰写、社交媒体管理等。它的优势在于能够快速生成高质量的文本，提高工作效率，同时降低人力成本。
Junia AI是一个强大的AI工具，帮助用户创建在搜索引擎上排名高的文章和数字内容。它结合了AI和SEO工具，提供性能功能和安全的AI营销。Junia AI的主要优点是帮助用户优化内容创作，从而提高搜索引擎排名，并提供有竞争力的AI营销功能。它的背景信息是在AI技术的支持下，Junia AI能够分析搜索引擎算法并为用户提供有效的SEO建议。Junia AI的定位是为个人用户和团队提供一种简单而有效的方式来创造具有竞争力的内容并获得更多的流量和曝光。
Ai Course Creator是一个使用AI技术简化在线课程创建过程的工具。它可以帮助您快速生成互动课程，并提供全面的课程大纲和课程内容。它的主要优点是节省时间和精力，使课程创建变得简单而高效。无论是初次创建课程还是多次创建，Ai Course Creator都能帮助您与学生建立真正的连接。
