11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
智源研究院近期提出了一项新技术,通过数据浓缩技术获得高质量训练数据,从提升多模态小模型的性能。他们将LAION-2B压缩成2M核心集,得到更丰富的预训练数据,同时精选数据集进行指令微调,训练出性能强劲的小模型。通过数据浓缩技术获得高质量训练数据,Bunny系列小模型在多模态任务上表现优异,将促进大模型技术的发展和普及。
智源研究院联合清华和北邮团队推出text-to-3D生成模型GeoDream,能够将输入的文字描述转化为高质量和多视角一致性的3D资产。与传统的方法不同,GeoDream通过解耦的方式利用2D和3D先验,解决了3D结构不一致性的问题,并支持导出高保真的texturemeshes和高分辨率的渲染图片。GeoDream展示了对复杂输入的生成结果,支持导出meshes和高分辨率UVmaps,方便后续的3D创作和应用。
智源研究院提出了首个用于自然语言理解任务的1bit轻量化预训练模型BiPFT。与传统的FP32模型相比,BiPFT模型在推理阶段显著减少了操作数量和内存使用。该模型在不同超参数设定下都能取得更好的效果,具有较好的独立学习能力和超参数鲁棒性。
TACO是一个专注于算法的代码生成数据集,旨在为代码生成模型提供更具挑战性的训练数据集和评测基准。与当前主流代码评测基准相比,TACO在数据规模、数据质量和细粒度评测方案上具有明显优势。提供细粒度标签:TACO数据集中每个题目均包含任务主题、算法、技能及难度等细粒度标签,为代码生成模型的训练与评测更精确的参考。
2023年12月21日,智源研究院发布了新一代多模态基础模型Emu2。Emu2通过大规模自回归生成式多模态预训练,显著推动了多模态上下文学习能力的突破。相比于Emu1,Emu2采用了更简单的建模框架,训练了更好的解码器,并将模型规模化到37B参数。
智源研究院最近发布了LM-Cocktail模型治理策略,旨在为大模型开发者提供一个低成本持续提升模型性能的方式。该策略通过融合多个模型的优势,实现在目标任务上性能的提升,同时保持在通用任务上的强大能力。LM-Cocktail已在实验中展现了良好的性能。
智源研究院开源了一种名为JudgeLM的裁判模型,可以高效准确地评判各类大模型。与GPT-4相比,JudgeLM仅需1/120的成本,就能达到90%以上的评判结果一致性。JudgeLM团队将进一步完善这一裁判模型,提供更准确、高效、覆盖更多场景的大语言模型评判。
智源研究院最近开源发布了一个10亿参数的三维视觉通用模型Uni3D。该模型是当前最大的三维视觉模型之一,能够处理点云数据,取得了主流三维视觉任务的全方位技术突破,展现出超强的通用视觉能力。智源研究院表示,Uni3D的开源发布为未来三维计算机视觉的研究和应用奠定了坚实的基础。
智源研究院发布了最强开源中英双语大模型——悟道・天鹰340亿。这个新模型在推理、泛化等方面表现出色,在智能体、代码生成、文献检索等场景方面取得了一系列成绩。智源研究院还发布了FlagScale高效并行训练框架和FlagAttention高性能Attention算子集,进一步推动大模型研究的发展。
智源研究院发布了FlagPerfv1.0,这是一个开源开放的AI硬件评测引擎。FlagPerf的评测指标体系包括功能正确性指标、性能指标、资源使用指标和生态适配指标。所有测试代码都已开源,测试过程和数据可复现。