11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
【新智元导读】北京大学的研究人员开发了一种新型多模态框架FakeShield,能够检测图像伪造、定位篡改区域,并提供基于像素和图像语义错误的合理解释,可以提高图像伪造检测的可解释性和泛化能力。随着生成式人工智能的迅猛发展,图像编辑与合成技术变得愈加成熟与普及。表3:FakeShield与主流IFDL方法的定位性能比较另外,图4的主观结果对比也表明,FakeShield能够生成更加�
InternVL家族的开源套件提供了一种商用多模态模型的可行开源替代方案。最新发布的InternVL-Chat-V1.5模型在多个基准测试上取得了接近GPT-4V和GeminiPro的性能,这使得InternVL家族成为了当前最接近GPT-4V表现的可商用开源模型之一。InternVL家族的开源套件为多模态模型领域的发展注入了新的活力。
生成AI在多模态理解和代码生成方面取得了显著进展,为前端开发带来了全新的范式。研究人员开展了对视觉设计转换为代码实现任务的系统研究。详细的细分指标表明,开源模型在从输入网页中召回视觉元素和生成正确布局设计方面大多落后在文本内容和着色方面则可以通过适当的微调得到显著改进。
来自不列颠哥伦比亚大学和InvertibleAI的研究人员推出了一款具有突破性的大型语言模型——FinTral,专为金融领域量身定制。FinTral采用了多模态方法,能够处理文本、数字、表格和视觉数据,以应对金融文件的复杂性。研究人员承认了研究中存在的限制和风险因素,并对未来发展充满乐观。
近期来自纽约大学和UC伯克利的研究团队在多模态大语言模型领域取得了重要突破,成功捕捉到了其在视觉理解方面存在的重大缺陷。研究人员发现,当前的MLLM在特定场景下,甚至在一些人类容易识别的图像问题上,表现不如随机猜测。这不仅对AI领域的研究有着积极的推动作用,也为未来开发更强大、全面的多模态大模型奠定了基础。
一个名为SALMONN的新型框架引起了广泛关注,旨在将大型语言模型的能力扩展到通用听觉领域。这个由语音、音频事件和音乐构成的通用音频输入是人工智能在真实环境中的关键组成部分。其多模型架构和激活调整阶段的引入使其在音频和语音任务中取得了显著的竞争性性能,为大型语言模型的通用听觉能力提供了新的可能性。
还在用指令微调解决多模态大模型的“幻觉”问题吗?比如下图中模型将橙色柯基错认为“红狗”指出周围还有几条。中科大的一项研究想到了一个全新办法:一个免重训、即插即用的通用架构,直接从模型给出的错误文本下手,“倒推”出可能出现“幻觉”之处,然后与图片确定事实,最终直接完成修正。如下图所示,上传图片并输入请求,就可以得到修正前以及修正后的模型