首页 > 业界 > 关键词  > 多模态最新资讯  > 正文

上海智能实验室推图文多模态大模型InternLM-XComposer2(浦语·灵笔2)

2024-01-31 16:57 · 稿源:站长之家

站长之家(ChinaZ.com)1月31日 消息:InternLM-XComposer2是一款先进的视觉-语言模型,在自由组合文本和图像以及理解这两者之间的内容方面表现卓越。

这款模型不仅超越了传统的视觉-语言理解,而且能够巧妙地将多样化的输入,如概要、详尽的文本描述和参考图片,融合成包含文本和图像的复合内容,实现高度定制化的创作。

image.png

image.png

项目地址:https://top.aibase.com/tool/internlm-xcomposer2

InternLM-XComposer2引入了一种新的方法,被称为“部分LoRA(PLoRA)”。这一方法只对图像Token应用额外的LoRA参数,以此保持预先训练的语言知识的完整性。这样一来,模型能够精确地理解视觉信息,同时保持文本内容的文学魅力,实现了两者之间的完美平衡。

通过多项实验验证,基于InternLM2-7B的InternLM-XComposer2在生成高品质的长文本多模态内容方面表现出色。该模型的视觉-语言理解能力在多个基准测试中都取得了优异的成绩。这使得InternLM-XComposer2成为当前领先的视觉-语言模型之一,为多领域的创作和理解任务提供了卓越的性能。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天