首页 > 业界 > 关键词  > LongQLoRA最新资讯  > 正文

LongQLoRA:提升LLMs上下文理解能力

2023-11-14 11:06 · 稿源:站长之家

站长之家(ChinaZ.com)11月14日 消息:最近,GitHub上一个名为LongQLoRA的新工具引发关注。它的作用是让LLMs(语言模型)能够理解更长的序列。LLMs在自然语言处理领域取得了很大成功,但它们的上下文理解能力存在一定的局限性,而长序列的理解也是LLMs面临的一个挑战。

image.png

项目地址:https://github.com/yangjianxin1/longqlora

为了解决这个问题,LongQLoRA通过对序列进行切片,并对每个切片进行独立的处理,来扩展LLMs的上下文理解能力。这个工具在多项基准测试中表现优异,并已经在GitHub上开源。

这个新工具的发布具有重要意义。它的出现填补了LLMs在长序列理解方面的空白,为自然语言处理领域带来了新的可能性。相比以往,LLMs现在能够更好地理解更长的文本,这意味着它们在实际应用中的表现将会更加出色。

LongQLoRA的优异表现得到了多项基准测试的验证,这意味着它在各种场景下都能够展现出卓越的性能。这对于开发者和研究人员来说是一个好消息,他们可以利用这个工具来提升他们的LLMs模型的性能,进而在自然语言处理领域取得更好的成绩。

举报

  • 相关推荐
  • 大家在看
  • 微软LongRoPE方法让LLM上下文窗口突破 200 万 8倍扩展还保持性能

    微软研究人员提出的LongRoPE方法首次将预训练的大型语言模型的上下文窗口扩展至2048k个token,实现了8倍的扩展同时保持原始短上下文窗口的性能无需进行架构变化和复杂微调。该方法的关键创新点包括通过高效搜索识别并利用了位置插值中的两种非均匀性,为微调提供更好的初始化,并在非微调情况下实现了8倍扩展;引入了渐进扩展策略,首先微调256k长度的LLM,然后在微调扩�

  • 80M参数打平GPT-4!苹果发超强上下文理解模型ReALM,聪明版Siri马上就来

    【新智元导读】苹果公司发布了一款参数量仅为80M的最新模型——ReALM,能够将各种形式的上下文转换为文本进行理解,包括解析屏幕、多轮对话以及上下文引用,提升了Siri等智能助手的反应速度和智能程度。会读心的Siri想不想要?今天,苹果发布了自家的最新模型ReALM,仅需80M参数,就能在上下文理解能力上打平甚至超越GPT-4!论文地址:https://arxiv.org/pdf/2403.20329.pdfReALM可以将任何形式的上下文转换为文本来进行理解,比如解析屏幕、多轮对话、以及上下文中的引用。随着模型大小的增加,所有数据集的性能都有所提高屏幕相关数据集的差异最为明显,因为这项任务在本质上更加复杂。

  • LLM上下文窗口突破200万!无需架构变化+复杂微调,轻松扩展8倍

    大型语言模型往往会追求更长的「上下文窗口」,但由于微调成本高、长文本稀缺以及新token位置引入的灾难值等问题,目前模型的上下文窗口大多不超过128k个token最近,MicrosoftResearch的研究人员提出了一个新模型LongRoPE,首次将预训练LLM的上下文窗口扩展到了2048k个token,在256k的训练长度下只需要1000个微调步骤即可,同时还能保持原始短上下文窗口的性能。论文链接:https://arxiv.org/abs/2402.13753代码链接:https://github.com/microsoft/LongRoPELongRoPE主要包含了三个关键创新点:1.通过高效搜索识别并利用了位置插值中的两种非均匀性,为微调提供了更好的初始化,并在非微调情况下实现了8倍扩展;2.引入了渐进扩展策略,首先微调256k长度的LLM,然后在微调扩展的LLM上进行第二次位置插值,以实现2048k上下文窗口;3.在8k长度上重新调整LongRoPE以恢复短上下文窗口性能。Mistral在微调128k的窗口大小方面表现更好,主要原因是对于Mistral的128k和256k微调,研究人员遵循YaRN的设置使用16k训练长度,影响了Mistral在微调后进一步扩展上下文窗口的能力。

  • 首个开源世界模型LWM :百万级上下文,长视频理解超GPT-4

    来自加州大学伯克利分校的研究人员最近发布并开源了首个世界模型,被称为LWM系列模型。这一模型采用了大量视频和书籍数据集,通过RingAttention技术实现了长序列的可扩展训练,使得模型的上下文长度达到了1Mtoken。其优秀的性能表现和开源特性吸引了众多开发者的关注和参与,为人工智能领域的进步和创新带来了新的契机。

  • 「有效上下文提升20倍!DeepMind发布ReadAgent框架

    【新智元导读】模仿人类阅读过程,先分段摘要再回忆,谷歌新框架ReadAgent在三个长文档阅读理解数据集上取得了更强的性能,有效上下文提升了3-20倍。基于Transformer的大语言模型具有很强的语言理解能力,但LLM一次能够读取的文本量仍然受到极大限制。还可以看到ReadAgentS大大优于ReadAgent-P,性能改进的代价是检索阶段的请求数量增加了六倍。

  • 国际标准图查询语言 GQL 正式发布,悦数图数据库业界首家原生支持

    ·GQL是自1987年发布SQL标准以来,ISO组织发布的第二个数据库标准语言·悦数图数据库v5.0版本原生支持GQL,已有首批企业用户采用经过行业多年的讨论和行动,图查询语言GQL在2024年4月12日正式发布。GQL是由国际标准化组织和国际电工委员会共同制定的图数据库查询语言标准,正式编号为ISO/IEC39075。我们的专家乐于和您详细交流。

  • 苹果公司发布新型机器学习语言模型MLLLLM Ferret-UI 用于理解应用 UI 界面

    苹果公司近日发布了一款名为MLLLLMFerret-UI的新型机器学习语言模型,旨在提升对移动应用用户界面的理解。这款模型经过特别优化,能够处理移动UI屏幕上的各种任务,并具备指向、定位和推理等能力。Ferret-UI还能够通过功能推断来解释屏幕的整体目的,显示出在理解和生成自然语言指令方面的高级能力。

  • 苹果开发出能看懂屏幕上下文的人工智能技术ReALM

    苹果开发出了一项能够实时理解和识别用户屏幕上显示内容的人工智能技术无需依赖屏幕截图或图像数据输入。这项技术被称为ReALM,它使得在与用户交流的过程中,智能助手能够看到用户所看到的一切内容,并理解用户当前正在进行的活动,从随时提供帮助。当结合其他最近的苹果研究论文,允许“一次性”响应——即AI可以从单个提示中获得答案——这表明苹果仍在大力投资于AI助手领域不仅仅依赖外部模型。

  • 开源多模态LLM InternVL 1.5:具备OCR能力 可解读4K图片

    InternVL家族的开源套件提供了一种商用多模态模型的可行开源替代方案。最新发布的InternVL-Chat-V1.5模型在多个基准测试上取得了接近GPT-4V和GeminiPro的性能,这使得InternVL家族成为了当前最接近GPT-4V表现的可商用开源模型之一。InternVL家族的开源套件为多模态模型领域的发展注入了新的活力。

  • Claude 3说服力堪比人类!Anthropic最新研究揭秘LLM惊人能力

    【新智元导读】Anthropic发布最新研究,发现Claude3Opus的说服力与人类大致相当,该成果在评估语言模型说服力方面迈出了重要的一步。人工智能模型在对话说服力方面表现如何?对这一问题大家可能都心存疑惑。Anthropic也表示,他们已经采取了一系列措施来降低Claude被用于破坏性事件的风险。

今日大家都在搜的词:

热文

  • 3 天
  • 7天