首页 > AI头条  > 正文

Llama 3超越GPT-4!英伟达推微调新框架RankRAG

2024-07-10 10:52 · 来源: AIbase基地

最近,佐治亚理工学院和英伟达的两位华人学者提出了一种名为RankRAG的新型微调框架,这个框架极大简化了原本复杂的RAG流水线,使用微调方法让同一个LLM完成检索、排名和生成任务,结果还实现了性能的大幅提升。

QQ截图20240710105156.jpg

RAG(Retrieval-Augmented Generation)是LLM部署中常用的技术,特别适合需要大量事实知识的文本生成任务。通常,RAG的流程是:基于文本编码的稠密模型从外部数据库中检索top-k文本段,然后LLM进行读取和生成。这个流程已经被广泛使用,但也有局限,比如k值选择。如果k值太大,即使是支持长上下文的LLM也难以快速处理;如果k值太小,又需要高召回率的检索机制,而现有的检索器和排名模型各有不足。

基于上述问题,RankRAG框架提出了新思路:通过微调扩展LLM能力,让LLM自己完成检索和排名。实验结果表明,这种方法不仅提高了数据效率,还显著增强了模型性能。特别是在多个通用基准和生物医学知识密集型基准上,RankRAG微调出的Llama38B/70B模型,分别超过了ChatQA-1.58B和ChatQA-1.570B模型。

QQ截图20240710105208.jpg

RankRAG的关键在于其高度的交互性和可编辑性。用户不仅可以实时查看AI生成的内容,还能直接在界面上进行编辑和迭代。这种即时反馈机制大大提高了工作效率,让AI真正成为创作过程中的得力助手。更令人兴奋的是,本次更新让这些Artifacts不再局限于Claude平台内部,用户可以轻松地将它们分享到任何地方。

这次RankRAG微调框架的创新还包括两个阶段的指令微调。第一阶段进行监督微调(SFT),混合多个数据集以提高LLM的指令跟随能力。第二阶段的微调数据集包含多种QA数据、检索增强的QA数据和上下文排名数据,进一步提升LLM的检索和排名能力。

在实验中,RankRAG在九个通用领域数据集上的表现始终优于当前的开源SOTA模型ChatQA-1.5。特别是在具有挑战性的QA任务中,如长尾QA和多跳QA,RankRAG比ChatQA-1.5提高了10%以上的性能。

总的来说,RankRAG不仅在检索和生成任务中表现出色,还在生物医学RAG基准Mirage上展示了其强大的适应性。即使在没有微调的情况下,RankRAG在医学问答任务上的表现也超过了许多专业领域的开源模型。

随着RankRAG框架的提出和不断完善,我们有理由相信,AI与人类协作创作的未来将更加光明。无论是独立开发者还是研究人员,都能利用这一创新框架激发出更多创意和可能性,推动技术和应用的发展。

论文地址:https://arxiv.org/abs/2407.02485

AiBase副业搞钱交流群

欢迎大家加入AiBase交流群, 扫码进入,畅谈AI赚钱心得,共享最新行业动态,发现潜在合作伙伴,迎接未来的赚钱机遇!。

AiBase副业搞钱交流群

  • 相关推荐
  • 大家在看
  • AI写作宝:AI驱动的文字生产力工具

    AI写作宝是一个利用人工智能技术提供多种写作辅助服务的在线平台。它通过各种功能帮助用户快速生成高质量文本内容,提高写作效率,适用于多种场景,如社媒写作、教育、工作、短视频、电商和娱乐等。

  • RTVI-AI:实时语音和视频推理的开放标准

    RTVI-AI是一个旨在简化构建AI语音到语音和实时视频应用的开放标准。它提供了开源SDK代码和标准端点形状、事件消息以及数据结构的文档,支持开发者使用任何推理服务,并允许推理服务利用开源工具为实时多媒体开发复杂的客户端工具。

  • File Transcribe:AI驱动的音频转文字服务

    File Transcribe 是一款利用先进人工智能技术将音频文件转换为文本的服务。它通过高精度的AI模型,提供即时、准确的转录服务,并具备多种高级功能,如说话人识别、情绪检测、主题检测等。该服务支持多种语言,能够满足不同用户的需求,提高工作效率,适用于记者、学生、企业等各类用户。

  • NinjaRIP:AI驱动的文档处理工具,快速准确。

    NinjaRIP是一款AI驱动的文档处理服务,它通过先进的机器学习模型来识别模式和提取有意义的信息,从而简化文档工作流程。它以99%以上的准确率在文档识别和数据提取方面提供无与伦比的精确度,确保了数据的可靠性和可信度。NinjaRIP在beta阶段免费提供,一旦过渡到正式版,将提供不同业务需求的定价计划,价格透明且具有竞争力。

  • DeepL Chrome扩展:在Chrome浏览器内翻译阅读或书写的内容

    DeepL Chrome扩展是一款由全球最精确的人工智能翻译器支持的浏览器插件,它允许用户在Chrome浏览器中即时翻译阅读或书写的内容。它利用神经网络和人工智能技术,能够捕捉最细微的差别,提供比同行业竞争对手更准确的翻译结果,准确度高达三倍以上。

  • 豆包浏览器插件:浏览器AI助手,提升工作学习效率

    豆包浏览器插件旨在通过AI技术提升用户的工作效率和学习效率。它具备快速视频与一键从网页、PDF和视频中总结并生成亮点的功能,同时支持在网页任意地方划词进行全方位AI搜索。此外,它还提供全文对照翻译功能,帮助用户在阅读外文资料时更轻松地理解内容。豆包插件的设计理念是将AI技术与日常使用场景相结合,让用户在进行网页浏览、文档阅读和视频观看时能够更加便捷地获取信息和知识。

  • 聚好用AI:一站式创意平台,激发无限创意。

    聚好用AI是一个集成了多种创意工具的在线平台,旨在帮助用户快速生成和编辑各种创意内容。它结合了AI技术,使得设计、绘画、音乐创作等变得更加简单和高效。平台的主要优点在于其易用性、高效性和创新性,能够满足不同用户在创意表达上的需求。聚好用AI背后的技术团队拥有丰富的行业经验,致力于通过AI技术推动创意产业的发展。目前,该平台提供免费试用,但部分高级功能可能需要付费。

  • E象:AI技术助力电商,提升运营效率

    E象 HiDream.ai 是一家专注于电商行业的AI技术公司,通过人工智能技术提供高质量的商品图,帮助商家提高商品上架和运营活动的效率。产品通过AI技术替代传统拍摄,降低成本,提升人效,缩短上架时间。主要技术包括AI生成商品图、模特效果图、商品视频生成等,适用于跨境电商和本地电商。

  • HackerPulse.io:开发者成长助手

    HackerPulse 是一个专门为开发者设计的个人资料聚合平台。它通过整合 GitHub、LinkedIn 等多个开发者常用的平台数据,帮助开发者构建一个全面的个人资料。这个平台不仅可以展示开发者的技能和成就,还能识别技能差距和提升空间,从而支持开发者的职业成长。

  • SuperCoder 2.0:开源自主软件开发系统

    SuperCoder 2.0是一个开源的自主软件开发系统,利用大型语言模型(LLMs)和大型动作模型(LAMs)针对Python代码生成进行微调,以实现更高精度的一次性或少次编程。它结合特定于开发框架的软件护栏,如Flask和Django,与SuperAGI的通用智能开发代理一起,提供复杂的现实世界软件系统。SuperCoder 2.0还确保了您的知识产权和代码免受AI相关的滥用,并与现有的开发栈如Jira、Github或Gitlab、Jenkins、CSPs以及QA解决方案如BrowserStack/Selenium Clouds深度集成,确保无缝的软件开发体验。

  • Llama Tutor:个性化AI教学助手,学习更高效

    Llama Tutor是一个基于Llama 3.1和Together AI的个性化AI教学助手,旨在为用户提供定制化的学习体验。它完全开源,用户可以在GitHub上找到相关代码并进行个性化的调整。该产品通过用户输入的学习主题和教育水平,生成个性化的学习计划,帮助用户更高效地掌握知识。

  • HoloDreamer:从文本描述生成全息3D全景世界

    HoloDreamer是一个文本驱动的3D场景生成框架,能够生成沉浸式且视角一致的全封闭3D场景。它由两个基本模块组成:风格化等矩形全景生成和增强两阶段全景重建。该框架首先生成高清晰度的全景图作为完整3D场景的整体初始化,然后利用3D高斯散射(3D-GS)技术快速重建3D场景,从而实现视角一致和完全封闭的3D场景生成。HoloDreamer的主要优点包括高视觉一致性、和谐性以及重建质量和渲染的鲁棒性。

  • MusiConGen:基于Transformer的文本到音乐生成模型

    MusiConGen是一个基于Transformer的文本到音乐生成模型,它通过时间条件增强对节奏和和弦的控制。该模型从预训练的MusicGen-melody框架中微调而来。它使用符号表示的和弦和节奏控制,并结合五种不同风格的文本描述来生成样本。生成样本的和弦通过BTC和弦识别模型进行估计,如论文中所述。

  • PixVerse V2:轻松创建视觉冲击的视频内容。

    PixVerse V2是一个革命性的更新,它赋予每个用户轻松创建令人惊叹的视频内容的能力。使用V2,您可以轻松制作视觉冲击力强的电影,甚至可以加入现实世界中不存在的元素。主要优点包括模型升级、画质提升、剪辑间的一致性等。

  • KLING AI:激发你的想象力,开启创意生产的新时代。

    KLING AI是快手可灵的国际版,是一个以AI技术为核心的创意生产平台,提供AI图像和视频生成服务。其背后的技术由KOLORS和KLING提供支持,旨在通过先进的算法快速生成高质量的视觉内容,帮助用户实现创意想法,提升生产效率。

  • Comfy Deploy:快速部署AI应用的协作平台

    Comfy Deploy是一个面向产品团队的开源平台,专注于将ComfyUI工作流程快速转化为生产就绪的API。它提供了一键部署API、强大的管理GPU支持、任何模型和自定义节点的安装,以及无需自托管即可享受的ComfyUI的强大功能。该平台通过简化复杂流程,帮助团队协作、迭代和部署AI应用,显著提高了生产效率。

  • NVIDIA AI Foundry: 提供定制化的 AI 模型和解决方案。

    NVIDIA AI Foundry 是一个平台,旨在帮助企业构建、优化和部署 AI 模型。它提供了一个集成的环境,使企业能够利用 NVIDIA 的先进技术来加速 AI 创新。NVIDIA AI Foundry 的主要优点包括其强大的计算能力、广泛的 AI 模型库以及对企业级应用的支持。通过这个平台,企业可以更快速地开发出适应其特定需求的 AI 解决方案,从而提高效率和竞争力。

  • HeyGen Interactive Avatar:在线创建AI虚拟形象视频,实时互动。

    HeyGen Interactive Avatar是一个在线AI视频生成器,专注于创建和优化虚拟形象视频,支持实时互动。它允许用户创建一个为连续流媒体优化的虚拟形象,同时提醒用户保持头部和手部的最小动作。HeyGen的背景信息包括与Baron David和Ryan Hoover等知名人士的合作,产品目前处于Beta测试阶段,提供免费试用。

  • Adobe Firefly Vector AI:创意生成AI工具

    Adobe Firefly Vector AI是Adobe推出的一系列创意生成AI模型,旨在通过生成AI功能增强创意工作。Firefly模型和服务于Photoshop、Illustrator、Lightroom等Adobe创意应用中。它通过文本到图像、生成填充、生成扩展等功能,帮助用户以前所未有的控制力和创造力生成丰富、逼真的图像和艺术作品。Firefly的训练数据包括Adobe Stock的授权内容、公开许可内容和公共领域内容,确保其商业使用安全。Adobe致力于负责任地开发生成AI,并通过与创意社区的紧密合作,不断改进技术,支持和提升创意过程。

  • Jelled.ai:使用AI数字孪生优化职场沟通

    Jelled.ai是一个利用人工智能技术来提升职场沟通效率的平台。它通过创建用户的数字孪生,帮助用户从Gmail和Slack等主要通信渠道中提取、总结关键信息,并生成及时、知情的邮件草稿。数字孪生能够学习用户的邮件回复模式,节省时间和精力。此外,它还提供了即时回复、智能代理聊天、消息审查等功能,帮助用户有效管理日常沟通。Jelled.ai致力于保护用户数据安全,通过年度安全审计和符合Google API服务用户数据政策的措施,确保数据安全。

今日大家都在搜的词: