首页 > 业界 > 关键词  > 大模型最新资讯  > 正文

腾讯 AI Lab联合多家学术机构发布大模型幻觉问题评估

2023-09-14 13:59 · 稿源:站长之家

要点:

1、大模型幻觉主要分为与输入、上下文及事实冲突的三类,研究热点在第三类。

2、相比传统模型,大模型幻觉评估面临数据规模大、通用性强、不易察觉等新难题。

3、缓解幻觉可从预训练、微调、强化学习、推理等方面入手,但仍有可靠评估等挑战。

站长之家(ChinaZ.com)9月14日 消息:近年来,大规模语言模型在许多下游任务上表现强劲,但也面临着一定的挑战。其中,大模型生成的与事实冲突的“幻觉”内容已成为研究热点。近期,腾讯 AI Lab 联合国内外多家学术机构发布了面向大模型幻觉工作的综述,对幻觉的评估、溯源、缓解等进行了全面的探讨。

image.png

  • 论文链接:https://arxiv.org/abs/2309.01219

  • Github 链接:https://github.com/HillZhang1999/llm-hallucination-survey

研究者根据大模型幻觉与用户输入、模型生成内容及事实知识的冲突,将其分为三大类。目前研究主要集中在与事实知识冲突的幻觉上,因为这最易对用户产生误导。与传统语言生成任务中幻觉问题不同,大模型幻觉面临数据规模巨大、模型通用性强以及幻觉不易被察觉等新难题。

针对大模型幻觉的评估,已提出多种生成式和判别式的基准,以问答、对话等不同任务形式检验模型的幻觉倾向。这些基准各自设计了判定幻觉的指标,但可靠的自动评估仍有待探索。分析认为,海量低质训练数据以及模型对自身能力的高估是导致幻觉的重要原因。

为减少幻觉,可从预训练、微调、强化学习等多个阶段进行干预。预训练可关注语料质量;微调可人工检查数据;强化学习可惩罚过度自信的回复。此外推理阶段,也可通过解码策略优化、知识检索、不确定度测量等方式缓解幻觉。尽管取得一定进展,可靠评估、多语言场景、模型安全性等方面仍存在诸多挑战。总体来说,大模型幻觉的评估与缓解仍有待深入研究,以促进大模型的实际应用。

举报

  • 相关推荐
  • 大家在看
  • 腾讯联合信通院发布「金融行业大模型标准」

    9月18日,腾讯云联合信通院正式发布国内首个金融行业大模型标准。该标准涵盖了金融大模型的关键能力要求,包括场景适配度、能力支持度和应用成熟度三大方面。腾讯云还与头部金融机构合作,共建了近百个定制化风险控制模型。

  • AI初创公司Galileo推新工具,可解释AI大模型幻觉现象

    在人工智能领域,特定生成型人工智能模型产生幻觉现象的问题一直令人困惑。旧金山的AI初创公司Galileo正在努力解决这一问题,并为用户提供了一系列新的监测和指标功能,以帮助他们更好地理解和解释LLMs的输出。通过防护措施和接地性指标,Galileo还帮助开发人员确保LLMs的输出不会引发问题,如不准确或不合规的响应。

  • AI大模型时代 ≠ 只有大模型AI时代

    什么样的技术能经历时间洗礼还历久弥新?答案或许可以归总为一个“三部曲”般的规律——兴起、发展和大规模应用,外加这个过程再一次演进式的迭代。引领第一次工业革命的是蒸汽机,当它演进成为内燃机并开始普及时,第二次工业革命的颠覆者——电能本身以及与它相关的各种设备正处于初创期在电力设备走向微电子的迭代革新时,各种燃油引擎还在持续改良和普及中�

  • 国内首个!腾讯联合信通院正式发布「金融行业大模型标准」

    9月18日,2023可信AI大会暨南京人工智能产业发展大会成功召开。腾讯云作为推动行业大模型发展的核心单位,联合信通院正式发布国内首个金融行业大模型标准,为金融行业智能化的高质量发展提供了重要支撑,为全面促进大模型安全合规和可信发展提供了重要保障。腾讯云将继续积极推动行业大模型标准制定,加速金融行业应用落地,为金融行业的数字化转型提供有力支持。

  • ROUGE 矩阵:大模型性能评估工具

    ROUGE矩阵是评估大型语言模型的性能和能力的工具。在自然语言处理领域中,评估模型的性能非常重要,但由于语言输出的不可预测性和人类语言的复杂性,传统的机器学习评估方法存在局限性。ROUGE矩阵是评估语言模型摘要能力的重要工具,通过不断改进和结合其他指标,可以更准确地评估语言模型的性能。

  • LLM评估测试框架DeepEval 可离线评估大模型性能

    DeepEval是一个用于对语言模型应用进行评估和单元测试的框架。它提供了各种指标,可以测试语言模型应用生成的回复在相关性、一致性、无偏见性和无毒性等方面的表现。如果你在开发聊天机器人、语言模型应用,DeepEval绝对是一个提高工程效率的好帮手。

  • 华为发布盘古汽车大模型和医学大模型 上线昇腾AI云服务“百模千态”专区

    在华为全联接大会2023的主题演讲中,华为常务董事、华为云CEO张平安介绍了盘古大模型在矿山、政务、气象、数字人直播、软件开发等领域的最新升级和落地进展。他还发布了盘古汽车大模型和医学大模型。为了解决这些问题,华为云在贵安、乌兰察布、芜湖部署了三大AI算力中心,旨在为企业提供可靠的AI算力。

  • 百度发布医疗大模型“灵医大模型

    9月19日,百度正式发布国内首个“产业级”医疗大模型——灵医大模型。百度正式宣布面向大健康上下游产业开放灵医大模型测评、试用,推动医疗行业的数字化和智能化进程。在辅助诊疗方面,灵医大模型可实现通过多轮对话了解病人病情,实时辅助医生确诊疾病,推荐治疗方案,提升就诊全流程的效率和体验,并成为患者的24小时“健康管家”,提供智能客服服务。

  • 大模型总结摘要靠谱吗?比人类写的流畅,用GPT-4幻觉还少

    作为自然语言生成中的一项任务,主要用来将一大段长文本压缩为简短的摘要,例如新闻文章、源代码和跨语言文本等多种内容都能用到。随着大模型的出现,传统的在特定数据集上进行微调的方法已经不在适用。本文还发现微调模型生成的摘要往往具有固定且严格的长度LLM能够根据输入信息调整输出长度。

  • 上海AI实验室开源图文混创作大模型浦语灵笔

    上海人工智能实验室近日推出了首个图文混合创作大模型书生·浦语灵笔,该模型能够根据用户提供的主题或图片,自动创作出图文并茂的文章,为大模型落地应用提供更多可能。浦语灵笔是基于书生·浦语大语言模型的多模态扩展,书生·浦语是上海AI实验室今年7月以来陆续开源的7B及20B版本的大语言模型,为业界提供了完整的大模型研发与应用基座,以及全链条工具体系。浦

  • Taipy:将数据和AI算法快速转化为生产就绪的Web应用

    Taipy是一个开源的Python库,用于简化端到端应用开发,提供假设分析、智能管道执行、内置调度和部署工具。它允许数据科学家和机器学习工程师构建全栈应用,无需学习新的语言或全栈框架,专注于数据和AI算法,同时简化开发和部署的复杂性。

  • Ideogram 1.0:人工智能辅助创意生成图片

    Ideogram 1.0是一个文本转图像的生成模型,能够根据文本描述生成高保真的图像。它拥有前沿的文本渲染能力,无与伦比的照片实感和提示符合度,以及名为“魔法提示”的新功能,可以帮助用户为美丽的创意图像编写详细的提示。Ideogram 1.0现已面向所有ideogram.ai的用户开放!您可以在ideogram.ai免费注册,加入我们的全球创作者社区,结识新朋友、分享您的图像和提示、从同行的创造力中汲取灵感。除了每日免费生成量外,我们还推出了付费订阅计划,提供优先生成、私人生成、图像上传和Ideogram编辑器访问等功能。

  • Playground v2.5:Playground是一个免费的在线AI图像生成器

    Playground是一个免费的在线AI图像生成器,用户可以使用它来创造艺术作品、社交媒体帖子、演示文稿、海报、视频、标志以及更多。它采用了当前最先进的视觉模型,可以高质量生成各种风格和内容的图片。主要功能和优势包括:1)强大的图像生成能力,可根据文字描述生成细节丰富的图片;2)支持多种生成风格,如写实、动漫等;3)支持生成高清大图;4)可自定义生成图片样式,如颜色、构图等;5)免费使用,无需登录;6)简单易用的网页界面。

  • chat-with-mlx:在Apple Silicon上原生使用MLX框架与数据对话

    chat-with-mlx是一个展示如何在Apple Silicon上使用MLX框架进行原生对话的库。它支持多种开源模型,可以轻松集成任何HuggingFace和MLX兼容的开源模型。

  • AutoPrompt:基于意图的提示校准框架

    AutoPrompt是一个用于提示优化的框架,旨在通过意图校准过程自动生成高质量、详细的提示,以适应用户意图。该框架通过迭代构建挑战性边缘案例数据集并相应优化提示,减少手动提示工程的工作量,并有效解决提示敏感性和固有的提示歧义问题。

  • LTX Studio:AI驱动的一站式视频制作平台

    LTX Studio是一个集成了AI技术的创新视频制作平台,它允许用户从概念到最终剪辑,全面控制视频的各个方面。该平台通过AI技术,将创意转化为连贯的视频故事,提供角色一致性、自动编辑、深度帧控制等功能,旨在简化视频制作流程,提高创作效率。

  • MorphStudio:Morph Studio可以帮助用户通过文本提示创造出独特的视频

    Morph Studio是一个基于人工智能的文本到视频生成平台。它使用先进的算法,可以通过用户提供的文本提示,自动生成高质量的视频。Morph Studio使创作者可以将自己的创意快速实现成动态的视觉内容。它极大地降低了视频制作的门槛,用户无需具备专业技能和昂贵设备,就可以创造出独特的视频作品。此外,Morph Studio还提供了强大的自定义功能,用户可以调整生成视频的长度、分辨率、样式等参数,输出结果更符合自己的需求。总之,这是一款极具创新和颠覆性的人工智能产品。

  • Borea AI:解锁智能财务掌握

    Borea AI是一款颠覆金融和投资传统的创新平台,通过提供AI驱动的工具和洞察力,帮助您做出明智的决策,助您成功。

  • AutoPitch.ai:AutoPitch是一个AI助手,可以在几秒钟内编写技术外联邮件

    AutoPitch是一个AI助手,可以在几秒钟内编写技术外联邮件。它从6个数据源和先进的AI模型中获取数据,帮助销售人员更好地研究和销售技术产品。AutoPitch深入了解产品的特性、技术细节等,并自动生成账户研究报告。它还可以帮助您编写与潜在客户的角色、公司和行业相关的个性化销售信息。通过AutoPitch,您可以节省每个账户1小时的时间。

  • LayerDiffusion:用SD直接生成透明的 PNG 图片

    LayerDiffusion 是一种使大规模预训练潜在扩散模型能够生成透明图像的方法。该方法允许生成单个透明图像或多个透明图层。它学习了一种 “潜在透明度”,将 Alpha 通道透明度编码到预训练潜在扩散模型的潜在空间中。通过将添加的透明度调节为潜在偏移,最小程度地改变预训练模型的原始潜在分布,以保留大型扩散模型的生产就绪质量。通过调整潜在空间对其进行微调,可以将任何潜在扩散模型转换为透明图像生成器。我们使用人机协作收集的 100 万个透明图像层对对模型进行训练。我们展示了潜在透明度可以应用于不同的开源图像生成器,或者适应于各种条件控制系统,实现前景 / 背景条件图层生成,联合图层生成,图层内容结构控制等应用。用户研究发现,在大多数情况下(97%),用户更喜欢我们本地生成的透明内容,而不是之前的临时解决方案,比如生成然后抠图。用户还报告说,我们生成的透明图像的质量与 Adobe Stock 等真实商业透明资产相媲美。

  • DiffuseKronA:参数高效微调个性化扩散模型

    DiffuseKronA 是一种参数高效的微调方法,用于个性化扩散模型。它通过引入基于 Kronecker 乘积的适配模块,显著降低参数数量,提升图像合成质量。该方法减少了对超参数的敏感性,在不同超参数下生成高质量图像,为文本到图像生成模型领域带来重大进展。

  • Einstein Copilot:成为 AI 第一公司的终极解决方案

    Salesforce Einstein 是您成为 AI 第一公司的端到端解决方案。利用我们 AI 技术在客户数据中创建可定制、预测性和生成性 AI 体验,安全地满足您所有的业务需求。通过 Einstein,在任何工作流程、用户、部门和行业中引入对话式 AI。

  • EMO:通过音频生成充满表情的肖像视频

    阿里巴巴的EMO: 是一款生成具有表情丰富的面部表情视频的工具,可以根据输入的角色图像和声音音频生成各种头部姿势和表情的声音头像视频。支持多语言歌曲和各种肖像风格,能够根据音频节奏生成动态、表现丰富的动画角色。

  • toona:批量给黑白漫画上色的工具

    toona 是一个将漫画图像上色的工具,让漫画生动起来。用户可以通过给漫画图像添加色彩来提升视觉效果,增加乐趣。无需专业绘画技能,一键即可实现。

  • 青梧字幕:智能提取视频字幕

    青梧字幕是一款视频字幕自动提取工具,用户可以通过选中本地视频文件自动生成字幕,进行编辑和翻译,最终可以下载多种格式的字幕文件。产品功能全面,支持高质量翻译和多种字幕格式下载,适用于视频制作、学习教育等场景。

  • C3PO:基于用户反馈的 LLM 模型对齐技术

    C3PO 是一种基于用户反馈的 LLM 模型对齐技术,可以从单个反馈句子中对 LLM 进行调整,避免过度概括化。该技术提供了参考实现、相关基准线和必要组件,方便研究论文中提出的技术。

  • OpenDiT::一款简单、快速、高效的DiT训练和推理系统

    OpenDiT是一个开源项目,提供了一个基于Colossal-AI的Diffusion Transformer(DiT)的高性能实现,专为增强DiT应用(包括文本到视频生成和文本到图像生成)的训练和推理效率而设计。OpenDiT通过以下技术提升性能:在GPU上高达80%的加速和50%的内存减少;包括FlashAttention、Fused AdaLN和Fused layernorm核心优化;包括ZeRO、Gemini和DDP的混合并行方法,还有对ema模型进行分片进一步降低内存成本;FastSeq:一种新颖的序列并行方法,特别适用于DiT等工作负载,其中激活大小较大但参数大小较小;单节点序列并行可以节省高达48%的通信成本;突破单个GPU的内存限制,减少整体训练和推理时间;通过少量代码修改获得巨大性能改进;用户无需了解分布式训练的实现细节;完整的文本到图像和文本到视频生成流程;研究人员和工程师可以轻松使用和调整我们的流程到实际应用中,无需修改并行部分;在ImageNet上进行文本到图像训练并发布检查点。

  • WMTA project (beta):AI识别非洲艺术品

    Whomadethisartwork.com是一个利用人工智能识别非洲艺术品的网站。通过上传或粘贴照片,AI模型可以准确识别艺术品,提供相关的艺术家、艺术品介绍等信息。该平台还提供了文档记录、艺术品鉴定、艺术家推广等功能,旨在保护和推广非洲艺术遗产。

  • Map Lead Scraper:从Google Maps抓取本地商家数据

    Map Lead Scraper是一个从Google Maps抓取工具,可以帮助用户提取Google Maps上的信息。它可以提取本地商家数据和联系方式,节省大量手动搜索的时间。可以自动生成潜在客户名单,包括名称、电话、邮箱等信息。

  • ChatMusician:集成音乐能力的开源LLM

    ChatMusician是一个开源的大型语言模型(LLM),它通过持续的预训练和微调,集成了音乐能力。该模型基于文本兼容的音乐表示法(ABC记谱法),将音乐视为第二语言。ChatMusician能够在不依赖外部多模态神经结构或分词器的情况下,理解和生成音乐。

今日大家都在搜的词: