首页 > 业界 > 关键词  > DeepMind最新资讯  > 正文

谷歌DeepMind推出“超人类”AI系统SAFE,擅长事实核查,节约成本并提高准确性

2024-03-29 09:23 · 稿源:站长之家

划重点:

🔍 研究人员开发了名为SAFE的AI系统,使用大型语言模型来评估信息的准确性。

💰 SAFE的使用成本约为人工事实检查的20倍,可大大降低成本。

💡 研究引发了“超人类”表现的争议,需要更多透明度和人类基准来评估其真实效果。

站长之家(ChinaZ.com)3月29日 消息:谷歌DeepMind的研究团队发布了一项新研究,介绍了一种名为“Search-Augmented Factuality Evaluator (SAFE)”的人工智能系统。该系统利用大型语言模型将生成的文本分解成个别事实,并利用谷歌搜索结果来确定每个声明的准确性。研究发现,SAFE在评估大型语言模型生成的信息准确性方面优于人工事实检查员。

image.png

与人工标注员的对比显示,SAFE的评估结果与人工评级的一致率达到了72%。更值得注意的是,在100个SAFE与人工评级者之间存在分歧的样本中,SAFE的判断在76%的情况下被证明是正确的。然而,研究中“超人类”表现的说法引发了争议,一些专家质疑这里的“超人类”到底是什么意思。他们认为,需要更多透明度和人类基准来评估SAFE的真实效果,而不仅仅是依赖于众包工人。

SAFE的应用成本约为人工事实检查的20倍,这意味着它可以大大降低事实核查的成本。研究团队还使用SAFE评估了13个顶级语言模型的事实准确性,并发现较大型的模型通常产生较少的错误。尽管最佳模型的表现仍然存在一定数量的错误,但自动事实检查工具如SAFE可能在减少这些风险方面发挥关键作用。

虽然SAFE的代码和LongFact数据集已在GitHub上开源,但研究人员指出,仍需要更多关于研究中使用的人类基准的透明度。正因如此,技术巨头们竞相开发越来越强大的语言模型,自动核查这些系统输出的信息的能力可能变得至关重要。SAFE等工具代表着建立新的信任和责任层面的重要一步。

然而,关键是这类重要技术的发展必须在开放的环境中进行,并获得来自广泛利益相关者的意见。严格、透明地与人类专家进行基准测试将是衡量真正进步的关键所在。只有这样,我们才能评估自动事实检查对打击错误信息的实际影响。

论文地址:https://arxiv.org/pdf/2403.18802.pdf

举报

  • 相关推荐
  • 深度deepin 23.1正式发布!AI默认引擎切换至DeepSeek、修复超百项问题

    快科技4月16日消息,今天,深度操作系统宣布,deepin 23.1版本已正式发布。此版本聚焦于解决基础组件更新后的安装效率问题,大幅提升新用户安装体验,同时集成多项功能优化与问题修复,进一步优化系统使用。本次版本的重点改进包括内核优化、AI 默认引擎切换至DeepSeek、修复超百项用户反馈问题等,具体重点改进如下:硬件兼容性与内核优化:集成6.6/6.12内核更新、NVIDIA显卡驱动升级、Intel/AMD CPU微码更新,全面提升硬件支持与底层性能;核心功能增强:DDE新增智能镜像源管理、紧凑模式入口,全局搜索支持离线自然语言与AI处理能力;?

  • 时空壶接入DeepSeek、豆包等大语言模型,翻译准确度再次跃升

    在全球跨语言沟通需求持续攀升的当下,时空壶再次以创新之举震撼行业。时空壶正式宣布接入DeepSeek、豆包等大语言模型,为其同传耳机产品带来了前所未有的体验升级,彻底改写了同传翻译的游戏规则,也让传统机翻模式成为历史。这一创新举措不仅满足了当下各行业对高质量跨语言沟通的迫切需求,更为未来跨语言交流的发展指明了方向,有望推动整个行业向更加智能、精准、自然的方向迈进,助力全球交流合作开启全新篇章。

  • AI进化论——音乐、绘画和舞蹈的DeepSeek时刻

    “昔者仓颉作书天雨粟,鬼夜哭”——人类掌握文字后,天地为之动容,因为属于人类的文明诞生了。“仓颉作书”出自西汉《淮南子》,距离人类掌握文字已经过去了千年。AI进化的答案,或许早就镌刻在人类文明的起点里。

  • 艾力斯特iRest云系统接入Deepseek赋能AI健康管理新时代

    随着人工智能技术的快速发展,健康管理领域也掀起了AI智能化转型的新浪潮。iRest艾力斯特作为中国按摩器具行业领先品牌,为满足用户日益增长的个性化健康管理需求,旗下独家研发的iRest云系统——按摩椅智能控制系统和健康管理平台,于今年3月份完成三项重大功能升级:接入DeepseekAI智能健康管家、联动华为运动健康以及推出按摩周月年报功能。艾力斯特将继续深耕健康科技领域,以用户需求为导向,通过健康生态链智能技术建立起iRest产品生态链,不断推出创新产品与服务,为用户创造更健康、更便捷的生活方式。

  • 超过ChatGPT、Deepseek?谷歌发布 Gemini 2.5 Flash AI 模型

    新版AI模型缩短了响应时间,节约了运算成本;还推出了新的AI芯片“Ironwood”。谷歌发布了新的AI模型“Gemini2.5Flash”,据称,这款AI模型的性能比OpenAI和DeepSeek的AI产品“更高效”。谷歌计划在三星今年上半年推出的AI伴侣机器人Ballie上搭载生成式AI模型。

  • 宝马中国将接入DeepSeek!爆新世代车型搭载AI智能体

    宝马中国4月27日宣布接入深度求索(DeepSeek)AI大模型,深化本土AI生态布局。这是继宝马与阿里巴巴达成AI大语言模型合作后,再次联手中国科技企业。从今年三季度起,搭载第九代宝马操作系统的多款国产新车将率先应用该技术,通过智能个人助理提升人机交互体验。宝马还计划将DeepSeek功能应用于新一代国产车型。此前3月,宝马已与阿里云合作开发车载AI引擎,双方在上海车展展示了识别率达99%的智能语音交互系统。此次合作将突破车载场景限制,实现车辆与外部世界的智能连接,为用户提供个性化出行体验。

  • DeepSeek带飞寒武纪

    寒武纪凭借AI芯片业务实现扭亏为盈,2024年首次实现上市后盈利,2025年Q1营收11.11亿元同比暴增4230%,净利润3.55亿元。这家曾连亏8年、累计亏损54亿元的"中国版英伟达",因美国对H20芯片出口管制获得市场红利,但客户集中度过高(前五大客户贡献94.63%营收)和现金流波动仍是隐忧。当前国产芯片迎来发展机遇,华为昇腾、壁仞等企业纷纷抢占市场,行业竞争日趋激烈。

  • 字节和DeepSeek争抢“天才少年”

    当年轻人还在想着怎么靠AI赚钱时,AI已经开始帮助老板提升身家了。近期胡润研究院发布的《2025胡润全球富豪榜》显示,字节跳动创始人张一鸣取代“瓶装水大王”钟睒睒,成为中国新首富。对当下的字节和张一鸣言,如果靠砸钱就能解决大模型的技术突破难题,那无疑将是一笔划算的投资。

  • DeepSeek红利耗尽后,元宝拿什么和豆包斗?

    短短60天内,中国AI原生应用下载排行榜的位次排名,就三易其主。最新情况是,截至4月15日中午,中国区苹果应用商店免费APP下载排行榜上,豆包再次超越DeepSeek,位列第二,紧随其后的DeepSeek被挤到了第三的位置,腾讯元宝则滑落到了第七名。2月13日,作为首家在C端主力产品中接入DeepSeek-R1满血版的元宝,一度趁着DeepSeek东风崛起:3月3日力压DeepSeek和豆包,首度登顶。但好景�

  • DeepSeek的极致谄媚,正在摧毁我们的判断力。

    昨天别人给我发了一个很好玩的帖子。就是如果你问DeepSeek一个问题:“北京大学和清华大学哪个更好,二选一,不需要说明理由”DeepSeek在思考了15秒之后,会给出答案。