首页 > 业界 > 关键词  > 正文

AI研究人员发现了主要大语言模型中关键漏洞 可低成本复制

2023-10-13 11:24 · 稿源:站长之家

划重点:

- 大型语言模型(LLM),如ChatGPT和Bard,已引起巨大轰动,但研究发现它们存在关键漏洞,可能导致私人信息泄露和有针对性的攻击。

- 研究人员发现,LLM的部分内容可以以低成本被复制,这一攻击方法被称为“模型寄生”,可成功传递于封闭源和开源机器学习模型之间。

- 尽管LLM技术具有巨大潜力,但业界需认真考虑采用和部署LLM时可能存在的网络安全风险。

站长之家(ChinaZ.com)10月13日 消息:近期,大型语言模型(LLM)如ChatGPT和Bard在全球范围内引起了广泛的关注,众多公司投资数百万美元用于开发这些人工智能工具,而一些领先的AI聊天机器人的估值已达到了数十亿美元。这些LLM主要被应用于AI聊天机器人,它们通过整合互联网上的大量信息来学习和为用户提供请求的答案,这些请求通常被称为“提示”。

然而,最近一项由AI安全初创公司Mindgard和英国兰开斯特大学的计算机科学家进行的研究揭示了LLM存在的严重漏洞。研究发现,LLM的部分内容可以在不到一周的时间内以低至50美元的成本被复制,并且获得的信息可以用于发动有针对性的攻击。这些潜在的攻击者可能会泄露私人机密信息、绕过安全保护措施、提供错误答案或进行进一步的有针对性攻击。

机器人黑客

图源备注:图片由AI生成,图片授权服务商Midjourney

这项名为“模型寄生”的攻击方法通过与LLM进行交互,提出一系列有针对性的提示,以使LLM提供深入见解的信息,揭示了模型的工作方式。研究团队在研究中主要关注了ChatGPT-3.5-Turbo,然后利用这一知识创建了自己的复制模型,该模型的大小只有原模型的1%,但复制了LLM的关键特征。研究人员随后利用这个模型副本作为测试平台,研究如何在不被察觉的情况下利用ChatGPT的漏洞。他们成功地利用从模型中获得的知识攻击ChatGPT,并提高了11%的成功率。

兰开斯特大学的Peter Garraghan博士表示:“我们发现的现象在科学上令人着迷,但也极具忧虑。这是首次实证证明安全漏洞可以成功传递于封闭源和开源的机器学习模型之间,这在考虑到产业如何依赖像HuggingFace这样的公开可用机器学习模型时,令人极为担忧。”

研究人员指出,尽管这些强大的数字AI技术具有明显的用途,但它们存在着隐藏的弱点,甚至不同模型之间可能存在共同的漏洞。各行各业的企业目前正在或准备投资数十亿美元用于开发自己的LLM,以执行各种任务,如智能助手。金融服务和大型企业也在采用这些技术,但研究人员表示,这些漏洞应该成为计划构建或使用第三方LLM的所有企业的主要关切点。

Peter Garraghan博士强调:“虽然LLM技术具有潜在的变革性,但企业和科学家都必须仔细考虑采用和部署LLM所涉及的网络安全风险。”这项研究为我们提醒了虽然AI技术带来了巨大的机会,但也伴随着一系列潜在的威胁,因此必须谨慎行事。

论文网址:https://techxplore.com/partners/lancaster-university/

举报

  • 相关推荐
  • 大家在看
  • IceburgCRM:智能创建任意类型的CRM

    IceburgCRM是一个智能创建CRM的平台,使用AI技术,可以快速转换现有的MySQL数据库为全面的CRM系统。用户可以通过描述需求、选择预设模板或上传现有数据库来创建自己的CRM。IceburgCRM提供了各种预设模板,包括收藏品目录、葡萄酒管理、健身工作室、职业网络、手工艺品供应商、咖啡爱好者、养蜂等。IceburgCRM还提供AI辅助填写和数据导入导出功能,以及多种主题、工作流等特点。IceburgCRM有免费和付费版本可供选择。

  • Mynt:免费AI写作工具

    Mynt是一个免费的AI写作工具,提供单一界面生成各种内容。用户可以导入数据、讨论想法,生成各种文档和内容。Mynt使用先进的语言模型,帮助用户以更高效的方式生成高质量的内容。Mynt有不同的付费计划,包括免费试用和按需付费,满足不同团队的需求。

  • emojiu.cc:搜索和复制粘贴 iPhone 表情符号

    Emoji Copy Paste 是一个可以搜索和复制粘贴 iPhone 表情符号的工具。用户可以通过简单的点击,探索各种表情符号,包括心形、笑脸、骷髅、书呆子、悲伤、iPhone、眼睛、星星、点赞、亲吻和手心等表情符号。增强您的在线沟通,轻松表达自己。

  • ioPartners:连接3D可定制的AI伙伴。

    ioPartners是您的个人AI助手,与您的3D AI ioPartner进行无尽对话,定制外观、互动,并塑造其个性特点,以打造完美的伙伴,共同创造独特的故事和体验。记忆保留功能让您的AI伙伴记住对话的细节,打造个性化和不断发展的互动。通过选择和组合不同特点,为您的ioPartner塑造独特的个性。保护您的隐私,对话保密,不与第三方共享数据。无需下载或安装,直接在浏览器上运行。

  • Gen Master:All-in-One AI工具

    Genmaster.ai是一款集成了AI写作、图像生成和聊天机器人等功能的全能AI平台。通过我们的创新工具,您可以简化项目流程,释放创造力。

  • Campana:为您的业务提供竞争情报

    Campana是您获取竞争情报的最佳方式。当竞争对手更改网站、发布新功能、在社交媒体上发布内容等时,您将收到通知。启用竞争监测,保持竞争优势。

  • Instafill:智能表单填写工具

    InstaFill AI是一款智能表单填写工具,可以自动识别和填写各种表单,提高工作效率。它具有强大的表单识别和智能填写功能,可以自动填写各种常见表单字段,并支持自定义规则和模板。它可以广泛应用于各个行业的表单填写场景,例如在线购物、注册申请、表格填写等。InstaFill AI提供免费试用和付费版本,灵活满足用户的需求。

  • SermoAI:用于银行和金融科技公司提供全面客户支持的AI聊天机器人

    SermoAI是一款AI聊天机器人,帮助银行和金融科技公司以客户的母语提供全面的客户支持。它能够处理不断增长的支持需求,消除语言障碍,提供个性化答案,快速解决问题,自动化客户沟通,并降低支持成本。该产品的定价信息请联系官方网站获取。

  • Open Agent Studio:建立未来无法实现的业务自动化

    Open Agent Studio是一个无需编写易碎代码选择器或计算机视觉,就能够使用简单的英语来建立以前无法实现的业务自动化的新一代RPA工具。我们引入了强大的新RPA概念,例如“语义目标”,以简单的语言来创建比之前一代易碎代码选择器更稳健且易于使用的代理程序。用户可以使用Agent Recorder记录点击、鼠标移动和键盘输入,以便快速构建和编辑代理程序。Open Agent Studio是一个独特的无代码合作伙伴构建工具,为用户提供了一种在其他所有RPA工具中都无法实现的解决方案。

  • QnAPe:问答社区,学习交流平台

    QnAPe是一个问答平台,连接提供独特见解和高质量答案的人们。让我们一起学习领导。

  • LabEx:通过AI和动手实验学习编程

    LabEx是一个结合AI技术和动手实验室的教育平台,专注于提供Linux、Python、Docker、Kubernetes、机器学习等技术的实战学习体验。通过互动式的学习环境和结构化的技能树,用户可以逐步掌握技术技能,并在完成技能树后参与真实世界项目,巩固所学知识。LabEx还拥有AI助手Labby,为用户提供实时的编程帮助和答疑。此外,LabEx承诺每完成一个技能树,就会种植一棵真实的树,让学习之旅也能为地球做出贡献。

  • Ready AI Goal + Habit Tracker:为您打造和维持积极习惯的一款应用

    Ready是一款旨在帮助您建立和保持积极习惯,从而实现更快乐、更健康、更充实的生活的应用。它提供个性化的智能辅导,包括健康习惯、平衡生活、营养指导、个性化饮食计划、健身目标、个性化锻炼计划、早晨日常、赋能习惯、个性化指导、成功规划、目标设定、进展跟踪、个人成长等功能。Ready通过AI教练提供个性化指导,24/7全天候服务,为您提供通往更好生活的路径。

  • Mini-Gemini:多模态AI模型,图像理解与生成兼备

    Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型,具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成,提供不同规模的版本,性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术,通过卷积网络编码图像并利用Attention机制挖掘信息,同时结合LLM生成文本链接两个模型。

  • ControlNet++:提升文本到图像生成的可控性

    ControlNet++是一种新型的文本到图像扩散模型,通过显式优化生成图像与条件控制之间的像素级循环一致性,显著提高了在各种条件控制下的可控性。它通过使用预训练的判别性奖励模型来提取生成图像的对应条件,并优化输入条件控制与提取条件之间的一致性损失。此外,ControlNet++引入了一种高效的奖励策略,通过向输入图像中添加噪声来扰动图像,然后使用单步去噪图像进行奖励微调,避免了与图像采样相关的大量时间和内存成本。

  • Suno 音乐生成器:基于 suno.ai 的文字快速创作音乐网站

    Suno 音乐生成器是一个基于 NextJS 开发的非官方 suno.ai 音乐生成网站,用户可以通过输入 prompt 快速生成自己想要的歌曲。通过 JavaScript 逆向工程解析 suno.ai 生成歌曲的 API,内置 token 更新和保活功能,无需担心 token 过期。

  • Cubeo AI:AI助手,业务自动化

    Cubeo是一款AI助手,可帮助您的业务实现销售提升、高质量潜在客户生成、品牌建设和业务自动化。它可以为您的业务提供全天候的支持,包括市场营销、销售、潜在客户生成、客户支持、人力资源、内部流程等方面的自动化。

  • STORM:自动化生成深度长篇内容

    STORM是由斯坦福大学开发的系统,能够自动化编写具有广度和深度的长篇文章,类似于维基百科。它通过互联网搜索自动搜集资料,模拟专家与作者对话生成结构化大纲,并最终生成完整文章。STORM还具备文章润色功能,优化语句和结构,确保内容流畅准确。

  • 多种草AI:小红书AI创作工具

    多种草是一个专为自媒体博主、市场运营设计的 AI 智能创作平台,服务自媒体工作者在抖音、小红书、微信等全平台文案及图文撰写。它提供多种功能,包括小红书文案创作、小红书敏感词检测、小红书账号定位分析、文案配图生成、小红书文案加表情、内容选题灵感等。用户可以根据不同的需求,使用该工具生成符合小红书风格的文案和图文,提升内容质量和创作效率。

  • QuickRead AI:一键摘要,永不阅读

    QuickReadAI是一款一键摘要工具,帮助用户快速概括任何内容。它可以对Reddit、Linkedin、Twitter等平台上的内容进行摘要,并支持自定义爬取网页摘要。QuickReadAI可以节省用户的时间,提高工作效率。该产品的定价分为月付和年付两种选择,适合不同用户的需求。

  • Thumbnail.bot:AI缩略图生成器

    Thumbnail.BOT是一款AI缩略图生成器,通过智能分析标题自动生成引人注目的缩略图。具有定制Logo、无水印、拖放编辑界面等特点。适用于营销机构、内容创作者、教育者等领域。

今日大家都在搜的词: