首页 > 业界 > 关键词  > 正文

AI研究人员发现了主要大语言模型中关键漏洞 可低成本复制

2023-10-13 11:24 · 稿源:站长之家

划重点:

- 大型语言模型(LLM),如ChatGPT和Bard,已引起巨大轰动,但研究发现它们存在关键漏洞,可能导致私人信息泄露和有针对性的攻击。

- 研究人员发现,LLM的部分内容可以以低成本被复制,这一攻击方法被称为“模型寄生”,可成功传递于封闭源和开源机器学习模型之间。

- 尽管LLM技术具有巨大潜力,但业界需认真考虑采用和部署LLM时可能存在的网络安全风险。

站长之家(ChinaZ.com)10月13日 消息:近期,大型语言模型(LLM)如ChatGPT和Bard在全球范围内引起了广泛的关注,众多公司投资数百万美元用于开发这些人工智能工具,而一些领先的AI聊天机器人的估值已达到了数十亿美元。这些LLM主要被应用于AI聊天机器人,它们通过整合互联网上的大量信息来学习和为用户提供请求的答案,这些请求通常被称为“提示”。

然而,最近一项由AI安全初创公司Mindgard和英国兰开斯特大学的计算机科学家进行的研究揭示了LLM存在的严重漏洞。研究发现,LLM的部分内容可以在不到一周的时间内以低至50美元的成本被复制,并且获得的信息可以用于发动有针对性的攻击。这些潜在的攻击者可能会泄露私人机密信息、绕过安全保护措施、提供错误答案或进行进一步的有针对性攻击。

机器人黑客

图源备注:图片由AI生成,图片授权服务商Midjourney

这项名为“模型寄生”的攻击方法通过与LLM进行交互,提出一系列有针对性的提示,以使LLM提供深入见解的信息,揭示了模型的工作方式。研究团队在研究中主要关注了ChatGPT-3.5-Turbo,然后利用这一知识创建了自己的复制模型,该模型的大小只有原模型的1%,但复制了LLM的关键特征。研究人员随后利用这个模型副本作为测试平台,研究如何在不被察觉的情况下利用ChatGPT的漏洞。他们成功地利用从模型中获得的知识攻击ChatGPT,并提高了11%的成功率。

兰开斯特大学的Peter Garraghan博士表示:“我们发现的现象在科学上令人着迷,但也极具忧虑。这是首次实证证明安全漏洞可以成功传递于封闭源和开源的机器学习模型之间,这在考虑到产业如何依赖像HuggingFace这样的公开可用机器学习模型时,令人极为担忧。”

研究人员指出,尽管这些强大的数字AI技术具有明显的用途,但它们存在着隐藏的弱点,甚至不同模型之间可能存在共同的漏洞。各行各业的企业目前正在或准备投资数十亿美元用于开发自己的LLM,以执行各种任务,如智能助手。金融服务和大型企业也在采用这些技术,但研究人员表示,这些漏洞应该成为计划构建或使用第三方LLM的所有企业的主要关切点。

Peter Garraghan博士强调:“虽然LLM技术具有潜在的变革性,但企业和科学家都必须仔细考虑采用和部署LLM所涉及的网络安全风险。”这项研究为我们提醒了虽然AI技术带来了巨大的机会,但也伴随着一系列潜在的威胁,因此必须谨慎行事。

论文网址:https://techxplore.com/partners/lancaster-university/

举报

  • 相关推荐
  • 低成本+高效率!青岛有源热能借助低代码实现高效办公

    “活字格,一切皆有可能。”——信息技术部长。 青岛有源热能设备有限公司(以下简称“青岛有源热能”),前身是日本独资青岛荏原环境设备有限公司通用锅炉事业部,于 2018 年 3 月由原青岛荏原通用事业团队的主要成员与西安交通大学赵钦新教授团队合作成立,由西安交通大学和株式会社日本热能提供技术支持,是集研发、生产、销售、服务为一体的锅炉制造企业,拥

  • 瑞星发布《2024年中国网络安全报告》:AI可助黑客打造低成本攻击武器

    瑞星公司发布《2024年中国网络安全报告》,该报告综合瑞星“星核”平台的数据与资料,对恶意软件、恶意网址、移动安全、企业安全、勒索软件、人工智能安全、加密货币安全等领域进行了详尽分析,同时对2025年网络安全趋势进行了预测并提出应对建议。看点一:2024年共截获病毒6,848万个2024年瑞星“星核”平台共截获病毒样本总量6,848万个,病毒感染次数8,474万次,病毒总体数量比2023年同期下降了19.02%。《2024年中国网络安全报告》已可下载,广大用户可关注瑞星企业安全获取完整版,了解更加详细的网络安全数据、攻击事件分析及未来网络安全形势。

  • 模型,在内卷寻找出口

    2024年,大模型进展不断。从年初的Sora到最新的o3,更新更好的模型不断被推出,“内卷”到底有没有发生?我们要先确定“内卷”的定义,指某一类产业模式,发展到一种确定形式后,陷入“高水平均衡陷阱”,出现“没有发展的增长”,这种局面一直无法被打破,那就会走向停滞和危机。大模型要取得商业成功,前提是用户和开发者的业务能否成功,这是为什么完善的商业基

  • 研究发现:水瓶没刷干净或比马桶座圈还脏

    美国净水器制造商WaterFilterGuru的一项调查显示,如果不认真清洗,一个可重复使用的水瓶平均有2080万个细菌菌落形成单位,是电脑鼠标菌落数量的5倍,带有运动壶嘴的水瓶的菌落形成单位可高达3000万个,或脏过马桶座圈。水瓶里的细菌通常有两种:革兰氏阴性杆菌和芽孢杆菌,如果吃进体内,革兰氏阴性菌会导致感染某些类型的杆菌会导致严重肠胃问题。定期清洁对于防止水瓶中的微生物滋生至关重要,这一小小的努力可以带来巨大的健康益处。

  • 体验了罗永浩的AI应用,我发现这就是一个大锅乱炖的AI助理?

    传闻中的罗永浩的「AI软件项目」终于上线了。就在刚刚过去的周末,罗永浩「最后一次创业」从AR转型AI后推出了第一款产品——J1AssistantAI助手,现已上线Android平台的Beta版本,官网显示首批支持机型仅限三星Galaxy以及谷歌Pixel的最新三代机型,包括APP仅支持英文无中文,都证明了这次推出的J1Assistant瞄准海外非国内市场。」现在来看,J1Assistant毫无疑问就是老罗「最后一次创�

  • 心跳快和心跳慢的人谁更健康:研究发现心跳慢更长寿

    诸多研究发现,在安静休息状态下,每分钟50~80次心跳最健康,超过80次就算增快了。静息心率维持在正常且偏低水平的人更长寿,与静息心率为60~69次/分钟的老年人相比,那些静息心率在70~99次/分钟的老年人全因死亡风险更高。2、情绪平稳、饮食清淡、保证睡眠日常应保持情绪平稳,日常饮食应避免过度饱餐,食物可以清淡为主,熬夜可使静息心率加快,所以晚上保证充分睡眠,也是保持心血管健康的基础。

  • 周鸿祎参演AI短剧开拍 纳米AI搜索节约大量拍摄成本

    国内首部AI短剧在西安正式开机,该剧由360集团创始人周鸿祎参与拍摄并出演。据周鸿祎在其短视频平台透露,这部短剧共约60集,以穿越为题材,计划于春节期间上线,为观众带来一场科技与想象的盛宴。随着该剧的开机拍摄,相信在不久的将来,这部充满科技与想象力的AI短剧将成为观众热议的话题。

  • 黑客动态播报:零日漏洞激增,主动防御成关键对策

    不知道各位有没有注意到一件事情,那就是现在的软件更新速度实在是太快了。手机上的社交平台几乎一周一更新、PC端的浏览器没过几天就上线新版本,即使是操作系统一个月内也得更新个两三次。戴尔数据避风港就是一款帮助企业主动应对威胁的解决方案,扩展防御的深度和广度,帮助企业构建起一套可靠的、简单的、富有弹性的防御策略,筑牢企业数据的最后一道防线。

  • 非遗贺春!AI与非遗交融,魔多蛇年春节AI模型创作大赛盛大启幕

    春节作为中华民族最隆重的传统节日,已被列入联合国教科文组织「人类非物质文化遗产代表作名录」,承载着厚重的文化底蕴与民族情感。在此背景下,浙江省非物质文化遗产保护中心(浙江省非物质文化遗产馆)指导浙江省慈善联合总会浙江非遗保护公益基金,携手慧星云、魔多 AI,发起“非遗贺春”魔多蛇年春节 AI 模型创作大赛。这场大赛一方面向源远流长的春节文化�

  • o3并非独门秘技,谷歌已发背后关键机制,方法更简单、成本更低

    o1/o3带火的推理计算Scaling,原来谷歌早在今年8月就曾探讨过。来自斯坦福、牛津以及谷歌DeepMind的团队提出通过重复采样来扩展推理计算量——结果在编码任务中将性能最多提高40%。不过也有网友指出了背后的局限性。