首页 > 业界 > 关键词  > 正文

AI研究人员发现了主要大语言模型中关键漏洞 可低成本复制

2023-10-13 11:24 · 稿源:站长之家

划重点:

- 大型语言模型(LLM),如ChatGPT和Bard,已引起巨大轰动,但研究发现它们存在关键漏洞,可能导致私人信息泄露和有针对性的攻击。

- 研究人员发现,LLM的部分内容可以以低成本被复制,这一攻击方法被称为“模型寄生”,可成功传递于封闭源和开源机器学习模型之间。

- 尽管LLM技术具有巨大潜力,但业界需认真考虑采用和部署LLM时可能存在的网络安全风险。

站长之家(ChinaZ.com)10月13日 消息:近期,大型语言模型(LLM)如ChatGPT和Bard在全球范围内引起了广泛的关注,众多公司投资数百万美元用于开发这些人工智能工具,而一些领先的AI聊天机器人的估值已达到了数十亿美元。这些LLM主要被应用于AI聊天机器人,它们通过整合互联网上的大量信息来学习和为用户提供请求的答案,这些请求通常被称为“提示”。

然而,最近一项由AI安全初创公司Mindgard和英国兰开斯特大学的计算机科学家进行的研究揭示了LLM存在的严重漏洞。研究发现,LLM的部分内容可以在不到一周的时间内以低至50美元的成本被复制,并且获得的信息可以用于发动有针对性的攻击。这些潜在的攻击者可能会泄露私人机密信息、绕过安全保护措施、提供错误答案或进行进一步的有针对性攻击。

机器人黑客

图源备注:图片由AI生成,图片授权服务商Midjourney

这项名为“模型寄生”的攻击方法通过与LLM进行交互,提出一系列有针对性的提示,以使LLM提供深入见解的信息,揭示了模型的工作方式。研究团队在研究中主要关注了ChatGPT-3.5-Turbo,然后利用这一知识创建了自己的复制模型,该模型的大小只有原模型的1%,但复制了LLM的关键特征。研究人员随后利用这个模型副本作为测试平台,研究如何在不被察觉的情况下利用ChatGPT的漏洞。他们成功地利用从模型中获得的知识攻击ChatGPT,并提高了11%的成功率。

兰开斯特大学的Peter Garraghan博士表示:“我们发现的现象在科学上令人着迷,但也极具忧虑。这是首次实证证明安全漏洞可以成功传递于封闭源和开源的机器学习模型之间,这在考虑到产业如何依赖像HuggingFace这样的公开可用机器学习模型时,令人极为担忧。”

研究人员指出,尽管这些强大的数字AI技术具有明显的用途,但它们存在着隐藏的弱点,甚至不同模型之间可能存在共同的漏洞。各行各业的企业目前正在或准备投资数十亿美元用于开发自己的LLM,以执行各种任务,如智能助手。金融服务和大型企业也在采用这些技术,但研究人员表示,这些漏洞应该成为计划构建或使用第三方LLM的所有企业的主要关切点。

Peter Garraghan博士强调:“虽然LLM技术具有潜在的变革性,但企业和科学家都必须仔细考虑采用和部署LLM所涉及的网络安全风险。”这项研究为我们提醒了虽然AI技术带来了巨大的机会,但也伴随着一系列潜在的威胁,因此必须谨慎行事。

论文网址:https://techxplore.com/partners/lancaster-university/

举报

  • 相关推荐
  • 低成本斩获2亿+美元票房,《痴迷》《后室》让Z世代“教育”好莱坞?

    最近的北美院线,被两部超低成本恐怖片刷新了认知。 5月15日上映的恐怖片《痴迷》,制作成本仅75万美元,截至发稿前已斩获北美1.52亿美元、全球2.34亿美元的票房,在烂番茄影评网站上的媒体新鲜度和观众爆米花指数分别高达96%和95%,豆瓣开分7.7分,被传也将引进内地。 5月29日,成本1000万美元的恐怖片《后室》上映,首周票房北美粗报8140万美元、全球1.18亿美元,直奔北

  • Check Point发布智能体暴露验证功能,主动应对AI模型自主漏洞利用威胁

    Check Point发布全新AI智能体“暴露验证(AEV)”,以攻击者视角推理验证真实可利用漏洞,帮助安全团队在攻击前采取行动。该功能利用前沿AI模型自主发现和利用漏洞,结合威胁情报上下文,从外部审视企业数字暴露面,摒弃静态严重性评分,通过安全验证闭环分析资产、CVE漏洞及现有控制措施,生成针对性验证路径。AEV是持续威胁暴露管理(CTEM)体系的关键验证能力,已为数十个漏洞生成新利用路径,现已正式上线。

  • 每日互动打造AI PC个知·智能工作站 内置300亿参数小模型平衡安全与成本

    2026年台北GTC大会上,黄仁勋指出PC使用方式将因RTX Spark超级芯片和Windows改变,用户只需提问即可完成工作,“AI PC”成为必然趋势。文章强调消费级与企业级AI PC的区别,后者需解决数据主权、私有化部署和成本可控问题。每日互动推出的“个知·智能工作站”采用“云边端库”架构,通过端侧模型与云侧大模型协同,实现本地数据安全处理。该工作站内置300亿参数大语言模型�

  • 教你如何用AI对话问题挖掘,输入核心关键词,智能推荐热门提问词

    2026年,AI已普及但存在“围城现象”:外人觉得AI万能,内行人却因Prompt无法击中用户痛点而苦恼。文章指出,营销和内容创作的关键是挖掘用户真实搜索意图,而非凭“我觉得”闭门造车。AIBase平台的“AI对话问题挖掘”工具能解决三大难题:精准定位热门提问词、整合全平台数据打破信息孤岛、用热度指数辅助决策。通过该工具获取高价值提问词作为Prompt输入AI,可产出爆款内容,提升营销ROI。

  • 头程成本算不清?店小秘ERP【海外仓头程分摊】功能轻松解决

    海外仓卖家常面临头程费用(运费、清关费等)分摊难题,导致成本核算模糊,易出现“账面盈利实则亏损”。店小秘ERP推出【海外仓头程分摊】功能,通过自动分摊头程费用到商品成本、批次库存管理、先进先出逻辑计算、库存变动实时记录及差异入库智能识别,实现全流程自动化与精准化,解决记录难、维护难、统计难问题,让头程成本可见、支出可控、利润可依。

  • 猫咪起跳发现床上有宝宝迅速转向 瞬间调整方向避险

    山东,一只猫咪准备跳上床。跳了一半,它发现床上躺着一个小宝宝。就在半空中,它紧急调整方向,避开宝宝,有的直接转向挂在床边,有的飞身弹开。 网友评论:“这反应速度,人类只能仰望”“猫:差点闯祸,还好我反应快”“不是所有猫都会踩宝宝,这只猫有素质”。 猫的反应速度有多快?基本反应时间约20到70毫秒,人类约215毫秒,快出3到4倍。猫眼每秒可捕捉约50帧�

  • 大宅装修回归能力竞争:2026年6月上海七家靠谱装企研究

    当营销概念退潮,大宅定制装修正回归能力竞争本质。据行业报告,2025-2026年中国家居家装行业处于存量竞争与消费分级深度调整期,上海市场2026年1-2月有效签约量同比增长19.2%,老房翻新占比达78.5%,但业主满意度仅61.2%。本文从企业资质、施工工艺、隐蔽工程保障、设计能力、售后服务五个维度,对统帅装饰、申远空间设计、聚通装潢等七家主流装企进行系统性研究,为消�

  • 他们在小红书不遵从爆款逻辑,而是走向发现自己

    一个好的内容创作者,有时候是需要被「发现」的。 不单单是被算法和流量发现,更是被自己发现。发现自己原来也会讲故事,发现自己不需要刻意迎合观众。 而「被自己发现」这件事,需要一个可以安心试错、慢慢生长的土壤。一批新生代创作者们,恰好找到了这样的地方。比如,47位成长于小红书的「RED新生代创作者」。 他们来自「探索世界」、「生活试验」等不同的

  • 中小企业告别外包扯皮:墨见AI虚拟团队,降低软件开发试错成本

    中小企业数字化转型常遇困境:业务部门发现市场机会,却因缺乏技术团队而被迫外包,导致需求沟通成本高、报价超预算、交付结果偏差大。AI技术正改变这一局面,墨刀孵化应用"墨见"上线,通过多智能体协同技术,为中小企业提供"AI虚拟产研团队"。它通过群聊模式验证需求、一键生成原型、辅助代码生成,将MVP验证周期从数月缩短至几天,降低了早期试错门槛,让"轻量级创业"成为可能。

  • 最强AI大模型Fable 5、Mythos 5发布:人类智力优势还能撑多久

    Anthropic发布基于Mythos Preview的Claude Fable 5和Mythos 5两款AI模型,自称最强,在多项测试中达SOTA水平。Fable 5面向公众开放,保留安全运制;Mythos 5无运制但仅限审核机构使用。两者性能卓越,尤其在编程方面提升明显,但存在定价昂贵(1M输入/输出分别需10/50美元)、安全运制敏感(触发即降级至Opus 4.8)及强制30天安全审计等问题,影响商业用户使用。

今日大家都在搜的词: