首页 > 业界 > 关键词  > 正文

AI研究人员发现了主要大语言模型中关键漏洞 可低成本复制

2023-10-13 11:24 · 稿源:站长之家

划重点:

- 大型语言模型(LLM),如ChatGPT和Bard,已引起巨大轰动,但研究发现它们存在关键漏洞,可能导致私人信息泄露和有针对性的攻击。

- 研究人员发现,LLM的部分内容可以以低成本被复制,这一攻击方法被称为“模型寄生”,可成功传递于封闭源和开源机器学习模型之间。

- 尽管LLM技术具有巨大潜力,但业界需认真考虑采用和部署LLM时可能存在的网络安全风险。

站长之家(ChinaZ.com)10月13日 消息:近期,大型语言模型(LLM)如ChatGPT和Bard在全球范围内引起了广泛的关注,众多公司投资数百万美元用于开发这些人工智能工具,而一些领先的AI聊天机器人的估值已达到了数十亿美元。这些LLM主要被应用于AI聊天机器人,它们通过整合互联网上的大量信息来学习和为用户提供请求的答案,这些请求通常被称为“提示”。

然而,最近一项由AI安全初创公司Mindgard和英国兰开斯特大学的计算机科学家进行的研究揭示了LLM存在的严重漏洞。研究发现,LLM的部分内容可以在不到一周的时间内以低至50美元的成本被复制,并且获得的信息可以用于发动有针对性的攻击。这些潜在的攻击者可能会泄露私人机密信息、绕过安全保护措施、提供错误答案或进行进一步的有针对性攻击。

机器人黑客

图源备注:图片由AI生成,图片授权服务商Midjourney

这项名为“模型寄生”的攻击方法通过与LLM进行交互,提出一系列有针对性的提示,以使LLM提供深入见解的信息,揭示了模型的工作方式。研究团队在研究中主要关注了ChatGPT-3.5-Turbo,然后利用这一知识创建了自己的复制模型,该模型的大小只有原模型的1%,但复制了LLM的关键特征。研究人员随后利用这个模型副本作为测试平台,研究如何在不被察觉的情况下利用ChatGPT的漏洞。他们成功地利用从模型中获得的知识攻击ChatGPT,并提高了11%的成功率。

兰开斯特大学的Peter Garraghan博士表示:“我们发现的现象在科学上令人着迷,但也极具忧虑。这是首次实证证明安全漏洞可以成功传递于封闭源和开源的机器学习模型之间,这在考虑到产业如何依赖像HuggingFace这样的公开可用机器学习模型时,令人极为担忧。”

研究人员指出,尽管这些强大的数字AI技术具有明显的用途,但它们存在着隐藏的弱点,甚至不同模型之间可能存在共同的漏洞。各行各业的企业目前正在或准备投资数十亿美元用于开发自己的LLM,以执行各种任务,如智能助手。金融服务和大型企业也在采用这些技术,但研究人员表示,这些漏洞应该成为计划构建或使用第三方LLM的所有企业的主要关切点。

Peter Garraghan博士强调:“虽然LLM技术具有潜在的变革性,但企业和科学家都必须仔细考虑采用和部署LLM所涉及的网络安全风险。”这项研究为我们提醒了虽然AI技术带来了巨大的机会,但也伴随着一系列潜在的威胁,因此必须谨慎行事。

论文网址:https://techxplore.com/partners/lancaster-university/

举报

  • 相关推荐
  • 抢滩下一个短剧风口,低成本漫剧火了?

    短剧的风向变了,除了真人短剧之外,业内大多数玩家都在有意识地加码动漫短剧。 动漫短剧成为行业新趋势,包括“爱优腾”(爱奇艺、优酷、腾讯视频)、抖音、快手、B站、多多视频在内的平台都在发力。巨量引擎数据显示,2024年第四季度,动漫短剧的观看人次突破20亿,付费规模达到2600万,且第4季度相比第3季度“看播”环比提升123.91%,收入增长率高达204.11%。 快手�

  • 研究发现费脑子的工作老了后记忆好:不易痴呆

    据挪威奥斯陆大学医院发表在《神经病学》杂志上的一项最新研究表明:工作中对脑力的要求越高,日后出现记忆和思维问题的可能性就越小。” 据悉,研究人员调查了涉及305种职业的7000名挪威成年人,并对各种职业进行了大致归类:常规手工任务,如工厂流水线工作,经常涉及重复性动作; 常规认知任务,如记账、归档等,要求重复性任务的精确性和准确性; 非常规分�

  • 告别天价账单!2025最全AI模型计费指南:3步精准预算,省下70%成本

    2025年AI开发者成本报告显示,83%的团队因API账单计算不清导致预算超支,45%的企业曾因"token黑洞"砍掉创新项目。不同AI模型价格差异巨大:GPT-5输入价1.25美元/百万tokens,而Claude Opus输出价高达75美元/百万tokens。报告揭示三大价格陷阱:1)计费单位混乱;2)输入输出双收费;3)版本价差显著。AIbase推出免费费用计算器,可跨厂商对比模型成本,实测某企业通过优化模型组合将月账单从2000美元降至800美元。报告建议:简单任务选Claude Instant,平衡性能选GPT-4o,高精度场景用Claude Opus。成本透明化正成为AI落地的关键竞争力。

  • 差点错过!男子中1000万 看到寻人启事才发现

    江苏一个彩票网点中得体彩大乐透一等奖,奖金1000万元,但中奖者一直没有现身。 按照规定,彩票逾期不兑奖则被视为弃奖,为此彩票网点工作人员做了一个寻人启事,希望中奖者能看到相关信息并及时兑奖。幸运的是,中奖者王先生看到了寻人启事并成功兑奖。 据了解,很多彩民在购买了彩票之后就随手一放,这样很容易造成彩票的损坏和遗失,彩票是彩民在中奖之后兑

  • 微算法科技(NASDAQ:MLGO)利用集成学习方法,实现更低成本、更稳健的区块链虚拟货币交易价格预测

    微算科技(NASDAQ:MLGO)利用集成学习方法开发了区块链虚拟货币价格预测模型。该模型结合随机森林、梯度提升树(GBDT)和长短期记忆网络(LSTM)等多种算法,采用Stacking集成策略,显著提高了预测准确性。通过数据收集、清洗、特征工程等步骤构建高质量数据集,并持续优化模型参数。该技术可应用于虚拟货币交易平台的风险管理、投资决策等领域,帮助投资者降低风险、提高收益,促进虚拟货币市场健康发展。未来将进一步拓展跨区块链数据整合应用。

  • AI CRM如何跨越落地鸿沟?场景驱动与数据闭环成关键

    销售易发布中国首款AI CRM产品NeoAgent,标志着CRM行业进入智能化变革。该产品基于腾讯混元大模型+DeepSeek开源模型,提供多场景智能解决方案。AI CRM的核心价值在于数据驱动,通过构建统一客户数据平台,实现销售全流程智能化。目前已在客户服务、销售助理等场景落地,其中销售助理Agent可提升70%事务性工作效率。企业应用AI需关注数据基础与场景适配性,销售易通过"场景需求-产品供给-使用反馈-快速迭代"的闭环模式,推动AI CRM持续进化。在Agentic AI时代,数据能力成为企业智能化转型的关键竞争力。

  • 如何快速精准计算AI大模型费用?试试这个三步完成的免费工具!

    文章讲述AI项目预算失控的普遍现象:李工团队因手动计算GPT-4等大模型调用成本复杂,最终预算比实际支出少25%。行业调查显示73%团队曾因模型成本失控被迫调整项目。AIbase推出三步极速成本计算器解决痛点:1)集成50+主流大模型参数库;2)用自然语言描述需求即可生成预算;3)10秒输出详细成本对比报告。该工具已帮助电商企业节省40%预算,其优势在于实时追踪官方定价、智能匹配场景规则、自动生成多模型对比报告,让晦涩的token计价变得直观透明。目前已有超12万开发者使用该工具优化AI项目成本。

  • 《新世界加载中》收官,可灵AI拓宽影像边界

    “AI是人类文明进步的产物,也是我们跨越未来的重要助力。”通用人工智能时代,著名人工智能研究学家肖博士,在某项目出现重大突破后,向全世界发布了含有上述内容的AGI时代宣言。 “您觉得在大势所趋的当下,这个世界还有人工智能尚未普及的地区吗?”面对记者的这一疑问,肖博士开了一个玩笑,“也许,银河系之外”。 可在他脑海中出现的画面,却是破败的村庄�

  • 麦当劳回应招聘退休人员:我们采用灵活多元的用工方式

    有网友在社交平台上晒出了麦当劳招聘退休员工的图片。 招聘信息显示,麦当劳任职要求为:每周可上班至少3天、达到退休年龄(女50周岁、男60周岁),福利待遇包括国家法定假日三倍工资、周六免费餐饮及员工打折福利、享受保险。 麦当劳回应称,麦当劳中国严格依照法律规定及政府指导执行用工政策,为全职员工依法缴纳社保,同时采用灵活多元的用工方式,我们为�

  • 大模型技术赋能声音创作:逗哥配音引领AI语音合成新浪潮‌

    逗哥配音作为国内领先的AI配音平台,凭借自主研发的语音合成大模型技术,已服务超千万创作者,累计生成音频量突破270亿次。其核心技术突破包括:1)支持40种语言,语音质量MOS分提升0.25,拟人度超83%;2)首创"AI分角功能",将多角色配音效率提升90%以上;3)建成覆盖近千款发音人的全球声库,包含方言、外语及影视角色音;4)创新"真人声纹+AI增强"模式,

今日大家都在搜的词: