首页 > 业界 > 关键词  > 正文

AI研究人员发现了主要大语言模型中关键漏洞 可低成本复制

2023-10-13 11:24 · 稿源:站长之家

划重点:

- 大型语言模型(LLM),如ChatGPT和Bard,已引起巨大轰动,但研究发现它们存在关键漏洞,可能导致私人信息泄露和有针对性的攻击。

- 研究人员发现,LLM的部分内容可以以低成本被复制,这一攻击方法被称为“模型寄生”,可成功传递于封闭源和开源机器学习模型之间。

- 尽管LLM技术具有巨大潜力,但业界需认真考虑采用和部署LLM时可能存在的网络安全风险。

站长之家(ChinaZ.com)10月13日 消息:近期,大型语言模型(LLM)如ChatGPT和Bard在全球范围内引起了广泛的关注,众多公司投资数百万美元用于开发这些人工智能工具,而一些领先的AI聊天机器人的估值已达到了数十亿美元。这些LLM主要被应用于AI聊天机器人,它们通过整合互联网上的大量信息来学习和为用户提供请求的答案,这些请求通常被称为“提示”。

然而,最近一项由AI安全初创公司Mindgard和英国兰开斯特大学的计算机科学家进行的研究揭示了LLM存在的严重漏洞。研究发现,LLM的部分内容可以在不到一周的时间内以低至50美元的成本被复制,并且获得的信息可以用于发动有针对性的攻击。这些潜在的攻击者可能会泄露私人机密信息、绕过安全保护措施、提供错误答案或进行进一步的有针对性攻击。

机器人黑客

图源备注:图片由AI生成,图片授权服务商Midjourney

这项名为“模型寄生”的攻击方法通过与LLM进行交互,提出一系列有针对性的提示,以使LLM提供深入见解的信息,揭示了模型的工作方式。研究团队在研究中主要关注了ChatGPT-3.5-Turbo,然后利用这一知识创建了自己的复制模型,该模型的大小只有原模型的1%,但复制了LLM的关键特征。研究人员随后利用这个模型副本作为测试平台,研究如何在不被察觉的情况下利用ChatGPT的漏洞。他们成功地利用从模型中获得的知识攻击ChatGPT,并提高了11%的成功率。

兰开斯特大学的Peter Garraghan博士表示:“我们发现的现象在科学上令人着迷,但也极具忧虑。这是首次实证证明安全漏洞可以成功传递于封闭源和开源的机器学习模型之间,这在考虑到产业如何依赖像HuggingFace这样的公开可用机器学习模型时,令人极为担忧。”

研究人员指出,尽管这些强大的数字AI技术具有明显的用途,但它们存在着隐藏的弱点,甚至不同模型之间可能存在共同的漏洞。各行各业的企业目前正在或准备投资数十亿美元用于开发自己的LLM,以执行各种任务,如智能助手。金融服务和大型企业也在采用这些技术,但研究人员表示,这些漏洞应该成为计划构建或使用第三方LLM的所有企业的主要关切点。

Peter Garraghan博士强调:“虽然LLM技术具有潜在的变革性,但企业和科学家都必须仔细考虑采用和部署LLM所涉及的网络安全风险。”这项研究为我们提醒了虽然AI技术带来了巨大的机会,但也伴随着一系列潜在的威胁,因此必须谨慎行事。

论文网址:https://techxplore.com/partners/lancaster-university/

举报

  • 相关推荐
  • 陈天桥在AIAS上首提“发现式智能”,宣告AI研究新范式

    2025年10月27-28日,AI驱动科学研讨会(AIAS 2025)在美国旧金山举行。陈天桥发表主题演讲,首次提出“发现式智能”概念,指出这是真正的通用人工智能,强调AI应帮助人类发现未知而非替代人类。他提出实现路径需结合规模路径与结构路径,并分析大脑时间结构包含神经动力学、长期记忆、因果推理、世界模型和元认知五大能力。会议宣布投入超十亿美元建设算力集群,支持年轻科学家探索智能本质。

  • 智检加速:AI云测试如何为香港企业 IT 项目减负40%人力成本

    香港企业在App研发中面临高昂人力成本与复杂技术栈挑战,导致测试效率低、交付缓慢。Testin云测通过AI驱动的自动化测试方案,整合云端资源与专业服务,实现降本增效:硬件投入优化50%,人力成本降低40%;AI脚本生成技术提升测试效率60%,支持跨平台复用;精准OCR识别助力迭代周期缩短50%。聚焦金融、政企、交通等重点行业,提供符合国际标准的安全测试保障,助力企业从人力密集型向技术密集型转型,以更高质量、更快速度赢得市场竞争。

  • 科杰科技入选赛迪AI Infra平台市场研究报告,引领Data&AI数据基础设施新范式

    近日,赛迪顾问发布《2025中国AI Infra平台市场研究报告》,全面梳理中国AI基础设施平台市场格局、技术趋势与竞争态势。报告显示,2024年中国AI Infra平台市场规模达345亿元,预计2025年将飙升至673亿元,同比增长95.1%。企业AI应用正从单点验证迈向嵌入核心业务流的深度阶段,对基础设施提出更高要求。科杰科技凭借Data&AI融合架构、湖仓一体引擎及企业级AI落地能力强势入选,位列“挑战者”象限,彰显其在Data&AI领域的领先地位。

  • 低门槛、0保证金:小红书能“复制”闲鱼吗?

    ​近期,小红书开始内测“快捷售卖”功能,用户只需账号注册时间大于180天并完成个人专业号认证,即可免保证金申请体验这一新功能。 这标志着内容社区起家的小红书正式进军二手电商市场。与以往需要开设店铺并缴纳1000元保证金的复杂流程不同,“快捷售卖”功能更为轻便,相当于为普通用户开放了一个“个人小卖部”。

  • 千问登场,阿里瞄准C端关键一战

    2023年9月,在正式接任CEO的第三天,吴泳铭发布的首份阿里全员信,宣布了阿里新的战略重点方向:用户为先、AI驱动。当时行业内更多把它视为一家企业在AI时代的惯性表述。 然而,就在过去一年中,围绕AI在C端用户场景的“可能性”,全球AI行业的叙事逻辑已经发生了明显转向。 OpenAI在完成大模型能力的“基座化”后,开始把更多资源押在C端生态。过去两年,随着GPT-5等产�

  • 京东Q3财报:外卖、京喜、京东国际正在发生关键变化

    这是《窄播Weekly》的第72期,本期我们关注:京东Q3财报及财报体现的其业务逻辑变化。 整体上,Q3财报及电话会呈现出:京东找增长的路径又在发生变化。 具体来讲,集团总营收增速,核心零售业务的收入增速、经营利润率同比都在提升:2025年Q3京东总营收2991亿元,同比增长14.9%(去年Q3的同比增速为5.1%)。京东零售营收为2505.77亿元,同比增长11.4%(去年Q3的同比增速为6.1%);经营�

  • 用了3个月GEO监控,我发现品牌在AI推荐中的5个真相

    文章探讨AI搜索时代企业面临的新挑战:用户转向ChatGPT、豆包等平台直接提问,导致传统搜索引擎询盘量下降。核心提出GEO品牌监控概念,需关注品牌在AI推荐中的曝光率、排名位置、提及场景等5个关键指标。通过工具持续监控并优化内容,可提升AI搜索可见性。数据显示GEO投入回报率达1:3.71,建议企业尽早布局抢占新兴流量入口。

  • 小米超级小爱AI大模型推出随心修图功能

    小米宣布超级小爱AI大模型推出随心修图功能,用户只需一句话即可轻松修出具有大片质感的照片。该功能有两种使用方式:在相册大图页面直接唤醒AI或通过应用上传照片并输入指令。使用需满足版本要求:超级小爱需v7.8.50及以上,相册编辑功能需v2.1及以上,相册本身需v4.3.0.30及以上。目前仅限Xiaomi HyperAI机型支持在相册大图页使用。超级小爱于2024年12月面向正式版用户开放升级,支持全局多模态交互和自然语音搜索,提升使用体验。

  • 冰岛又发现一只蚊子 来历成谜:“无蚊净土”仅南极独存

    近日,冰岛发现蚊子踪迹,打破了该地长期“无蚊净土”的生态记录。专家分析指出,气候变化是主要推手,当地气温升高为蚊子提供了适宜生存环境。数据显示,冰岛近年气温升幅远超北半球其他地区,同时南方暖水鱼类也现身附近海域。这一现象警示气候变暖正加速生态变迁,重塑地球生命版图。业内呼吁加强跨境生物监测和生态预警机制,以应对潜在生态风险。

  • 从繁琐交互中解放 AI赋能的三星Galaxy Z Flip7带来高效便捷体验

    三星Galaxy Z Flip7以纵向折叠形态结合AI技术,打造便捷交互体验。其4.1英寸智能外屏可显示音乐、导航等信息,支持语音唤醒Bixby实现快速查询。内置AI功能涵盖即时翻译、智能收藏及内容创作辅助,如自动规划旅行路线、跨应用翻译和文档编辑。通过深度理解用户需求,这款设备以小巧机身承载智慧科技,提升生活效率与品质。

今日大家都在搜的词: