站长之家(ChinaZ.com) 6月10日 消息:根据一项最新研究显示，英伟达的人工智能软件中的一个功能存在安全限制的漏洞，可以被操控以透露私人信息。
英伟达开发了一个名为「NeMoFramework」的系统，允许开发人员使用各种大型语言模型，这些模型是生成式AI产品（如聊天机器人）的核心技术。
这款芯片制造商的框架旨在被企业采用，比如将公司的专有数据与语言模型结合起来，以提供对问题的回答。例如，它可以复制客服代表的工作或为寻求简单医疗建议的人提供建议。
总部位于旧金山的RobustIntelligence的研究人员发现，他们可以轻松突破为确保AI系统安全使用而设立的所谓防护栏。
在使用英伟达系统处理自己的数据集后，RobustIntelligence的分析人员仅用了几个小时就成功让语言模型突破限制。
在一个测试场景中，研究人员指示英伟达的系统将字母「I」替换为「J」。这一操作促使该技术从数据库中释放出个人可识别信息（PII）。
研究人员发现，他们可以通过其他方式绕过安全控制，例如让模型偏离主题。
通过复制英伟达提供的一个关于就业报告的狭义讨论的示例，他们成功让模型涉及到一位好莱坞影星的健康和法普战争等主题，尽管英伟达设计了防护栏以阻止AI超越特定主题。
研究人员轻松突破这些安全保护措施凸显了AI公司在试图商业化这一从硅谷涌现多年的最有前途的技术时面临的挑战。
哈佛大学计算机科学教授、RobustIntelligence首席执行官YaronSinger表示：「我们正在看到这是一个困难的问题，需要深入的专业知识。」「这些研究结果是关于存在的潜在问题的一个警示。」
在测试结果公布后，研究人员建议客户避免使用英伟达的软件产品。在《金融时报》本周早些时候要求英伟达对该研究发表评论后，该芯片制造商通知RobustIntelligence表示已修复了分析人员提出的问题背后的一个根本原因。
自5月以来，英伟达的股价飙升，当时该公司预测截至7月的三个月销售额将达到110亿美元，超过华尔街此前的预期增长幅度超过50%。
这一增长建立在对其芯片的巨大需求之上，这些芯片被认为是构建生成式AI系统（能够生成类似人类内容的系统）的市场领先芯片。
英伟达的应用研究副总裁JonathanCohen表示，他们的框架只是「构建符合开发人员定义的主题、安全和安全准则的AI聊天机器人的起点」。
他说：「它作为开源软件发布给社区，以便探索其功能、提供反馈并贡献最新的技术。」他补充说，RobustIntelligence的研究「确定了需要采取的额外步骤以部署生产应用程序」。
他拒绝透露有多少企业正在使用该产品，但表示该公司没有收到其他关于其产品不正常运行的报告。
谷歌和微软支持的OpenAI等领先的AI公司已经发布了由其自己的语言模型驱动的聊天机器人，并实施了防止其AI产品使用种族主义言论或采用高压态度的防护措施。
其他公司也推出了专门的、但实验性的AI产品，用于教育年轻学生、提供简单的医疗建议、在不同语言之间进行翻译和编写代码。几乎所有这些产品都经历过安全问题。
英伟达和其他AI行业的公司需要「真正建立公众对技术的信任」，RobustIntelligence公司欧洲、中东和非洲地区政府事务负责人BeaLongworth在行业游说团体TechUK的一次会议上表示。
她补充说，他们必须让公众感觉「这是一项有巨大潜力的技术，而不仅仅是一种威胁或令人害怕的东西」。
（举报）
