首页 > 业界 > 关键词  > 人工智能最新资讯  > 正文

联合国科技大会关注大模型安全,蚂蚁集团深度参编的两项国际标准发布

2024-04-17 15:39 · 稿源:站长之家

站长之家(ChinaZ.com)4月17日 消息:4月15日-19日,第27届联合国科技大会在瑞士日内瓦召开。16日,在以“塑造AI的未来”为主题的AI边会上,世界数字技术院(WDTA)发布了一系列突破性成果,包括《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》两项国际标准。这是国际组织首次就大模型安全领域发布国际标准,代表全球人工智能安全评估和测试进入新的基准。

据了解,这两项国际标准是由OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等数十家单位的多名专家学者共同编制而成。其中《大语言模型安全测试方法》由蚂蚁集团牵头编制。

image.png

(图:WDTA发布大模型安全国际标准,OpenAI、蚂蚁集团、科大讯飞等参编)

与会的WDTA人工智能安全可信负责任工作组组长黄连金表示,随着人工智能系统,特别是大语言模型继续成为社会各方面不可或缺的一部分,以一个全面的标准来解决它们的安全挑战变得至关重要。此次发布的标准汇集了全球AI安全领域的专家智慧,填补了大语言模型和生成式AI应用方面安全测试领域的空白,为业界提供了统一的测试框架和明确的测试方法,有助于提高AI系统安全性,促进AI技术负责任发展,增强公众信任。

世界数字技术院(WDTA)是在日内瓦注册的国际非政府组织,遵从联合国指导框架,致力于在全球范围内推进数字技术,促进国际合作。AISTR(安全、可信、负责任)计划是WDTA的核心倡议,旨在确保人工智能系统的安全性、可信性和责任性。蚂蚁集团、华为、科大讯飞、国际数据空间协会(IDSA)、弗劳恩霍夫研究所、中国电子等均为其成员单位。

近年来,世界各国都在加强对于大模型安全的研究和管控。我国先后发布了《全球人工智能治理倡议》《生成式人工智能服务管理暂行办法》《生成式人工智能服务安全基本要求》等,旨在促进生成式人工智能安全可信发展,推进全球人工智能治理领域合作共识。

信息显示,此次发布的两项国际标准是大模型及生成式AI应用方面的安全测试标准。

其中,《生成式人工智能应用安全测试标准》由WDTA作为牵头单位。该标准为测试和验证生成式AI应用的安全性提供了一个框架,特别是那些使用大语言模型(LLM)构建的应用程序。它定义了人工智能应用程序架构每一层的测试和验证范围,包括基础模型选择、嵌入和矢量数据库、RAG或检索增强生成、AI应用运行时安全等等,确保AI应用各个方面都经过严格的安全性和合规性评估,保障其在整个生命周期内免受威胁和漏洞侵害。

《大语言模型安全测试方法》由蚂蚁集团作为牵头单位。该标准则为大模型本身的安全性评估提供了一套全面、严谨且实操性强的结构性方案。它提出了大语言模型的安全风险分类、攻击的分类分级方法以及测试方法,并率先给出了四种不同攻击强度的攻击手法分类标准,提供了严格的评估指标和测试程序等,可解决大语言模型固有的复杂性,全面测试其抵御敌对攻击的能力,使开发人员和组织能够识别和缓解潜在漏洞,并最终提高使用大语言模型构建的人工智能系统的安全性和可靠性。

QQ截图20240417154139.jpg

(图:蚂蚁集团王维强作为标准参与单位代表,在会上发言)

作为标准参与单位代表,蚂蚁集团机器智能部总经理、蚂蚁安全实验室首席科学家王维强受邀参会并进行了发言。他表示,生成式AI将释放巨大的生产力,但也要对它带来的新风险高度警惕。大型科技公司应在促进生成式AI安全和负责任的发展中发挥关键作用,利用其资源、专业知识和影响力推动最佳实践,构建一个优先考虑安全、隐私和道德考量的生态系统。例如,通过制定行业标准与指南,为开发和部署生成式AI系统的开发者和机构提供清晰指导;投入研发并开放保障生成式AI安全的工具,形成产业共治。

公开资料显示,蚂蚁集团从2015年起就积极投入可信AI技术研究,目前已建立了大模型综合安全治理体系。蚂蚁集团还自研了业界首个大模型安全一体化解决方案“蚁天鉴”,用于AIGC安全性和真实性评测、大模型智能化风控、AI鲁棒和可解释性检测等。此次发布的《大语言模型安全测评方法》,便是基于“蚁天鉴”AI安全检测体系的应用实践,与全球生态伙伴交流编制。此外,蚂蚁集团在公司内成立了科技伦理委员会和专门团队来评估和管理生成式AI的风险,公司所有AI产品均需通过科技伦理评测机制,确保AI安全可信。

举报

  • 相关推荐
  • 中国主导的两项区块链ISO国际标准成功立项,均由趣链科技牵头

    4月7日至11日,国际标准化组织区块链和分布式记账技术委员会(ISO/TC 307)在比利时布鲁塞尔召开第十六次全体会议。来自中国、美国、英国等27个国家的100余名专家参会。趣链科技副总裁陈晓丰作为中国代表团成员参会。会议通过了两项由中国主导的区块链国际标准项目注册为PWI(国际标准预研项目),均由趣链科技牵头,分别是《区块链即服务概述》和《分布式记账系统分片技术概述》。这标志着中国区块链行业在国际标准制定领域取得重大突破。截至目前,趣链科技已牵头参与制定80余项国际标准、20余项国家标准及100多项行业标准,总数超200项。未来将继续推动中国区块链技术在全球范围内的发展。

  • 九为健康联合华为云发布神农中医大模型智能体,解码如何用大模型重构“望闻问切”

    2025 年 4 月 11 日,在华为云生态大会上,浙江九为健康科技股份有限公司(以下简称"九为健康")正式发布基于华为云盘古大模型的"九为神农中医大模型智能体"。该解决方案依托AI技术,系统性攻克中医药研发周期长、作用机制解析困难、个性化方案制定复杂等产业难题,通过智能化手段推动中医药现代化进程,为医药全产业链提供覆盖研发、诊疗及健康管理的全流程智能服�

  • 宇树科技创始人王兴兴:蚂蚁集团投资宇树为不实消息

    快科技4月1日消息,据报道,知情人士透露,蚂蚁集团与中国移动正考虑参与宇树科技的定向融资。此次融资并非完整轮次,而是向特定投资方开放少量份额,估值维持80亿元水平。消息称蚂蚁与宇树的投资谈判已持续较长时间。针对该消息,宇树科技创始人王兴兴回应:新闻不实。宇树科技成立于2016年,最早做的是四足机器狗。2023年,宇树科技发布人形机器人产品。2024年5月

  • 思看科技受邀出席第三届联合国教科文组织国际博物馆高级别论坛

    第三届联合国教科文组织国际博物馆高级别论坛4月23日在杭州良渚开幕,来自60余个国家和地区的190余名博物馆馆长、专家围绕"数字技术与人工智能运用"等主题展开交流。论坛探讨了博物馆在当代社会的角色演变、面临的挑战及未来发展方向。思看科技作为企业代表受邀出席并发表主题演讲,展示了三维重建技术在文物数字化保护中的创新应用。与会专家指出,AR/VR等技术不仅打破物理空间限制,更让观众能"触摸"历史。论坛强调,未来博物馆将成为连接古今的桥梁,通过技术赋能让文化遗产在数字时代焕发新生。

  • 合合信息发布大模型加速器 2.0”,助力大模型跨越“幻觉”障碍

    近日,上海合合信息科技股份有限公司(简称“合合信息”)TextIn“大模型加速器 2.0”版本正式上线,凭借其多维度升级,为降低大模型“幻觉”风险、推动大模型精准应用提供了强大助力。训练数据是影响大模型“认知能力”的关键,合合信息“大模型加速器 2.0”基于领先的智能文档处理技术,从数据源头入手,对复杂文档的版式、布局和元素进行精准解析及结构化处理,

  • 摇橹船科技2025机器人发展蓝皮书 斩获双创新技术认证

    作为全球最大的机器人应用市场,我国正以“制造强国”战略为牵引,推动机器人产业从规模扩张向质量跃升转型。据工信部数据统计, 2024 年我国机器人密度较“十三五”末增长120%,成为全球智能制造的核心引擎。2025 年 4 月 10 日,“OFweek2025(第十四届)中国机器人产业大会”在深圳举行,摇橹船科技联合创始人梁良受邀出席,与国内外院士、权威专家及业内领军企业领袖

  • 蚂蚁集团专项招募球顶尖AI人才 推“Plan A”AI人才专项计划

    蚂蚁集团近日启动"Plan A"AI人才专项计划,面向全球顶尖高校招募人工智能领域的研究人才。该计划作为"蚂蚁星"校园人才项目的重要组成部分,旨在吸引优秀研究人员参与通用人工智能(AGI)的技术探索。蚂蚁集团CTO何征宇表示,公司将全力投入AGI技术研发,推动人工智能技术的普惠应用。该计划主要面向计算机、人工智能、网络安全、数学等理工科专业的硕士及博士毕业生,要求申请者毕业时间不早于2025年11月。入选人才将获得具有竞争力的薪资待遇和科研条件。

  • 国家天文台、阿里云联合发布球首个太阳AI大模型:耀斑预报准确率超91%

    中科院国家天文台联合阿里云,发布了全球首个太阳AI大模型金乌”,基于阿里通义千问系列开源模型,目前在M5级太阳耀斑预报上准确率超91%,这也是该级别太阳耀斑预报的最高水平。太阳耀斑是太阳表面发生的剧烈能量释放事件,会辐射出大量带电高能粒子,影响地球电磁环境,严重时可造成大范围停电,威胁在轨卫星、空间站的安全。值得一提的是,中科院国家天文台的星语”大模型、中科院青藏高原研究所的全球首个水能粮大模型洛书”、中科院南海所的珊瑚礁多模态大模型瑶华”,都是基于阿里通义千问系列模型打造的。

  • 阿丘科技李嘉悦:大模型驱动的AI检测范式变革——大模型、小模型、智能体的协同进化

    3月28日,由机器视觉产业联盟主办、慕尼黑展览有限公司承办的VisionChina2025机器视觉展在上海新国际博览中心圆满落幕。阿丘科技产品总监李嘉悦在机器视觉及工业应用研讨会现场,围绕“大模型驱动的AI检测范式变革:大模型、小模型与智能体的协同进化”的主题,发表了精彩演讲。”今年,在这个快速变化的时代,我要补充一句:“AI工业视觉的格局正在加速变革,不会用大模型的将会被善用大模型的人淘汰。

  • Claude深度“开盒”,看大模型的“大脑”到底如何运作?

    像Claude这样的语言模型并不是由人类工程师在开发时直接编写出固定的规则来让其工作的是通过海量数据训练出来的。在这个过程中,模型会自主学习解决问题的方法,并将这些方法编码进其运算过程中。它才借助新的句子开头,成功触发安全机制,做出拒绝响应,比如:“然,我无法提供详细的制作说明……”。