首页 > 业界 > 关键词  > 人工智能最新资讯  > 正文

联合国科技大会关注大模型安全,蚂蚁集团深度参编的两项国际标准发布

2024-04-17 15:39 · 稿源:站长之家

站长之家(ChinaZ.com)4月17日 消息:4月15日-19日,第27届联合国科技大会在瑞士日内瓦召开。16日,在以“塑造AI的未来”为主题的AI边会上,世界数字技术院(WDTA)发布了一系列突破性成果,包括《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》两项国际标准。这是国际组织首次就大模型安全领域发布国际标准,代表全球人工智能安全评估和测试进入新的基准。

据了解,这两项国际标准是由OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等数十家单位的多名专家学者共同编制而成。其中《大语言模型安全测试方法》由蚂蚁集团牵头编制。

image.png

(图:WDTA发布大模型安全国际标准,OpenAI、蚂蚁集团、科大讯飞等参编)

与会的WDTA人工智能安全可信负责任工作组组长黄连金表示,随着人工智能系统,特别是大语言模型继续成为社会各方面不可或缺的一部分,以一个全面的标准来解决它们的安全挑战变得至关重要。此次发布的标准汇集了全球AI安全领域的专家智慧,填补了大语言模型和生成式AI应用方面安全测试领域的空白,为业界提供了统一的测试框架和明确的测试方法,有助于提高AI系统安全性,促进AI技术负责任发展,增强公众信任。

世界数字技术院(WDTA)是在日内瓦注册的国际非政府组织,遵从联合国指导框架,致力于在全球范围内推进数字技术,促进国际合作。AISTR(安全、可信、负责任)计划是WDTA的核心倡议,旨在确保人工智能系统的安全性、可信性和责任性。蚂蚁集团、华为、科大讯飞、国际数据空间协会(IDSA)、弗劳恩霍夫研究所、中国电子等均为其成员单位。

近年来,世界各国都在加强对于大模型安全的研究和管控。我国先后发布了《全球人工智能治理倡议》《生成式人工智能服务管理暂行办法》《生成式人工智能服务安全基本要求》等,旨在促进生成式人工智能安全可信发展,推进全球人工智能治理领域合作共识。

信息显示,此次发布的两项国际标准是大模型及生成式AI应用方面的安全测试标准。

其中,《生成式人工智能应用安全测试标准》由WDTA作为牵头单位。该标准为测试和验证生成式AI应用的安全性提供了一个框架,特别是那些使用大语言模型(LLM)构建的应用程序。它定义了人工智能应用程序架构每一层的测试和验证范围,包括基础模型选择、嵌入和矢量数据库、RAG或检索增强生成、AI应用运行时安全等等,确保AI应用各个方面都经过严格的安全性和合规性评估,保障其在整个生命周期内免受威胁和漏洞侵害。

《大语言模型安全测试方法》由蚂蚁集团作为牵头单位。该标准则为大模型本身的安全性评估提供了一套全面、严谨且实操性强的结构性方案。它提出了大语言模型的安全风险分类、攻击的分类分级方法以及测试方法,并率先给出了四种不同攻击强度的攻击手法分类标准,提供了严格的评估指标和测试程序等,可解决大语言模型固有的复杂性,全面测试其抵御敌对攻击的能力,使开发人员和组织能够识别和缓解潜在漏洞,并最终提高使用大语言模型构建的人工智能系统的安全性和可靠性。

QQ截图20240417154139.jpg

(图:蚂蚁集团王维强作为标准参与单位代表,在会上发言)

作为标准参与单位代表,蚂蚁集团机器智能部总经理、蚂蚁安全实验室首席科学家王维强受邀参会并进行了发言。他表示,生成式AI将释放巨大的生产力,但也要对它带来的新风险高度警惕。大型科技公司应在促进生成式AI安全和负责任的发展中发挥关键作用,利用其资源、专业知识和影响力推动最佳实践,构建一个优先考虑安全、隐私和道德考量的生态系统。例如,通过制定行业标准与指南,为开发和部署生成式AI系统的开发者和机构提供清晰指导;投入研发并开放保障生成式AI安全的工具,形成产业共治。

公开资料显示,蚂蚁集团从2015年起就积极投入可信AI技术研究,目前已建立了大模型综合安全治理体系。蚂蚁集团还自研了业界首个大模型安全一体化解决方案“蚁天鉴”,用于AIGC安全性和真实性评测、大模型智能化风控、AI鲁棒和可解释性检测等。此次发布的《大语言模型安全测评方法》,便是基于“蚁天鉴”AI安全检测体系的应用实践,与全球生态伙伴交流编制。此外,蚂蚁集团在公司内成立了科技伦理委员会和专门团队来评估和管理生成式AI的风险,公司所有AI产品均需通过科技伦理评测机制,确保AI安全可信。

举报

  • 相关推荐
  • 信通院联合三六零发布《大模型应用交付供应商总体能力要求》

    中国信通院联合360集团发布《大模型应用交付供应商总体能力要求》技术规范,从基础能力、大模型服务能力、行业实践能力和项目质量管理能力四个方面明确了大模型应用交付供应商的总体要求。该规范由20余家单位及40余位专家共同编制,旨在提升供应商技术、管理和服务能力,为行业提供供应商选择与评估参考。360作为国内大模型头部厂商,自主研发"360智脑"大模�

  • 海尔洗衣机斩获两项省级科学技术奖

    6月27日,海尔洗衣机在山东省科技大会上斩获两项省级荣誉:智能洗烘关键技术项目获省科学技术一等奖,主动平衡降噪技术项目获二等奖。这些创新技术解决了用户痛点:智能洗烘技术通过20万组衣物数据训练,实现精准识别材质和污渍,如自动推荐"空气洗"去除火锅味;主动平衡技术将脱水噪音从72分贝降至66分贝,解决深夜洗衣扰民问题,硬币可在脱水桶上稳稳竖立。海尔通过原创科技推动行业从"会洗"到"懂洗"的智能化升级,持续以用户需求为导向创新。

  • 没技术就没好洗衣机!海尔获两项省级科技奖:超120万用户受益

    6月27日,海尔洗衣机两项核心技术获山东省科学技术奖。智能洗烘技术通过20万份衣物数据实现精准识别材质、颜色和污渍,智能推荐洗涤程序;主动平衡降噪技术攻克行业脱水噪音大、震动强难题。两项技术解决了"洗不净""噪音大""甩不干"等用户痛点,相关产品已销售超120万台。这标志着洗衣机从"会洗"向"懂洗"升级,展现了海尔在洗衣机领域的科技实力。未来,海尔将持续以核心技术提升用户体验。

  • 真学霸!豆包大模型1.6正式发布:高考数学卷获144分 全国第一

    今日,字节跳动旗下火山引擎举办FORCE原动力大会,正式发布豆包大模型1.6。 新系列包括三个大模型,分别是Doubao-Seed-1.6-thinking、Doubao-Seed-1.6、Doubao-Seed-1.6-flash。 火山引擎总裁谭待表示,Doubao-Seed-1.6是首个支持256k长上下文的大模型。 以thinking模型为例,其思考能力强化,支持多模态,Doubao-Seed-1.6则支持on/off/auto三种思考模式。 在高考全国新一卷数学单科测试中,豆包大模�

  • 健合集团合生元发布乳源研究新突破 母乳化配方再攀科技高峰

    5月20日,"2025年母乳科学研究进展学术研讨会"在京召开。会议聚焦母乳营养与婴幼儿健康研究,发布了《母乳科学研究认知新十条》,标志着我国母乳研究进入新阶段。合生元作为高端婴幼儿营养品牌受邀参会,展示了其在乳桥蛋白LPN等关键成分的研究成果。会议还重点探讨了诺曼底牛乳("熊猫牛")的营养优势,其蛋白质含量达3.97%,含丰富乳活性蛋白和7种乳源低聚糖,更接近母乳成分。合生元与东北农业大学合作成立"乳品创新研究中心",通过"产学研用"模式推动配方奶粉品质升级。企业将持续深化母乳活性成分研究,加速科研成果转化,为婴幼儿健康提供科学保障。

  • 思看科技联合浙江大学机械工程学院产教融合研讨会顺利举行

    2025年6月6日,思看科技与浙江大学机械工程学院联合举办第二届"智能制造创新人才培养与三维视觉技术产教融合研讨会"。会议汇聚学界和产业界专家,围绕智能制造人才培养策略与三维视觉数字化技术应用展开深入探讨。浙大机械工程学院党委书记刘振宇强调智能测量是智能制造基础,思看科技董事长江峰回顾校企合作成果。会议通过"上午实践展示+下午理论探讨"的创新模式,推动产教深度融合。与会专家就三维视觉技术在工业设计、质量检测等领域的创新应用进行交流,为智能制造人才培养提供新思路。活动搭建了"产学研用"高端对话平台,为产业变革注入创新动能。

  • 科技创新▪科普惠民 iRest艾力斯特温州国际康复大会共研AI新发展

    5月28-30日,第二届温州国际康复大会以"科技创新·科普惠民"为主题成功举办。大会聚焦人工智能、机器人技术、脑机接口等前沿技术在康复医学领域的应用,设立院士论坛、康复大咖论坛及18个专业分论坛。iRest艾力斯特作为承办单位,展示了AI+康复器械创新成果,并与温州医科大学附属第二医院签署横向课题合作协议,共建数据模型产业学院。会上成立"艾力斯特创新研究院",聘请多位院士专家担任要职,并向浙江省残疾人福利基金会捐赠价值100万元的智能康复设备,践行科技普惠社会责任。多位行业专家围绕智能康复器械发展进行深入探讨,推动康复产业从"中国制造"迈向"中国智造"。

  • 国内有哪些ai大模型?一文看懂中国核心AI大模型全景

    近两年中国AI大模型发展迅猛,已形成"通用+行业"双轨并进的生态格局。百度文心一言、阿里通义千问等通用大模型在中文理解、多模态生成等方面表现突出;深度求索DeepSeek以1/10参数实现GPT-4级推理能力;月之暗面Kimi以20万汉字上下文窗口领跑长文本处理;智谱AI的GLM-4成为首个支持视频对话的国产千亿模型。医疗、金融等垂直领域涌现出百川智能等专业模型,覆盖超1000家医院。开源生态加速国产芯片适配,15家厂商完成深度优化。行业应用方面,工程文档效率提升60%,24小时拟人化客服等案例凸显价值。未来趋势呈现模型蒸馏、端侧部署和开源生态三大方向,中国AI正从实验室走向产业变革前沿。

  • 健合集团与华南理工大学共建研究生联合培养基地,开启产学研合作新篇

    4月29日,健合集团与华南理工大学在广州共建"研究生联合培养基地",标志着校企合作进入新阶段。双方将在母婴营养领域深化产学研合作,目前已共同开展十余个科研项目,攻克多项技术难题,获得11项发明专利和5项国家授权,相关技术已应用于合生元、乳铁蛋白等产品。该基地将整合校企资源,搭建高水平科研平台,加速成果转化,为行业培养创新人才。健合集团将提供实习资源支持,共同探索食品科技突破,推动母婴健康产业高质量发展。此次合作是健合践行PPAE经营模式的重要实践,未来将持续深化产学研协同创新。

  • 主流AI多模态大模型有哪些?超全的多模态大模型指南分享

    2024年多模态大模型成为AI领域最具前景的技术方向之一。文章全面分析了主流多模态大模型的特点、应用场景和发展趋势。多模态大模型能同时处理文本、图像、音频、视频等多种数据,实现更智能的人机交互。重点介绍了GPT-4V、Claude3.5、Gemini、通义千问等代表性模型,对比了它们在视觉理解、编程能力、中文处理等方面的优势。应用场景涵盖智能客服、内容创作、教育医疗等领域。未来发展趋势包括模型规模扩大、支持更多模态、实时交互能力提升等。选择模型需考虑应用需求、语言支持、性能成本等因素。