首页 > 业界 > 关键词  > 人工智能最新资讯  > 正文

联合国科技大会关注大模型安全,蚂蚁集团深度参编的两项国际标准发布

2024-04-17 15:39 · 稿源:站长之家

站长之家(ChinaZ.com)4月17日 消息:4月15日-19日,第27届联合国科技大会在瑞士日内瓦召开。16日,在以“塑造AI的未来”为主题的AI边会上,世界数字技术院(WDTA)发布了一系列突破性成果,包括《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》两项国际标准。这是国际组织首次就大模型安全领域发布国际标准,代表全球人工智能安全评估和测试进入新的基准。

据了解,这两项国际标准是由OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等数十家单位的多名专家学者共同编制而成。其中《大语言模型安全测试方法》由蚂蚁集团牵头编制。

image.png

(图:WDTA发布大模型安全国际标准,OpenAI、蚂蚁集团、科大讯飞等参编)

与会的WDTA人工智能安全可信负责任工作组组长黄连金表示,随着人工智能系统,特别是大语言模型继续成为社会各方面不可或缺的一部分,以一个全面的标准来解决它们的安全挑战变得至关重要。此次发布的标准汇集了全球AI安全领域的专家智慧,填补了大语言模型和生成式AI应用方面安全测试领域的空白,为业界提供了统一的测试框架和明确的测试方法,有助于提高AI系统安全性,促进AI技术负责任发展,增强公众信任。

世界数字技术院(WDTA)是在日内瓦注册的国际非政府组织,遵从联合国指导框架,致力于在全球范围内推进数字技术,促进国际合作。AISTR(安全、可信、负责任)计划是WDTA的核心倡议,旨在确保人工智能系统的安全性、可信性和责任性。蚂蚁集团、华为、科大讯飞、国际数据空间协会(IDSA)、弗劳恩霍夫研究所、中国电子等均为其成员单位。

近年来,世界各国都在加强对于大模型安全的研究和管控。我国先后发布了《全球人工智能治理倡议》《生成式人工智能服务管理暂行办法》《生成式人工智能服务安全基本要求》等,旨在促进生成式人工智能安全可信发展,推进全球人工智能治理领域合作共识。

信息显示,此次发布的两项国际标准是大模型及生成式AI应用方面的安全测试标准。

其中,《生成式人工智能应用安全测试标准》由WDTA作为牵头单位。该标准为测试和验证生成式AI应用的安全性提供了一个框架,特别是那些使用大语言模型(LLM)构建的应用程序。它定义了人工智能应用程序架构每一层的测试和验证范围,包括基础模型选择、嵌入和矢量数据库、RAG或检索增强生成、AI应用运行时安全等等,确保AI应用各个方面都经过严格的安全性和合规性评估,保障其在整个生命周期内免受威胁和漏洞侵害。

《大语言模型安全测试方法》由蚂蚁集团作为牵头单位。该标准则为大模型本身的安全性评估提供了一套全面、严谨且实操性强的结构性方案。它提出了大语言模型的安全风险分类、攻击的分类分级方法以及测试方法,并率先给出了四种不同攻击强度的攻击手法分类标准,提供了严格的评估指标和测试程序等,可解决大语言模型固有的复杂性,全面测试其抵御敌对攻击的能力,使开发人员和组织能够识别和缓解潜在漏洞,并最终提高使用大语言模型构建的人工智能系统的安全性和可靠性。

QQ截图20240417154139.jpg

(图:蚂蚁集团王维强作为标准参与单位代表,在会上发言)

作为标准参与单位代表,蚂蚁集团机器智能部总经理、蚂蚁安全实验室首席科学家王维强受邀参会并进行了发言。他表示,生成式AI将释放巨大的生产力,但也要对它带来的新风险高度警惕。大型科技公司应在促进生成式AI安全和负责任的发展中发挥关键作用,利用其资源、专业知识和影响力推动最佳实践,构建一个优先考虑安全、隐私和道德考量的生态系统。例如,通过制定行业标准与指南,为开发和部署生成式AI系统的开发者和机构提供清晰指导;投入研发并开放保障生成式AI安全的工具,形成产业共治。

公开资料显示,蚂蚁集团从2015年起就积极投入可信AI技术研究,目前已建立了大模型综合安全治理体系。蚂蚁集团还自研了业界首个大模型安全一体化解决方案“蚁天鉴”,用于AIGC安全性和真实性评测、大模型智能化风控、AI鲁棒和可解释性检测等。此次发布的《大语言模型安全测评方法》,便是基于“蚁天鉴”AI安全检测体系的应用实践,与全球生态伙伴交流编制。此外,蚂蚁集团在公司内成立了科技伦理委员会和专门团队来评估和管理生成式AI的风险,公司所有AI产品均需通过科技伦理评测机制,确保AI安全可信。

举报

  • 相关推荐
  • 大家在看
  • Nabubit:数据库设计助手,简化数据库设计、管理和演化。

    Nabubit是一个旨在帮助用户优化数据库设计、管理和演化的在线工具。它提供了上传数据库架构图、可视化数据库结构、以及使用自然语言提问的功能。用户可以从头开始设计数据库,无需担心命名或记住语法。完成设计后,可以将其导出到自己喜爱的数据库或框架中。

  • Otter Script:文档生成平台,快速创建复杂文档。

    Otter Script是一个文档生成平台,它通过自动化技术帮助用户节省时间,将原本需要几天完成的复杂文档工作缩短到几分钟。它简化了工作流程,让用户可以更高效地完成更多任务。

  • BNA:多功能AI超级应用,涵盖社交、电商、娱乐和教育。

    BNA AI Super App是一款集成了多种智能服务的超级应用,它不仅提供社交功能,如分享帖子、写博客、聊天和视频通话,还涵盖了AI电商和娱乐服务。此外,该应用还提供40种语言的AI教学服务,帮助用户学习不同的语言。BNA AI Super App以其强大的AI功能和多语言支持,满足了不同用户群体的需求。

  • Elisi:高效能自主层级式计划助手

    Elisi 是一款旨在帮助用户实现个人成长的终极组织者和指南。它通过直观的设计和用户友好的说明,帮助用户将梦想转化为清晰的结果,分解成可实现的里程碑,并通过AI技术理解并适应用户的个人需求,确保每一天都更有条理和高效。Elisi 致力于提供便捷服务,主要功能套件完全免费。

  • Omi AI:个性化AI助手,记录每一刻,与AI对话获取反馈。

    OMI APP是一个任务驱动的个性化AI助手,旨在通过语音和音频转录功能帮助用户提高记忆力和沟通效率。它是一个开源的AI记事本,提供提醒、建议等功能,同时注重用户隐私。

  • MeowMail:高送达率的AI电子邮件营销工具

    MeowMail是一款集成在Shopify后台的电子邮件营销应用,利用AI技术自动选择最佳发送时间,提高邮件的送达率至98%以上。它支持拖放编辑、从Klaviyo导入邮件列表、使用Beefree编辑器创建新邮件,并通过设定支出限制来管理邮件营销活动。MeowMail还提供企业级支持和自动翻译文本功能,帮助商家以低成本实现高效的邮件营销。

  • Maia 100:微软定制AI加速器,专为大规模AI工作负载设计。

    Maia 100是微软为Azure设计的首款定制AI加速器,专为大规模AI工作负载而打造,通过软硬件的协同优化,实现了性能、可扩展性和灵活性的最大化。它采用了TSMC N5工艺和COWOS-S互连技术,具备高达1.8TB/s的带宽和64GB的容量,支持高达700W的热设计功耗(TDP),但以500W运行,确保了高效的能效比。Maia 100集成了高速张量单元、向量处理器、DMA引擎和硬件信号量,支持多种数据类型和张量切分方案,并通过以太网互连支持大规模AI模型。此外,Maia SDK提供了丰富的组件,支持快速部署PyTorch和Triton模型,并通过双编程模型确保高效的数据处理和同步。

  • LTM:超长上下文模型,革新软件开发

    Magic团队开发的超长上下文模型(LTM)能够处理高达100M tokens的上下文信息,这在AI领域是一个重大突破。该技术主要针对软件开发领域,通过在推理过程中提供大量代码、文档和库的上下文,极大地提升了代码合成的质量和效率。与传统的循环神经网络和状态空间模型相比,LTM模型在存储和检索大量信息方面具有明显优势,能够构建更复杂的逻辑电路。此外,Magic团队还与Google Cloud合作,利用NVIDIA GB200 NVL72构建下一代AI超级计算机,进一步推动模型的推理和训练效率。

  • EZ-work AI文档翻译:智能AI翻译,高效文档语言转换助手。

    EZ-work AI文档翻译是一款专注于文档翻译的在线服务,支持多种语言的翻译,包括中文、英语、日语、俄语、阿拉伯语和西班牙语等。它使用先进的AI技术,如gpt-4o-mini和deepseek-chat模型,为用户提供快速、准确的翻译服务。该产品适用于需要文档翻译的个人和企业,尤其在国际交流和学术研究领域尤为重要。

  • Watson AI:会议助手,自动记录并总结会议要点。

    Watson AI是一款会议助手应用程序,它通过录制系统音频和麦克风来转录和总结会议内容,自动提取行动项和会议摘要,帮助用户更高效地进行会议记录和回顾。

  • PicTech AI: 免费在线AI图片翻译 助力跨境电商

    PicTech AI是由学以致用科技旗下的智能图像工具品牌,专注于为跨境电商提供AI驱动的图片翻译服务。该产品利用人工智能技术,实现高准确率和高清晰度的图片翻译,支持中文、英语到日语、韩语等多国语言的翻译。PicTech AI的智能抠图功能,能够准确检测图片主体边缘,一键去除背景,无需专业编辑。产品背景信息显示,其团队由来自百度、网易、阿里巴巴等行业巨头的顶尖高科技人才组成,具备强大的技术实力和产品能力。该产品定位于帮助跨境电商从业者简化工作流程,提高效率,无需懂外语或图像处理技能即可使用。

  • AnythingLLM:一站式AI应用,支持多种文档和模型。

    AnythingLLM是一个多功能的桌面客户端,支持多种语言模型(LLM)和文档类型,提供完全私密的使用体验。用户可以根据自己的需求选择企业级模型、自定义模型或开源模型,如GPT-4、Llama、Mistral等。产品支持一键安装,本地运行,无需互联网连接,保护用户隐私。

  • 林哥的大模型野榜:更适合中国宝宝体质的大模型产品排行榜

    林哥的大模型野榜是一个专注于中国用户需求的大模型产品排行榜,提供了多维度的评估和排名,帮助用户更好地了解和选择适合的大模型产品。

  • Fluximg.com:AI文本到图像生成器,支持多尺寸和自动翻译。

    Fluximg.com是一个基于Flux模型的AI图像生成网站,提供从文本到图像的转换服务。它支持多种语言,包括中文和英文,并且具有用户友好的界面。网站提供免费和专业版本,使用户能够根据自己的需求选择不同的服务级别。

  • 现代文转古文:将现代汉语转化为古汉语,提升文采。

    现代文转古文是一款能够将现代汉语自动转换为古汉语的模型,它通过先进的自然语言处理技术,使得用户可以轻松地将现代文本转换成具有古典韵味的古文。这种转换不仅能够增加文本的文学价值,还能在教育、文学创作、文化传承等方面发挥重要作用。

  • Zamba2-mini:先进的小型语言模型,专为设备端应用设计。

    Zamba2-mini是由Zyphra Technologies Inc.发布的小型语言模型,专为设备端应用设计。它在保持极小的内存占用(<700MB)的同时,实现了与更大模型相媲美的评估分数和性能。该模型采用了4bit量化技术,具有7倍参数下降的同时保持相同性能的特点。Zamba2-mini在推理效率上表现出色,与Phi3-3.8B等更大模型相比,具有更快的首令牌生成时间、更低的内存开销和更低的生成延迟。此外,该模型的权重已开源发布(Apache 2.0),允许研究人员、开发者和公司利用其能力,推动高效基础模型的边界。

  • InterTrack:无需对象模板的人体与物体交互跟踪技术

    InterTrack 是一种先进的跟踪技术,能够在单目RGB视频中跟踪人体与物体的交互,即使在遮挡和动态运动下也能保持跟踪的连贯性。该技术无需使用任何对象模板,仅通过合成数据训练即可在真实世界视频中实现良好的泛化。InterTrack 通过分解4D跟踪问题为每帧的姿态跟踪和规范形状优化,显著提高了跟踪的准确性和效率。

  • GenWarp:生成新视角的图像,保持语义信息。

    GenWarp是一个用于从单张图像生成新视角图像的模型,它通过语义保持的生成变形框架,使文本到图像的生成模型能够学习在哪里变形和在哪里生成。该模型通过增强交叉视角注意力与自注意力来解决现有方法的局限性,通过条件化生成模型在源视图图像上,并纳入几何变形信号,提高了在不同领域场景下的性能。

  • Qwen2-VL:新一代视觉语言模型,更清晰地看世界。

    Qwen2-VL是一款基于Qwen2打造的最新一代视觉语言模型,具备多语言支持和强大的视觉理解能力,能够处理不同分辨率和长宽比的图片,理解长视频,并可集成到手机、机器人等设备中进行自动操作。它在多个视觉理解基准测试中取得全球领先的表现,尤其在文档理解方面有明显优势。

  • Dressplay:个性化服装生成器,轻松变换你的装扮。

    Dressplay是一个创新的在线服装生成器,允许用户通过简单的步骤生成个性化的服装。它利用先进的图像处理技术,让用户能够选择服装区域、目标人物以及想要穿戴的服装,从而创造出逼真的服装效果。Dressplay背后的技术不仅提高了服装设计的效率,也为用户提供了一种全新的个性化体验。目前,Dressplay提供免费试用,用户可以通过网页访问并体验其功能。

今日大家都在搜的词: