首页 > 业界 > 关键词  > model最新资讯  > 正文

IBM的ModelMesh走向开源 使开发者能够大规模部署AI模型

2021-10-13 22:24 · 稿源: cnbeta

模型服务是AI用例的一个关键组成部分。它涉及从人工智能模型中提供推论,以响应用户的请求。那些涉足企业级机器学习应用的人知道,通常不是一个模型提供推论,而是实际上有数百甚至数千个模型在同步运行。

这在计算上是一个非常昂贵的过程,因为你不可能在每次要提供请求时都启动一个专用容器。这对在Kubernetes集群中部署大量模型的开发者来说是一个挑战,因为存在一些限制,如允许的最大荚数和IP地址以及计算资源分配。

IBM通过其专有的ModelMesh模型服务管理层为Watson产品(如Watson Assistant、Watson Natural Language Understanding和Watson Discovery)解决了这个难题。由于这些模型已经在生产环境中运行了几年,ModelMesh已经针对各种场景进行了全面测试。现在,IBM正在将这一管理层与控制器组件以及为模型服务的运行时间一起贡献给开放源码社区。

ModelMesh使开发者能够在Kubernetes之上以"极端规模"部署AI模型。它具有缓存管理的功能,也是一个平衡推理请求的路由器,模型被智能地放置在pod中,对临时中断提供弹性。ModelMesh的部署可以轻松升级,无需任何外部协调机制。它自动确保一个路由新请求到它之前已经完全更新和加载。

在用一些统计数据解释ModelMesh的可扩展性时,IBM表示:

一个部署在单个工人节点8vCPU x 64G集群上的ModelMesh实例能够打包20K个简单字符串模型。在密度测试的基础上,我们还对ModelMesh的服务进行了负载测试,通过发送成千上万的并发推理请求来模拟一个高流量的假日季节场景,所有加载的模型都以个位数毫秒的延迟进行响应。实验表明,单个工人节点支持20k个模型,每秒最多可进行1000次查询,并以个位数毫秒的延迟响应推理任务。

IBM将ModelMesh贡献给了KServe GitHub组织,该组织早在2019年就由IBM、Google、彭博社、英伟达和Seldon联合开发。

您可以在下面提到的各种GitHub存储库中查看ModelMesh的运用与实现:

模型服务控制器

用于协调模型放置和路由的 ModelMesh 容器 运行时适配器

ModelMesh运行时适配器 - 在每个模型服务 pod 中运行的容器,充当 ModelMesh 和第三方模型服务器容器之间的中介,它还包含了负责从存储中检索模型的"拉动器"逻辑。

triton-inference-server - NVIDIA的Triton推理服务器

seldon-mlserver - Python MLServer,是KFServing的一部分

  • 相关推荐
  • 大家在看
  • Model 3和Model Y新车无USB接口 特斯拉回应:因芯片短缺导致

    据国外媒体报道,与其他公司一样,特斯拉也受到了全球芯片短缺的影响。一些特斯拉客户发现,最近新购买的Model 3和Model Y在中控台和后排座位附近没有USB接口,而是只预留了孔位。此外,许多用户声称,新车上的无线充电器也不起作用,可能是因为新车使用了与USB接口相同的模块。

  • 特斯拉回应Model 3/Model Y新车无USB接口:因芯片短缺 暂无解决方案

    买到的新车没有USB接口,你能接受吗?据@老板联播 消息,近日,有特斯拉消费者反映,在收新车时发现车内中控和后排并没有USB接口,而是只预留了孔位,手机无线充电功能同样被减配。然而,特斯拉并未实现告知,也没有提到补偿措施。此次受影响的车型涉及Model 3和Model Y两款。特斯拉官方客服表示,11月6日后生产的Model 3和Model Y车型均可能出现该情况,也不是说缺失,就是说中央扶手箱里的USB接口,没有办法使用U盘进行音乐的播?

  • 570亿晶体管:英伟达推出新一代InfiniBand平台Quantum-2

    GTC 2021 大会期间,英伟达发布了全新的 InfiniBand 网络平台,它就是基于 Bluefield-3 DPU 和 Quantum-2 Infiniband 交换机的 Quantum-2 。官方新闻稿称,其旨在为云计算提供商和超算中心带来极致性能、广泛的可访问性、以及强大的安全性。作为有史以来最先进的端到端网络平台,NVIDIA Quantum-2 底层是 400Gbps 的 InfiniBand 网络。在结合该公司的 Quantum-2 交换机、ConnectX-7 网络适配器、BlueField-3 数据处理单元(DPU),

  • 包含敏感数据数千个Firefox cookie出现在GitHub存储库中

    包含敏感数据的数千个 Firefox cookie 数据库目前出现在 GitHub 的存储库中,这些数据可能用于劫持经过身份验证的会话。这些 cookies.sqlite 数据库通常位于 Firefox 配置文件文件夹中。它们用于在浏览会话之间存储 cookie。现在可以通过使用特定查询参数搜索 GitHub 来找到它们,这就是所谓的搜索“dork”。总部位于伦敦的铁路旅行服务公司 Trainline 的安全工程师 Aidan Marlin 在通过 HackerOne 报告了他的发现,并被 GitHub 代

  • Model 3上线加热套件

    今日午间,特斯拉官方宣布,自2021年12月3日起,正式在国内将“后排座椅加热功能”OTA升级服务调整为“寒冷套件”OTA升级服务。

  • 英国拟对英伟达收购Arm展开深入调查

    据外媒报道,出于反垄断和国家安全的考虑,英国政府预计将下令对英伟达以300亿英镑收购英国芯片设计公司ARM的计划进行深入调查。

  • Model S Plaid上赛道:轻取宝马M5 CS与凯迪拉克CT5-V Blackwing

    在近日更新的一期油管视频中,Hagerty 将特斯拉 Model S Plaid 电动汽车带到了加利福尼亚州的 Willow Springs 国际赛车场,并与另外两辆速度同样惊人的燃油车展开了一番激烈较量。虽然电动车长期因为扭矩特性强大而被调侃为“无脑直线加速”的首选,但本次实测还是给了宝马 M5CS 和凯迪拉克 CT5-V Blackwing 一个下马威。说到电动汽车,许多人很是担心电池重量和过热,可能导致它无法在其它性能指标上超越传统燃油车型。这么说确实

  • Model Y性能版开启交付

    今日,特斯拉中国官方宣布,Model Y高性能版正式开启交付。据悉,Model Y高性能版售价38.79万元,百公里加速3.7秒,最高车速250公里/小时,NEDC续航566kM,电池容量为78.4kWh的三元锂电池。

  • 特斯拉Model3/Y又涨价 Model Y上涨至28万元

    特斯拉又双叒叕涨价了!11月24日,特斯拉官网显示,特斯拉Model3此前后轮驱动普通版此前定价为25.09万元,目前上涨至25.5652万元,配置信息不变。特斯拉Model Y后轮驱动普通版此前定价为27.6万元,目前上涨至28.0752万元,配置信息不变。

  • 英伟达497.09图形驱动更新 支持《光环:无限》和RTX 2060 12GB显卡

    英伟达刚刚放出了 2021 年 12 月的首个图形驱动更新,为即将到来的《光环:无限》、太空动作冒险射击游戏《和声》(Chorus)、以及求生游戏《伊卡洛斯》(ICARUS)提供了首发支持。此外值得一提的是,GeForce Game Ready 497.09 WHQL 驱动程序还支持新发布的 GeForce RTX 2060 12GB 显卡。发行说明(PDF)获得新版 GeForce Game Ready 驱动支持的三款游戏中,《伊卡洛斯》在 12 月 7 日正式发布前获得了更多的 RTX 处理。由《Dayz?

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天