首页 > 业界 > 关键词  > model最新资讯  > 正文

IBM的ModelMesh走向开源 使开发者能够大规模部署AI模型

2021-10-13 22:24 · 稿源: cnbeta

模型服务是AI用例的一个关键组成部分。它涉及从人工智能模型中提供推论,以响应用户的请求。那些涉足企业级机器学习应用的人知道,通常不是一个模型提供推论,而是实际上有数百甚至数千个模型在同步运行。

这在计算上是一个非常昂贵的过程,因为你不可能在每次要提供请求时都启动一个专用容器。这对在Kubernetes集群中部署大量模型的开发者来说是一个挑战,因为存在一些限制,如允许的最大荚数和IP地址以及计算资源分配。

IBM通过其专有的ModelMesh模型服务管理层为Watson产品(如Watson Assistant、Watson Natural Language Understanding和Watson Discovery)解决了这个难题。由于这些模型已经在生产环境中运行了几年,ModelMesh已经针对各种场景进行了全面测试。现在,IBM正在将这一管理层与控制器组件以及为模型服务的运行时间一起贡献给开放源码社区。

ModelMesh使开发者能够在Kubernetes之上以"极端规模"部署AI模型。它具有缓存管理的功能,也是一个平衡推理请求的路由器,模型被智能地放置在pod中,对临时中断提供弹性。ModelMesh的部署可以轻松升级,无需任何外部协调机制。它自动确保一个路由新请求到它之前已经完全更新和加载。

在用一些统计数据解释ModelMesh的可扩展性时,IBM表示:

一个部署在单个工人节点8vCPU x 64G集群上的ModelMesh实例能够打包20K个简单字符串模型。在密度测试的基础上,我们还对ModelMesh的服务进行了负载测试,通过发送成千上万的并发推理请求来模拟一个高流量的假日季节场景,所有加载的模型都以个位数毫秒的延迟进行响应。实验表明,单个工人节点支持20k个模型,每秒最多可进行1000次查询,并以个位数毫秒的延迟响应推理任务。

IBM将ModelMesh贡献给了KServe GitHub组织,该组织早在2019年就由IBM、Google、彭博社、英伟达和Seldon联合开发。

您可以在下面提到的各种GitHub存储库中查看ModelMesh的运用与实现:

模型服务控制器

用于协调模型放置和路由的 ModelMesh 容器 运行时适配器

ModelMesh运行时适配器 - 在每个模型服务 pod 中运行的容器,充当 ModelMesh 和第三方模型服务器容器之间的中介,它还包含了负责从存储中检索模型的"拉动器"逻辑。

triton-inference-server - NVIDIA的Triton推理服务器

seldon-mlserver - Python MLServer,是KFServing的一部分

举报

  • 相关推荐
  • IBM CEO:AI 不会影响软件开发者的工作

    IBM的首席执行官ArvindKrishna在一次FortuneCEO倡议大会上表示,人工智能不会对公司的软件开发者岗位产生影响,并表示他不仅不会裁员计划增加开发者的数量。他同时计划削减一些后勤职位,包括人力资源岗位。对于各行各业的技术专业人士来说,了解这些工具可以做什么可以帮助你调整工作流程和自己的职业生涯。

  • 特斯拉再次发出警告:明年起Model 3税收抵免优惠极有可能减半

    特斯拉证实,Model3很可能从2024年初开始不再有资格享受美国《通胀削减法案》规定的全额税收抵免优惠,极有可能减半。按照美国《通胀削减法案》,从2023年1月1日起,购买符合标准的电动汽车,并在该时间后提车的消费者将获得高达7500美元的税收抵免优惠。在这款新车在美国首次亮相之前清理旧款Model3库存,可能是特斯拉敦促消费者利用当前的税收优惠政策尽快提车的原因。

  • 特斯拉Model 3/Y美国继续降价 马斯克:让更多人买得起电动车

    据特斯拉美国官网显示,该公司在美国继续降低部分车辆价格:将Model3汽车在美国的价格从40240美元降至38990美元,将ModelY长续航版SUV在美国的价格从50490美元降至48490美元。即便经过此次降价,中国国产版的Model3仍是全球最便宜的版本。高盛认为特斯拉汽车未来将进一步降价,高盛分析师MarkDelaney认为,特斯拉可能会在未来进一步降低价格,通过走量盈利”路线,获得更高的销量。

  • 新款特斯拉Model 3细节曝光:新增后门应急开启功能 断电也能开

    近日,我们从新款Model3的车主手册中发现,新车在后门的储物袋底部增加了手动开启装置。在车辆断电的情况下,拆下塑料保护盖,就可以看到一条机械释放线,拉动它就可以将后门打开。全轮驱动版CLTC工况续航里程预计为713公里,零百极速4.4秒,设计最高车速同样为200km/h,两款车预计将于今年第四季度交付。

  • 搭载特斯拉Model X同款鸥翼门!广汽昊铂HT最新谍照曝光

    近日,广汽昊铂旗下的首款中大型纯电SUV昊铂HT的开门视频曝光。该车上市后,将正式补全昊铂轿车、跑车、SUV”的产品阵容。这款与众不同的中大型纯电SUV上市后,能否掀起一片新浪潮,让我们拭目以待吧。

  • 动力更猛 配置更高!特斯拉新款Model Y交付:26.39万起

    特斯拉官方表示,特斯拉新款ModelY国内已开启交付。10月1日,特斯拉中国宣布ModelY汽车再进化,性能配置有所提升但售价不变,ModelY后轮驱动版26.39万元起、ModelY长续航版29.99万元起、ModelY高性能版售价34.99万元起。乘联会发布的销量数据显示,特斯拉上海超级工厂9月交付超7.4万辆稳居豪华品牌交付冠军,其中特斯拉ModelY交付53,249辆,位居豪华品牌车型销量榜首。

  • 特斯拉新款Model Y上市 26.39-34.99万元

    特斯拉新款ModelY车型于10月1日正式上市,售价区间为26.39-34.99万元。新款ModelY在造型和内饰细节等多方面进行了小规模的升级定价并未发生改变,这意味着新款车型的竞争力得到进一步提升。官网预计交付时间为2-6周。

  • 零百不到3秒!特斯拉全新Model 3高性能版曝光:双电机动力更强

    全新一代特斯拉Model3正式官宣,带来了全新的单电机后驱版和双电机全轮驱动长续航版两款车型。向来以性能作为卖点的特斯拉,此次却并没有推出更高性能的Performance车型。我们将持续为您报道。

  • 25.99万起!特斯拉Model 3焕新版登陆全国门店:年底开启交付

    日前,特斯拉官方宣布,全新的Model3焕新版目前已经登陆全国门店,新车的起售价为25.99万起,从此前公布的信息来看,新车将在今年第四季度交付。从特斯拉官网可以看到,Model3换新版的后驱车型可提供606公里CLTC续航里程,最高时速为200km/h,百公里加速时间6.1秒。采用15.4英寸的中央大屏,但边框更薄,屏幕面积更大有一个新的8.0英寸后排显示屏,集成了气候、通风和信息娱乐控制。

  • Gradient融资1000万美元,开发者可定制开源语言模型

    初创公司Gradient已经成功融资1000万美元,用于扩大其云平台的采用,该平台允许开发人员托管定制版本的开源语言模型。这项投资由WingVC领投,MangoCapital、TokyoBlack、TheNewNormalFund、SecureOctane和GlobalFoundersCapital也参与了这一轮融资。为了支持其客户基础的持续增长,该公司将利用新关闭的种子轮融资扩大其云平台计划在年底前雇佣8名新员工。