首页 > 业界 > 关键词  > 正文

魔搭社区与vLLM和FastChat展开合作 提供高效LLM推理和部署服务

2023-12-29 08:29 · 稿源:站长之家

站长之家(ChinaZ.com)12月29日 消息:最近,魔搭社区与 vLLM 和 FastChat 展开合作,联合为中国开发者提供更快更高效的 LLM 推理和部署服务。开发者可以使用 vLLM 作为 FastChat 中的推理引擎,提供高吞吐量的模型推理。

FastChat 是一个开放平台,用于训练、服务和评估基于 LLM 的 ChatBot。它具有优秀的大语言模型训练和评估代码,并且具有 Web UI 和 OpenAI 兼容的 RESTful API 的分布式多模型服务系统。

vLLM 是一个由加州伯克利分校、斯坦福大学和加州大学圣迭戈分校的研究人员开发的 LLM 服务系统。它基于操作系统中经典的虚拟缓存和分页技术,实现了几乎零浪费的 KV 缓存,并且可以在请求内部和请求之间灵活共享 KV 高速缓存,从而减少内存使用量。

通过 FastChat 和 vLLM,开发者可以快速加载魔搭的模型进行推理。可以使用 FastChat 发布 model worker (s),并通过命令行客户端或网页端 WebUI 进行问答。还可以结合 FastChat 和 vLLM 搭建一个网页 Demo 或者类 OpenAI API 服务器。

微信截图_20231229083256.png

FastChat开源链接:

https://github.com/lm-sys/FastChat

vLLM开源链接:

https://github.com/vllm-project/vllm

新鲜AI产品点击了解https://top.aibase.com/

举报

  • 相关推荐
  • 金山办公召开合作伙伴大会:全面升级渠道合作体系

    3月30日,2025年金山办公合作伙伴大会在珠海召开。金山办公针对企业业务升级推出未来5年的渠道战略,建设“销服续”一体化的合作伙伴体系,加码企业级AI办公市场。尤其在整理和筛选房源时,众多房源不同维度的繁杂信息经过AI的梳理,直接变成一份好看的表格,同小区最有性价比的房子等重点信息一目了然。

  • OpenAI要Open了,奥特曼开源首个推理模型,ChatGPT一小时暴增百万用户

    OpenAI终于要OpenAI了!一大早,奥特曼郑重官宣,「未来几个月,将开源一款强大的推理模型」。这是自GPT-2以来,OpenAI首个开源的模型。无疑为OpenAI下一步增添了更多的戏剧性。

  • 华瑞指数云ExponTech合合作伙伴在硅谷发布新型AI存储方案

    全球AI的顶级盛会GTC于3月17日到3月21日在美国硅谷盛大举行。在GTC大会期间,华瑞指数云ExponTechCTO曹羽中受邀参加了专注于AIStorage的技术研讨会并发表演讲。总结基于本次在真实的环境上的全面测试,总结一下ExponTech与合作伙伴ScaleFlux,AIC基于英伟达的BlueField3DPU以及英伟达最新发布的Spectrum-X网络打造的新型AIStorage方案的关键特点和优势:世界顶级性能,SPC-1评测超越所有高端全闪存储阵列,打破世界纪录,MLPerfStoragev1.0测试数据大幅度超越WekaIO,DDN等著名并行文件系统;世界顶级容量密度,当前每2UStorageNode可实现超过1.6PB存储裸容量,明年可扩展至每2U超过6.6PB,最大化数据中心空间的AI数据价值;配置的ScaleFluxCSD5000NVMeSSD具有盘内透明压缩解压缩能力,能够在不消耗额外系统资源,不影响性能的情况下实现存储裸容量的数倍放大,存储容量效率获得惊人的提升;同一平台上同时支持高性能分布式块存储和文件存储等多种协议,除了支持AI的训练和推理场景可以覆盖数据汇集,数据准备,RAG等AIPipeline全场景,无须为AIPipeline配置不同的存储方案以及反复进行数据拷贝移动,可以实现AI算力和存力的完全存算分离和独立扩展,具备更好的可管理性和效率;强大的并行扩展性,存储节点及计算节点均可以独立的水平扩展,同时实现存储性能和容量的等比例扩展;可靠性高,可维护性高,存储节点采用相比标准服务器更为精简的JBOF,硬件故障率更低,同时JBOF内部采用冗余的硬件设计来保障可靠性,提升可维护性;支持基于RoCE的超大规模组网,采用RoCE动态路由和细粒度的负载均衡实现更好的拥塞控制,基于标准以太网在大规模RDMA组网中实现高效带宽,低抖动和超低时延;优化的总体拥有成本,高密度的存储节点透明盘内压缩新型软件定义存储软件的组合简化了硬件成本,大幅度提升了存储空间利用效率和读写性能,简化了管理,AI客户将因此大幅度优化其AIStorage的总体拥有成本;基于此方案的KVCache大规模持久化方案也即将推出,实现AI推理集群内的K,V向量的全局共享,能够以低成本高性能的大规模存储能力替代AI推理过程中K,V向量的大量重复运算,实现AI推理算力成本的大幅降低。

  • eBay 与 Checkout.com 达成全球支付收单战略合作

    此次合作将升级拓展 eBay 的全球支付平台功能,优化消费者购物体验并提升运营效率。美国圣何塞与英国伦敦— 2025 年 4 月 16 日 — 全球电商领军企业 eBay 今日宣布与国际领先数字支付平台 Checkout.com 达成战略合作伙伴关系。通过此次合作,eBay 将进一步扩展其全球支付平台能力,为消费者提供更流畅的交易体验,同时实现降本增效。作为全球最大的电商平台之一,eBay 平台目�

  • 通过技术赋能与生态构建 一品威客提供高效的创意解决方案

    在数字经济高速发展的今天,中小企业普遍面临资源分散、成本高企、人才匹配困难等挑战。一品威客作为国内知名的数智化创意设计交易服务平台,通过技术赋能与生态构建,为中小企业提供了从创意需求发布到服务交付的全链路、数字化的创意解决方案。跨地域“技术输血”,破解本地资源困局江西景德镇的吴总在 2025 年 3 月计划开发商城小程序和网站时,面临本地技术�

  • 现在,ChatGPT会记下你说的每一句话!随时可以“翻旧账”

    当地时间10日,ChatGPT的开发公司OpenAI宣布,将为ChatGPT引入新的“永久记忆”功能。OpenAI解释称,这是一种让人工智能记住与用户之前对话内容的功能,基于此,ChatGPT能够向用户提供更加自然、且更具个性化的回答。他们还补充称,英国和欧盟等部分地区,由于要进行合规审查,新功能的使用目前受到限制,未来会择期提供。

  • ChatGPT记忆能力大幅提升:可调用所有对话

    据报道,OpenAI首席执行官SamAltman发文称:我们大幅提升了ChatGPT的记忆能力它现在可以调用你之前所有的对话内容了!”Altman介绍称,此功能今日面向专业版用户推出,不久后也会向升级版用户开放。ChatGPT付费用户数量已成功突破2000万大关,与去年底的1550万相比,短短数月间增长了近30%。

  • ChatGPT终于发布长期记忆功能,开启个人Agent时代

    今天凌晨1点,OpenAI对ChatGPT功能进行了大更新,新增长期记忆功能,可以记住你过去所有的聊天记录,会根据你的兴趣、偏好提供更个性化的回答。这对于写小说、金融分析、教育等领域帮助巨大。Team、Enterprise和Edu用户将在几周后获得使用权限。

  • 把我的宠物变成人!继吉卜力后,ChatGPT 又掀起了一股SNS热潮

    除了吉卜力和迪士尼风格之外,“宠物拟人化”最近在社交媒体上也非常流行。

  • ChatGPT怎么会知道我的名字?网友吐槽:这太可怕了

    OpenAI 的目标是将 ChatGPT 打造成个性化的私人秘书。所以他们试图把一个没有感情的机器拟人化,但,他们似乎失败了。