11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
腾讯云
12-20
GPUStack在京举办AI Infra生态大会,以“开放共创,智启新局”为主题,汇聚800余人。大会聚焦国产GPU软硬协同与规模化应用,展示异构算力管理、模型部署优化及2.3新进展。GPUStack开源平台已服务全球121国11万用户,并与亚信、海光等签署战略合作,成立Token创新联盟,推动国产算力从可用走向好用。
Kimi-K3在8×B300单机上通过GPUStack接入vLLM与SGLang,对比推理性能。64K输入下vLLM端到端延迟更低;200K输入时SGLang反超,得益于DCP分片降低长上下文Decode的KV读取瓶颈。性能交叉源于DCP配置差异,两方Prefill接近,差异在Decode扩展性。投机解码因随机数据接受率极低而几无收益。测试非严格对等,结果反映瓶颈与选型方向,非最终性能排名。
7月26日,数澈软件Seal宣布正式发布并开源最新产品GPUStack,GPUStack是一个用于运行LLM的开源GPU集群管理器。尽管如今大语言模型作为公共的云上服务已经被广泛推广并在公有云上变得更加易于使用,但对企业来说,部署托管自己私有的LLM供企业和组织在私有环境使用仍然非常复杂。我们十分欢迎您一起参与开源项目的贡献,也欢迎在我们的GitHub仓库gpustack/gpustack上点亮Star关注我们的最新动态。