首页 > 业界 > 关键词  > 模型比较最新资讯  > 正文

比HuggingFace快24倍!伯克利神级LLM推理系统开源,碾压SOTA,让GPU砍半

2023-06-21 14:42 · 稿源: 新智元公众号

【新智元导读】打「排位赛」的大模型们背后秘密武器曝光!UC伯克利重磅开源神级LLM推理系统——vLLM,利用PagedAttention,比HuggingFace/Transformers快24倍,GPU数量减半。过去2个月,来自UC伯克利的研究人员给大语言模型们安排了一个擂台——Chatbot Arena。GPT-4等大语言模型玩

......

本文由站长之家合作伙伴自媒体作者“新智元公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • DeepSeek更新R1推理AI模型,已发布Hugging Face

    更新后的 R1 拥有 6850 亿个参数,体量庞大。由于模型规模极大,普通消费者级别的硬件很可能无法直接运行。

  • DigitalOcean 携手 AMD 推出 AMD Instinct MI300X GPU Droplet,加速 AI 创新

    DigitalOcean与AMD达成合作,将推出搭载AMD Instinct MI300X GPU的云服务器,支持AI/ML/HPC工作负载。该GPU具备192GB HBM3内存,能完整加载数十亿参数模型,显著提升训练和推理效率。服务定价每小时1.99美元起,支持1-8个GPU配置,并与Kubernetes无缝集成。未来还将推出MI325X GPU,并面向中国市场提供服务。此次合作旨在为开发者提供经济高效的AI开发解决方案,简化云端GPU部署流程。

  • 苹果公布 Intel Mac 支持终止时间表,Rosetta 2 也将逐步淘汰

    苹果近日正式确认,对 Intel 架构 Mac 的支持即将画上句号,而 Rosetta 2 应用转换功能也将进入淘汰阶段。

  • 理想汽车OTA7.4正式推送!自研MindGPT-4o-preview模型首次上车

    理想汽车5月28日发布OTA 7.4版本升级,主要亮点包括:1)首次搭载自研MindGPT-4o大模型,智能助手"理想同学"升级为3D毛绒形象,新增双手交互动作,语音交互更自然生动;2)新增"小同桌"多角色对话功能,支持连续聊天和情商引导;3)升级为生活助手Agent,能自主操作车机完成复杂任务,支持支付宝小程序操作;4)新增家庭账号系统、面容识别和对话历史功能;5)影音体验优化,支持前后排独立音区;6)推出儿童节专属"小主人"模式,新增斑马百科应用;7)新增超充站降锁、冰箱定时开关等实用功能;8)优化L6车型CDC悬架系统,提升操控性。

  • MiniMax深夜开源首个推理模型M1,这次是真的卷到DeepSeek了。

    ​不知道还有多少人记得,AI行业的六小虎。 行业内都在说,他们已经寂静好久了。 上一次相关的项目发布,还是前一段时间我写的MiniMax声音模型的更新,Speech-02。 而昨晚凌晨将近12点的时候,又是MiniMax,居然在X上,预告了他们一整周的发布计划。

  • 一加Ace 5至尊版发布:国补后售价2124.15元起

    一加正式推出Ace5至臻版手机,主打电竞性能与亲民价格。配备6.83英寸1.5K直屏,搭载天玑9400处理器,安兔兔跑分突破322万。首创电竞三芯技术(天玑9400+灵犀触控芯+电竞Wi-Fi芯片G1),并首次将游戏内核写入天玑平台。提供12GB+256GB至16GB+1TB五种存储组合,售价2124元起。影像方面配备5000万主摄+800万超广角,内置6700mAh电池支持100W快充。创新采用3840Hz超高频PWM调光+硬件级低蓝光技术,兼顾显示效果与护眼需求。Wi-Fi连接方面首创电竞Wi-Fi芯片G1,配合超级Wi-Fi3.0技术提升信号稳定性。

  • 持续战略投入,华为云Stack做智能时代更懂政企的云

    6月21日,华为云在开发者大会2025上举办"华为云Stack,做智能时代更懂政企的云"高峰论坛。论坛汇聚政府、金融、央国企等领域的政企用户及专家,围绕政企数字化转型展开探讨。华为云提出通过混合云架构帮助政企客户实现AI技术落地,已服务政务、金融、制造等多个领域。会上发布《政企AI平台架构及应用实践》白皮书,分享行业实践经验。湘钢集团基于华为云Stack构建了统一AI训练中心,上线32个智能场景;成都城投智建集团联合华为打造城市数据空间,推动全域数字化转型。华为云Stack下半年将适配CloudMatrix384超节点混合云,为政企提供澎湃AI算力。

  • 一加Ace 5竞速版国补1529.15元起 李杰:2千元内性能碾压级的存在

    一加Ace5竞速版5月27日发布,售价1799元起,叠加补贴后最低1529.15元。搭载联发科天玑9400e处理器,采用台积电4nm工艺,配备灵犀触控芯片和电竞Wi-Fi芯片G1。6.77英寸AMOLED屏支持120Hz刷新率、3840Hz高频PWM调光。内置7100mAh超大电池,支持80W快充。后置5000万像素主摄,支持蓝牙5.4、Wi-Fi7、红外遥控等功能。一加中国区总裁李杰称其为2000元内性能最强的手机,原生支持《原神》120帧+1080P满血同开。

  • FaceTime成诈骗新工具,认准微粒贷客服号码

    近期出现多起冒充贷款客服的FaceTime诈骗案件,诈骗分子伪装成金融机构客服,以"微粒贷利率过高需注销账户"等理由诱导受害者转账。典型案例中,L先生接到自称微粒贷客服的FaceTime来电,对方以"保护资金安全"为由要求将存款转入指定账户,转账后发现被骗。警方提醒:1.警惕陌生FaceTime来电,不透露个人信息;2.凡提及"调整利率""屏幕共享""转账汇款"等均为诈骗;3.遇可疑情况立即拨打官方客服95384核实;4.若已转账要立即报警并冻结账户。建议通过正规银行渠道办理贷款业务,官方客服不会通过FaceTime联系客户。

  • 问界M9新一轮OTA升级黑科技:自动过ETC,智驾效率飙升

    问界M9通过最新OTA升级实现智能化新突破,重点优化五大核心体验:1. 首创"高速收费站智驾领航辅助",支持ETC自动缴费全流程;2. 实现"车位到车位"全场景无接管智能驾驶;3. 新增"小蓝灯"智能驾驶状态提示系统;4. 配备卫星通信应急保障功能;5. 升级后排悬浮窗等豪华配置。此次升级覆盖30余项功能优化,显著提升通行效率与安全性,重新定义智能出行标准,展现华为鸿蒙智行在智能驾驶领域的领先实力。