首页 > 业界 > 关键词  > 高性能计算最新资讯  > 正文

清华团队开源大模型推理引擎“赤兔Chitu”:硬件成本削减50%

2025-03-14 17:27 · 稿源: 快科技

快科技3月14日消息,据报道,清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布,开源大模型推理引擎赤兔Chitu”。这一突破性技术为国产AI芯片的广泛应用和生态建设带来了新的机遇。

赤兔Chitu”首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型,解决了FP8精度模型对英伟达Hopper架构(如H100/H200)的硬件依赖。

在A800集群的测试中,赤兔引擎在GPU使用量减少50%的情况下,推理速度提升了3.15倍,显著降低了企业的硬件成本,同时提高了性能输出。

赤兔引擎的智能优化技术能够快速适配不同芯片架构,使国产厂商无需重复开发软件,专注于硬件升级。目前,清程极智已与沐曦、燧原等厂商合作,推出开箱即用”的推理一体机,广泛应用于金融、医疗等行业。

清程极智CEO汤雄超表示,当前国内在推理引擎这一核心环节仍缺乏生产级开源产品。开源赤兔”引擎是推动国内AI生态建设的重要一步,将为行业提供更高效、更灵活的技术支持。

举报

  • 相关推荐
  • Soul App开源模型SoulX-Podcast登顶Hugging Face TTS趋势榜,AI语音对话再升级

    SoulX-Podcast语音生成模型在开源社区Hugging Face发布次日登顶TTS趋势榜。该模型由Soul AI Lab联合高校团队开发,专为多轮对话场景设计,支持中英川粤等多语言/方言与副语言风格,能生成超60分钟流畅自然、角色切换准确、韵律丰富的语音。它解决了传统语音系统在多轮对话中上下文衔接不自然、缺乏副语言控制能力等痛点,在播客、语音合成等场景表现突出,获开发者广泛关注。Hugging Face CEO也转发相关内容,团队未来将持续优化语音对话、拟人化表达等核心交互能力,深化开源生态建设。

  • 张朝阳卢伟冰发文悼念杨振宁 清华大学、西湖大学官网已转为黑白

    今日,享誉世界的物理学家、诺贝尔物理学奖获得者,中国科学院院士,清华大学教授、清华大学高等研究院名誉院长杨振宁先生,因病在北京逝世,享年103岁。 消息传出,清华大学、西湖大学、搜狐创始人张朝阳、小米总裁卢伟冰等各界纷纷发文深切悼念杨振宁先生。 张朝阳在社交平台悼念称:学界怀念杨先生。

  • 来教装展,看全栈自主可控国产教育大模型何以赋能教学?

    10月24-26日,第86届中国教育装备展在青岛举行。科大讯飞以“全栈自主可控国产教育大模型”为核心,展示五大智慧教育场景:智慧教学通过AI黑板实现师生协同,提升效率;科学教育推出AI虚拟科学家互动平台,激发探索精神;身心健康方案构建体育健康闭环与心理服务体系;教育治理推出数据驱动决策平台;学前教育引入游戏化学习产品。目前方案已覆盖全国5万余所学校,服务超1.3亿师生,展现AI从工具升级为“教育伴侣”的价值。

  • 【AI 智惠季】全模态大模型齐发优惠,GPU新客包月2.8折起

    阿里云启动双十一“AI智慧季”大型优惠活动,聚焦企业多元AI场景落地需求,推出7000万tokens大模型免费体验、GPU新客特惠等政策,助力企业降低开发成本。同时提供标准化AI产品与解决方案,覆盖内容创作、智能客服等高频应用场景,并举办系列技术分享活动,携手企业拥抱AI新时代。

  • 何小鹏首次披露物理AI巨大进展 发布第二代VLA大模型

    小鹏汽车在2025科技日发布第二代VLA大模型,颠覆传统“视觉-语言-动作”架构,实现端到端直接输出动作指令,开创物理模型新范式。该模型具备动作生成与物理世界理解能力,参数规模达数十亿级,训练数据近1亿clips。基于2250TOPS算力的Ultra车型成功搭载,推动智驾技术显著进化,同步发布“小径NGP”功能,复杂小路接管里程提升13倍。行业首发的无导航辅助驾驶Super+LCC实现全球覆盖。何小鹏表示,大模型将成为物理AI世界的操作系统,并宣布与大众汽车达成战略合作,共同推进智能出行发展。

  • 双11品质之选:前行者旗舰产品限时特惠,高性能外设入手正当时

    2025年双11期间,国产外设品牌前行者(EWEADN)凭借高性能产品与诚意优惠成为消费焦点。其明星产品X87S机械键盘支持三模连接、双8kHz回报率与12000mAh长续航,叠加补贴后到手价低至279元;S9大师版鼠标搭载快充芯片与旗舰传感器,满足电竞需求;DEEP80键盘以百元级价格实现0.08ms超低延迟。品牌在抖音、天猫、京东三大平台通过秒杀价、限时立减、满赠礼品等策略形成购买吸引力,多款键鼠产品斩获细分榜单TOP1。建议用户按场景选择:电竞玩家优选X87S+S9组合,办公学习可侧重DEEP80等高性价比产品,趁双11福利入手正当时。

  • “大模型应用”新风口:“无人测试”趋势,CIO/CTO如何应对

    当前CIO面临的核心挑战是如何在有限IT预算下加速企业数字化转型。传统软件测试环节因人力密集、周期冗长成为效率瓶颈,而AI技术正推动测试模式从"辅助"向"无人化"演进。通过AI Agent实现全流程自主测试,可提升测试效率300%、降低成本30%,并将产品发布周期从"月"压缩至"周"。这不仅是技术升级,更是重构IT成本结构、实现降本增效的战略支点,助力IT部门从成本中心转型为价值创造中心。

  • 机器人“全能导航大脑”来了!银河通用发布NavFoM大模型

    银河通用发布全球首个跨本体全域环视导航基座大模型NavFoM,实现机器人从“学会完成导航任务”到“真正理解移动”的跨越。该模型支持全场景、多任务、跨本体应用,通过统一“视频流+文本指令→动作轨迹”范式,融合800万条跨任务导航数据,在真实机器人上实现零样本自主避障、路径规划等复杂任务。其技术突破将推动具身智能从单一功能进化为基础设施,为规模化商业落地奠定关键基础。

  • 全球开源技术峰会GOTC 2025 圆满落幕

    11月2日,为期两天的全球开源技术峰会GOT C2025在北京圆满落幕。本届峰会聚焦开源与人工智能深度融合,汇聚全球顶尖专家、行业领袖与数千开发者,共同探讨开源驱动的AI未来蓝图。现场吸引超3000人次参与,线上直播观看量突破500万,全网曝光超6亿次。大会设立十二大专题论坛,覆盖大模型应用、AI编程、云原生AI等前沿领域,并发布Open AgentKit等关键项目。通过“论坛+市集�

  • 如何检查你的网站是否被大模型引用?AI排名查询工具推荐

    本文探讨AI搜索时代网站流量获取新逻辑:传统SEO因Google搜索"零点击"现象失效,而71%用户通过AI工具研究购买决策。文章指出被大语言模型引用成为新流量入口,并推荐使用AIBase等GEO工具监测网站在豆包、DeepSeek等国内主流AI平台的曝光情况。提出三步操作法和三个优化建议:建立监控基线、定期检查变化、聚焦高转化场景。强调在AI搜索时代,内容被LLM引用已成为新的流量生命线。

今日大家都在搜的词: