首页 > 业界 > 关键词  > 大模型最新资讯  > 正文

2080 Ti就能跑70B大模型,上交大新框架让LLM推理增速11倍

2023-12-21 08:49 · 稿源: 量子位公众号

原本需要一张16万元的80G A100干的活,现在只需要一张不到2万元的24G4090就够了!上海交大IPADS实验室推出的开源推理框架PowerInfer,让大模型推理速度加快了11倍。而且不用量化,就用FP16精度,也能让40B模型在个人电脑上运行;如果加入量化,2080Ti也能流畅运行70B模型。结合大模型

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 有道14B低成本轻量模型“子曰3”开源,数学推理性能超越大模型

    网易有道6月23日开源国内首个专注数学教育的"子诳3"大模型系列数学模型(Confucius3-Math)。该模型在单块消费级GPU上高效运行,在多项数学推理任务中性能超越更大规模的通用模型,高考数学题测试得分达98.5分。其训练成本仅2.6万美元,推理性能是DeepSeek+R1的15倍,服务成本低至每百万token0.15美元,大幅降低教育AI应用门槛。该开源模型为教育公平提供低成本、高性能的AI�

  • 豆包大模型1.6发布:全球第一梯队!可生成1080p高品质视频

    字节跳动旗下豆包大模型正式升级为1.6版,在推理、数学、指令遵循、Agent等方面的能力均有较大提升,同时豆包视频生成模型Seedance 1.0 pro、豆包语音播客模型也正式发布。 豆包大模型1.6包括三部分,分别是豆包1.6、豆包1.6-thinking、豆包1.6-flash。 其中,豆包1.6支持on/off/auto三种思考模式,豆包1.6-thinking强化了思考能力,支持多模态,在多个权威测评集上达到了全球第一梯队�

  • 阿里云”618创新加速季“开启:先进、领先的大模型限免 超7000万 token,加速多场景 AI 应用落地

    阿里云启动"618创新加速季"活动,聚焦AI创新与云端智能,推出多项优惠:1)提供7000万+免费大模型token体验及最高1728元优惠券;2)通义大模型限免超7000万token,推出10-100元多档资源包,GPU服务0.9折起;3)PAI平台推出通用节省计划,最低3折;4)针对中小企业推出AI火花会主题活动,提供场景化定制服务;5)基础云产品全线优惠,包括轻量服务器38元/年、RDS MySQL 88元/年等。活动还包含5亿算力补贴计划、10万元出海满减券等专项支持,助力企业智能化升级。

  • BW2025即将开展,技嘉AORUS雕妹约你3H|3A08 雕宅见

    BilibiliWorld2025将于7月11-13日在上海国家会展中心举办,技嘉AORUS确认参展。现场将带来全新电竞装备体验、热门游戏试玩和1V1对战PK,还有萌妹互动环节。亮点包括:1)"竞速街潮痛车"主题展区,限量发售同款模型;2)首发雕妹国风定制整机,融合东方美学与电竞性能;3)二次元电竞乐园,包含宅舞派对等多元活动。7月8日将公布终极剧透,提前锁定3H|3A08展位,参与互动赢取大奖。这是今夏最燃的电竞狂欢,不见不散!

  • 预测大模型的工业生存法则,华为博士告诉你什么才是B端最需要的大模型!

    华为开发者大会2025期间,AI专家李良基与华为团队围绕预测大模型展开深度对话。华为提出"数据原子级表征体系"理念,旨在通过统一数据编码解决跨场景迁移难题。预测大模型已在钢铁行业成功应用,温度预测准确率远超传统方案。专家指出,AGI发展的核心在于构建知识迁移能力,未来将聚焦To B场景落地,通过统一架构实现跨领域泛化应用。华为云首创Triplet Transformer

  • 《原神》鸿蒙版开启招募测试:支持华为Pura 80、Mate 70等系列机型

    米哈游午间宣布,鸿蒙版《原神》今日12:00开启测试服玩家招募。 据介绍,为保证未来后续版本与鸿蒙系统的适配,此次测试招募仅面向鸿蒙操作系统的旅行者开放。 此次玩家库招募针对后续测试版本,绝大部分内容都处于调整中状态。 官方表示,考虑到测试服的内容泄露可能会造成部分旅行者对正式版本内容的误解,破坏旅行者们正式服的体验。 因此需要参与玩家库的�

  • 108万的Labubu,才不是王宁的「上限」

    最贵的Labubu诞生了——一款显示为初代藏品薄荷色的Labubu以108万的价格完成竞拍。 这一消息瞬间引爆了社交媒体,不同声音涌入其中,使其瞬间登上了小红书、微博等多个热搜榜前列。有人认为这是“为情绪价值买单的时代”,也有人喊出“这个世界疯了”。

  • 83岁老人现场开箱Pura 80:喜欢华为11年 收藏近200部华为手机

    日前,华为Pura 80系列正式发布,这是华为迄今最强的影像旗舰。 据媒体报道,Pura 80系列发布当天,洛阳一位叫宋茂信的老爷爷带着他收藏的9部华为P系列手机来到华为门店,现场开箱洛阳首台Pura 80样机。 宋爷爷表示,Pura 80系列最吸引人的就是一镜双目”,因为华为P系列拍照比较好,我一直喜欢拍照,我要入手一台。 据了解,83岁的宋爷爷是华为的忠实粉丝,喜欢华为已�

  • AI大模型排名前十:谁主2025智能时代沉浮?

    本文介绍了当前全球最受瞩目的十大AI大模型及其特点。OpenAI的GPT-4系列以自然语言理解和多模态处理能力见长;Anthropic的Claude3系列擅长长文本分析和专业写作;Google的Gemini1.5具备强大的多模态处理能力;Meta的Llama3是性能强劲的开源模型;xAI的Grok系列擅长实时信息处理;Mistral AI以高效混合专家架构著称;Cohere专注企业级应用;Inflection Pi主打情感陪伴;中国的DeepSeek和通义千问在中文本地化方面表现突出。文章建议根据具体需求选择模型,并推荐使用专业平台进行模型对比。未来AI将向更长上下文、更自然的多模态交互等方向发展。

  • 模型推理协作正式开启,魔乐社区让模型跑遍“中国芯”

    魔乐社区启动"模型推理适配协作计划",旨在解决国产算力平台与大模型间的适配难题。该计划通过开源协作模式,联合开发者、芯片厂商等生态伙伴,构建从工具链到知识库的全栈支持体系,打造适配成果共享平台。重点支持开源大模型在国产硬件及多样化推理引擎上的高效运行,提供模型转换工具和优化指南,降低开发门槛。目前已有文心大模型4.5等首批适配成果�