首页 > 传媒 > 关键词  > 人工智能最新资讯  > 正文

旷视科技天元 MegEngine 开源 CUDA INT4 量化源码实现

2024-02-29 11:41 · 稿源: 站长之家用户

当下人工智能技术正加速发展,渗透到云、边、端和应用的各个层面,与海量IoT设备进行深度融合,不断拓展应用场景。然而在AIoT场景中,嵌入式设备往往算力有限,难以承载庞大的AI模型。如何在资源有限的终端场景实现 AI 模型的有效部署,是加速AI落地的重要问题。AI 工程师们研发了各种试图缩小模型大小并保持性能的办法,例如量化和蒸馏。其中,模型量化是将浮点计算转成低比特定点计算的一种模型压缩技术,可以有效减少模型算力消耗并提升计算速度,当前已经在工业界发展比较成熟。

目前相对成熟的模型量化方案是 INT8量化。以ResNet-50模型为例,原本需要用 float32表示的权重,量化后只需要使用 INT8表示,通过这样的处理,模型体积可以减少到原来的1/2,再加上 TensorCore 的加持,还会有近8倍的网络加速。而如果更进一步,将模型用INT4表示,可以带来更多的速度提升。

为了推动低比特量化技术的发展,旷视天元MegEngine 团队开源了 INT4的源码实现,这也让MegEngine成为头个开源 CUDA INT4源码实现的深度学习框架。MegEngine采用均匀线性量化方案,实现了非对称量化和对称量化两种INT4的数据类型,同时通过算子融合优化、kernel优化等方法,使得量化后的模型可以依然保持较高的精度以及良好的运行速度。同样以ResNet-50为例,INT4相比 INT8有1.3倍的加速。

具体代码实现可以查看文末“阅读原文”

随着 CUDA INT4的开源,目前MegEngine 框架不仅支持浮点数 FP32和 FP16,而且支持 INT8和 INT4的对称和非对称量化推理。此外,MegEngine框架开发了诸多工具,帮助用户提升模型推理性能、简化部署流程,包括自动代码裁剪功能,支持用户全自动的针对算子进行代码裁剪;TracedModule 方案以及 MegEngine Lite,基于旷视海量业务打磨出的模型推理理想实践,化解模型转换部署难题;流程管理工具FastRun, 可以为每个计算自动选择最快的算法,从而保证整个网络的运行时间最短,让 MegEngine 用户运行不同的网络时都能收获较好性能。

自开源以来,MegEngine不断优化,已先后发布29个版本,推出一系列实用功能,降低AI算法生产门槛,助力AI应用快速落地。未来,旷视将继续支持和拥抱开源,并将自身在开源领域积累的技术和经验与业界共享,推动人工智能技术创新和行业发展。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • Voice Agent 开源框架 TEN,让你的 AI Agent 能听能说!

    搭建VoiceAgent就像是把大象装进冰箱,看上去只有三步很简单:1)选择LLM/STT/TTS大模型2)接入WebRTC或WebSockets进行实时传输3)调整参数封装但在实际使用过程中,却困难重重:“😫回声太大、噪音太多”、“人声太杂听不清👂”“人工智能如智障,说话都不能打断🤐”“延迟太高反应慢🐢”、“又有新模型了又要重新接😞”“三段式看着简单实现的工程太难💻”“多模态数据�

  • “谷歌版MCP”来了,开源A2A,不同厂商Agent也能协作

    “谷歌版MCP”来了!谷歌推出A2A协议,即Agent2Agent,能让AIAgent在不同生态系统间安全协作无需考虑框架或供应商。不同平台构建的AIAgent之间可以进行通信、发现彼此的能力、协商任务并开展协作,企业可通过专业Agent团队处理复杂工作流。从各大厂最近动作来看,芜湖,不愧是Agent元年。

  • Agent重大突破!OpenAI智能体支持MCP,已开源

    今天凌晨2点,OpenAI对AgentSDK进行了重大更新支持MCP服务,可以统一接口标准解锁无限工具。现在Agent可以快速集成网络搜索、专业分析、本地查询、网络追踪等各式各样的工具,这对于开发超复杂自动化智能体来说帮助巨大。OpenAI已经在开源的AgentSDK中支持MCP,API和桌面版ChatGPT也将很快提供。

  • 谷歌开源发布A2A协议 Agent2Agent智能体交互协议详细介绍

    在GoogleCloudNext25大会上,谷歌宣布开源了首个标准智能体交互协议——Agent2AgentProtocol,这一举措有望彻底改变智能体之间的交互方式,打破系统孤岛,对智能体的能力、跨平台协作以及执行效率产生质的飞跃。A2A协议是一种开放标准,旨在为智能体提供一种通用的交互方式,使它们能够在不同的底层框架和供应商之间无缝协作。每个部分都有指定的内容类型,这使得客户端和远程智能体能够协商所需的正确格式,并且明确包括用户界面能力的协商,比如iframe、视频、网络表单等,从根据用户的需求和设备的能力,提供最佳的用户体验。

  • 英伟达全力发展AI Agent开源专属大模型,最强AI工厂

    全球AI领导者英伟达在美国圣何塞举办了“GTC2025”全球产品、开发者大会,涵盖大模型、AIAgent、实体机器人、AI专用芯片、量子计算等技术分享。LlamaNemotron一共有Nano、Super和Ultra三种模型,每种都针对不同的部署需求进行了优化。Nano模型适用于个人电脑和边缘设备,例如,手机、平板、笔记本等;Super模型在单个GPU上提供最佳的准确性和吞吐量;Ultra模型在多GPU服务器上提供最大的Agent准确性。

  • 谷歌A2A协议是什么? MCP 和 Agent2Agent 有什么区别?

    4月10日,在GoogleCloudNext大会上,谷歌宣布开源Agent2Agent协议,这一协议被业界视为智能体交互领域的“通用语言”,旨在突破跨平台、多模态协作及安全保障等核心技术瓶颈,并联合全球50余家科技企业共同构建新一代智能生态。本文从技术实现与行业变革两个维度,深度解析A2A协议的核心价值。这一协议的推出,标志着智能体协作模式从封闭系统向开放生态的范式转变,为产业数字化转型注入新动能。

  • 刚刚,OpenAI开源PaperBench,重塑顶级AI Agent评测

    今天凌晨1点,OpenAI开源了一个全新的AIAgent评测基准——PaperBench。这个基准主要考核智能体的搜索、整合、执行等能力,需要对2024年国际机器学习大会上顶尖论文的复现,包括对论文内容的理解、代码编写以及实验执行等方面的能力。目前智能体的能力还无法超越人类。

  • AI Agent大变天!谷歌开源A2A,一夜改变智能体交互

    谷歌在GoogleCloudNext25大会上,开源了首个标准智能体交互协议——Agent2AgentProtocol。A2A将彻底打破系统孤岛,对智能体的能力、跨平台、执行效率产生质的改变,支持Atlassian、Box、Cohere、Intuit、Langchain、MongoDB、PayPal、Salesforce、SAP、ServiceNow、UKG和Workday等主流企业应用平台。通过A2A协议,MongoDB可以使其数据库服务与智能Agent相结合,实现更高效的数据管理和自动化数据处理。

  • 刚刚,OpenAI开源BrowseComp,重塑Agent浏览器评测

    今天凌晨2点,OpenAI开源了专门用于智能体浏览器功能的测试基准——BrowseComp。这个测试基准非常有难度,连OpenAI自己的GPT-4o、GPT-4.5准确率只有0.6%和0.9%几乎为0,即便使用带浏览器功能的GPT-4o也只有1.9%。通过使用更多的计算资源,模型可以尝试更多的搜索路径,从提高找到正确答案的概率。

  • 华扬联众:全新AI Agent——MediaMuse

    华扬联众打造全新营销行业专属AIAgent——MediaMuse,接入包括Deepseek、Kimi、ChatGPT、文心一言等在内的众多AI大模型,打破人工触发局限,赋予其“思维力”与“行动力”。AI技术浪潮推动营销工具呈现爆发式增长,但工具间的操作逻辑、输出风格与数据接口差异显著,这种“技术繁荣下的效率悖论”正成为行业数字化转型的核心痛点。MediaMuse将成为华扬联众员工的“数字同事”,与众多外部大模型与自研工具协同,解放营销从业者的时间与精力,聚焦于策略创新与价值创造,实现“AI提效,人机共创”的智能工作模式。