首页 > 业界 > 关键词  > LLaMA最新资讯  > 正文

Buddy Compiler打通LLaMA 2端到端推理

2023-11-23 14:03 · 稿源:站长之家

要点:

  • LLaMA2端到端推理打通!结合 MLIR 和 PyTorch 的编译生态,中国团队展示了 Buddy Compiler 的前端部分实现,可以覆盖 LLaMA 计算图,进行 MLIR 转换和部分优化。

  • Buddy Compiler 基于 PyTorch 和 MLIR 实现了 LLaMA 的端到端推理通路,通过 Buddy Compiler 工具链进行优化和下降,最终生成可执行文件,实现了从 AI 模型到硬件架构的编译流程。

  • 技术路线标准化、上手门槛低和优化上限高是整个软硬件协同设计生态的重要原则,Buddy Compiler 致力于实现这一目标,并将 PyTorch 和 MLIR 作为关键组成部分,提供了简化和解耦的开发流程。

站长之家(ChinaZ.com)11月23日 消息:Buddy Compiler 选择使用 TorchDynamo 作为 Trace 工具对接 AI 模型,并使用 Aten IR 作为对接层级,通过 MLIR Python Bindings 实现 Dynamo Compiler 生成 TOSA/Linalg Ops,从而实现了从 PyTorch 到 MLIR 的转换。

Buddy Compiler 是一个结合了 MLIR 和 PyTorch 的编译生态的工具,它实现了 LLaMA 的端到端推理通路。通过 Buddy Compiler,我们可以将 AI 模型从 PyTorch 转换为 MLIR,并进行优化和下降,最终生成可执行文件。

image.png

Buddy Compiler 的设计原则是技术路线标准化、上手门槛低和优化上限高。为了实现这一目标,Buddy Compiler 选择使用 TorchDynamo 作为 Trace 工具对接 AI 模型,并使用 Aten IR 作为对接层级。通过 MLIR Python Bindings 实现的 Dynamo Compiler 可以将 PyTorch 的 Aten IR 转换为 MLIR 的 TOSA/Linalg Ops。

Buddy Compiler 的编译通路可以面向通用硬件进行优化。它使用了 MLIR Core Dialect 进行实现,从而实现了最大化的复用,并且与所有 LLVM/MLIR 的工具兼容。在优化方面,Buddy Compiler 采用了针对循环的并行计算优化和针对矩阵乘法的向量化优化。

它还可以生成面向特定加速器的代码,例如 Gemmini 加速器。目前,Buddy Compiler 已经在 X86AVX512平台上进行了测试,同时还在进行 Arm Neon 和 RISC-V Vector Extesion 的广泛测试。未来,Buddy Compiler 还计划支持 GPU 的优化,并增加前端的覆盖程度,以及将多模态大模型编译到多种硬件平台上。

总的来说,Buddy Compiler 通过结合 MLIR 和 PyTorch 的编译生态,实现了 LLaMA 的端到端推理通路。它的设计原则是标准化技术路线、降低上手门槛和提高优化上限。通过 Buddy Compiler,我们可以将 AI 模型从 PyTorch 转换为 MLIR,并进行优化和下降。

Buddy Compiler 的编译通路可以面向通用硬件进行优化,并已在 X86AVX512平台上进行了测试。未来,Buddy Compiler 还计划支持更多的硬件平台,并增加前端的覆盖程度。通过 Buddy Compiler,我们可以更好地利用软硬件协同设计,实现高效的大模型推理。

举报

  • 相关推荐
  • 大家在看
  • Tonic Textual:安全数据湖,为生成式AI开发提供数据

    Tonic Textual 是全球首个为大型语言模型(LLMs)设计的Secure Data Lakehouse。它通过自动化流程,帮助企业从云存储中提取、治理、丰富和部署非结构化数据,以支持生成式AI的发展。该产品强调数据隐私保护,利用其专有的命名实体识别(NER)模型自动检测和去标识化敏感信息,同时通过数据合成保持数据的语义真实性。它支持多种数据格式,并通过AWS Marketplace、Google Cloud Marketplace和Snowflake Marketplace提供服务。

  • Outtloud:AI语音助手,将文档转换为自然语音

    Outtloud是一款AI语音助手,可以将用户文档或文本转换成自然流畅的高保真AI语音。它支持超过10种语言和口音,提供100多种AI高级人声。用户可以以高达4倍的速度听书,节省阅读时间,同时在驾驶、通勤、锻炼等任何时间任何地点进行学习。它还具备添加笔记和书签的功能,支持在焦点模式下高亮显示正在播放的段落,以便用户跟随阅读。

  • llama3v:基于llama3 8B的SOTA视觉模型

    llama3v是一个基于Llama3 8B和siglip-so400m的SOTA(State of the Art,即最先进技术)视觉模型。它是一个开源的VLLM(视觉语言多模态学习模型),在Huggingface上提供模型权重,支持快速本地推理,并发布了推理代码。该模型结合了图像识别和文本生成,通过添加投影层将图像特征映射到LLaMA嵌入空间,以提高模型对图像的理解能力。

  • Open LLM Leaderboard:开放的大型语言模型排行榜

    Open LLM Leaderboard是一个由Hugging Face提供的空间,旨在展示和比较各种大型语言模型的性能。它为开发者、研究人员和企业提供了一个平台,可以查看不同模型在特定任务上的表现,从而帮助用户选择最适合自己需求的模型。

  • OpenCompass Multi-modal Leaderboard:实时更新的多模态模型性能排行榜

    OpenCompass多模态排行榜是一个实时更新的平台,用于评估和排名不同的多模态模型(VLMs)。它通过8个多模态基准测试来计算模型的平均得分,并提供详细的性能数据。该平台仅包含开源的VLMs或公开可用的APIs,旨在帮助研究人员和开发者了解当前多模态模型的最新进展和性能表现。

  • I2VEdit:一种基于图像到视频扩散模型的视频编辑技术

    I2VEdit是一种创新的视频编辑技术,通过预训练的图像到视频模型,将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性,并有效处理全局编辑、局部编辑以及适度的形状变化,这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程:粗略运动提取和外观细化,通过粗粒度注意力匹配进行精确调整。此外,还引入了跳过间隔策略,以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明,I2VEdit在细粒度视频编辑方面的优越性能,证明了其能够产生高质量、时间一致的输出。

  • Samba-1 Turbo:高效能的AI模型选择与应用平台

    Samba-1 Turbo是一个提供AI模型选择和应用的平台,它允许开发者通过免费的开发者推理服务来试用、比较和评估Samba-1中各种专家模型。此外,平台还提供一些构建在Samba-1之上的演示业务应用程序,以及开源语言专家SambaLingo。Samba-1 Turbo旨在为开发者提供强大的工具,以简化AI模型的集成和应用过程。

  • StreamV2V:实时视频到视频翻译的扩散模型

    StreamV2V是一个扩散模型,它通过用户提示实现了实时的视频到视频(V2V)翻译。与传统的批处理方法不同,StreamV2V采用流式处理方式,能够处理无限帧的视频。它的核心是维护一个特征库,该库存储了过去帧的信息。对于新进来的帧,StreamV2V通过扩展自注意力和直接特征融合技术,将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新,保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出,无需微调即可与图像扩散模型无缝集成。

  • OpenCompass 2.0 Large Language Model Leaderboard:大型语言模型排行榜,实时评估模型性能。

    OpenCompass 2.0是一个专注于大型语言模型性能评估的平台。它使用多个闭源数据集进行多维度评估,为模型提供整体平均分和专业技能分数。该平台通过实时更新排行榜,帮助开发者和研究人员了解不同模型在语言、知识、推理、数学和编程等方面的性能表现。

  • 甲骨文AI协同平台:数字化甲骨文研究与共享平台

    甲骨文AI协同平台是一个专注于甲骨文研究的数字化平台,集成了甲骨文全信息著录库、甲骨文总字表、数字工具箱等资源,通过AI技术辅助甲骨文的释读、研究和教育传播。平台汇聚了众多博物馆、专家学者以及社会各界人士的共同努力,旨在推动甲骨文研究的深入发展和甲骨文化的传承。

  • Cantor:创新的多模态链式思维框架,提升视觉推理能力

    Cantor是一个多模态链式思维(CoT)框架,它通过感知决策架构,将视觉上下文获取与逻辑推理相结合,解决复杂的视觉推理任务。Cantor首先作为一个决策生成器,整合视觉输入来分析图像和问题,确保与实际情境更紧密的对齐。此外,Cantor利用大型语言模型(MLLMs)的高级认知功能,作为多面专家,推导出更高层次的信息,增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验,证明了所提出框架的有效性,无需微调或真实理由,就显著提高了多模态CoT性能。

  • SuperCLUE:领先的AI评测基准,衡量和比较AI模型性能。

    SuperCLUE是一个用于评估和比较大型语言模型性能的在线平台。它提供了多种任务和排行榜,旨在为AI研究者和开发者提供一个标准化的测试环境。SuperCLUE支持各种AI应用场景,包括数学推理、代码生成、超长文本处理等,能够帮助用户准确评估模型在不同任务上的表现和能力。

  • Berkeley Function-Calling Leaderboard:评估大型语言模型调用函数能力的排行榜

    Berkeley Function-Calling Leaderboard(伯克利函数调用排行榜)是一个专门用来评估大型语言模型(LLMs)准确调用函数(或工具)能力的在线平台。该排行榜基于真实世界数据,定期更新,提供了一个衡量和比较不同模型在特定编程任务上表现的基准。它对于开发者、研究人员以及对AI编程能力有兴趣的用户来说是一个宝贵的资源。

  • OpenAI & other LLM API Pricing Calculator:AI项目成本计算器,比较不同AI模型的成本。

    OpenAI和其他大型语言模型(LLM)API的成本计算器,帮助企业和开发者评估和比较不同AI模型在项目中的成本。该工具提供了包括OpenAI、Azure、Anthropic、Llama 3、Google Gemini、Mistral和Cohere等在内的多个模型的价格计算。它基于输入的token数、输出的token数和API调用次数来计算成本。

  • Clay Filter AI:将您的角色照片转换成粘土动画风格的图像

    粘土 AI 是一款 AI 工具,可以将照片转换成粘土动画风格的图像。通过分析面部特征,生成逼真的效果,提供灵活的编辑功能。价格定位为免费使用。使用比较简单,上传你的照片并提交,稍等10-20 秒可以获得粘土动画风格的图像。

  • TopMixLabs:在线AI视频动画生成工具

    TopMixLabs 是一个 AI 动画制作工具,通过上传图片,用户可以轻松地将图像转换为专业级动画,适用于各种规模的企业,提升品牌形象。使用简单,只需要4张照片,上传稍等10 -20分钟左右,即可以生成高质量的动画,生成的动画支持下载mp4格式,而且在平台上创建的动画用于个人和商业目的。

  • StartKit.AI:快速搭建AI创业项目

    StartKit.AI是一个旨在帮助开发者快速构建AI项目的在线平台。它提供了一个包含所有所需功能来发布SaaS产品的AI样板,无需AI经验即可使用。该平台由James和Danielle开发,他们拥有超过10年的SaaS产品开发经验,并成功运营着AI产品Ellie。StartKit.AI集成了30多个模块和超过8000行代码,提供了先进的AI特性,如聊天、图像、文本、语音、翻译和内容审核等。此外,它还包括了OpenAI的所有功能,并支持创建自己的ChatGPT克隆体。产品定位于帮助开发者快速启动AI项目,保持技术领先,并支持通过Stripe进行产品变现。

  • Cressi:AI驱动的个性化购物助手

    Cressi是一个由AI驱动的个性化购物助手,旨在通过分析用户的搜索历史、兴趣、联系人和日历等信息,提供定制化的购物建议。Cressi不仅能够理解用户的偏好,而且能够随着用户生活方式的变化而不断进化,提供真正人性化的购物体验。Cressi致力于使购物更加个性化、高客户满意度,并减少浪费,以实现更有意义和可持续的购物方式。

  • Decks:一款专业的笔记应用,助你快速掌握任何学科

    Decks是一款专为学习设计的应用,它通过创新的笔记方式帮助用户更快地掌握知识。用户可以免费开始使用,并在14天后选择月度或年度订阅。Decks提供每月8美元或每年79美元的订阅选项。

  • AutoPilotI18n:AI驱动的国际化工具 简化i18n流程。

    AutoPilotI18n 是一款利用 AI 技术提供精确翻译的国际化工具,可自动化翻译任务,简化 i18n 流程。其主要优点在于精确翻译、多框架支持、高效工作流程,适用于 React、Vue、Angular 等。AutoPilotI18n 定价透明,提供免费和付费版本。

今日大家都在搜的词: