首页 > 业界 > 关键词  > Groq​最新资讯  > 正文

Groq​大模型推理芯片每秒500tokens超越GPU,喊话三年超过英伟达

2024-02-20 14:06 · 稿源:站长之家

划重点:

1. Groq公司推出的大模型推理芯片,每秒500tokens的惊人速度超越了传统GPU,挑战谷歌TPU。

2. 该芯片由初创公司Groq研发,由谷歌TPU团队原班人马打造,推理速度提高10倍,成本降低十分之一,支持多种大模型。

3. Groq的目标是在三年内超越英伟达,采用自创的LPU方案,克服计算密度和内存带宽瓶颈,实现18倍于云平台速度的推理性能。

站长之家(ChinaZ.com)2月20日 消息:Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动,超越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发,其团队成员来自谷歌TPU,包括创始人兼CEO Jonathan Ross,曾设计实现第一代TPU芯片的核心元件。

Groq采用了全球首个LPU(Language Processing Unit)方案,旨在克服计算密度和内存带宽的瓶颈,最终实现大模型推理性能比其他云平台厂商快18倍。据介绍,英伟达GPU需要大约10到30焦耳才能生成响应中的tokens,而Groq仅需1到3焦耳,使得推理速度提高了10倍,成本降低十分之一,性价比提高了100倍。

image.png

Groq的芯片采用14nm制程,搭载了230MB大SRAM以保证内存带宽,片上内存带宽高达80TB/s。在算力方面,该芯片的整型(8位)运算速度为750TOPs,浮点(16位)运算速度为188TFLOPs。基于自研的TSP架构,Groq利用机器学习工作负载的并行性对推理进行加速,并支持通过PyTorch、TensorFlow等标准机器学习框架进行推理。

Groq公司在演示中展示了其芯片的强大性能,支持Mixtral8x7B SMoE、Llama2的7B和70B等多种模型,并可直接体验Demo。不仅如此,Groq还喊话各大公司,扬言在三年内超越英伟达。该公司的推理芯片在第三方网站上的售价为2万多美元。

Groq公司以其创新的LPU方案和超越性能的大模型推理芯片,成为大模型推理领域令人瞩目的新兴力量,引领着技术的飞速发展。

Groq产品的特色亮点如下:

1. API访问速度极快:Groq提供了API密钥,可以访问世界上最快的开源大型语言模型(LLM)推理速度。他们的实现在Anyscale的LLMPerf Leaderboard上展示了相较于云服务提供商高达18倍的推理性能。

2. 支持开源LLM模型:*Groq支持Llama2-70B和7B,这两个由Meta AI创建的领先的开源基础LLM模型。这些Groq实现使用4096的上下文长度。

3. 支持其他模型:*除了Llama系列外,Groq还支持Mixtral8x7B,由Mistral AI创建,可根据请求提供。其他模型如Mistral和CodeLlama也可根据特定客户请求提供。

4. 免费试用期: 提供为期10天的免费试用期,可以根据请求进行刷新。在试用期间,用户将获得100万免费令牌,并且API与OpenAI API完全兼容。

5. 价格保证: Groq保证以击败任何已发布的相应模型的百万令牌价格。他们的定价相对较低,可以提供更具竞争力的服务。

6. 早期访问计划: Groq提供了Alpha版本的API的早期访问计划,免费供研究和开发目的使用。公共可用性计划于2024年第二季度。

7. 高性能硬件支持: Groq引擎(LPU™ Inference Engine)在性能上优越,通过硬件支持实现了18倍于云服务提供商的LLM推理性能。

Groq产品以其出色的推理性能、对多种开源LLM模型的支持以及具有竞争力的价格政策等特色,成为一个引人注目的选择。

项目入口:https://top.aibase.com/tool/groq

举报

  • 相关推荐
  • 大家在看
  • Version AI:AI版本管理,自动化API和端点版本控制

    apiversion.dev是一个基于人工智能的平台,可以自动化API和端点版本控制,确保准确和标准化的版本号。它提供全面的版本历史记录、语义版本控制、日历版本控制、增量版本控制等功能。同时,它还支持开发者反馈、沟通、更新监控、增强客户信心和提高开发效率。不同的定价计划适用于不同阶段的创业公司和企业。

  • Omnifact:隐私第一的企业生成式AI平台

    Omnifact是专为工作场所打造的隐私第一的生成式AI平台。充分利用生成式AI的潜力,同时保护您的数据主权。Omnifact提供安全的企业级生成式AI平台,旨在提升生产力,简化知识管理,推动创新,并优先考虑数据安全和隐私。

  • ProDream:你的一站式学术写作AI解决方案

    ProDream是你在学术写作中的一站式AI解决方案。ProDream的AI写作助手可以提高你的写作速度,提升写作技巧,协助研究论文,简化引用,避免抄袭。我们的AI助手由经验丰富的专家团队提供支持,拥有几十年的学术经验,并通过Harvard Innovation Lab和Microsoft Founders Hub孵化。

  • sunoh.ai:AI医学记录助手

    Sunoh是一款基于人工智能的医学记录助手,将医生和患者之间的自然对话转化为临床记录。Sunoh为医生和患者提供独特而沉浸式的体验,使临床记录的过程比以往更快捷高效。与您的电子健康记录系统(EHR)一起使用,加速您的记录工作。

  • Nara AI: | 通过拍照解答数学和物理题

    Nara AI是一款通过拍照解答数学和物理题的智能应用。它能快速准确地解答各种难题,提供易于理解的解题步骤和解析。Nara AI已经在印度尼西亚被数百名学生使用,受到广泛好评。价格信息请访问官方网站。

  • TuingAI:启迪新时代的产品营销!

    图应是一款基于AIGC技术的产品营销工具,帮助用户快速、高效、经济地创建高质量商品图,提升商拍效果,降低成本。通过AI模特、真人人台和AI商品图等功能,为用户提供全方位的图像处理服务。无论是艺术创作、设计还是商业运营,图应都能帮助您轻松实现独特且引人注目的图像效果。

  • PDF Flex | AI Chat with PDF:转换PDF文件,即时聊天与PDF并获取深度答案

    PDF Flex是一款能够帮助用户转换PDF文件格式并与PDF进行即时聊天的工具。它可以将PDF文件转换成多种格式,并且可以向PDF提问问题并立即获得详细回答,提高研究效率。PDF Flex还提供了丰富的功能和使用场景,适用于个人和企业用户。定价方案包括免费和付费版本,用户可以根据自己的需求选择合适的版本。

  • Pen2txt:手写识别AI助手

    Pen2txt是一款利用OCR和人工智能进行手写文本识别的产品。它可以将手写笔记转换为可编辑、可搜索的数字文本,适用于学生、专业人士以及任何需要将纸质文件转换为数字形式的人群。Pen2txt凭借准确、可搜索和可编辑的结果,提高了工作效率。

  • SheetMagic:在Google Sheets中使用AI和无限网络爬虫

    SheetMagic是一个在Google Sheets中使用AI和无限网络爬虫的插件。它能够生成AI内容和AI图片,实现无限的AI提示,并且能够从网站和搜索引擎结果页面获取实时数据。除此之外,它还可以进行数据分析、数据准备和其他多种功能,全部在Google Sheets内完成。

  • Nurmonic: 你的全能 Discord 机器人

    Nurmonic 是一款功能全面的 Discord 机器人,提供聊天互动、图片视频生成、支持票务等多项功能。适用于各类 Discord 社群,为用户带来便利和娱乐。价格根据不同版本和功能选项而定。

  • KaraboAI:为您的业务创建自定义的AI聊天机器人

    KaraboAI Custom ChatGPT Chatbots是一个用于网站的自定义AI聊天机器人平台。您可以在2分钟内创建定制的AI聊天机器人,并嵌入到您的网站中。该聊天机器人可以根据您的业务需求执行各种复杂任务,如知识检索、商务咨询、数据收集、预约日历、电子商务、报价生成和预订管理等。它提供方便的上游数据集成和下游聊天机器人部署集成,支持多种功能和定价选项。

  • Studia AI:使用AI创建您自己的课程

    Studia AI是一个使用人工智能生成学习步骤的平台。它可以帮助用户创建自己的课程,包括功能丰富的学习步骤生成、个性化定制、智能推荐等。定价根据不同的套餐和功能进行收费。

  • Filmora:易於使用的影片編輯軟體

    Wondershare Filmora是一款簡單易用的影片編輯器,可讓您在Windows和Mac上編輯影片和音訊。Filmora提供了豐富的功能和創意視覺效果,讓您可以創建令人驚嘆的影片。它定位於個人和小型企業用戶,並有多個定價方案供選擇。

  • Dreamora: AI解梦

    Dreamora是一款基于人工智能技术构建的解梦应用,提供准确全面的梦境解释。它包含了从伊本·西里恩(Ibn Sirin)和阿尔·纳布尔西(Al-Nabulsi)等主要解梦师那里得出的所有梦境解释,还有最新的信息和持续更新。只需将您的梦境输入应用程序,人工智能将在几秒钟内提供准确的解释。最重要的是,使用这个应用程序完全免费。

  • Suinfy:AI-powered YouTube视频摘要器

    Suinfy是一个AI-powered YouTube视频摘要器,提取长视频中的关键思想和见解。节省您的时间,提高您的生产力。

  • Amplifiles:转化PDF为动态体验

    Amplifiles可以将PDF转化为动态体验,为销售和营销专业人员提供AI语音解说、自定义CTA、CRM集成等功能,提升销售效果。详细定价和功能列表请访问官网了解。

  • ImageAI.QA:100%免费AI图片描述生成器

    AI图片描述生成器是一个能够使用人工智能自动生成图片描述的工具。它可以帮助艺术家、设计师等创作者揭示他们作品背后的隐藏细节、情感和含义。该工具提供全新的视角,让人们可以更深入地理解和欣赏艺术作品。AI图片描述生成器是一个早期测试版本,部分功能可能还不稳定。如果您在使用过程中遇到任何问题或有任何建议,请随时与我们联系。您的反馈对我们非常重要,将帮助我们改进该工具。

  • SpeedProof:快速修改、检查语法、翻译、解释、总结

    SpeedProof: One-Click AI Text Edit是一个一键式的AI文本编辑插件,可以快速修改、检查语法、翻译、解释和总结所选文本。只需选中文本,点击SpeedProof插件图标,选择所需操作即可使用ChatGPT进行修改。支持检查语法、总结、翻译、重新表达等功能,可在任何语气下进行操作。

  • AI Detector:检测AI生成的内容

    AI Detector是一个在线工具,使用先进的算法和机器学习来检测文本是否由AI生成。它可以分析写作风格和句子结构,判断内容是否由ChatGPT、GPT 4、Bard、Claude或人类创作。您可以免费使用AI Detector,每次最多检测1000个字,并获得95%的准确率。

  • WitChat:AI支持的最佳客户服务系统

    WitChat是一款具有AI集成的客户服务系统。我们的软件通过文本、手机、电话、电子邮件、聊天和社交媒体等多种渠道增强客户互动体验。

今日大家都在搜的词: