首页 > 热点 > 关键词  > 正文

智源研究院开源 AI 硬件评测引擎FlagPerf v1.0

2023-09-28 08:29 · 稿源:站长之家

站长之家(ChinaZ.com) 9月28日 消息:智源研究院发布了 FlagPerf v1.0,这是一个开源开放的 AI 硬件评测引擎。

FlagPerf 的评测指标体系包括功能正确性指标、性能指标、资源使用指标和生态适配指标。其中,功能正确性指标验证芯片对模型运行的支持,性能指标评估芯片的训练时间和计算吞吐量,资源使用指标衡量芯片和服务器其他零部件的使用情况,生态适配指标考察芯片对不同框架和软件生态的支持能力。

微信截图_20230928083106.png

FlagPerf 已经涵盖了自然语言处理、计算机视觉、语音和多模态等领域的20余个经典模型,50余个训练样例,并与多家 AI 软硬件厂商进行深度合作,完成了与不同芯片和框架的适配和评测。

此外,FlagPerf 还支持多样例场景和任务,覆盖大模型训练推理场景。它不仅支持多种训练框架和推理引擎,还支持多种测试环境,包括单卡、单机和多机,以全面评估 AI 芯片的性能和适用性。

在评测过程中,FlagPerf 严格审核参评代码,确保结果公平、过程公正。所有测试代码都已开源,测试过程和数据可复现。

FlagPerf 开源项目:https://github.com/FlagOpen/FlagPerf

举报

  • 相关推荐
  • 智源研究院开源中英双语大模型悟道·天鹰340亿Aquila2-34B

    智源研究院发布了最强开源中英双语大模型——悟道・天鹰340亿。这个新模型在推理、泛化等方面表现出色,在智能体、代码生成、文献检索等场景方面取得了一系列成绩。智源研究院还发布了FlagScale高效并行训练框架和FlagAttention高性能Attention算子集,进一步推动大模型研究的发展。

  • 卡萨帝入驻奥地利古典音乐研究院

    近年来随着全球化战略的不断推进,卡萨帝正加速布局海外市场。2023年1月,卡萨帝于巴基斯坦召开品牌发布会,3月携光年、鉴赏家套系亮相新加坡中国机电产品品牌展览会,9月在曼谷吉姆汤普森艺术中心开展首届思享荟,并于同月登陆德国IFA展会。未来卡萨帝将继续创新,加速布局全球高端圈层,努力为更多用户带去更高端、更全面的智慧生活体验。

  • 易车研究院:解决“停车难”痛点,挖掘中国车市消费潜力

    随着人们生活水平的不断提高,有车家庭正在不断增加,汽车作为单一价值量较大的可选消费,其承载的消费功能较为复杂,包括日常工作通勤需要,以及非工作的生活通勤需要等,随着家庭成员扮演的角色越来越多,单一车辆已经不能满足家庭所有成员的出行需求,多车家庭开始涌现。在这样的发展情形下,停车问题也开始涌现。随着国家新能源汽车战略的不断推进,车市�

  • AMD收购开源AI软件企业Nod.ai 加速AI硬件优化

    AMD宣布计划收购Nod.ai,这是一家专门针对高性能硬件优化人工智能软件的初创公司。对成立仅三年的Nod.ai的收购表明,AMD认真地想在快速增长的人工智能芯片市场中占据一席之地,据行业分析师称,该市场预计到2032年将达到3837亿美元。Nod.ai是SHARK和Torch-MLIR等多个研究人员广泛使用的AI软件库的贡献者。

  • 英特尔研究院院长Rich Uhlig:坚持“3S”探索逻辑,全面出击前沿研究

    英国著名科幻小说家阿瑟·克拉克有言:“任何先进的技术,初看都与魔法无异。”在英特尔这家巨大的半导体公司的内部,有一批人正在专注于此,即用新颖的方法,在广泛的前沿研究领域中探索如何帮助人类应对在计算、连接、从云到边缘的基础设施、AI、传感和感知等领域面临的重大技术挑战。英特尔研究院将始终致力于在各种前沿领域“全面出击”,从技术探索,到应用落地,不断探索多样化的可能性,为未来计算“插上翅膀”。

  • LAION呼吁欧盟鼓励开源AI模型应用

    AI组织LAION和领先的AI开发者在给欧盟的公开信中建议,AI领域的监管努力应该鼓励使用开源AI模型,以支持透明度、安全性和创新,特别是中小企业。LAION认为,开源AI模型具有更大的安全性、问责制、可复制性和鲁棒性可以促进创新、提高环境友好性等。LAION呼吁欧盟监管努力应鼓励开源AI模型的应用。

  • 姜子牙大模型开源代码大模型Ziya-Coding-34B-v1.0

    IDEA研究院封神榜团队最近开源了最新的代码大模型Ziya-Coding-34B-v1.0,该模型在HumanEvalPass@1的评测上取得了75.5的好成绩,超过了GPT-4的得分。此次开源的Ziya-Coding-34B-v1.0,基于CodeLLaMA34B的预训练模型,经过了两个阶段的有监督精调,支持多种与代码相关的任务,包括代码生成、代码解释、代码纠错以及单元测试的生成等。

  • 浙大校友联手微软开源LLaVA-1.5,硬刚GPT-4V

    LLaVA-1.5是来自威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学的研究人员近期开源的一款全新的端到端多模态大模型,可与OpenAI的GPT-4V形成正面竞争。LLaVA-1.5在11项基准测试中都实现了新的状态最优成绩,包括视觉问答、图像caption等任务,展现出了强大的多模态理解能力。LLaVA-1.5以其出色的多模态理解能力,向业内掀起了一股“硬刚GPT-4”的新风潮。

  • 上交AI数学开源模型阿贝尔登开源模型排行榜首 打破美国AI公司霸榜局面

    上海交大生成式人工智能研究组的阿贝尔模型在数学推理领域取得了重大突破,打破了美国AI公司在这一领域的霸榜局面,成为国内开源模型排行榜首。阿贝尔项目的成功背后是有监督精调方法的巧妙运用,以及精心策划的训练数据。尽管仍然存在一些挑战和局限性,但这一成就为国内的人工智能研究团队赢得了国际认可,为AI领域的发展注入了新的活力。

  • 研究人员称,即使是最糟糕Claude AI版本也比GPT 3.5更好

    10月6日,一场引人入胜的竞争正在AI行业内悄然展开,OpenAI的ChatGPT与Anthropic的ClaudeAI模型之间展开了激烈的角逐。负责创建ChatbotArena和著名的Vicuna模型的大型模型系统组织刚刚更新了他们的ChatbotArena排行榜,展示了每个AI聊天机器人与竞争对手相比的表现。由于Claude模型在排名上超越了GPT-3.5,企业和个人用户可能会发现自己在评估哪个模型最符合其需求时面临抉择。