首页 > 业界 > 关键词  > 正文

小米大语言模型MiLM-6B现身!同参数量级排名

2023-08-11 16:00 · 稿源: 快科技

快科技8月11日消息,近日,小米的大语言模型MiLM-6B首次现身C-Eval、CMMLU两大AI模型评测榜单。

截至本文成稿,MiLM-6B在C-Eval总榜单排名第10、同参数量级排名第1,在CMMLU中文向大模型排名第1。

根据C-Eval给出的信息,MiLM-6B模型在各个测试科目中的平均成绩如下:

小米大语言模型MiLM-6B首次现身!同参数量级排名第一

具体各科目成绩上,在STEM(科学、技术、工程和数学教育)全部20个科目中,计量师、物理、化学、生物等多个项目获得了较高的准确率。

而在10个社会科学科目中,该模型在教育学和地理外的所有科目,都获得了较为理想的准确率。

人文科学的11个科目中,MiLM-6B则在历史与法律基础上有着不错的准确率表现。

可以看出,MiLM-6B模型目前已经在大多数科目中表现出了相对良好的准确度,但在诸如法学、数学、编程、概率论、离散数学等科目上的表现依旧有明显进步空间。

举报

  • 相关推荐
  • 南加州大学提出通道式轻量级重编码CLR 解决大语言模型灾难性遗忘问题

    在持续学习领域,南加州大学和GoogleResearch提出了一项创新的方法,通道式轻量级重编码,旨在解决模型在持续学习新任务时出现的灾难性遗忘问题。持续学习的关键挑战是如何在学习新任务后仍然保持对旧任务的性能CLR方法提供了一种有前景的解决方案。这一创新方法有望为未来的持续学习研究和应用提供更多的可能性。

  • Hugging Face 大语言模型三大优化技术

    大语言模型的生产部署面临着两个主要挑战:一是需要庞大的参数量,二是需要处理超长的上下文信息输入序列。HuggingFace基于他们在提供大型模型服务方面的经验,分享了一些应对这些难题的技术。文章深入剖析了大语言模型优化的关键技术点,对于产业实践具有重要参考价值。

  • 秒懂生成式AI—大语言模型是如何生成内容的?

    备受关注的大语言模型,核心是自然语言的理解与文本内容的生成,对于此,你是否好奇过它们究竟是如何理解自然语言并生成内容的,其工作原理又是什么呢?要想了解这个,我们就不得不先跳出大语言模型的领域,来到机器翻译这里。传统的机器翻译方式是采用RNN循环神经网络。以上就是大语言模型的工作原理了,强大Transformer的实用性还不止于在自然语言处理领域,包括�

  • 开源机器学习库vLLM 提升大语言模型推理速度

    大语言模型在改变人们的生活和职业方面影响越来越大,因为它们实现了编程助手和通用聊天机器人等新应用。这些应用的运行需要大量硬件加速器如GPU,操作成本非常高。更大的模型、更复杂的解码算法和更长的序列会导致更明显的改进。

  • 香港中文大学发布全面中文大语言模型评测CLEVA

    香港中文大学的研究团队最近发布了一项全面的中文大语言模型评测方法,这一方法已经被EMNLP2023SystemDemonstrations录取。这一评测方法名为CLEVA,是由香港中文大学计算机科学与工程学系的王历伟助理教授领导的研究团队开发的,与上海人工智能实验室合作研究。其他研究团队也可以通过CLEVA网站提交和对接评测结果,从促进大模型能力的认知和评测。

  • 米哈游、复旦发布,具备感知、大脑、行动的大语言模型“智能体”

    ChatGPT等大语言模型展示了前所未有的创造能力,但距AGI还有很大的距离,缺少自主决策、记忆存储、规划等拟人化能力。为了探索大语言模型向AGI演变,进化成超越人类的超级人工智能,米哈游与复旦NLP研究团队联合发布了一篇基于大语言模型的“智能体”论文。在模拟社会中,智能体之间会出现自发的社交活动和群体行为。

  • 大语言模型迎来重大突破!找到解释神经网络行为方法

    获得亚马逊40亿美元投资的ChatGPT主要竞争对手Anthropic在官网公布了一篇名为《朝向单义性:通过词典学习分解语言模型》的论文,公布了解释经网络行为的方法。由于神经网络是基于海量数据训练成,其开发的AI模型可以生成文本、图片、视频等一系列内容。理解神经网络行为,对增强大语言模型的安全性、准确性至关重要。

  • 多用途大语言模型SynthIA-7B-v1.3:可用于教学、写作等多领域

    SynthIA-7B-v1.3是一个七十亿参数的大型语言模型,是基于Orca风格数据训练的Mistral-7B-v0.1模型的进化版本。它在各种任务上表现出色,包括文本生成、语言翻译、原创内容创作以及深入问题回答。如果您需要一个强大灵活的语言模型,SynthIA-7B-v1.3是一个不错的选择。

  • 全面的中文大语言模型评测来啦!香港中文大学研究团队发布

    ChatGPT的一声号角吹响了2023年全球大语言模型的竞赛。2023年初以来,来自工业界和研究机构的各种大语言模型层出不穷,特别值得一提的是,中文大语言模型也如雨后春笋般,在过去的半年里不断涌现。”“对大模型能力认知和评测的研究本身,也一定会帮助研究团队理解和加强持续提高大模型的能力。

  • OpenAI科学家最新大语言模型演讲火了,洞见LLM成功的关键

    OpenAI研究科学家HyungWonChung在首尔国立大学做了题为「LargeLanguageModels」的演讲。他在自己的YouTube频道上写到:「这是一次雄心勃勃的尝试,旨在总结我们这个爆炸性的领域。至于哪个AI模型将成为这个新范式的旗舰代表,就让我们拭目以待吧。

今日大家都在搜的词: