首页 > 业界 > 关键词  > Qwen2.5最新资讯  > 正文

阿里史上规模开源发布,超GPT-4o 、Llama-3.1!

2024-09-19 08:40 · 稿源: ​AIGC开放社区公众号

声明:本文来自于微信公众号 AIGC开放社区,作者:AIGC开放社区,授权站长之家转载发布。

今天凌晨,阿里巴巴官宣了史上最大规模的开源发布,推出了基础模型Qwen2.5、专用于编码Qwen2.5-Coder和数学的Qwen2.5-Math。

这三大类模型一共有10多个版本,包括0.5B、1.5B、3B、7B、14B、32B和72B,适用于个人、企业以及移动端、PC等不同人群不同业务场景的模型。

如果不想进行繁琐的部署,阿里还开放了旗舰模型Qwen-Plus 和 Qwen-Turbo的API,帮助你快速开发或集成生成式AI功能。

图片

开源地址:https://huggingface.co/collections/Qwen/qwen25-66e81a666513e518adb90d9e

Github:https://github.com/QwenLM/Qwen2.5?tab=readme-ov-file

在线demo:https://huggingface.co/spaces/Qwen/Qwen2.5

API地址:https://help.aliyun.com/zh/model-studio/developer-reference/what-is-qwen-llm

下面「AIGC开放社区」详细为大家介绍这些模型的性能特点以及测试结果。

Qwen2.5系列性能测试

本次阿里开源的最大版本指令微调模型Qwen2.5-72B在MMLU-Pro

MMLU-redux、GPQA、MATH、GSM8K、HumanEval、MBPP等全球知名基准测试平台的测试结果显示。

虽然Qwen2.5只有720亿参数,但在多个基准测试中击败了Meta拥有4050亿参数的最新开源Llama-3.1指令微调模型;全面超过了Mistral最新开源的Large-V2指令微调模型,成为目前最强大参数的开源模型之一。

图片

即便是没有进行指令微调的基础模型,其性能同样超过Llama-3-405B。

图片

阿里开放API的旗舰模型Qwen-Plus,其性能可以媲美闭源模型GPT4-o 和Claude-3.5-Sonnet。

图片

此外,Qwen2.5系列首次引入了140亿和320亿两种新参数模型,Qwen2.5-14B 和 Qwen2.5-32B。

指令微调模型的性能则超过了谷歌的Gemma2-27B、微软的Phi-3.5-MoE-Instruct,与闭源模型GPT-4o mini相比,只有三项测试略低其他基准测试全部超过

图片

自阿里发布CodeQwen1.5以来,吸引了大量用户通过该模型完成各种编程任务,包括调试、回答编程相关的问题以及提供代码建议。

本次发布的Qwen2.5-Coder-7B指令微调版本,在众多测试基准中,击败了那些知名且有较大参数的模型。

图片

前不久阿里首次发布了数学模型Qwen2-Math,本次发布的Qwen2.5-Math 在更大规模的高质量数学数据上进行了预训练,包括由 Qwen2-Math 生成的合成数据。同时增加了对中文的支持,并通过CoT、PoT和 TIR的能力来加强其推理能力。

其中,Qwen2.5-Math-72B的整体性能超越了Qwen2-Math-72B指令微调和著名闭源模型GPT4-o。

图片

其实从上面这些测试数据不难看出,即便是参数很小的模型,在质量数据和架构的帮助下,同样可以击败高参数模型,这在能耗和环境部署方面拥有相当大的优势。而阿里本次发布的Qwen2.5系列将小参数模型的性能发挥到了极致

Qwen2.5系列简单介绍

Qwen2.5系列支持中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文等超过29种主流语言。与 Qwen2类似,Qwen2.5语言模型支持高达128K tokens,并能生成最多8K tokens的内容。

与Qwen-2相比,Qwen2.5系列的预训练数据大幅度增长达到了惊人的18万亿tokens,超过了Meta最新开源Llama-3.1的15万亿,成为目前训练数据最多的开源模型。

知识能力显著增强,Qwen2.5在 MMLU 基准测试中,与 Qwen2-7/72B 相比从70.3提高到74.2,从84.2提高到86.1。Qwen2.5在 GPQA/MMLU-Pro/MMLU-redux/ARC-c 基准测试上也有显着改进。

图片

Qwen2.5能够生成更符合人类偏好的响应,与Qwen2-72B-Instruct相比,Qwen2.5-72B-Instruct的Arena-Hard分数从48.1显着提高到81.2,MT-Bench分数从9.12提高到9.35。

数学能力获得增强,在融合了Qwen2-math的技术后,Qwen2.5的数学能力也得到了快速提升。在MATH基准上,Qwen2.5-7B/72B-Instruct的得分从Qwen2-7B/72B-Instruct的52.9/69.0提高到75.5/83.1。

此外,Qwen2.5在指令跟踪、生成长文本(从1k增加到超过8K标记)、理解结构化数据(例如表格)以及生成结构化输出(尤其是JSON)方面实现了显着改进。同时对系统提示的多样性更具弹性,增强了聊天机器人的角色扮演实施和条件设置。

举报

  • 相关推荐
  • 大家在看
  • Flux_小红书真实风格:小红书真实感风格模型,生成极度真实自然的日常照片

    Flux_小红书真实风格模型是一款专注于生成极度真实自然日常照片的AI模型。它利用最新的人工智能技术,通过深度学习算法,能够生成具有小红书真实感风格的照片。该模型特别适合需要在社交媒体上发布高质量、真实感照片的用户,以及进行艺术创作和设计工作的专业人士。模型提供了多种参数设置,以适应不同的使用场景和需求。

  • FLUX1.1 [pro]:最先进的图像生成模型

    FLUX1.1 [pro] 是 Black Forest Labs 发布的最新图像生成模型,它在速度和图像质量上都有显著提升。该模型提供六倍于前代的速度,同时改善了图像质量、提示遵循度和多样性。FLUX1.1 [pro] 还提供了更高级的定制化选项,以及更优的性价比,适合需要高效、高质量图像生成的开发者和企业。

  • PuLID-Flux ComfyUI implementation:ComfyUI的PuLID-Flux实现

    PuLID-Flux ComfyUI implementation 是一个基于ComfyUI的图像处理模型,它利用了PuLID技术和Flux模型来实现对图像的高级定制和处理。这个项目是cubiq/PuLID_ComfyUI的灵感来源,是一个原型,它使用了一些方便的模型技巧来处理编码器部分。开发者希望在更正式地重新实现之前测试模型的质量。为了获得更好的结果,推荐使用16位或8位的GGUF模型版本。

  • Youtube-Whisper:利用OpenAI的Whisper模型转录YouTube视频

    Youtube-Whisper是一个基于Gradio的应用程序,它通过提取YouTube视频的音频并使用OpenAI的Whisper模型来转录成文本。这个工具对于需要将视频内容转化为文本以进行分析、存档或翻译的用户来说非常有用。它利用了最新的人工智能技术,提高了视频内容的可访问性和可用性。

  • OpenFLUX.1:开源的文本到图像生成模型

    OpenFLUX.1是一个基于FLUX.1-schnell模型的微调版本,移除了蒸馏过程,使其可以进行微调,并且拥有开源、宽松的许可证Apache 2.0。该模型能够生成令人惊叹的图像,并且只需1-4步即可完成。它是一个尝试去除蒸馏过程,创建一个可以微调的开源许可模型。

  • LiveKit Agents:构建智能多模态语音助手的端到端框架。

    LiveKit Agents 是一个端到端框架,它使开发者能够构建能够通过语音、视频和数据通道与用户互动的智能多模态语音助手(AI代理)。它通过集成OpenAI的实时API和LiveKit的WebRTC基础设施,提供了创建语音助手的快速入门指南,包括语音识别(STT)、语言模型(LLM)和文本转语音(TTS)的流水线。此外,它还支持创建语音到语音代理、接听和响应来电、以及代表用户拨打电话的功能。

  • BeaGo:智能搜索伴侣,快速获取可靠答案。

    BeaGo是一款由Rhymes Technology Inc开发的智能搜索应用,它利用先进的AI技术,能够理解用户的需求,快速找到可靠和高质量的答案。无论是解决复杂问题还是追求好奇心,BeaGo都能提供帮助。它通过AI生成的摘要快速提供清晰的答案,并且能够解读搜索内容中的图片,以视觉化的方式提供信息。此外,BeaGo还能学习用户的喜好,推荐新的话题,激发灵感。

  • bolt.new:AI驱动的全栈Web应用开发沙盒

    bolt.new是一个集成了人工智能技术的开发者沙盒,旨在帮助开发者快速启动、运行、编辑和部署全栈Web应用程序。它提供了多种模板和框架,支持开发者使用他们喜欢的技术栈创建项目。

  • Open-O1:开源大语言模型,匹配专有强大能力。

    Open O1是一个开源项目,旨在通过开源创新,匹配专有的强大O1模型能力。该项目通过策划一组O1风格的思考数据,用于训练LLaMA和Qwen模型,赋予了这些较小模型更强大的长期推理和解决问题的能力。随着Open O1项目的推进,我们将继续推动大型语言模型的可能性,我们的愿景是创建一个不仅能够实现类似O1的性能,而且在测试时扩展性方面也处于领先地位的模型,使高级AI能力为所有人所用。通过社区驱动的开发和对道德实践的承诺,Open O1将成为AI进步的基石,确保技术的未来发展是开放的,并对所有人有益。

  • AI Video Quiz:AI视频真假辨别测试

    AI Video Quiz是一个由Kapwing团队制作的在线测试,旨在教育公众如何辨别真实视频与由AI生成的假视频。通过这个测试,用户可以了解到AI视频编辑技术的最新进展,并提高对深度视频的警觉性。该测试通过展示公众人物的视频,让用户判断其真实性,从而引发对AI技术在视频制作领域应用的思考。

  • YOLO11:先进的目标检测和跟踪模型

    Ultralytics YOLO11是基于之前YOLO系列模型的进一步发展,引入了新特性和改进,以提高性能和灵活性。YOLO11旨在快速、准确、易于使用,非常适合广泛的目标检测、跟踪、实例分割、图像分类和姿态估计任务。

  • Stable Video Portraits:生成逼真的动态人脸视频。

    Stable Video Portraits是一种创新的混合2D/3D生成方法,利用预训练的文本到图像模型(2D)和3D形态模型(3D)生成逼真的动态人脸视频。该技术通过人特定的微调,将一般2D稳定扩散模型提升到视频模型,通过提供时间序列的3D形态模型作为条件,并引入时间去噪过程,生成具有时间平滑性的人脸影像,可以编辑和变形为文本定义的名人形象,无需额外的测试时微调。该方法在定量和定性分析中均优于现有的单目头部化身方法。

  • Posterior-Mean Rectified Flow:一种最小化均方误差的图像恢复算法

    Posterior-Mean Rectified Flow(PMRF)是一种新颖的图像恢复算法,它通过优化后验均值和矫正流模型来最小化均方误差(MSE),同时保证图像的逼真度。PMRF算法简单而高效,其理论基础是将后验均值预测(最小均方误差估计)优化到与真实图像分布相匹配。该算法在图像恢复任务中表现出色,能够处理噪声、模糊等多种退化问题,并且具有较好的感知质量。

  • Meta Movie Gen:使用文本生成定制视频和声音

    Meta Movie Gen 是一个先进的媒体基础AI模型,它允许用户通过简单的文本输入来生成定制的视频和声音,编辑现有视频或将个人图像转换成独特的视频。这项技术代表了AI在内容创造方面的最新突破,为内容创作者提供了前所未有的创作自由度和效率。

  • Graphite Reviewer:AI代码审查伴侣

    Graphite Reviewer是一个AI代码审查工具,它通过即时反馈帮助团队提高代码审查的效率和质量。该工具利用代码库感知AI,自动检测代码中的bug和错误,使团队能够专注于构建而不是审查。它支持自定义规则,保证代码质量和一致性,同时确保代码的私密性和安全性。Graphite Reviewer的主要优点包括快速合并PR、强化质量和一致性、保持代码私密和安全、捕捉常见错误等。

  • Character SDK:构建可实时互动的AI角色

    Character SDK是一个能够创建AI角色的平台,这些角色可以实时听、说、看,甚至采取行动。它通过实时语音和视觉识别、高级OCR处理、多语言交流、自适应推理和基于意图的任务自动化等技术,帮助企业提高效率,减少成本,并提供个性化的用户体验。

  • Temperstack:一站式SRE平台,提升服务可靠性。

    Temperstack是一个企业级的主动式SRE平台,旨在减少SRE的重复劳动,提高服务的可靠性。它通过自动化服务目录、警报审计和跨您的监控工具的SLI报告,为从CTO到SRE工程师的团队提供可见性、主动发现问题并促进协作。Temperstack集成了流行的监控工具,提供统一的命令界面,以实现全面的SRE可见性和行动。

  • o1-engineer:命令行工具,提升开发效率

    o1-engineer 是一个命令行工具,旨在帮助开发者通过 OpenAI 的 API 高效地管理和交互项目。它提供了代码生成、文件编辑、项目规划等功能,以简化开发工作流程。

  • Canvas:与ChatGPT协作的新方式

    Canvas是OpenAI推出的一个新界面,旨在通过与ChatGPT的协作来改进写作和编码项目。它允许用户在一个单独的窗口中与ChatGPT一起工作,超越了简单的聊天界面。Canvas利用GPT-4o模型,能够更好地理解用户的上下文,并提供内联反馈和建议。它支持直接编辑文本或代码,并提供快捷操作菜单,帮助用户调整写作长度、调试代码等。Canvas还支持版本回溯,帮助用户管理项目的不同版本。

  • Text Behind Image:轻松创建文字背景图片设计。

    Text Behind Image 是一个开源的设计工具,允许用户轻松创建文字背景图片设计。它提供了一个简洁的界面,让用户可以自由地在图片上添加文字,创造出独特的视觉效果。这个工具对于设计师、社交媒体运营者和内容创作者来说非常有用,因为它可以快速生成具有吸引力的视觉内容。

今日大家都在搜的词: