首页 > 业界 > 关键词  > 正文

CodeFuse微调框架MFTCoder升级v0.3.0版本 支持Mixtral等模型

2024-01-22 08:46 · 稿源:站长之家

站长之家(ChinaZ.com) 1月22日 消息:MFTCoder 是蚂蚁CodeFuse开源的一种多任务微调框架,可以在多个任务上同时进行微调。它通过结合多种损失函数解决了多任务学习中的挑战。MFTCoder 具备高效训练特征,包括高效的数据 Tokenization 模式和支持 PEFT 微调,能提升微调训练速度并降低资源需求。

MFTCoder 在 v0.3.0版本中进行了重磅升级。

微信截图_20240122084743.png

首先,它支持了 Mixtral 等更多的主流开源 LLMs 模型,如 Mistral、Deepseek-coder、Chatglm3等。这些模型经过 MFTCoder 微调后,在代码能力上有了显著的提升。

其次,新版本适配了最新的 transformers v4.36.0和 FlashAttention2v2.3.6,使得 MFTCoder 可以更好地利用最新的 Attention 实现,如 sliding_window Attention,进一步提升模型性能。

第三,MFTCoder-accelerate 框架在原有支持 Accelerate+DeepSpeed 的基础上,增加了对 FSDP 的支持,提供了更多的选择。

最后,MFTCoder 引入了 Self-Paced Loss 作为新的收敛均衡技术,可以调整不同任务的权重,控制不同任务的收敛速度,实现多任务同时收敛。

通过多任务微调,CodeFuse-Mixtral-8x7B 在各种语言的 Pass@1评测中的性能得到了显著提升,达到40.9% ->52.8%。这使得 CodeFuse-Mixtral-8x7B 成为当前开源的非代码大模型中代码能力领先的模型之一。

项目地址:https://github.com/codefuse-ai/MFTCoder/tree/main/mftcoder_accelerate

举报

  • 相关推荐
  • 大家在看
  • Mistral 发布其首个代码生成 AI 模型 Codestral

    由微软支持、估值高达60亿美元的法国人工智能初创公司Mistral近日发布了其首个用于编码的生成式人工智能模型——Codestral。该模型旨在帮助开发人员编写代码并与代码交互,支持包括Python、Java、C和JavaScript在内的80多种编程语言。Mistral在其LeChat对话式AI平台及其付费API上推出了Codestral的托管版本,并计划将其构建到LlamaIndex、LangChain、Continue.dev和Tabnine等应用框架和开发环境中�

  • Mistral AI推首个代码生成模型Codestral 支持多种编程语言

    MistralAI推出了其首个代码生成模型Codestral,这是一个功能强大的工具,旨在帮助开发者提高编码效率和质量。以下是Codestral的一些关键特性和优势:支持多种编程语言:Codestral能够支持超过80种编程语言,包括当前流行的语言如Python、Java、C、C、JavaScript和Bash,以及一些较少使用的如Swift和Fortran。通过提供API端点和插件,Codestral能够灵活地集成到各种开发环境中,满足不同开发者�

  • 去除对齐和偏见,多功能文本生成模型Dolphin Mixtral 1x22b

    Dolphin2.9.1Mixtral1x22b是由CognitiveComputations团队创建的一个多功能文本生成模型。这个模型具备以下特点:多功能文本生成:它能够处理指令、对话和编码任务,具有广泛的应用能力。模型的设计理念是提供一个没有审查和道德限制的文本生成工具,但这种开放性也带来了一定的风险,特别是当用户提出不道德的请求时,模型可能会遵循这些请求。

  • 英伟达RTX Remix modders推出对应Comfyui节点 可对游戏资产放大和重绘

    英伟达的RTXRemixmodders最近推出了与Comfyui兼容的新节点,这标志着游戏模组制作和资源增强方面的一大进步。通过这个新节点,模组制作者现在可以直接在Comfyui界面中对已有的游戏资产进行放大和重新绘制,这大大简化了游戏资源的编辑和升级过程。通过不断开放RTXRemix平台,NVIDIA希望能够激励全球的模组制作者创作出更多令人惊叹的RTX重新制作作品,推动游戏社区的创新和发展。

  • Claude 3全系已支持函数调用工具Tool use 提供更加准确的响应

    Claude3的全系列现在已经支持函数调用工具Tooluse,这使得Claude能够与外部工具和API进行交互,执行任务、处理数据,并提供更加动态和准确的响应。具体应用案例:从非结构化文本中提取结构化数据:例如,能够从发票等文档中自动提取姓名、日期和金额等信息,减少手动输入的工作量。这项技术的发展预示着AI在提高工作效率和创新服务方式方面的巨大潜力。

  • 阿联酋5G-A之国:从City到Country的“跨越”

    5月13日,备受关注的SAMENA领袖峰会中东中亚5G-A专场在迪拜召开,峰会现场,由TDRA、SAMENA、e&UAE、du、GSMA以及WBBA等组织共同启动了“阿联酋启动全国5G-A网络建设”发布仪式,标志着全球首个5G-A之国正式启动。在R18标准即将冻结的当下,阿联酋的积极部署吸引了业界的广泛目光,更为移动通信进阶发展树立范本。此次阿联酋宣布打造5G-A之国,是全球运营商、通信设备商、应用提供商的一次“相向行”,意味着我们正进入一个全新的5G-A时代,更高的标准、更优质的体验、更广泛的覆盖以及更快的部署节奏都正向我们走来,届时,5G-A对全球经济发展的放大、叠加、倍增作用也将不断凸显。

  • 字节Coze海外宣布支持 GPT-4o

    字节Coze海外版官方宣布,他们已经成功集成了OpenAI推出的最新AI助手GPT-4o,为用户带来了更智能、更强大的聊天体验。GPT-4o是OpenAI的最新力作,它的加入将为Coze用户提供更便捷、更高效的沟通和交流方式。在社交平台竞争日益激烈的当下,Coze通过引入GPT-4o等先进技术,为用户提供更全面、更智能的社交体验,助力用户更好地进行交流与互动。

  • FESCO Adecco外企德科:Quick BI打造战略管理“观数台”

    外企德科是中国第一家人力资源服务机构,和中国体量最大的综合性人力服务企业之一的FESCO集团与全球领先人力资源咨询与解决方案提供商德科集团于2010年在上海成立的一家中外合资人力资源服务企业,为企业及个人提供通用外包解决方案、专业外包解决方案、国际人才外包服务、人事薪酬服务、招聘猎头及流程外包、员工福利服务和数字化等综合性人力资源服务。FESCOAdecco已在全国范围内的多个重要地区设立了区域机构,包括上海、重庆、浙江、深圳、苏州、陕西、湖南、安徽、福建、山东、四川等,全国服务人数超过200万名,服务客户超26,000家。提取业务人员核心考核指标,进行重点关注,将业务细节关联到个人,具体到可执行的2-3个KPI。

  • 全新推理框架SymbCoT 让大模型实现类人的符号逻辑推理能力

    新加坡国立大学联合加州大学圣芭芭拉分校与奥克兰大学的研究人员提出了一种名为SymbCoT的全新推理框架,旨在提升大语言模型的符号逻辑推理能力。这一框架结合了符号化逻辑表达式与思维链,极大提升了推理的质量、鲁棒性与可信度。不同LLM的影响:SymbCoT与更先进的模型之间的协同效应更为显著。

  • IBM watsonx Code Assistant for Z推出代码解释新功能

    以生成式AI和自动化,加速主机应用全生命周期作者:KeriOlson,IBMIT自动化副总裁;AndyBradfield,IBMZaaS与机密计算负责人北京2024年5月24日--扩展AI应用带来的业务成果显易见。IBM商业价值研究院最新发布的年度CEO调研报告显示,与同行相比,处于生成式AI前沿、以数据驱动创新的公司年净利润要高出72%,年收入增长则高出17%。对企业诚信、透明治理、社会责任、包容文化和服务精神的长期承诺是IBM业务发展的基石。

  • HumanizeAI Text:提升AI文本的人性化程度,增强用户互动。

    Humanize AI Text是一个先进的AI文本人性化工具,能够将AI生成的文本转换成更自然、更具人性化的文本,以避免AI检测,并提升内容的吸引力和可读性。它支持多语言,增强了内容的全球可访问性。主要优点包括内容塑形、多语言掌握、可读性提升、写作助手以及实时反馈的人性化得分,帮助用户理解并改进写作的人性化感觉。

  • MagicPublish.ai:为YouTube生成元数据的智能工具

    MagicPublish.ai是一个专注于为YouTube视频内容创建者提供元数据生成服务的在线平台。它通过自动化的方式帮助用户生成视频描述、标签和缩略图,从而提升视频的SEO优化和观众吸引力。产品的主要优点包括操作简便、自动化程度高、能够显著提升视频的在线可见度。

  • AITopRank:发现2024年最佳AI工具

    AI Top Rank是一个专注于AI工具发现和推广的平台,旨在帮助用户发现和使用最新的AI工具,促进AI技术的普及和应用。平台提供每周更新的AI工具排行榜,用户可以投票支持自己喜爱的工具,也可以提交自己的AI工具进行推广。

  • AutoStudio:多轮交互式图像生成技术

    AutoStudio是一个基于大型语言模型的多轮交互式图像生成框架,它通过三个代理与一个基于稳定扩散的代理来生成高质量图像。该技术在多主题一致性方面取得了显著进步,通过并行UNet结构和主题初始化生成方法,提高了图像生成的质量和一致性。

  • Nemotron-4 340B:用于训练大型语言模型的开源合成数据生成管道。

    Nemotron-4 340B是NVIDIA发布的一系列开放模型,专为生成合成数据以训练大型语言模型(LLMs)而设计。这些模型经过优化,可以与NVIDIA NeMo和NVIDIA TensorRT-LLM配合使用,以提高训练和推理的效率。Nemotron-4 340B包括基础、指令和奖励模型,形成一个生成合成数据的管道,用于训练和完善LLMs。这些模型在Hugging Face上提供下载,并很快将在ai.nvidia.com上提供,作为NVIDIA NIM微服务的一部分。

  • Joor:完美的日记应用,记录你的想法。

    Joor是一款日记应用,它允许用户写下自己的想法,并由应用自动处理其余部分。它提供了一个简洁的界面,让用户能够轻松地记录下自己的思考和灵感,同时可能还具备一些自动整理和回顾的功能。

  • Samba:高效无限上下文语言模型的官方实现

    Samba是一个简单而强大的混合模型,具有无限的上下文长度。它的架构非常简单:Samba = Mamba + MLP + 滑动窗口注意力 + 层级MLP堆叠。Samba-3.8B模型在Phi3数据集上训练了3.2万亿个token,主要基准测试(例如MMLU、GSM8K和HumanEval)上的表现大大超过了Phi3-mini。Samba还可以通过最少的指令调整实现完美的长上下文检索能力,同时保持与序列长度的线性复杂度。这使得Samba-3.8B-instruct在下游任务(如长上下文摘要)上表现出色。

  • TC-Bench:视频生成模型的时间组合性评估工具

    TC-Bench是一个专门用于评估视频生成模型的时间组合性的工具。它通过精心设计的文本提示、相应的真实视频以及强大的评估指标来衡量视频生成模型在不同时间点上新概念的出现及其关系转换的能力。TC-Bench不仅适用于文本条件模型,也适用于图像条件模型,能够进行生成性帧插值。该工具的开发旨在推动视频生成技术的发展,提高生成视频的质量和一致性。

  • Promptchains:智能AI工作流构建器,释放AI潜力。

    Promptchains是一个革命性的AI工作流构建器,旨在通过提示链技术解锁AI的潜力。它将复杂任务转化为智能解决方案,实现AI的承诺。产品通过组合AI提示和其他工具到工作流中,使企业能够轻松定制、保存、重用和分享。它超越了AI交互的新奇性,创造了能够与熟练的人类员工并肩工作的解决方案。

  • Sanctuary:个性化冥想引导,由AI驱动,提升专注力,减压助眠。

    Sanctuary是一款利用尖端AI技术为用户提供个性化冥想指导的应用程序。它通过智能学习用户偏好,提供每日更新的冥想内容,帮助用户改善专注力,减少压力,并促进更好的睡眠。该应用拥有超过10万次的个性化冥想创建记录,用户反馈显示,它简化了冥想过程,使冥想变得容易和可访问,对于缓解焦虑和整体压力水平有显著效果。

  • Partnerplace:合作伙伴管理工具,提升合作效率。

    Partnerplace是一款专为合作伙伴关系管理设计的在线工具,它通过自动化繁琐的任务,如佣金处理,帮助企业高效管理和发展合作伙伴网络。该工具支持定制化合作伙伴计划,实现品牌专业体验,并通过集中化平台提高工作效率。Partnerplace的价值观包括弹性、参与度和连接性,旨在为用户提供一个完全定制化的、参与性强的、连接销售团队和CRM系统的合作伙伴管理系统。

  • Depth Anything V2:先进的单目深度估计模型

    Depth Anything V2 是一个经过改进的单目深度估计模型,它通过使用合成图像和大量未标记的真实图像进行训练,提供了比前一版本更精细、更鲁棒的深度预测。该模型在效率和准确性方面都有显著提升,速度比基于Stable Diffusion的最新模型快10倍以上。

  • OTTO SEO by Search Atlas:革命性的AI SEO工具,简化SEO工作流程。

    OTTO SEO是Search Atlas推出的一款AI驱动的SEO工具,旨在通过自动化技术优化网站,提高SEO效率。它通过添加OTTO像素到网站,能够自动执行网页优化,包括技术修复、内容优化、反向链接建设和内容创作。OTTO SEO的主要优点在于节省时间、提高效率,并帮助营销团队或代理公司实现SEO策略的自动化和优化。

  • AI drafts by Help Scout:提升客服团队效率,实现个性化客户服务。

    Help Scout提供的AI客服平台,通过人工智能技术,帮助客服团队提升工作效率,减少重复性工作,让团队成员能够专注于更复杂和个性化的客户对话。平台特点包括无需编程即可使用、快速回复、提升客户满意度,以及通过AI生成回复草稿等。

  • OpenVLA:开源视觉-语言-动作模型,推动机器人操作技术发展。

    OpenVLA是一个具有7亿参数的开源视觉-语言-动作(VLA)模型,通过在Open X-Embodiment数据集上的970k机器人剧集进行预训练。该模型在通用机器人操作策略上设定了新的行业标准,支持开箱即用控制多个机器人,并且可以通过参数高效的微调快速适应新的机器人设置。OpenVLA的检查点和PyTorch训练流程完全开源,模型可以从HuggingFace下载并进行微调。

  • VideoLLaMA 2:视频理解领域的先进空间-时间建模与音频理解模型。

    VideoLLaMA 2 是一个针对视频理解任务优化的大规模语言模型,它通过先进的空间-时间建模和音频理解能力,提升了对视频内容的解析和理解。该模型在多选视频问答和视频字幕生成等任务上展现了卓越的性能。

  • HumanPlus:人类动作模仿与自主技能学习系统

    HumanPlus是一个研究项目,旨在通过模仿人类动作来训练人形机器人,从而实现自主技能学习。该项目通过模拟强化学习训练低级策略,并将这些策略应用到真实世界中,实现实时跟踪人类身体和手部动作。通过影子模仿技术,操作员可以远程操作机器人收集全身数据,用于学习不同任务。此外,通过行为克隆技术,机器人能够模仿人类技能,完成各种任务。

  • Jace:AI助手,助力高效营销与管理。

    Jace是一款商业领域的AI助手,专注于提升营销效率,无需专业技能即可轻松启动和管理营销活动。其主要优点包括创建针对性的营销活动、实时监控性能和随时优化。

  • ARC-AGI:人工智能通用推理测试集

    ARC-AGI是一个旨在测试人工智能系统是否具备类似人类一般流体智力的抽象和推理能力的数据集。它由400个训练任务和400个评估任务组成,每个任务都以JSON格式存储,包括输入输出对。该数据集可以作为人工智能基准测试、程序合成基准测试或心理测量智力测试。

  • PROTEUS:实时表情生成人类模型

    PROTEUS是Apparate Labs推出的一款下一代基础模型,用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型,创新的潜在空间设计实现了实时效率,并能通过进一步的架构和算法改进,达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现,为人工对话实体提供直观的接口,并且与多种大型语言模型兼容,可定制用于多种不同应用。

今日大家都在搜的词:

热文

  • 3 天
  • 7天