首页 > 业界 > 关键词  > 正文

蚂蚁集团开源代码大模型CodeFuse-CodeLlama-34B 4bits量化版本

2023-09-27 15:59 · 稿源:站长之家

站长之家(ChinaZ.com)9月27日 消息:近日,蚂蚁集团代码大模型CodeFuse-CodeLlama-34B4bits量化版本发布。

CodeFuse-CodeLlama-34B-4bits是CodeFuse-CodeLlama-34B模型的4bits量化版本,后者是通过QLoRA对基座模型CodeLlama-34b-Python进行多代码任务微调而得到的代码大模型,模型输入长度为4K。

经4bits量化后,CodeFuse-CodeLlama-34B-4bits可用单张A10(24GB显存)或者RTX4090(24GB显存)加载,同时,量化后的模型在Humaneval pass@1指标上仍取得了73.8%的表现。

微信截图_20230927155613.png

据悉,CodeFuse是蚂蚁自研的代码生成专属大模型,根据开发者的输入提供智能建议和实时支持,帮助开发者自动生成代码、自动增加注释,自动生成测试用例,修复和优化代码等,以提升研发效率。

CodeFuse-CodeLlama-34B4bits项目地址:

https://modelscope.cn/models/codefuse-ai/CodeFuse-CodeLlama-34B-4bits/summary

举报

  • 相关推荐
  • 姜子牙大模型开源代码大模型Ziya-Coding-34B-v1.0

    IDEA研究院封神榜团队最近开源了最新的代码大模型Ziya-Coding-34B-v1.0,该模型在HumanEvalPass@1的评测上取得了75.5的好成绩,超过了GPT-4的得分。此次开源的Ziya-Coding-34B-v1.0,基于CodeLLaMA34B的预训练模型,经过了两个阶段的有监督精调,支持多种与代码相关的任务,包括代码生成、代码解释、代码纠错以及单元测试的生成等。

  • 开源标杆!最强中英双语大模型来了,340亿参数,超越 Llama2-70B等所有开源模型

    开源界最强的中英双语大模型,悟道·天鹰34B,来了!有多强?一言蔽之:不仅模型够大够能打还一口气送上整套“全家桶”级豪华周边。能有如此大手笔的,正是中国大模型开源派先锋——智源研究院。Aquila2模型全系开源地址:https://github.com/FlagAI-Open/Aquila2https://model.baai.ac.cn/https://huggingface.co/BAAIAquilaSQL开源仓库地址:https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-sqlFlagAttenti

  • 几千元训完中文LLaMA2!Colossal-LLaMA-2把大模型门槛打下来了!

    从头预训练大模型被认为需要高达5000万美元的投资,这让很多开发者和中小企业望却步。Colossal-LLaMA-2的出现降低了大模型的门槛。该方案业已应用到多个行业领域,构建垂类大模型并取得良好效果。

  • 国产开源新标杆!20B大模型,性能媲美Llama2-70B,单卡可推理

    国产新标杆:免费可商用的200亿参数大模型,来了!书生·浦语大模型20B版本正式发布,一举刷新国内新一代大模型开源纪录。它由上海人工智能实验室与商汤科技联合香港中文大学和复旦大学共同推出。正如林达华所说:这或许才是当下大模型趋势里,大家最应该“卷”的方向。

  • 20B量级大模型性能媲美Llama2-70B!完全开源,从基座到工具全安排明白了

    【新智元导读】国产模型开源纪录,又被刷新了!上海AI实验室等机构开源的InternLM-20B,竟然能和Llama2-70B打个平手?就在刚刚,国内开源模型参数量纪录,又被刷新了!9月20日,上海人工智能实验室与商汤科技联合香港中文大学和复旦大学,正式开源了200亿参数的InternLM-20B模型。项目地址:https://github.com/InternLM/InternLM魔搭社区:https://modelscope.cn/organization/Shanghai_AI_Laboratory这次的200亿参数版书生·浦语大模型,可以说是「加量不加价」,参数量还不到三分之一,性能却可以剑挑当今开源模型的标杆——Llama2-70B。上海AI实验室的「雪中送炭」,必然会让大模型在落地领域发挥出巨大的价值。

  • 中文LLaMA-2刷榜,开源可商用!千元预算,训练半天,效果媲美主流大模型

    最强中文版LLaMA-2来了!15小时训练,仅需数千元算力,性能碾压同级中文汉化模型,开源可商用。LLaMA-2相较于LLaMA-1,引入了更多且高质量的语料,实现了显著的性能提升,全面允许商用,进一步激发了开源社区的繁荣,拓展了大型模型的应用想象空间。ColossalAI云平台现已开启公测,注册即可获得代金券,欢迎参与并提出反馈。

  • 智源研究院开源中英双语大模型悟道·天鹰340亿Aquila2-34B

    智源研究院发布了最强开源中英双语大模型——悟道・天鹰340亿。这个新模型在推理、泛化等方面表现出色,在智能体、代码生成、文献检索等场景方面取得了一系列成绩。智源研究院还发布了FlagScale高效并行训练框架和FlagAttention高性能Attention算子集,进一步推动大模型研究的发展。

  • 全面超越LLaMA2,月下载量超三百万,国产开源大模型如何成为新晋顶流?

    图源备注:图片由AI生成,图片授权服务商Midjourney回想两个月前,LLaMA2的开源,曾以一己之力改变了大模型领域的竞争格局。相比于今年2月推出的第一代LLaMA,LLaMA2在推理、编码、精通性和知识测试等任务中都实现了性能的大幅提升,甚至可以在某些数据集上接近GPT-3.5。如何让大模型的能力与业务场景更好结合,同样是当下每一家大模型提供商的重点课题,也需要科技公司、学术机构和开发者共同创造。

  • Meta悄然发布Llama 2 Long AI,在某些任务上击败GPT-3.5 Turbo和Claude 2

    MetaPlatforms在9月29日发布了一篇计算机科学论文,介绍了其新发布的Llama2LongAI模型。该模型在某些任务上击败了GPT-3.5Turbo和Claude2,这表明Meta的开源方法在生成人工智能领域取得了重大进展。该模型的开源性也表明,开源方法在这一领域具有竞争力。

  • CMU华人打破大模型黑盒,Llama 2撒谎被一眼看穿!脑电波惨遭曝光,LLM矩阵全破解

    大语言模型黑盒,居然被CMU等机构的学者打破了?他们发现,LLM内部有可解释的表征,如果撒谎能被测谎仪检测出来!最近,来自CAIS、CMU、斯坦福、康奈尔、马里兰、宾大等机构的学者又有了令人震惊的发现——大语言模型,并不仅仅是黑匣子,或者难以理解的庞大矩阵。在它们内部,具有可解释的内部表征。CMU等机构研究者的探索也告诉我们,人类对于AI系统的理解和控制会越

热文

  • 3 天
  • 7天