训练大模型，几千块就能实现了!现在，15小时、几千块钱、85亿 token数据，即可训出中文LLaMA2。综合性能达到开源社区同规模从头预训练SOTA模型水平。方案完全开源，包括全套训练流程、代码及权重。而且无商业限制，还可迁移应用到任意垂类领域和从头预训练大模型的低成本构建。要知
......
本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情。
（举报）
从头预训练大模型被认为需要高达5000万美元的投资，这让很多开发者和中小企业望却步。Colossal-LLaMA-2的出现降低了大模型的门槛。该方案业已应用到多个行业领域，构建垂类大模型并取得良好效果。
最强中文版LLaMA-2来了!15小时训练，仅需数千元算力，性能碾压同级中文汉化模型，开源可商用。LLaMA-2相较于LLaMA-1，引入了更多且高质量的语料，实现了显著的性能提升，全面允许商用，进一步激发了开源社区的繁荣，拓展了大型模型的应用想象空间。ColossalAI云平台现已开启公测，注册即可获得代金券，欢迎参与并提出反馈。
图源备注：图片由AI生成，图片授权服务商Midjourney回想两个月前，LLaMA2的开源，曾以一己之力改变了大模型领域的竞争格局。相比于今年2月推出的第一代LLaMA，LLaMA2在推理、编码、精通性和知识测试等任务中都实现了性能的大幅提升，甚至可以在某些数据集上接近GPT-3.5。如何让大模型的能力与业务场景更好结合，同样是当下每一家大模型提供商的重点课题，也需要科技公司、学术机构和开发者共同创造。
【新智元导读】国产模型开源纪录，又被刷新了!上海AI实验室等机构开源的InternLM-20B，竟然能和Llama2-70B打个平手?就在刚刚，国内开源模型参数量纪录，又被刷新了!9月20日，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学，正式开源了200亿参数的InternLM-20B模型。项目地址:https://github.com/InternLM/InternLM魔搭社区:https://modelscope.cn/organization/Shanghai_AI_Laboratory这次的200亿参数版书生·浦语大模型，可以说是「加量不加价」，参数量还不到三分之一，性能却可以剑挑当今开源模型的标杆——Llama2-70B。上海AI实验室的「雪中送炭」，必然会让大模型在落地领域发挥出巨大的价值。
国产新标杆:免费可商用的200亿参数大模型，来了!书生·浦语大模型20B版本正式发布，一举刷新国内新一代大模型开源纪录。它由上海人工智能实验室与商汤科技联合香港中文大学和复旦大学共同推出。正如林达华所说:这或许才是当下大模型趋势里，大家最应该“卷”的方向。
开源界最强的中英双语大模型，悟道·天鹰34B，来了!有多强?一言蔽之:不仅模型够大够能打还一口气送上整套“全家桶”级豪华周边。能有如此大手笔的，正是中国大模型开源派先锋——智源研究院。Aquila2模型全系开源地址:https://github.com/FlagAI-Open/Aquila2https://model.baai.ac.cn/https://huggingface.co/BAAIAquilaSQL开源仓库地址:https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-sqlFlagAttenti
昆仑万维表示，其自研的天工大模型在BenchmarkGSM8K测试中取得了80%的正确率，超过了GPT-3.5和LLaMA2-70B，达到了全球领先水平，接近于GPT-4。天工大模型还在MMLU、C-EVAL、HumanEval等多个数据集上表现出色，准确率均高于其他主流大模型。天工大模型目前仍处于内测阶段，将持续提升技术实力，为用户和企业提供强大的智能化助力。
微软研究人员最近在一篇论文中提出了一个新的语言模型Phi-1.5，该模型的参数量仅有13亿。研究人员主要关注Phi-1.5在常识推理方面的表现，因为这是对语言模型能力的重要考验。本研究表明，相比单纯追求模型规模，如何获取高质量训练数据可能更为重要，这为未来语言模型研究提供了新的思路。
蚂蚁集团代码大模型CodeFuse-CodeLlama-34B4bits量化版本发布。CodeFuse-CodeLlama-34B-4bits是CodeFuse-CodeLlama-34B模型的4bits量化版本，后者是通过QLoRA对基座模型CodeLlama-34b-Python进行多代码任务微调得到的代码大模型，模型输入长度为4K。CodeFuse是蚂蚁自研的代码生成专属大模型，根据开发者的输入提供智能建议和实时支持，帮助开发者自动生成代码、自动增加注释，自动生成测试用例，修复和优化代码等，以提升研发效率。
Meta最近发布了Llama2LongAI模型，该模型在一些任务上超越了GPT-3.5Turbo和Claude2。通过改进训练方法和编码技术，Meta的研究人员提高了这个AI模型的性能，使其能够更好地处理长文本和复杂任务。强调了合作的重要性，指出不是每个企业都拥有高级的数据工程和数据科学技能，因此需要与具有相关技术和深刻了解整个领域的合作伙伴合作来解决这一问题。
