11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
微软下一代14B小模型Phi-4出世了!仅用了40%合成数据,在数学性能上击败了GPT-4o,最新36页技术报告出炉。140亿参数,40%合成数据,年度SLM之王诞生!最近,微软下一代小模型Phi-4正式亮相。还真有点期待,下一个Phi系列小模型的发布了。
【新智元导读】1%合成数据,就能让模型瞬间崩溃!来自Meta、NYU等机构团队证实,「微量」合成数据便让LLM弱不可堪。参数规模越大,模型崩溃越严重。JuliaKempeJuliaKempe是纽约大学数据科学中心和Courant数学科学研究所计算机科学、数学和数据科学的银牌教授,也是MetaFair的客座高级研究员。
【新智元导读】刚刚,英伟达全新发布的开源模型Nemotron-4340B,有可能彻底改变训练LLM的方式!或许各行各业都不再需要昂贵的真实世界数据集了。值得注意的是,这一优势主要来自较低的长/冗长响应率。
EgoGen是一个用于生成以自我为中心的合成数据的系统,它能够模拟头戴设备的相机装置,并从相机佩戴者的视角渲染多种传感器数据。该系统提供了丰富的多模态数据和准确的注释,适用于自我感知任务。要获取更多详细信息并开始您的合成数据生成之旅,请访问EgoGen官方网站。
近几个月来,大型语言模型在人工智能社区中引起了极大的关注和流行。这些模型在文本摘要、问答、代码完成、内容生成等任务中展示出了强大的能力。考虑到低质量网络数据的丰富性和经典LLM训练方法的资源密集性,这种方法提供了一种可能的前进方式。
【新智元导读】AI训AI必将成为一大趋势。Meta和NYU团队提出让大模型「自我奖励」的方法,让Llama2一举击败GPT-40613、Claude2、GeminiPro领先模型。还有人表示「令人惊讶的是,每次迭代的改进几乎保持线性,仅在3次迭代之后,就已经接近GPT-4级别」。
微软公司的研究团队最近提出了一种独特且简单的方法,用于生成高质量的文本嵌入。这种新方法仅使用合成数据和极少的训练步骤,就取得了令人瞩目的成果。该研究的训练过程极大地减少了对中间预训练的需求,相较于当前的多阶段系统,更加简洁高效。
Q*猜想,持续在AI社区火爆。大家都在猜测,Q*是否就是「Q-learningA*」。只是这是否就是通往未来的道路?只能等待时间来告诉我们答案。
AI巨佬GeoffreyHinton称,「科技公司们正在未来18个月内,要使用比现在GPT-4多100倍的算力训练新模型」。更大参数的模型,对算力需求巨大的同时,对数据也提出了更高的要求。这正是我之前思考的AI智能超越人类智能,大概率只是时间问题:因为真实世界有限的数据并不是限制,数据可以通过AI合成,之后再投入到模型训练中:Artificialsyntheticdata⇒TrainingAI⇒AIsmarter⇒Generatingmoresyntheticdata⇒moreintotrianingAImodel;FeedbackLoop已建立。
Elicit公司机器学习工程师CharlieGeorge在LangChain博客上发表文章介绍了他们使用合成数据微调ChatGPT在新闻摘要任务上超越GPT-4的研究成果。文章提到,尽管GPT-4被公认为世界上最强大的语言模型,但其调用限制、高成本和高延迟也限制了其实际应用。这为新一代AI应用大规模部署提供了路径。