11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
6月20日,华为发布盘古大模型5.5,五大基础模型全面升级。该模型采用业界首创的Triplet+Transformer统一预训练架构,能跨行业处理表格数据、时间序列数据和图片数据,显著提升预测精度和泛化能力。已在水泥、钢铁、电解铝、供热等多个工业场景落地应用:海螺水泥实现熟料强度预测,宝武钢铁高炉出铁温度合格率超90%,云南铝业年省电2600万度,天津供热能耗降低10%。模型聚焦工业领域,通过工艺优化和系统寻优,助力企业降本增效,推动行业智能化转型。
今天凌晨4点,著名大模型训练平台TogetherAI和智能体平台Agentica,联合开源了新模型DeepCoder-14B-Preview。该模型只有140亿参数,但在知名代码测试平台LiveCodeBench的测试分为60.6%,高于OpenAI的o1模型,略低于o3-mini。TogetherAI刚获得3.05亿美元的B轮融资,其估值也从去年的12.5亿美元翻倍至33亿美元。
马斯克在社交平台宣布:Grok3即将推出,已完成预训练,其计算量比Grok2高10倍。作为马斯克麾下社交媒体平台X的强大后盾,Grok系列模型一直以其卓越的生成式人工智能技术引领潮流。Grok3的推出将进一步强化X平台的搜索功能、账户简介优化、帖子深度分析及智能回复等核心服务,为用户带来更加智能化、个性化的社交体验。
【新智元导读】全球顶会NeurIPS2024中,Ilya登场演讲,向全世界宣告:预训练结束了!数据如同化石燃料般难以再生,未来,AI的发展方向就是具备自我意识的超级智能。Ilya现身NeurIPS2024,宣布:预训练从此将彻底终结。毕竟预测未来是不可能的,任何事情都有可能发生。
6月9日,著名AI大模型平台Anthropic在官网公布了,其最新大模型Claude3的个性化性格训练方法。Anthropic认为,输出内容的安全、合法性对于大模型的场景化落地至关重要,但是一味的打压它们进行超级安全对齐,输出的内容也会千篇一律毫无新意,会使大模型失去个性化,无法突出“智能”的效果。这个过程也是反复迭代的,大模型会不断地生成响应、接收反馈,并根据反馈来改进自己,直到其行为达到一个稳定的输出原则状态。
谷歌发布了一项名为HyperDreamBooth的革命性模型训练方法,该方法在生成AI领域取得了显著的进步,尤其是在个性化模型训练方面。尽管这一技术具有突破性,谷歌并没有计划将其开源。谷歌的这一贡献为AI领域提供了新的可能性,同时也为未来的研究和应用设定了新的标准。
【新智元导读】研究人员提出了一种新的大型语言模型训练方法,通过一次性预测多个未来tokens来提高样本效率和模型性能,在代码和自然语言生成任务上均表现出显著优势,且不会增加训练时间,推理速度还能提升至三倍。大型语言模型,例如GPT和Llama,主要是根据「前文的单词序列」对「下一个token」进行预测的方式来训练。在摘要任务中,使用了8个不同的基准测试,并通
在文档处理中,特别是在视觉丰富的文档中,高效信息提取的需求变得越来越关键。VRDs,如发票、水电费单和保险报价,在业务工作流中随处可见,通常以不同的布局和格式呈现类似信息。他们的研究为使普通用户能够访问先进的文档处理功能铺平了道路,标志着该领域迈出了重要的一步。
在最新的研究中,研究人员提出了一种名为FreeControl的方法,可以实现对文本到图像生成模型的空间控制无需进行训练。这项研究支持同时控制多个条件、架构和检查点,为生成过程提供了更大的灵活性。FreeControl有助于对许多不同的架构和检查点进行方便的免训练控制,允许大多数现有免训练方法失败的具有挑战性的输入条件,并通过基于训练的方法实现有竞争力的合成质量。
大型语言模型的成功离不开「基于人类反馈的强化学习」。RLHF可以大致可以分为两个阶段,首先,给定一对偏好和不偏好的行为,训练一个奖励模型,通过分类目标为前者分配更高的分数。该研究从多个维度将SPO与迭代奖励建模方法进行比较,旨在回答4个问题:当面intransitive偏好时,SPO能否计算MW?在具有独特CopelandWinners/最优策略的问题上,SPO能否匹配或超过RM样本效率?SPO对随机偏好的稳健性如何?SPO可以处理非马尔可夫偏好吗?在最大奖励偏好、噪声偏好、非马尔可夫偏好方面,该研究的实验结果分别如下图6、7、8所示:感兴趣的读者可以阅读论文原文,了解更多研究内容。