开源羊驼大模型LLaMA上下文追平GPT-4，只需要一个简单改动!Meta AI这篇刚刚提交的论文表示，LLaMA上下文窗口从2k扩展到32k后只需要小于1000步的微调。与预训练相比，成本忽略不计。扩展上下文窗口，就意味着AI的“工作记忆”容量增加，具体来说可以:支持更多轮对话，减少遗忘现象，
......
本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情。
（举报）
谷歌联合多所高校的一项最新研究，让大模型开始拥有了人类的“心智”。在新的提示策略下，大模型不仅能推测出人类所面临的问题学会了用推测的结论调整自己的行为。来自谷歌、卡耐基梅隆大学和的芝加哥大学的学者也参与了本项目。
【新智元导读】谷歌研究院和斯坦福HAI的两位专家发文称，现在最前沿的AI模型，未来将会被认为是第一代AGI。最前沿的LLM已经用强大的能力证明，AGI即将到来!通用人工智能，其实已经实现了?最近，来自谷歌研究院和斯坦福HAI的大佬发文称，现在的大预言模型就是通向AGI的正确方向现在最前沿的模型，已经拥有AGI的能力了!这两位作者都是AI业界大佬，BlaiseAgüerayArcas现在是Google
作为自然语言生成中的一项任务，主要用来将一大段长文本压缩为简短的摘要，例如新闻文章、源代码和跨语言文本等多种内容都能用到。随着大模型的出现，传统的在特定数据集上进行微调的方法已经不在适用。本文还发现微调模型生成的摘要往往具有固定且严格的长度LLM能够根据输入信息调整输出长度。
大型语言模型在推理任务上表现出令人惊艳的能力，特别是在给出一些样例和中间步骤时。prompt方法往往依赖于LLM中的隐性知识，当隐性知识存在错误或者与任务不一致时，LLM就会给出错误的回答。对于GPT3.5来说，这种改进并不显著，因为在处理文本输入时，它经常产生除规则幻觉以外的错误。
对标GPT-4代码解释器，港中大最新研究放了个“大招”:他们开发了一个叫做MathCoder的大模型，数学能力直接在竞赛级“题库”Math上超过GPT-4。做到这一点靠的就是无缝集成代码的能力——在遇到数学问题时，它不仅能用自然语言推理能自动编写和执行代码来建模、推导公式与方程。通讯作者为李鸿升，为港中大电子工程系副教授，同时也就职于上海人工智能研究室。
智谱AI发布MathGLM数学模型，旨在增强大模型在数学推理方面的性能。它能够精确计算算术运算，包括基础算术运算和复杂混合运算，并提升模型的中文数学解决能力。MathGLM还在解决不同年级数学问题和数学应用题上进行了实验，取得了较好的结果。
数学通才「猛犸」模型给开源语言模型带来了「推理春天」，面对GPT-4都有一战之力!数学推理问题是语言模型绕不过的痛点，在各种黑科技的加持下，开源模型的推理性能依然不够看。滑铁卢大学、俄亥俄州立大学、香港科技大学、爱丁堡大学的研究人员联合开源了一个专为「通用数学问题」定制的大模型MAmmoTH和一个指令调优数据集MathInstruct.论文链接:https://arxiv.org/pdf/2309.05653
继各类单一模态输入的多模态语言模型后，新加坡国立大学的华人团队最近开源了全能多模态模型NExT-GPT。该模型支持任意模态的输入和输出，可以实现文本、图像、语音和视频之间的自由转换，是第一个实现从任一模态到任一模态转换的通用多模态系统。后续工作可以考虑扩展更多模态，使用更大规模的语言模型基座，以及改进多模态生成策略等。
2023年10月9日，成立仅半年的大模型初创公司——MoonshotAI宣布在“长文本”领域实现了突破，推出了首个支持输入20万汉字的智能助手产品KimiChat。这是目前全球市场上能够产品化使用的大模型服务中所能支持的最长上下文输入长度，标志着MoonshotAI在这一重要技术上取得了领先水平。MoonshotAI融资超2亿美元。
大型语言模型在处理NLP领域的各种下游任务方面已经表现出卓越的能力。GPT-4、ChatGPT等开创性模型已经接受了大量文本数据的训练，使它们具备强大的文本理解和生成能力，能够生成连贯且上下文相关的响应，在各种NLP任务中具有高度通用性。为了评估模型在不同年级数学问题上的解决能力，该研究在K6数据集上测试评估了几种模型的性能，包括:GPT-4、ChatGPT、Chinese-Alpaca-13B、MOSS-16B、Ziya-LLaMA-13B、Baichuan-7B、ChatGLM-6B、ChatGLM2-6B和MathGLM-GLM-10B，结果如下图8所示。
