首页 > 业界 > 关键词  > MemWalker最新资讯  > 正文

Meta推大模型记忆增强方法MemWalker 靠prompt就能完成,无需额外训练

2023-10-25 10:08 · 稿源:站长之家

要点:

1. 研究团队开发了名为MemWalker的树形记忆策略,使大型语言模型能够突破窗口长度限制,实现长文本的阅读和回答问题,而无需额外训练。

2. MemWalker的工作原理分为记忆树构建和导航检索两个阶段,其中长文本被分割成小段,大模型对每段进行总结形成"叶子节点"和"非叶节点",非叶节点用于定位答案,叶子节点用于推理答案。

3. MemWalker还引入了工作记忆机制,将已经访问的节点内容加入到当前内容的上下文中,以提高准确度,而且整个过程只依赖于prompt,不需要额外训练。

站长之家(ChinaZ.com)10月25日 消息:一项名为MemWalker的新技术,使大型语言模型能够克服其窗口长度的限制,从而可以处理更长的文本并回答相关问题,而无需进行额外的训练。这一技术的开发团队使用了一种树形记忆策略,该策略的工作原理包括两个主要阶段:记忆树构建和导航检索。

2_1698200025836_ai2023_Technology_Tree_Futurism_Technology_BlueThe_image_featur_2e08d71e-2f2f-41e9-8c05-cc16656d7383.png

图源备注:图片由AI生成,图片授权服务商Midjourney

在记忆树构建阶段,长文本被分割成多个小段,每个小段都由大型语言模型进行总结,形成了"叶子节点"和"非叶节点"。这些叶子节点包含原始信息,而非叶节点只包含概括信息。非叶节点用于定位答案所在的叶子节点,而叶子节点用于推理出答案。整个过程是逐步的,从叶子节点到非叶节点,直到建立完整的树形结构。

image.png

论文地址:https://arxiv.org/abs/2310.05029

导航检索阶段涉及从根节点开始,逐一读取下一级子节点的内容,然后推理出是否继续前进或返回。这个过程一直持续,直到找到合适的叶子节点生成答案或达到最大步数。如果模型发现进入了错误的路径,还可以进行导航回退。此外,MemWalker还引入了工作记忆机制,将已经访问的节点内容加入到当前内容的上下文中,以提高准确度。

重要的是,整个过程只依赖于prompt,不需要进行额外的训练。理论上,只要有足够的算力,MemWalker可以处理无限长的文本,但记忆树构建时的时间和空间复杂度会随着文本长度的增长呈指数型增加。这一技术的发展由普林斯顿大学NLP实验室的华人博士生Howard Chen领衔,得到了导师陈丹琦和Meta AI实验室的学者的参与。整个研究成果使大型语言模型在处理长文本方面迈出了重要一步。

举报

  • 相关推荐
  • 智驾终局:VLA与WA的“强脑”之争

    当理想i8在暴雨中的山区公路上自动识别出被冲垮的路肩,平稳减速并规划出绕行路线时;当小鹏P7Ultra仅凭视觉传感器就精准避让了横穿马路的流浪猫与突发变道的货车时,智能驾驶行业悄然迎来了一场技术革命的临界点。 新能源汽车的市场淘汰赛已进程过半,从电池续航、充电速度到座舱智能化,竞争之下市场早已进入红海,甚至智驾能力也正从争议不断的“加分项”转变�

  • 知名互联网meme原型狗 柴犬PON去世 表情包你用过吗

    日前,网络热门表情包不可以色色”的原型柴犬Pon”被其主人在Instagram上宣布离世,享年17岁。 其主人在ins上用Pon的口吻表示:大家好!非常感谢你们给我的爱,明天11点我将穿过彩虹桥,虽然有点难过,但我的心里充满了幸福,我会带着大家笑容的记忆,踏上全新的旅程你们的邻里偶像PON。” 据了解,PON是一只出生于2008年1月6日的日本埼玉北部柴犬。

  • 苹果Apple Watch高血压通知功能上线

    苹果公司宣布将在全球150多个市场推出Apple Watch高血压通知功能,该功能将随watchOS 26和iOS 26系统更新正式推送。目前英国、法国、德国等地区用户已可体验,但加拿大等部分市场尚未开放,中国大陆地区仍需等待监管审批。该功能依托光学心率传感器,可实时监测用户血管对心跳的反应,识别慢性高血压迹象,并在检测到异常时发出提醒。系统会分析用户最近30天的数据,通过先进算法判断是否需要发出通知。

  • 魅族发布Flyme Auto 2车载系统:全新小窗模式 支持AI读心术

    今日下午,魅族召开发布会,正式推出Flyme Auto 2车载系统,全面升级AI交互体验。 据介绍,Flyme Auto 2车载系统设计美学再度升级,新增实况桌面3D质感、全场景一镜到底、Alive壁纸、自定义桌面插件等等视觉与交互功能。 该系统强化Aicy大卡片、全新小窗模式,提供了更轻量更高效的交互方式。

  • 苹果首款智能眼镜曝光:无显示屏 类似Meta、小米

    虽然苹果开发了配置非常强劲全面的Vision Pro,但苹果也没打算放弃更轻便的智能眼镜。 据名记马克古尔曼(Mark Gurman)最新报告,苹果将在未来12至16个月内推出智能眼镜。 这款产品没有显示屏,定位与Meta、小米等产品类似,配备摄像头、收音和播放,需要连接iPhone实现数据处理。 功能应该跟此前产品都类似,可以实现拍照、录像、听音乐等常规操作。 预计还能通过新版S

  • 华为穿戴音频新品发布会定档9月24日:WATCH GT6等将发布

    今日,华为官方正式宣布,将于9月24日举办穿戴音频新品发布会,届时备受期待的华为WATCH GT6系列智能手表与华为FreeClip2耳夹耳机二代将同台登场,引发科技圈与消费者的高度关注。 作为本次发布会的重头戏,华为WATCH GT6系列将成为GT系列首款支持星闪技术的智能手表。据透露,该系列预计推出WATCH GT6和WATCH GT6Pro两款机型,覆盖41mm至46mm表盘尺寸,满足不同用户需求。其中,�

  • 旧款Apple Watch也将支持高血压警报:涉及这三款

    苹果在发布Apple Watch Series11与Ultra3两款新品之际,同步宣布了一项惠及旧款用户的重大更新——通过即将到来的watchOS26系统升级,Apple Watch Series9、Series10以及Ultra2三款旧机型也将新增高血压警报功能。这一举措意味着,部分持有旧款设备的用户无需更换新表,即可享受到这一前沿的健康监测服务。 watchOS26正式版定于9月15日正式向全球用户推送。新增的高血压警报功能依托于Appl

  • 苹果Apple Watch Series 11发布:新增高血压检测提醒

    今日凌晨,苹果公司正式推出全新一代智能手表Apple Watch Series11。这款新品以“最薄、最舒适”为设计核心,同时显著提升了耐用性,起售价定为399美元。 Apple Watch Series11在材质上实现突破,采用全新玻璃材质并覆盖苹果特制陶瓷涂层,抗刮性能较前代提升两倍,为用户提供更可靠的日常使用体验。网络支持方面,该系列首次引入5G功能,中国电信、中国移动、中国联通三大运

  • INDEMIND亮相2025科技创变者大会,以机器人空间智能技术解锁具身智能新边界

    9月5日,2025科技创变者大会在北京落幕。本届大会聚焦“具身智能+产业智变新引擎”主题,汇聚行业力量探讨具身智能的前沿创新与产业变革。INDEMIND作为领军企业,展示了家用扫地、家用陪伴、商用服务三大品类机器人空间智能平台,呈现了在具身智能领域的突破性成果,赢得广泛关注。公司联合创始人兼CTO分享了技术理念与实践经验,推动行业思考。INDEMIND致力于机器人空间智能技术研发,推动机器人从自动化工具向自主智能终端演进,产品已在家用清洁、商用巡检等多元场景规模化落地,业务覆盖全球十多个国家和地区。

  • Apple Watch SE3发布:配备全天候显示屏、支持5G

    Apple Watch SE 3正式发布。 作为苹果智能手表产品线的高性价比代表,它在功能和体验上迎来诸多升级,为用户带来更出色的使用感受。 在核心性能方面,Apple Watch SE 3搭载了S10芯片。这一芯片不仅驱动着更多精彩功能,还让手表支持双指互点两下和轻翻手腕等便捷手势操作,大幅提升了交互的流畅性与趣味性。 显示体验上,它配备了全天候显示屏,无需唤醒屏幕,用户就能轻

今日大家都在搜的词: