首页 > 业界 > 关键词  > MemWalker最新资讯  > 正文

Meta推大模型记忆增强方法MemWalker 靠prompt就能完成,无需额外训练

2023-10-25 10:08 · 稿源:站长之家

要点:

1. 研究团队开发了名为MemWalker的树形记忆策略,使大型语言模型能够突破窗口长度限制,实现长文本的阅读和回答问题,而无需额外训练。

2. MemWalker的工作原理分为记忆树构建和导航检索两个阶段,其中长文本被分割成小段,大模型对每段进行总结形成"叶子节点"和"非叶节点",非叶节点用于定位答案,叶子节点用于推理答案。

3. MemWalker还引入了工作记忆机制,将已经访问的节点内容加入到当前内容的上下文中,以提高准确度,而且整个过程只依赖于prompt,不需要额外训练。

站长之家(ChinaZ.com)10月25日 消息:一项名为MemWalker的新技术,使大型语言模型能够克服其窗口长度的限制,从而可以处理更长的文本并回答相关问题,而无需进行额外的训练。这一技术的开发团队使用了一种树形记忆策略,该策略的工作原理包括两个主要阶段:记忆树构建和导航检索。

2_1698200025836_ai2023_Technology_Tree_Futurism_Technology_BlueThe_image_featur_2e08d71e-2f2f-41e9-8c05-cc16656d7383.png

图源备注:图片由AI生成,图片授权服务商Midjourney

在记忆树构建阶段,长文本被分割成多个小段,每个小段都由大型语言模型进行总结,形成了"叶子节点"和"非叶节点"。这些叶子节点包含原始信息,而非叶节点只包含概括信息。非叶节点用于定位答案所在的叶子节点,而叶子节点用于推理出答案。整个过程是逐步的,从叶子节点到非叶节点,直到建立完整的树形结构。

image.png

论文地址:https://arxiv.org/abs/2310.05029

导航检索阶段涉及从根节点开始,逐一读取下一级子节点的内容,然后推理出是否继续前进或返回。这个过程一直持续,直到找到合适的叶子节点生成答案或达到最大步数。如果模型发现进入了错误的路径,还可以进行导航回退。此外,MemWalker还引入了工作记忆机制,将已经访问的节点内容加入到当前内容的上下文中,以提高准确度。

重要的是,整个过程只依赖于prompt,不需要进行额外的训练。理论上,只要有足够的算力,MemWalker可以处理无限长的文本,但记忆树构建时的时间和空间复杂度会随着文本长度的增长呈指数型增加。这一技术的发展由普林斯顿大学NLP实验室的华人博士生Howard Chen领衔,得到了导师陈丹琦和Meta AI实验室的学者的参与。整个研究成果使大型语言模型在处理长文本方面迈出了重要一步。

举报

  • 相关推荐
  • 知名互联网meme原型狗 柴犬PON去世 表情包你用过吗

    日前,网络热门表情包不可以色色”的原型柴犬Pon”被其主人在Instagram上宣布离世,享年17岁。 其主人在ins上用Pon的口吻表示:大家好!非常感谢你们给我的爱,明天11点我将穿过彩虹桥,虽然有点难过,但我的心里充满了幸福,我会带着大家笑容的记忆,踏上全新的旅程你们的邻里偶像PON。” 据了解,PON是一只出生于2008年1月6日的日本埼玉北部柴犬。

  • 智驾终局:VLA与WA的“强脑”之争

    当理想i8在暴雨中的山区公路上自动识别出被冲垮的路肩,平稳减速并规划出绕行路线时;当小鹏P7Ultra仅凭视觉传感器就精准避让了横穿马路的流浪猫与突发变道的货车时,智能驾驶行业悄然迎来了一场技术革命的临界点。 新能源汽车的市场淘汰赛已进程过半,从电池续航、充电速度到座舱智能化,竞争之下市场早已进入红海,甚至智驾能力也正从争议不断的“加分项”转变�

  • Meta新品发布,技术路线与影目INMO“撞车”,中国智造先行优势凸显

    三星Galaxy S25系列专为学生群体打造,融合AI生产力、影像创作与性能释放。通过Galaxy AI实现智能笔记、实时翻译等功能提升学习效率;搭载多摄系统与AI影像引擎,支持复杂场景拍摄;配备骁龙8芯片和优化散热系统,兼顾游戏娱乐与续航表现。轻薄设计搭配多款配色,满足个性化需求,现可通过教育优惠活动实惠入手。

  • Aqara智能隐形窗帘电机C200发布,首款原生支持Apple Home

    Aqara于9月10日发布智能隐形窗电机C200,为首款原生支持Apple Home的隐藏式智能窗帘。采用全嵌隐藏设计,可通过iPhone、Apple Watch等设备无缝控制,支持Siri语音、多场景自动化联动。提供一站式定制服务,含电机、轨道及高定窗帘布,适配多种窗型。内置大扭矩电机,承重达50kg,运行噪音低至29dB。现已线上线下开售,单电机版本499元起。

  • 双雄联袂登场 世纪华通旗下Century Games确认参展2025东京电玩展

    世纪华通旗下Century Games将携《Whiteout Survival》与《Kingshot》两款游戏亮相东京电玩展2025。展台位于Hall5-C04,面积达300平方米,设有裸眼3D巨屏展示、主题展区及丰富互动活动。两款游戏市场表现强劲:《Whiteout Survival》连续15个月位居中国手游出海收入榜首,《Kingshot》上线后收入快速增长,7月两款游戏包揽中国手游出海收入榜冠亚军。此次参展旨在向全球玩家展示中国游戏的创新实力,拓展国际合作。

  • 苹果Apple Watch高血压通知功能上线

    苹果公司宣布将在全球150多个市场推出Apple Watch高血压通知功能,该功能将随watchOS 26和iOS 26系统更新正式推送。目前英国、法国、德国等地区用户已可体验,但加拿大等部分市场尚未开放,中国大陆地区仍需等待监管审批。该功能依托光学心率传感器,可实时监测用户血管对心跳的反应,识别慢性高血压迹象,并在检测到异常时发出提醒。系统会分析用户最近30天的数据,通过先进算法判断是否需要发出通知。

  • 魅族发布Flyme Auto 2车载系统:全新小窗模式 支持AI读心术

    今日下午,魅族召开发布会,正式推出Flyme Auto 2车载系统,全面升级AI交互体验。 据介绍,Flyme Auto 2车载系统设计美学再度升级,新增实况桌面3D质感、全场景一镜到底、Alive壁纸、自定义桌面插件等等视觉与交互功能。 该系统强化Aicy大卡片、全新小窗模式,提供了更轻量更高效的交互方式。

  • 苹果首款智能眼镜曝光:无显示屏 类似Meta、小米

    虽然苹果开发了配置非常强劲全面的Vision Pro,但苹果也没打算放弃更轻便的智能眼镜。 据名记马克古尔曼(Mark Gurman)最新报告,苹果将在未来12至16个月内推出智能眼镜。 这款产品没有显示屏,定位与Meta、小米等产品类似,配备摄像头、收音和播放,需要连接iPhone实现数据处理。 功能应该跟此前产品都类似,可以实现拍照、录像、听音乐等常规操作。 预计还能通过新版S

  • 亚马逊入局竞逐AR眼镜行业,Meta/谷歌/微美全息以“硬件+生态”双赛道策略领先

    亚马逊正加速布局AR眼镜市场,开发两款产品:面向物流司机的"Amelia"和面向消费者的"Jayhawk"。科技巨头纷纷入局,Meta、谷歌、苹果等均在研发相关产品。中国消费级AR眼镜市场2025年上半年增长显著,销量达26.2万台,同比增长73%。行业预计未来三年规模有望达千亿级别,AR眼镜正从"小众玩具"迈向"大众智能终端"。

  • 旧款Apple Watch也将支持高血压警报:涉及这三款

    苹果在发布Apple Watch Series11与Ultra3两款新品之际,同步宣布了一项惠及旧款用户的重大更新——通过即将到来的watchOS26系统升级,Apple Watch Series9、Series10以及Ultra2三款旧机型也将新增高血压警报功能。这一举措意味着,部分持有旧款设备的用户无需更换新表,即可享受到这一前沿的健康监测服务。 watchOS26正式版定于9月15日正式向全球用户推送。新增的高血压警报功能依托于Appl

今日大家都在搜的词: