arXiv 2026 · 预印本
ReMAP
以推理时隐空间视觉记忆恢复感知循环
* 共同第一作者 · † 项目负责人
郭奕辰 · 项目负责人(Project Leader)
Yichen Guo 研究主页内的项目介绍,依据下方链接中的论文整理。
项目概述
ReMAP 让多模态模型在推理过程中重新获取视觉证据。全局记忆保留场景与跨图像关系,局部记忆检索当前推理状态所需的区域细节。两者均返回紧凑的隐空间 token,并由学习到的策略决定何时调用哪一种记忆。
方法流程
保留全局上下文
解码前,全局记忆根据问题汇总各图像内容及图像之间的关系。
检索局部证据
局部记忆选择并重新编码相关图像区域,借助全局上下文理解细节。
学习何时再次观察
强化学习比较分支续写结果,训练策略在继续推理、读取全局记忆和读取局部记忆之间作出选择。
评测
论文评测十个基准家族,并报告在四个多图像基准上均优于已有视觉记忆方法。跨模型骨干对比与记忆消融分析调用在何种情境下有效;视觉上下文分析衡量进入推理序列的 token 数量。完整协议与局限见原论文。
论文与资源
ReMAP: Restoring the Perceptual Cycle with Reasoning-Time Latent Visual Memory
arXiv:2610.05097
图示与技术介绍依据所链接的论文整理,原作者列表和发表状态见页首。
