郭奕辰

郭奕辰

人工智能研究

南洋理工大学

寻求博士机会 · 2027 年春季 / 秋季

← 返回精选工作

arXiv 2026 · 预印本

ReMAP

以推理时隐空间视觉记忆恢复感知循环

Hao Jiang*, Zhanyu Guo*, Chenwei Wu†, Yichen Guo†, Qizhe Zhang, Junchi Yao, Jixian Wu, Jinhao You, Kai Tang, Jiajun Cao, Tinghao Wang, Mengyu Wang, Leo Anthony Celi, Shanghang Zhang

* 共同第一作者 · † 项目负责人

郭奕辰 · 项目负责人(Project Leader)

Yichen Guo 研究主页内的项目介绍,依据下方链接中的论文整理。

项目概述

ReMAP 让多模态模型在推理过程中重新获取视觉证据。全局记忆保留场景与跨图像关系,局部记忆检索当前推理状态所需的区域细节。两者均返回紧凑的隐空间 token,并由学习到的策略决定何时调用哪一种记忆。

ReMAP 研究全局上下文、紧凑视觉表示与依赖推理状态的记忆调用如何影响视觉推理。
记忆设计分析,图自论文 Figure 1,图片来自 ReMAP 官方仓库。 全文与原图

方法流程

  1. 保留全局上下文

    解码前,全局记忆根据问题汇总各图像内容及图像之间的关系。

  2. 检索局部证据

    局部记忆选择并重新编码相关图像区域,借助全局上下文理解细节。

  3. 学习何时再次观察

    强化学习比较分支续写结果,训练策略在继续推理、读取全局记忆和读取局部记忆之间作出选择。

ReMAP 通过学习到的记忆请求,将全局和局部隐空间视觉记忆接入推理过程。
ReMAP 方法框架,图自论文 Figure 2,图片来自官方仓库。 全文与原图

评测

论文评测十个基准家族,并报告在四个多图像基准上均优于已有视觉记忆方法。跨模型骨干对比与记忆消融分析调用在何种情境下有效;视觉上下文分析衡量进入推理序列的 token 数量。完整协议与局限见原论文。

论文与资源

ReMAP: Restoring the Perceptual Cycle with Reasoning-Time Latent Visual Memory
arXiv:2610.05097

图示与技术介绍依据所链接的论文整理,原作者列表和发表状态见页首。

基于 Jekyll 与 Minimal Light 主题构建。

研究图示

滚动查看完整图片,按 Esc 键关闭。