PEEK: Context Map as an Orientation Cache for Long-Context LLM Agents

742 字

4 分钟

PEEK: Context Map as an Orientation Cache for Long-Context LLM Agents

2026-05-22

ai

paper

/

llm-agent

/

long-context

/

caching

/

orientation-knowledge

PEEK 把长上下文的结构和常用线索保存为固定预算的 Context Map，再注入 prompt 供 Agent 复用。在推理与信息聚合实验中，准确率较基线提高 6.3–34.0%，迭代减少 93–145 轮，成本为 ACE 的约 1/1.7–1/5.8。

论文信息#

官方链接：https://arxiv.org/abs/2605.19932
GitHub：https://github.com/zhuohangu/peek（Apache-2.0）
博客：https://zhuohangu.github.io/blog-post-peek/
作者：Zhuohan Gu（MIT CSAIL）、Qizheng Zhang（Stanford）、Omar Khattab（MIT CSAIL）、Samuel Madden（MIT CSAIL）
发布时间：2026 年 5 月

核心问题#

LLM Agent 在反复操作同一个长上下文（代码仓库、文档语料库等）时，现有方法的局限：

方法	保存了什么	缺失了什么
轨迹回放	Agent 历史操作序列	不含关于上下文的结构性知识
原始上下文访问	完整外部资料	无导航指引，Agent 每次从零探索
任务级策略	如何分解任务	不含上下文本身的地图式知识

PEEK 指出，最需要缓存的是方位知识（Orientation Knowledge）：上下文包含什么、如何组织、哪些实体和模式历史上最有用。

方法：可编程缓存策略#

PEEK 维护一个常量大小的 Context Map，由三模块策略驱动：

1. Distiller（蒸馏器）#

从 Agent 推理时信号中提取可迁移知识：

哪些实体/常量被引用过
哪些导航路径有效
哪些模式（Schema）反复出现

2. Cartographer（制图器）#

根据提取的知识，对 Context Map 做结构化编辑：

新增条目
更新已有条目
合并冗余条目

3. Evictor（逐出器）#

基于优先级强制执行固定 token 预算：

评分机制综合考虑：条目重要性、使用频率、新旧程度
保证 Map 大小恒定，不随迭代膨胀

关键实验结论#

长上下文推理与信息聚合#

指标	vs. 基线	vs. ACE
准确率提升	+6.3–34.0%	—
迭代次数减少	93–145 轮	—
成本	—	ACE 的约 1/1.7–1/5.8

上下文学习#

指标	改善幅度	vs. ACE
求解率	+6.0–14.0%	—
Rubric 准确率	+7.8–12.1%	—
成本	—	ACE 的约 1/1.4

结果在多个 LLM 和 Agent 架构上泛化，包括 OpenAI Codex（生产级编程 Agent）

工具与使用#

PEEK 以 Python 包 peek-ai 发布：

1
pip install peek-ai           # 核心
2
pip install peek-ai[openai]   # + OpenAI
3
pip install peek-ai[anthropic] # + Anthropic
4
pip install peek-ai[gemini]   # + Gemini
5
pip install peek-ai[all]      # 全部后端

最小使用示例：

1
from peek import CachePolicy
2
from peek.llm.openai_client import OpenAIClient
3

4
client = OpenAIClient(model="gpt-5-mini-2025-08-07")
5
policy = CachePolicy(client=client, token_budget=1024, evolve_steps=10)
6

7
for question in stream_of_questions:
8
    system_prompt = f"{base_instructions}\n\nContext Map:\n{policy.current_map_text}"
9
    trajectory = my_agent.run(system_prompt, question, long_external_context)
10
    policy.update(trajectory=trajectory, question=question)
11

12
policy.save("maps/my-corpus.peek.json")

核心洞察#

Context Map 像一份可持续更新的索引，记录外部资料的结构和访问线索，让 Agent 在后续任务中减少重复探索。

与相关工作的关系#

vs. ACE（Prompt-Learning Framework）：PEEK 不学习 prompt 参数，而是通过无监督的蒸馏—制图—逐出循环维护结构化缓存，成本更低
vs. MemGPT / 记忆系统：PEEK 缓存的是对上下文的方位知识，而非对话历史或任务规划
vs. RAG：RAG 提供片段检索；PEEK 提供全局导航图，两者互补