573 字
3 分钟
方位缓存（Orientation Cache）
方位缓存保存长上下文的内容概览、组织方式和常用线索。Agent 再次访问同一仓库或文档集时，可以复用这份固定预算内的导航信息，减少重复探索。
定义
方位知识（Orientation Knowledge） 指 Agent 对外部上下文的结构性理解，包括：
- 内容概览：上下文包含哪些实体、模块、数据结构
- 组织方式：信息如何排列、分区、嵌套
- 效用记录：哪些实体、常量、模式在历史上被证明有用
方位缓存（Orientation Cache） 是将这类知识从 Agent 推理轨迹中提取、结构化、压缩后，持久保存在 prompt 中供后续调用复用的机制。
为什么需要
LLM Agent 在长上下文场景下面临三个核心问题：
- 重复探索：每次新会话都要从零开始「认识」上下文，浪费大量 token
- 导航迷失：面对长文档/大仓库时，不知道关键信息在哪
- 成本膨胀：现有方法（轨迹回放、全量检索）要么信息冗余，要么搜索开销大
方位缓存像一份导航索引，帮助 Agent 找到相关内容，再进行推理。
PEEK 的实现
PEEK 是方位缓存概念的首个系统实现：
- Context Map：常量 token 预算内的结构化缓存，注入 Agent prompt
- Distiller：从推理信号中蒸馏可迁移知识
- Cartographer：将知识翻译为 Map 的结构化编辑
- Evictor：基于优先级逐出，保证 Map 不膨胀
与相关概念的对比
| 概念 | 缓存内容 | 与方位缓存的区别 |
|---|---|---|
| RAG | 检索片段 | 片段级，无全局导航 |
| MemGPT | 对话记忆 | 任务/对话级，非上下文级 |
| ACE | 学习的 prompt 参数 | 需要训练，非无监督 |
| 轨迹回放 | 历史操作 | 不可压缩，无结构 |
方位缓存主要记录上下文的结构和访问线索，可以与对话记忆、任务规划和片段检索配合使用。
潜在应用
- 编程 Agent 对大型代码仓库的反复操作
- 文档分析 Agent 对长期语料库的持续查询
- 客服 Agent 对知识库的反复咨询
- 任何需要 Agent 在固定上下文上多次执行不同任务的场景
方位缓存（Orientation Cache）
https://blog.lpkt.cn/posts/concepts/orientation-cache/