【第636期】δ-mem：大语言模型的高效在线关联记忆机制

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

δ-mem: Efficient Online Memory for Large Language Models

Summary

大语言模型在长期助手和智能体系统中越来越需要积累和复用历史信息。仅仅扩展上下文窗口成本高昂，且往往无法保证有效的上下文利用率。

我们提出了 δ-mem，这是一种轻量级的记忆机制，它通过一个紧凑的联想记忆在线状态（online state of associative memory），来增强被冻结的全注意力主干网络（frozen full-attention backbone）。δ-mem 将过去的信息压缩进一个固定大小的状态矩阵中，该矩阵通过 δ 规则学习（delta-rule learning，即增量规则学习）进行更新，并在生成过程中利用其读取结果对主干网络的注意力计算生成低秩修正（low-rank corrections）。

仅凭一个 8×8 的在线记忆状态，δ-mem 展现出了出色的表现：

• 能够将平均得分提高到冻结主干网络的 1.10 倍。

• 能够达到最强非 δ-mem 记忆基线的 1.15 倍。

• 在高记忆负荷的基准测试中实现了更大的提升，在 MemoryAgentBench 上达到 1.31 倍，在 LoCoMo 上达到 1.20 倍，同时在很大程度上保留了模型的通用能力。

这些结果表明，无需全量微调、更换主干网络或显式扩展上下文，仅通过与注意力计算直接耦合的紧凑在线状态，即可实现有效的记忆机制。

原文链接：https://arxiv.org/abs/2605.12357