【第645期】生产级大语言模型智能体运行时架构设计模式

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

A Methodology for Selecting and Composing Runtime Architecture Patterns for Production LLM Agents

Summary

生产环境中的大语言模型（LLM）智能体将随机的模型输出与确定性的软件系统结合在一起，然而这两者之间的边界却鲜少被视为一等架构对象（first-class architectural object）来对待。本文将这一边界命名为随机-确定性边界（Stochastic-Deterministic Boundary, SDB）：这是一种由提案器（proposer）、验证器（verifier）、提交步骤（commit step）和拒绝信号（reject signal）组成的四部分契约，它规范了 LLM 的输出如何转化为系统行为。我们认为，SDB 是生产级智能体运行时（runtimes）的核心承重原语。

围绕这一原语，我们将智能体运行时的设计划分为三个核心关注点：协同（Coordination）、状态（State）和控制（Control）。我们提供了一个包含六种运行时模式的目录，这些模式在对话式、自主式和长周期智能体中对 SDB 进行了不同的组合：分层委托（hierarchical delegation）、分发-聚合加 Saga 模式（scatter-gather plus saga）、事件驱动排序（event-driven sequencing）、共享状态机（shared state machine）、主管加网关（supervisor plus gate）以及人机回环（human in the loop）。对于每种模式，我们都追溯了其与分布式系统概念的渊源，并识别出了当执行者（worker）变为随机模型时所发生的变化。

本文的贡献包括：一套用于选择运行时模式的五步方法论；一种将生产环境故障映射到模式缺陷的诊断流程；以及一种被称为重放分歧（replay divergence）的失效模式——即在模型版本或提示词发生变化时，基于 LLM 的确定性事件日志消费者会产生不同的下游输出。一个程式化的可靠性分解公式将单次调用的模型方差与架构惯性（architectural momentum）分离开来，从而有力地支持了这一论点：随着模型方差的降低，模式的选择和 SDB 的强度将成为提升长期可靠性愈发重要的杠杆。我们将该方法论应用到了五种工作负载中，并为一个运行周期为 90 天的合同续签智能体提供了一个可运行的参考实现。

原文链接：https://arxiv.org/abs/2605.20173