Agent 本质上是一个能自主完成目标的 AI 系统,跟传统 AI 最核心的区别在于「自主性」和「能行动」。
传统 AI 是你问一个问题它回答一个问题,每次都是独立的,被动响应;而 Agent 有自己的规划能力,你给它一个复杂目标,它会自己把任务拆成多步,通过调工具、访问记忆、感知环境来一步步执行,直到完成。
Agent 的基本架构有四个核心组件:LLM、工具、记忆、规划模块。
LLM 是整个系统的大脑,负责理解任务和做决策;工具让 Agent 能跟外部世界交互,搜索、执行代码、调 API 都靠它;记忆让 Agent 在任务执行过程中保持状态,不会「失忆」;规划模块负责把复杂目标拆解成可执行的步骤。
Tools 是最小的能力单元,就是封装好的可调用函数,比如搜索、执行代码、发邮件,它只负责「执行」,本身没有任何决策能力。
Agent 是一个完整的决策系统,内部用 LLM 做大脑,自己判断什么时候调哪个 Tool、要不要继续、什么时候结束,是主动的。
Workflow 是更上层的编排框架,把 Agent、LLM、Tools 组织成一条确定性流程,每个节点做什么、按什么顺序流转都是开发者事先写死的。
三者最核心的区别就一句话:Tools 不做决策只执行,Agent 自己做决策,Workflow 是开发者替所有节点把决策提前写好。
Workflow 是提前把流程写死的,每一步怎么走都是固定的,确定性高、好控制;Agent 是让 LLM 自己决定下一步做什么,灵活但不可控。
常见的设计范式除了纯 Agent 之外,还有 ReAct、Plan-and-Execute、Reflection 这几种。
我在实际工程里用得最多的反而是把两者混用,固定流程的部分用 Workflow,需要灵活决策的节点嵌入 Agent 能力,这样既保住了整体可控,又有局部的灵活性。
最基础的是直接输出答案,没有中间推理;CoT 是让 LLM 先把推理过程写出来再给答案,准确率更高;ReAct 是在 CoT 基础上加了「行动」,让 LLM 交替输出思考和工具调用,每次行动后再根据结果继续思考,形成一个循环。
Agent 开发里最主流的三种设计范式,核心区别在于「决策和执行的关系」。
ReAct 是边想边干,走一步看一步,单步迭代实时调整,灵活度最高;Plan-and-Execute 是先想全再干,先定完整计划再分步执行,适合长流程复杂任务,不容易跑偏;Reflection 不是独立的完整流程,而是给前两者加的「检查修正 buff」,用来提升输出质量。
实际选型就看三个维度:任务复杂度、流程确定性、输出质量要求,新手入门首选 ReAct,复杂任务用 Plan-and-Execute,高要求场景再加 Reflection。
我理解任务拆分的原因是 LLM 一次性处理太复杂的任务很容易出错,把大任务拆成小步骤,每步聚焦一件事,准确率会明显提升。
拆分方式主要有两种:一种是静态拆分,提前把步骤写死;另一种是动态拆分,让 LLM 自己根据目标规划步骤,更灵活但也更难控制。
拆完之后步骤之间可能有依赖关系,我的经验是把能并行的步骤并发跑,端到端延迟可以降很多,有时能降 40% 到 60%。
Agent 需要记忆才能在多步任务中保持状态、跨任务积累知识。
记忆机制分四层:感知记忆(当前输入的原始内容)、短期记忆(context window 里的对话历史)、长期记忆(存在外部数据库、语义检索召回)、实体记忆(结构化提取的关键事实)。
实际设计时要解决三个核心问题:存什么、怎么存、什么时候取出来用,根据信息类型选合适的存储方式,再搭配主动检索和按需检索两种策略使用。
第一个:存什么?
通常值得存的有三类:用户偏好和习惯(语言风格、技术栈偏好、工作习惯)、任务执行中产生的关键结论和决策(比如「调研发现竞品 A 的定价策略是按用量收费」)、以及外部知识(产品文档、FAQ、历史案例)。
不值得存的:中间推理过程、工具返回的原始数据(日志太啰嗦)、闲聊内容。这些存进去只会稀释有价值的记忆,让检索的信噪比下降。
第二个:怎么存?
需要语义检索的内容,比如文档知识、对话摘要这类非结构化的文本,适合存进向量数据库,用 embedding 编码后通过相似度检索。结构化的用户偏好和状态字段,比如语言偏好、项目配置这些可以精确查询的内容,更适合用关系数据库或 Key-Value 存储,查询速度快,不需要语义理解。整段文档或知识库则适合存进向量数据库,配合 RAG 流程做召回。
第三个:什么时候取出来用?
第一种叫「主动检索」,在任务开始前,用当前任务的描述去检索相关记忆,把结果注入 system prompt 作为背景知识。第二种叫「被动触发」,Agent 在推理过程中,判断当前步骤需要某类特定知识时,主动发起检索。具体做法是把「查记忆」封装成一个 Tool,让 Agent 自己决定什么时候调。

我理解记忆系统分两层。
短期记忆就是 context window 里的对话历史,存当前任务的中间状态,任务结束就清掉;长期记忆用向量数据库存,把信息 embedding 后写入,用的时候做语义检索拿回来注入 prompt。
粒度上我通常按「一次完整交互」或「一个关键事件」为单位存,太细碎检索噪音大,太粗糙又丢失细节,这个需要根据业务实际调整。
多智能体系统(Multi-Agent)就是多个 Agent 协作完成任务,每个 Agent 各有分工,有的负责搜索、有的负责写代码、有的负责做评审。
我理解单个 Agent 主要受两个限制:一是 context 窗口大小,复杂任务信息量一多就撑爆了;二是单点能力,什么都让一个 Agent 做,每件事都是泛才。
Multi-Agent 通过专业分工和并行执行,能处理更复杂、更长流程的任务,这是我在实际项目里选择多智能体方案的核心原因。
Single-Agent 适合任务流程清晰、复杂度适中的场景,实现简单、好维护;Multi-Agent 适合需要专业分工、任务量大或者需要并行执行的复杂场景。
Multi-Agent 架构上主要有两种拓扑:中心化的 Orchestrator 模式,由一个主 Agent 统一调度各个 Worker;去中心化的 Peer-to-Peer 模式,Agent 之间直接通信。
我在工程里用中心化用得更多,因为好控制、好调试,出问题链路清晰。
记忆压缩常见有四种方法:摘要压缩、滑动窗口、重要性过滤、结构化抽取。
摘要压缩是把长对话总结成简短摘要;滑动窗口是只保留最近 N 轮对话;重要性过滤是打分筛选,只留重要内容;结构化抽取是把关键信息抽成结构化数据存起来。
我在实际项目里最常用的是摘要压缩和滑动窗口,而且经常组合用,滑动窗口丢弃前先做一次摘要,尽量不丢重要信息。
框架有几个缺点:第一是抽象层太多,调试的时候不知道哪步出了问题,得一层层往下扒;第二是版本升级经常有破坏性变更,线上稳定性难保证;第三是框架的通用设计往往和具体业务需求有偏差,定制起来反而更费劲。
手搓的代码完全在自己掌控之内,可观测性好、出问题好排查,也更方便做性能优化。所以我现在的策略是核心逻辑手写,只在边缘功能上用框架的工具。
给 LLM 加规划能力主要靠这几种思路。
-
CoT 是让 LLM 把推理步骤写出来,线性地一步步推导到答案;
-
ToT 是让它同时探索多条推理路径,选最优的继续深入;
-
GoT 是图结构推理,推理节点可以复用和合并,适合更复杂的任务。
工程上我用 CoT 最多,因为实现成本最低,就是改个 prompt;ToT 效果更好但调用次数多,成本大概是 3 到 5 倍;GoT 目前还比较学术,生产环境我没见过有人真正落地用的。
反思机制我的理解是:让 Agent 在完成一个步骤或整个任务后,自我评估输出质量,判断有没有问题,不达标就重试或调整策略。
用反思的原因是 LLM 第一次输出不一定是最优的,加一轮自我检查能显著提升质量,相当于人写完东西自己再看一遍。
代价是多至少一次 LLM 调用,token 消耗和延迟都会增加,所以我在工程里通常只在质量要求高的关键节点启用反思,不是每步都做。
协作靠两件事:消息传递和共享状态。消息传递是 Agent 完成自己的工作后把结果发出去,下一个 Agent 取用;共享状态是所有 Agent 共同读写一个状态对象,记录任务进展和中间结果。
动态切换靠 Orchestrator 来做,有两种方式:一种是静态路由,提前写好规则「任务类型 A 就找 Agent X」;另一种是让 LLM 动态决策,根据当前情况实时判断该把任务交给谁。
我的实践是两种混用,主流程用静态路由保证稳定,边缘情况才交给 LLM 动态判断。
我会把 Agent 的上下文工程设计成一个运行时装配流程,而不是把所有信息长期堆在一个 Prompt 里。每次模型调用前,先根据当前子任务,从指令、用户需求、结构化任务状态、短期对话、长期 Memory、工具定义与结果、RAG 证据中挑选本轮需要的内容,再完成优先级排序、来源隔离和 Token 分配。
其中,System、Developer 和 User 指令负责告诉模型「要做什么、不能做什么」,任务状态里的目标、约束、To-Do、当前步骤和已完成结果负责告诉模型「现在做到哪了」,Memory、RAG 和工具结果则补充「完成这一步需要知道什么」。旧记忆和外部资料都不能覆盖更高优先级指令,网页、文档和工具返回值也必须按数据处理,不能混成新的命令。
工程上我会先预留输出空间,再给各类上下文设预算和不可丢失项。超出预算时,优先去重、裁剪低相关证据和无关工具,最后才压缩旧历史。同时把执行后的状态增量写回外部状态库,让下一轮重新按当前步骤装配,而不是让模型只靠聊天记录记住一切。
我会先把信息分成四类,而不是把所有内容都塞进 messages:对话历史保留用户和模型说过的原话,业务状态保存已经确认的实体与约束,任务状态记录目标、当前步骤和工具执行进度,长期记忆只保存跨任务仍然有价值的用户偏好与历史经验。
当前任务里,我会显式维护 core_intent、current_subtask、pending_tools、completed_steps 和 context_snapshot。每轮先判断用户输入是在补充、纠错、回答澄清问题,还是明确切换任务,再更新结构化状态。core_intent 是意图锚点,模型不能自行覆盖,但用户确认换题时可以创建新任务,或者生成一个新版本。
执行层用状态机控制合法流转,例如 PLANNING -> EXECUTING -> WAITING_USER -> CHECKING -> DONE。自然语言历史负责保留语气、原因和细节,状态机负责决定现在能做什么,两者配合,不能互相替代。
为了支持中断恢复,我会按 session_id 或 thread_id 隔离会话,再用 task_id 标识具体任务,在关键步骤保存 checkpoint。恢复时加载最近一次已提交状态,并核对未决工具调用。所有写外部系统的动作都要带稳定的幂等键,不能简单地从失败位置再执行一遍,否则可能重复付款、重复发消息。
我评估 Agent 时不会只看最终答案,而是分四层。
工具层看该不该调用、工具选得对不对、参数和返回处理是否正确;单步与轨迹层看每一步决策是否合理,有没有漏步骤、重复调用、越权或绕过必要流程;端到端层看任务最终是否完成,外部环境状态是否达到目标;线上层再看真实业务里的成功率、用户接管率、延迟、Token、成本和安全事件。
评测集主要来自真实用户请求、历史 Badcase、边界场景和对抗样本。每条样本不只保存问题和参考答案,还要保存目标状态、允许或禁止的动作、关键检查点和评分规则。对于有多条正确路径的任务,不强行要求轨迹逐步完全一致。
评分时我会把确定性检查放在最前面,能用 Schema、数据库状态、单元测试和权限规则判断的,就不用大模型猜。开放式质量再交给人工和 LLM-as-a-Judge,但要用人工样本校准裁判,并防范位置、篇幅和自我偏好等偏差。
最后,把安全和关键业务约束设成发布硬门禁,其余指标按核心任务和场景切片与基线比较。上线后通过 Trace、用户反馈和业务结果发现 Badcase,再回流到离线集,形成持续回归闭环。
Agent 出现路径震荡,常见原因是目标和停止条件模糊,工具失败后只返回空结果,任务状态没有随执行结果更新,或者多 Agent 的职责边界不清,交接时形成 A -> B -> A 的循环。
我会在调度层记录每一步的 Agent、工具、标准化参数、结果摘要和执行前后的状态。检测时结合动作指纹、输出相似度、状态变化和 Agent 调用图,并用步数、时间、Token、成本和交接次数作为全局预算。单纯动作重复只是预警,「状态长时间没有向完成标准推进」才是更可靠的循环信号。
触发预警后,我会先区分临时性错误和无进展循环。临时性错误走有界重试和退避;参数或权限错误直接修正或询问用户;执行路径没有进展时,禁用当前失败路径,改用其他参数或工具,必要时从检查点重新规划。预算耗尽或风险越界后,系统停止自动执行,将已完成结果、卡点和可选方案交给用户或人工处理。
我会先确认慢的是 TTFT,也就是用户多久看到第一个 Token,还是总时延,也就是任务从接收到完成一共用了多久。然后按任务类型、模型版本、工具、租户和发布时间切分 P50、P95、P99,先判断是整体都变慢,还是只有少量长尾请求出问题。
接着,我会用同一个 Trace ID 串起网关、排队、上下文构建、检索、模型调用、工具调用、编排决策和最终生成。每个环节建独立 Span,记录耗时、状态、重试次数、输入输出规模、Token 数和错误类型,但不直接记录密码、完整提示词等敏感内容。
定位时先用指标圈定异常范围,再抽取慢 Trace 和正常 Trace 做对比,从瀑布图里找关键路径。重点看排队时间是否上涨,模型 TTFT 或生成速度是否变化,检索和工具是否出现长尾,Agent 步数和重试次数是否膨胀,以及原本能并行的步骤是否被串行执行。
优化要对症下药。排队问题做容量和并发治理,模型问题从路由、上下文、输出长度和缓存入手,检索与工具问题考虑连接复用、缓存、批量和安全并行,编排问题则减少无效步骤、重复调用和过度反思。修改后通过历史轨迹回放、灰度和分位数对比验证,同时守住任务成功率、答案质量、安全和成本,不能只把耗时压下来就算成功。
我会先把「通信问题」和「一致性问题」分开。心跳中断只能说明协调器暂时看不到子 Agent,不能直接证明它已经停止。任务分配时应该带租约和递增的执行代次,子 Agent 定期续租;租约过期后协调器才能安排接管,旧执行者即使恢复,也不能再用过期代次提交结果。
接管不能简单从头重跑。我会保存任务 checkpoint,记录已经完成的步骤、产物版本和外部副作用。重试使用稳定的任务 ID、步骤 ID 和幂等键,遇到结果未知的写操作先查询外部系统,再决定继续、补偿还是人工确认。连续失败时还要支持换模型、换工具、拆小任务和人工接管等降级路径。
多个 Agent 修改同一个仓库时,先按任务依赖和文件所有权尽量减少重叠写入,再让每个 Agent 在独立 worktree 或 branch 中工作。提交时校验基线版本,对普通文件采用乐观并发,对少数热点文件使用带租约的短锁。最终只有 Integrator 有权合入目标分支,它按依赖顺序合并,并运行静态检查、单元测试和集成测试。出现文本冲突或语义冲突时,把最新基线、冲突原因和失败测试交回对应 Agent 修正,而不是让多个 Agent 直接抢写主分支。
Agent 的「任务幻觉」是指它把计划、尝试或者一段看起来成功的工具输出,当成了真实完成,并向用户作出与外部状态不一致的声明。它和普通文本幻觉的区别在于,普通幻觉主要是事实说错了,任务幻觉还可能让用户误以为退款、发信、改代码这些动作已经发生。
我会把模型定位成决策者,而不是事实裁判。调度层用代码维护任务状态机,只有真正调用工具、保存执行回执,并通过数据库查询、资源读取、单元测试等确定性方式验证目标状态后,任务才能从「执行成功」进入「已验证」。最终回复只能根据这份已验证状态生成。
遇到调用超时,也不能直接当失败重试,因为动作可能已经执行。系统要给有副作用的请求设置幂等键,再通过请求 ID 或业务状态查询结果。暂时查不清时就明确返回「结果待确认」,不能把未知包装成成功。
评测时则要专门构造未调用工具、伪造成功返回、异步未完成、响应丢失、陈旧缓存和部分成功等样本,重点统计错误完成声明率、证据覆盖率、重复副作用率和未知状态处理正确率,并把错误完成声明设成上线硬门禁。
我不会把 Prompt 当成安全边界,也不会让模型拿着高权限账号直接执行任意 SQL。用户身份和租户范围来自可信的登录态,由网关传给策略层;模型只负责表达查询意图,真正的授权要在模型之外逐次校验。
数据库侧遵循最小权限。查询 Agent 使用独立的只读账号,只开放必要的库、表、视图和列,再用行级策略强制租户隔离。能封装成「查订单」「统计销售额」这类业务工具的,就不暴露通用 SQL。必须做 Text-to-SQL 时,要用 SQL 解析器检查语法树,对语句类型、表、列、函数和查询规模做 Allowlist,再通过参数化查询、只读事务、超时和行数限制执行。
敏感数据要从源头最小化,优先查询脱敏视图和聚合结果,进入模型前后都做字段裁剪与脱敏。数据库中的文本也属于不可信数据,里面即使出现「忽略规则」之类的内容,也只能作为数据展示,不能改变工具权限或执行策略。
查询安全不等于查询正确。系统还要校验字段是否存在、指标口径、租户过滤、时间范围和结果合理性,并保存查询依据。高风险写操作则使用独立工具,先预览变更,再经过权限校验和人工审批,最后依靠事务、幂等、影响行数限制和审计日志兜底。
Agent Harness 可以理解为围绕大模型的一套运行支撑,核心是组织模型调用和工具执行的循环,让模型能根据实际结果连续推进任务。
模型负责理解目标、判断下一步,输出回复或工具请求。Harness 接住这些输出,检查并安排实际执行,再把工具结果放进下一轮输入,继续调用模型。工具请求本身只是模型提出的动作,真正的文件读取、命令执行或接口调用,需要外部程序完成。
任务变长以后,Harness 还需要组织每轮上下文,并配合任务记录保存进度,让中断后的运行能够接上已有结果。它也会落实动作权限、运行预算和结束判断,避免只凭模型说完成就结束任务。
所以,模型提供理解与决策能力,工具提供具体操作,Harness 把它们组织成可持续运行的任务过程。框架可以提供这些组件,也可能直接封装好运行机制,具体要看它实际包含什么能力。
我会把 Harness 的核心做成一个执行循环:程序准备上下文,调用模型,接住它的工具请求,执行后把结果交回去,再让模型决定下一步。比如修复 Bug,模型负责判断要读哪些代码、怎么改,程序负责读文件、应用修改和运行测试。
每轮调用前,我会保留任务目标、约束、当前进度和相关材料。完整日志放在外部,需要时再读,避免把所有历史都塞给模型。工具执行要在允许的工作区和权限范围内,还要限制耗时,并把成功、失败或结果未知的情况传回来。
长任务的进度需要单独持久化,包括已经做过的操作、产物和未解决的问题。中断以后先核对实际文件和未决操作,再恢复执行。任务结束则以事先确定的验收条件为准,比如修改符合需求、相关测试通过;模型说完成时,程序还要检查这些证据。
另外,我会给整个任务设步数、时间和费用预算,并记录每轮输入、工具结果和状态变化。这样既能控制循环,也能在失败时查清问题出在模型决策、工具执行还是运行程序。最初这些模块可以放在一个服务里,接口分清楚以后,再按需要拆分。
我会在 Agent 的任务执行之外,加一条持续改进流程。任务完成后,把用户纠正、测试结果和实际执行记录放在一起,找出问题出在哪一步,再提炼成有适用范围、有证据的经验。后续遇到同类任务时,把相关经验放进上下文,让它在决策之前就能避开以前的错误。
比如 Agent 统计有效订单时漏掉了状态条件,不能只记住「上次答案是 4」。应该记住这类指标要先查业务定义,再按定义生成查询。一个场景的经验可以按需召回;如果很多任务都有相同问题,就可以把这套步骤整理进 Prompt 或 Skill,改进整个工作流程。这些变化都可以在不更新模型参数的情况下实现。
新经验和新流程需要先用没参与优化的任务验证,同时跑原来的成功场景,确认它能推广,也没有引入退化。通过后再逐步启用,保留来源和版本,出问题能撤回。如果要改的是模型本身,再考虑用经过校验的数据做训练。单次反思或修好一道旧题,还不能证明 Agent 持续变好了。
我会先看这一步是不是在用户已经授权的范围内。目标和参数明确、操作也符合执行规则时,Agent 可以继续完成任务,不需要每次调用工具都重复确认。需要停下来问的,是关键对象或要求有歧义、准备执行的动作超出了原来的授权,或者业务规则要求人工审批的情况。
操作影响也要考虑进去。对外发送、删除唯一数据、扩大权限这类后果较大的动作,要把具体对象、内容和影响讲清楚,确认它们确实被授权。用户已经明确批准过同一项操作,而且方案和条件没有变化,就可以沿用这份批准,不能只因为又调用一次工具就重新问。
实现上,我会在真正执行前保存待确认方案,让用户批准、修改或者拒绝。批准要和具体任务、参数版本绑定,恢复时再核对方案与当前权限。用户说同意不等于有后端操作权限,也不能证明一次超时的操作没有发生。结果未知时先查实际状态,确实需要人的判断再升级处理,不能让一句「继续」代替事实核查。
压缩阈值应该根据剩余空间和接下来要做的任务来确定,没有一个通用的 80%。当前输入除了聊天记录,还有指令、工具定义和工具结果,先把这些内容的实际 Token 占用算清楚,再给模型输出和下一步可能增加的内容留出空间。
比如一个 Agent 接下来要读取大量测试日志,即使当前窗口还没用到 80%,剩余空间也可能不够;如果只是做一次短查询,后续增长很小,就可以保留更多原始信息。所以阈值更适合跟着任务动态调整。
另外,压缩本身也有代价,太早会损失细节,太晚可能超限。具体的触发比例和压缩后的目标大小,要在实际任务上比较完成效果、关键信息保留、延迟和成本。压缩完还得检查目标、约束和未完成状态是否保留下来,不能只看 Token 降了多少。
我会先确认这里的相同输入,指的是同一句用户问题,还是完整运行条件都相同。Agent 还会用到系统指令、历史、记忆、工具定义和任务状态,这些内容变化,模型实际收到的请求就已经不同了。后续工具读到的数据也可能变化,所以相同用户文本不一定应该得到相同结果。
即使模型请求相同,生成策略也可能从候选中采样,导致输出不同。降低 temperature 或固定支持的 seed,可以控制一部分变化,但模型版本、推理实现和数值计算也会影响结果。另外,并发工具的返回顺序、超时重试和共享状态更新,都可能改变后续决策。这些差异进入多步循环以后,还会继续影响下一轮输入。
排查时,我会保存实际请求、模型配置、工具参数与返回、状态变化,对齐两次执行记录,先找最早出现差异的位置,再通过固定观察或回放事件检查对应环节。稳定性则要按业务要求判断:合理路径和措辞可以不同,事实、计算结果、权限约束和写操作的去重必须符合规定,不能只用逐字一致衡量。