快速回顾
| 项目 | 内容 |
|---|---|
| ReAct | 根据每次工具结果决定继续检索、补充条件、澄清或回答 |
| Plan-and-Execute | 将复杂任务拆成步骤,跟踪完成情况,按执行结果调整计划 |
| 配合方式 | 计划管理整个任务,步骤内部按需使用 ReAct |
| 执行边界 | 后端校验工具参数、权限、知识库范围和时间条件;设置执行上限 |
| 上下文管理 | 滑动窗口与历史摘要管理对话,计划、状态和证据单独跟踪 |
| 完成条件 | 覆盖问题要求,检查版本、必要条件和引用,说明缺失或冲突 |
| 计划与恢复 | 结构化保存步骤、证据和预算,恢复时核对状态与证据适用性 |
| 防止重复 | 复用仍适用的查询结果,检查证据增量,调整无进展的检索方向 |
| 摘要约束 | 地区、时间、对象和输出要求显式保留,区分已确认与尚缺条件 |
职责与实现概述
政策查询的依据常分散在正文、附件和关联通知中,政策变化分析还需要对齐多个版本与比较维度。查询流程用 ReAct 根据工具结果补查依据,用 Plan-and-Execute 管理多步任务,分别解决局部证据补全和整体任务覆盖问题。
普通查询采用 ReAct,由 Agent 根据工具结果选择下一步:证据不足时继续检索,查询条件需要调整时改写查询,用户信息缺失时先澄清。政策分析和制度对比采用 Plan-and-Execute,先明确对象、时间和比较维度,再拆成查版本、提取条款、比较差异等步骤;每一步内部仍可使用 ReAct 补充证据,并根据执行结果调整计划。
我参与设计上述检索与工具调用流程。后端执行前检查参数、权限和检索范围,按调用次数和超时预算控制执行;对话通过滑动窗口和历史摘要管理长度,计划与证据单独跟踪。汇总时逐项核对问题要求与引用,最终结论关联 Evidence ID、文档和页码。
原理与选型
面试回答
ReAct 是让模型判断和工具调用交替进行的一种 Agent 执行方式。在我们的养老知识问答里,模型会根据当前问题和已经拿到的证据,决定下一步调用哪个工具;工具返回结果后,再判断是否需要继续检索,还是已经可以回答。
比如用户询问能否申请护理补贴,Agent 会先检查地区、照护等级这些必要条件是否齐全,缺少时向用户澄清。查到政策后,如果申请条件还引用了另一份认定办法,就继续检索对应资料,补齐回答依据。
模型负责提出工具调用和参数,后端负责参数、权限及时间范围校验。同时设置调用次数和超时上限,结束前检查证据与引用是否齐全,避免反复检索或依据不足就给出结论。
实现细节
执行循环为接收问题、判断证据缺口、生成调用、后端校验执行、回传结果、再次判断。工具以结构化状态返回命中、无命中或错误,模型根据实际结果选择下一步动作。
例如,模型提出检索“申请材料”的调用后,后端验证参数与访问范围,将“已找到正文,材料清单位于附件”的结果交回模型。模型据此提出读取附件,执行器再次校验并执行,取得清单后再组织回答。
面试回答
ReAct 适合根据当前结果决定下一步,但政策变化分析通常包含多个版本和比较维度,如果一直局部补查,容易漏掉子问题,或者反复搜索同一部分。所以我们在复杂任务中引入 Plan-and-Execute,先拆解目标,再按步骤执行和检查完成情况。
比如比较政策调整前后的申请条件、补贴标准和材料要求,要先确认地区和时间,找到两个适用版本,再分别提取这些维度,最后核对差异和引用。计划会记录哪些步骤已完成、缺什么证据。如果执行中发现文件被替代或附件缺失,可以调整计划;某一步需要动态补查时,内部仍然使用 ReAct。
规划适用于文件关系和证据缺口会随检索结果变化、需要动态增补步骤的任务。步骤与数据来源固定时采用程序工作流,简单查询直接检索;这样把规划、检查和重规划调用集中用在多版本、多维度分析上。
实现细节
计划按任务目标、比较维度和依赖拆解,完成条件与证据关联。补充检索解决局部缺口,重规划处理目标分解或依赖发生变化的情况,并保留已有有效证据与执行记录。
以说明机制的政策对比为例:
| 执行阶段 | 计划或结果 | 下一步处理 |
|---|---|---|
| 形成计划 | 找新旧版本,再比较条件、标准、材料 | 执行器检查步骤与依赖是否可执行 |
| 查询返回 | 新版正文已取得,材料要求指向附件 | 当前步骤补查附件 |
| 发现范围变化 | 原拟比较文件已被另一通知部分修订 | 模型提出调整版本定位或新增关联文件步骤 |
| 接受调整 | 检查任务约束、工具范围和剩余预算 | 执行器接受合法调整,再继续执行 |
| 汇总 | 每个比较维度关联两侧证据或缺失原因 | 检查覆盖后组织结果 |
面试回答
主要根据对象数量、时间版本、输出维度和步骤依赖判断。查询一个明确条款时,直接检索就可以;需要根据工具结果继续查附件或补条件时,使用有执行上限的 ReAct 循环。
任务同时比较多个版本或机构制度,并要求按多个维度给出结论时,用 Plan-and-Execute 管理步骤与依赖。步骤内部按需使用 ReAct,比如查旧版申请条件时,先查正文,再沿引用补查认定办法。按任务结构选择执行方式,可以将模型调用用在需要动态决策的环节。
实现细节
整体计划负责步骤、依赖和完成状态;步骤内部的 ReAct 负责根据工具结果继续行动。复杂度由任务结构决定,同样长度的问题可能具有完全不同的证据要求。
职责分工上,模型负责提出查询、计划和后续动作,后端负责合法工具集合、参数、权限与预算等确定性约束,执行器根据通过校验的结果推进步骤。
| 场景 | 处理方式 |
|---|---|
| 查询一个明确条款 | 直接检索,必要时补查 |
| 根据工具结果继续调查 | 有边界的 ReAct 循环 |
| 政策变化分析、多机构制度对比 | 先规划再执行,步骤内部按需使用 ReAct |
工具与计划
面试回答
工具按明确的业务能力划分,比如知识检索、读取证据原文和查询文档版本。每个工具都提供名称、适用场景、输入 Schema 和结构化返回值,让模型知道什么时候调用、参数怎么填、结果代表什么。
以知识检索为例,输入包含查询文本、文档类型、时间条件和返回数量,成功时返回片段、Evidence ID、文档版本和页码;失败时返回错误类型和是否可重试。用户身份和可访问范围由后端认证上下文确定,模型填写参数不能扩大权限。结果正文也控制长度,先返回必要片段,需要完整条款时再调用原文读取工具。
实现细节
工具描述应区分检索、原文读取与版本查询的用途。返回状态明确区分成功无命中、参数错误和服务异常,便于模型选择改写查询、修正参数或结束。数量与字段类型仍由后端检查。
| 部分 | 知识检索工具示例 |
|---|---|
| 工具名称 | search_knowledge |
| 用途 | 根据问题检索政策或机构制度证据 |
| 输入 | 查询文本、文档类型、时间条件、返回数量等 |
| 成功返回 | Evidence ID、文档版本、页码、片段及检索状态 |
| 失败返回 | 错误类型、是否可重试、错误说明 |
面试回答
后端会把当前任务允许使用的工具说明和参数 Schema 提供给模型。模型结合用户目标、当前步骤和已有结果,生成结构化的工具名和参数;后端根据工具名找到处理器,完成类型、范围与权限校验后执行,再把结果交回模型。
工具说明要写清能力边界,比如找资料用检索工具,已经拿到 Evidence ID 但需要完整条款时用原文读取工具,确认某个时间点适用哪个文件时用版本查询工具。模型提出的调用不会直接执行,未知工具、错误参数或越界数量会被拒绝并返回具体错误,允许模型在合法范围内修正。
实现细节
工具是否可用由后端决定,模型选择只发生在当前允许的能力范围内。调用参数不能充当身份或权限凭据,结果再次进入上下文后才触发下一轮判断。
工具调用与返回的对应关系如下:
{
"call": {
"name": "search_knowledge",
"arguments": {"query": "护理补贴申请材料", "documentType": "policy", "topK": 5}
},
"result": {
"status": "ok",
"evidence": [{"evidenceId": "E1", "documentVersionId": "V1", "page": 4}],
"missing": ["正文引用的材料清单附件尚未取得"]
}
}
认证范围由后端从当前身份上下文补充。无命中与工具执行错误通过不同返回状态表达,分别触发查询调整和故障处理。
面试回答
计划需要保存成可更新的结构化任务,至少包含目标、地区和时间等约束、步骤列表及依赖。每个步骤记录状态、完成条件、工具结果和关联证据,根任务记录累计预算。这样执行器能够判断下一步是否满足依赖,也能区分尚未执行、正在执行和已经完成。
重规划时保留调整前的执行记录,并检查已有证据是否仍适用。自然语言描述表达步骤目标,结构化字段记录状态、依赖与完成条件。进程重启恢复需要将计划、执行结果和累计预算持久化,恢复时据此定位未完成步骤。
实现细节
计划状态定位执行进度,工具结果保存实际产出,对话摘要压缩交流背景。结构化计划包含以下字段。
| 层级 | 主要字段 |
|---|---|
| 根任务 | taskId、用户与权限范围、目标、状态 |
| 约束 | 地区、时间、文档范围、对比维度 |
| 计划 | planVersion、步骤列表 |
| 每个步骤 | stepId、目标、依赖、完成条件、状态 |
| 执行记录 | 工具及参数、结果、错误、Evidence ID |
| 执行预算 | 已用步数、模型与工具调用次数、截止时间 |
例如 S1 定位版本,S2 依赖 S1 提取条款。S1 在版本记录取得、校验通过且结果保存后完成,随后推进 S2;提取条款时发现“材料见附件”,则为 S2 保留附件补查项,取得对应清单后再检查该维度是否完成。
执行与恢复
面试回答
任务按用户目标定义完成条件。政策对比需要定位两个适用版本,分别取得申请条件、补贴标准和材料要求的依据,再按维度给出差异与引用。执行器检查步骤状态、工具结果、引用 ID 和执行预算,模型结合原文判断维度覆盖与证据缺口。
执行同时受步数、调用次数和总超时限制。预算内围绕未完成项继续查证;到达上限时返回已确认部分,并逐项列出尚缺的证据或用户条件。完成状态和停止原因分别记录,便于后续继续处理。
模型提出结束后,后端核对引用归属、来源与访问权限,内容核验再检查每项结论是否由所引原文支持。
实现细节
政策对比还需核对地区、适用时间及文件关系;附件缺失、条款冲突等未解决项保存在任务记录中,作为后续补查入口。
可核验的完成项包括“新旧版本已定位”“三个维度均有证据或缺失说明”“引用均属于当前可用证据”。
面试回答
暂停与恢复以持久化的任务状态为基础:保存步骤、checkpoint、已有证据和累计预算,再停止发起新调用。恢复时加载记录,重新检查当前权限、文档版本和证据适用性,从未完成且依赖已满足的步骤继续执行。
在途调用按工具能力处理:支持取消时发送取消请求,结果不确定时保留调用记录,恢复前核对实际结果。步数、重规划次数、模型和工具调用次数及总时间按同一任务累计,重试和恢复沿用剩余预算。
实现细节
暂停点应位于可保存状态、可判断后续行为的安全边界。证据失效或权限变化时,恢复位置需相应调整;较长结果通过记录 ID 读取,并继续遵守上下文预算。
例如“工具已返回、步骤尚未记为完成”时,恢复要先核对该次调用结果是否已保存,避免无条件再次调用。若采用绝对截止时间,暂停期间时间仍会流逝;若限制活跃执行时长,则需要另外累计实际运行时间,两种预算规则要明确。
| 环节 | 保存或检查 | 处理原则 |
|---|---|---|
| 暂停 | 任务、步骤、checkpoint、证据与已用预算 | 保留已经完成的部分 |
| 恢复 | 当前权限、证据适用性与未完成位置 | 从可继续的位置执行 |
| 重试与重规划 | 累计步数、调用次数和截止时间 | 共用累计预算,不重新计零 |
面试回答
工具失败按错误类型处理。参数错误返回具体字段问题,让模型修正;超时和连接异常在剩余预算内有限重试;单路检索不可用时,使用其他可用通道。权限不足则停止这次访问,不能靠修改参数绕过。
工具正常执行但无命中时,改写查询、补充条件或报告缺失依据;服务故障则按错误类型重试或降级。正文已取得而附件获取失败时,复用正文证据,继续处理附件缺口。预算耗尽后返回已确认部分及待补材料。
实现细节
工具返回应包含错误类型、错误说明和可重试信息。重试与降级计入累计预算,已完成步骤和已取得证据保留;附件未取得时,不生成依赖附件内容的确定结论。
| 失败情况 | 处理方式 |
|---|---|
| 参数错误 | 返回明确字段错误,让模型修正 |
| 超时、连接异常 | 在剩余预算内有限重试 |
| 单路检索不可用 | 使用其他可用通道并记录降级 |
| 权限不足 | 停止该访问,不能通过换参数绕过 |
| 正常执行但无结果 | 改写查询、补充条件或说明未找到 |
| 必要证据无法取得 | 保留已完成部分,说明缺失项 |
面试回答
重复检索按查询文本、地区、时间、知识库和权限范围共同识别。相同范围内复用仍适用的结果;地区、时间或版本改变后,重新查询对应范围的证据。
每轮还要检查新增证据是否覆盖未完成维度。补贴标准已经查到、申请材料仍缺时,下一步定向查询材料或读取附件,把调用集中在能推进任务的证据缺口上。
实现细节
进展按文档版本、稳定原文位置和比较维度判断。同一原文在不同轮次分别编号 E1、E7 时,仍按同一份来源去重。Evidence ID 的生命周期与跨轮复用规则和政策溯源模块统一。
请求复用还需核对过滤范围和当前权限。
上下文与摘要
面试回答
上下文优先保留当前问题、用户刚补充的条件、任务约束和当前步骤,再按预算装配相关证据、近期消息和历史摘要。近期对话用滑动窗口保留,较早内容压缩为摘要;计划、步骤状态和证据记录单独跟踪,不完全依赖聊天历史。
检索结果先去重,按完整条款条件提取相关片段;长工具结果移出上下文后保留记录 ID,按需读取。预算计入工具 Schema、消息结构和引用信息,并预留输出空间。工具调用与返回成组保留,政策结论使用本次核验适用的原文证据。
实现细节
上下文装配同时管理对话背景、任务状态和证据,三者用途见表。可用输入预算从模型总窗口中扣除输出预留,再计算指令、工具 Schema、消息格式、当前问题、摘要与证据的合计长度。
例如用户从“今年本市政策”改成“去年另一地区政策”,更新当前约束并重新检查旧证据适用性,后续查询采用用户最新明确的地区和时间。
| 内容 | 作用 |
|---|---|
| 最近消息与历史摘要 | 理解用户意图和对话背景 |
| 计划、步骤状态、已取得的证据 | 跟踪当前任务进展 |
| 文档、版本、页码和 Evidence ID | 核对结论依据 |
面试回答
地区、时间、对象和输出要求作为显式任务约束,每次装配上下文都保留;摘要负责压缩对话背景。两者配合,使长对话压缩后仍按明确条件检索和回答。
用户修改条件时更新对应字段,后续查询使用新值;尚未提供的信息保留为待澄清项。摘要区分用户提供、工具确认和尚待确认的内容,重要事实保留来源消息或证据记录,发生冲突时回到原始记录核对。
实现细节
政策比较任务的结构化约束包括地区、适用时间、指定机构或版本、比较维度、引用要求和尚缺信息。字段同时保留来源和确认状态,任务进度按证据与完成条件推进。
例如用户先问本市政策,随后改为邻市,摘要和当前条件发生冲突时,以用户明确修改及来源消息核对,相关旧证据也要重新检查。
验证与结果
面试回答
验证要看任务是否完成,也要看为此多花了多少调用。简单条款查询可以比较直接检索与 ReAct,多版本、多维度对比则比较固定流程、ReAct 和规划执行,重点检查是否漏掉比较维度、是否反复检索、工具选择是否正确,以及缺证据时能否合理停止。
上下文管理用长对话案例验证:将地区、时间、对象放在较早轮次,加入用户后续修改条件的情况,压缩后检查检索约束与引用版本。同时记录模型和工具调用次数、输入输出 token、总耗时及预算超限情况,评价任务覆盖与调用成本的关系。
任务评测以版本选取、比较维度覆盖、证据缺口处理和长对话条件保留为检查项,每个样例保留执行轨迹,便于定位规划、工具执行或摘要压缩环节的问题。
实现细节
比较不同模式时固定文档快照、问题、可用工具和模型配置,避免把不同检索结果误判为规划收益。
| 验证场景 | 观察结果 | 同时记录的成本 |
|---|---|---|
| 明确条款查询 | 是否引入不必要规划,能否直接取得依据 | 模型/工具调用次数与耗时 |
| 多版本多维度对比 | 维度遗漏、版本错用、无依据结论 | 规划和重规划次数、总 token |
| 附件缺失或工具失败 | 是否只补缺口、是否重复无效检索 | 重试、降级与预算消耗 |
| 长对话后修改地区或时间 | 当前要求是否覆盖旧摘要,旧证据是否被重新判断 | 压缩前后输入长度和摘要开销 |
| 达到执行上限 | 是否停止并说明未解决项 | 累计调用数与总时间 |
补充记录
简历表述:基于 ReAct 实现检索和工具调用,引入 Plan-and-Execute 支持多步任务规划与执行,并结合滑动窗口和历史摘要管理上下文。
- 贡献与框架:个人参与设计、开发和接入的具体范围,实际 Agent 框架或执行循环。
- 决策与工具:入口模式路由、真实工具清单、重规划触发与接受规则、完成判断及内容核验主体。
- 计划存储:字段、步骤状态、存储位置、结果外置与计划版本管理。
- 恢复能力:用户暂停、进程重启恢复、checkpoint 保存时机与在途调用处理。
- 执行预算:步数、模型/工具调用和重规划次数的定义,超时规则与恢复后的累计方式。
- 上下文:滑动窗口和摘要触发配置、任务约束保存方式、摘要来源与确认状态、工具返回成组保留规则。
- 证据复用:Evidence ID 生命周期、稳定原文定位、请求复用和权限变化后的失效检查。
- 验证记录:实际模式对照、长对话条件保留案例、重复检索和成本统计。