快速回顾
| 项目 | 内容 |
|---|---|
| 核心思路 | BM25 精确匹配 + BGE-M3 语义召回 → RRF 融合 → Reranker 精排 |
| 初始召回配置 | BM25 Top 50 + 向量 Top 50 → RRF 取 50 → 重排取 10 个子块 |
| RRF 初始参数 | 平滑常数 k=60,BM25 与向量权重 1:1 |
| RRF 调参参考 | k 可比较 20、60、100;权重可比较 1:1、1.5:1、1:1.5 |
| 输入预算参考 | Reranker 1024 tokens,受所选模型长度上限约束 |
| 测评集与结果 | 200 余道题;Recall@10:0.71 → 0.89;MRR@10:0.62 → 0.78 |
职责与实现概述
养老政策查询既有政策名称、条款编号等精确表达,也有“老人吃饭穿衣困难,能申请什么帮助”这样的口语化需求。BM25 负责关键词匹配,BGE-M3 负责语义召回,RRF 汇合两路候选,BGE Reranker 进一步筛选直接回答问题的条款,覆盖两类查询。
实现上,先将可确定的知识库、权限和时间条件下推到检索,再由 BM25 匹配关键词、BGE-M3 补充语义召回;两路子块通过 RRF 按排名融合,再用 BGE Reranker 对问题和候选正文联合评分。装配证据前回查文档状态、权限和适用版本,随后回溯父块补全上下文,避免只凭文本相似度决定回答依据。
在 200 余道题的离线测评集上,原始系统与最终检索链路对比,Recall@10 从 0.71 提升到 0.89,MRR@10 从 0.62 提升到 0.78:前十条结果的标准证据覆盖率提高,首条正确证据的排序也得到改善。
原理与选型
面试回答
养老资料查询有两类表达需要同时照顾。一类包含明确的政策名称、条款编号或专业术语,BM25 的关键词匹配比较合适;另一类是用户用日常语言描述需求,和文档原文用词差异很大,需要 BGE-M3 的语义检索补充。
比如用户问“老人自己吃饭穿衣都困难,能申请什么帮助”,文档可能写的是生活自理能力、失能等级和照护补贴,纯关键词检索容易漏掉。反过来,纯向量检索也可能找到主题相近但条件不符的内容。两路并行召回,再用 RRF 融合和 Reranker 筛选,能够扩大证据覆盖并进一步判断相关性。
实现细节
“养老机构等级评定的申请材料”这类含明确术语的查询适合检查 BM25;口语化需求适合检查语义召回。两路候选再按地区、时间、权限和条款内容筛选,确定足以回答问题的依据。
| 检索方式 | 擅长处理 | 容易出现的问题 |
|---|---|---|
| BM25 | 政策名称、条款编号、机构名称、明确术语 | 用户与原文用词差异大时可能漏召回 |
| BGE-M3 向量检索 | 同义表达、自然语言描述、语义相近问题 | 可能召回主题相近、具体条件却不匹配的内容 |
面试回答
BM25 是基于倒排索引的关键词相关性计算,主要看查询词出现的频率、词的区分度和文档长度。少见且准确命中的词通常更有价值,同一个词重复出现带来的加分会逐渐饱和,避免长文档单纯靠重复词占优势。
BGE-M3 在这里使用 dense 向量能力。入库时把子块编码成向量,查询时把用户问题用兼容的模型和编码方式生成向量,再交给 Milvus 查找相近结果。BM25 更直接利用词面匹配,BGE-M3 补充不同表达之间的语义关联,两路返回后按同一子块 ID 进行融合。
这样配合的业务依据是,政策名称和条款编号要求词面命中,用户的日常表达需要语义匹配。BGE-M3 提供中文及多语言语义表示,选型评估关注养老领域的证据召回、推理延迟和部署成本。
实现细节
BGE-M3 支持多种检索形式,本项目这一路使用 dense,关键词召回仍由 BM25 完成。查询与文档必须保持模型版本和编码配置兼容,否则向量距离无法按原有口径比较。
两路索引需要携带能对应到同一子块和文档版本的标识。融合时,两个不同版本的相似条款不能因标题相同就合并。
面试回答
BM25 分数和向量相似度的含义、数值范围都不同,直接相加会让数值范围更大的通道主导结果。RRF 将各路结果转换成排名贡献,再按稳定的子块 ID 合并,减少对原始分数尺度的依赖。
一个子块在两路里都排名靠前时,会得到两路加分;被单路召回的候选也能保留。RRF 依据名次合并结果,后续 Reranker 联合读取问题和正文,进一步判断条款与当前需求的相关性,两者分别承担候选融合和内容精排。
实现细节
计算使用 RRF(d) = Σᵢ wᵢ / (k + rankᵢ(d))。排名从 1 开始,wᵢ 是通道权重,未出现在某一路中的候选不获得该路分数。k 是平滑常数,与召回 Top-K 数量无关。同一子块分别排第 2、第 4 时,融合分数为两路贡献之和。
面试回答
RRF 按两路排名合并候选,BGE Reranker 将问题与候选子块成对输入、联合读取,细化内容相关性判断。两阶段配合,先汇集关键词与语义召回,再优先选出能回答当前问题的条款。
比如两段内容都讨论补贴,语义上都接近,但用户问的是申请材料,Reranker 可以更细地判断哪一段真正列出了材料要求。因为这种联合评分成本较高,我们只对融合后的有限候选使用。地区、权限、时间和版本仍然由硬条件过滤处理,相关性分数再高也不能让不适用的资料进入回答。
实现细节
双塔向量召回分别编码查询和子块,重排则联合输入二者。两者的计算方式与成本不同。RRF 改变候选池,Reranker 在候选池内排序,候选阶段漏掉的依据无法靠精排补回。
| 环节 | 依据 | 作用与边界 |
|---|---|---|
| RRF | 候选在各通道中的排名 | 合并不同通道,不读取正文判断具体条件 |
| BGE Reranker | 问题与候选文本联合输入 | 精细判断相关性,成本较高 |
| 硬条件过滤 | 权限、地区、时间和版本 | 确定证据是否适用,不能由相关性分数替代 |
实现与调参
面试回答
收到问题后,先确定用户可访问的知识库、地区和时间范围,把能够提前确定的过滤条件下推到两路检索。BM25 和 BGE-M3 并行召回子块,按子块 ID 对齐后做 RRF 融合,再交给 BGE Reranker 精排。
候选返回后,还会回查入库状态、文档版本和当前访问权限,防止索引更新滞后。确认可用后,按父块聚合、补充条款上下文,并按 token 预算装配证据,最终生成带 Evidence ID、文档和页码的回答。时间过滤根据用户问题确定,历史查询保留当时适用的版本,不能一律只取最新文件。
过滤后按问题维度检查证据覆盖。缺少旧版清单、适用条件等必要依据时,针对缺口继续查询;新增候选沿用相同的权限、时间和相关性校验。缺少用户条件时先澄清,执行预算耗尽时返回已确认部分及待补依据。
实现细节
过滤依据分工如下。进入任何模型服务前都应满足该服务的访问边界;后置复核用于处理状态变化,不替代前置权限约束。
| 检查位置 | 依据 | 处理内容 |
|---|---|---|
| 两路召回前 | 后端认证范围、用户明确的地区和时间 | 下推可确定的过滤条件,模型参数不能扩大范围 |
| 候选回查 | 权威文档版本、入库状态、当前访问权限 | 排除未完成入库、关联错误或无权使用的证据 |
| 父块装配 | 相同文档与版本的父子关系、原文位置 | 防止回溯时混入另一个版本的正文 |
| 有效候选不足 | 尚缺的比较维度、剩余时间与调用预算 | 补查仍缺的依据,或结束并说明缺口 |
例如精排前十中有四条未通过复核,当前可用候选就是六条;这六条覆盖全部问题维度时,无须补足十条。若缺少旧版材料清单,则需要补旧版依据,新增候选也必须重新校验。
面试回答
我们的初始配置是 BM25 和向量检索各取 Top 50,按子块 ID 去重后最多得到 100 个候选,RRF 融合后取前 50 个交给 Reranker,再取精排前 10 个子块。这里的十个是精排结果,仍要经过状态、版本和权限复核。之后回溯父块、去重,并根据上下文预算决定真正装入多少证据。
前面保留较多候选,给融合和精排留下筛选空间;候选池扩大时同时增加重排开销。调参可比较 20、50、100 等数量下的覆盖率、最终排序和延迟。前十子块经过校验、父块聚合与预算装配后,形成最终提供给模型的证据。
实现细节
表中记录初始配置。调参时根据两路有效候选分布调整召回名额,比较候选覆盖率、最终排序和延迟。子块排序指标在父块扩展前统计,条件覆盖在父块装配后检查。
| 阶段 | 初始配置数量 | 输入与输出 |
|---|---|---|
| BM25 | Top 50 | 查询 → 关键词候选子块 |
| BGE-M3 / Milvus | Top 50 | 查询向量 → 语义候选子块 |
| ID 对齐与 RRF | 去重后最多 100,取前 50 | 两路候选 → 重排候选 |
| BGE Reranker | 精排前 10 个子块 | 问题与候选正文 → 待复核的排序结果 |
| 证据放行与父块回溯 | 由校验、去重和 token 预算决定 | 校验子块、聚合父块,再按预算装配证据 |
面试回答
主要看平滑常数 k 和两路权重,初始采用 k 等于 60、BM25 与向量权重 1 比 1。调整 k 时先固定召回和重排配置,观察头部与后部候选的变化。k 小时更强调头部名次,k 大时排名贡献的差距会缩小。
然后根据错误分析调整权重。精确名称、编号类问题不足时,比较偏向 BM25 的配置;口语化问题漏召回较多时,比较偏向向量检索的配置。每次少量改变参数,同时看重排前的证据覆盖和重排后的 Recall@10、MRR@10,避免只看最终排序,忽略候选池已经发生的变化。
实现细节
可比较 k 为 20、60、100,权重为 1:1、1.5:1、1:1.5。选择配置与报告最终结果使用分开的题目,近似改写分到同一组,减少数据泄漏。平滑常数 k 调整排名贡献差距,Top-K 单独控制候选数量。
| 参数 | 初始配置 | 调参参考 | 主要观察 |
|---|---|---|---|
| 平滑常数 k | 60 | 20、60、100 | 头部与后部排名贡献的差距 |
| BM25 : 向量权重 | 1:1 | 1:1、1.5:1、1:1.5 | 精确术语与口语表达的覆盖 |
| 候选与最终结果 | 配置分别记录 | 分开调参,固定其他条件 | 重排前覆盖率、最终 Recall@10 与 MRR@10 |
面试回答
Reranker 的输入包含问题、文档标题、章节路径和子块正文。长度预算需要用对应模型的 tokenizer 计算,先给问题、标题和输入格式预留空间,再分配正文预算。因为重排对象是子块,通常不需要直接处理整个父块。
遇到超长表格或片段,可以按段落、句子或表格结构拆成多个窗口,每个窗口保留必要标题和表头,再分别评分。这样能保留后部的相关内容,减少统一截取开头造成的遗漏。重排判断的是相关性,生成答案时还要读取足够的条件和例外,原文与页码映射也要保留。
实现细节
工程输入预算可从 1024 tokens 起比较,并受所选 Reranker 的实际支持长度约束。使用对应 tokenizer 计算总长度,扣除问题、标题和输入格式开销后,得到正文预算。
多窗口方案取最高分时,以最相关局部作为候选排序依据;生成答案时再补全所属条款的适用条件与例外。窗口数量设上限,以控制推理开销。
面试回答
两路检索设置独立超时,某一路失败时尽量保留另一路的有效结果。BM25 不可用就使用向量候选,向量编码或 Milvus 不可用就使用 BM25 候选;如果 Reranker 失败,就用 RRF 排序结果兜底,并记录实际走了哪条链路。
降级后继续检查问题维度的证据覆盖,必要时补查或澄清。正常无命中时改写查询,通道故障时有限重试并使用可用路径。权限与版本校验是各条路径共同的放行条件,校验服务不可用时暂停返回未经验证的证据。
实现细节
记录通道错误、耗时和实际使用链路,便于定位质量变化来源。重试使用剩余超时预算,单路超时后及时切换可用路径。
| 情况 | 可用路径 | 限制 |
|---|---|---|
| BM25 故障 | 使用向量候选继续处理 | 记录通道降级 |
| 向量编码或 Milvus 故障 | 使用 BM25 候选继续处理 | 记录通道降级 |
| Reranker 故障 | 使用 RRF 排序兜底 | 检查证据是否充分 |
| 正常返回但无命中 | 改写查询或澄清条件 | 区别于通道故障 |
| 权限或版本校验不可用 | 暂停放行该批证据 | 待校验通过后继续处理 |
评测与结果
面试回答
我围绕养老政策、机构制度和服务资料构建了 200 余道题,用来评估检索改动。评测集要兼顾精确条款、口语表达、多条件和时间版本问题,每道题的正确依据需要能定位到文档版本与原文范围,才能判断系统是否真正找到了足以回答的内容。
标注以“足以支持回答”为标准:询问申请材料时,标准证据应包含材料要求及必要条件。检索评测核对原文依据的召回,回答评测核对条件与引用的完整性,无答案和条件不足题则单独检查拒答与澄清行为。
实现细节
标准证据标到原文条款或范围,方便不同分块方案映射。按精确条款、口语表达、多条件和时间版本题分类分析,可以分别定位词面匹配、语义匹配、条件完整性与版本适用性问题。
建议标注项包括问题、参考答案、标准证据范围、文档版本、必要条件和题型。同一条款被多个重叠块命中时,应按统一证据单位去重。近似改写应按组划分,避免落到不同集合。
面试回答
基线是改造前的原始系统,对照是包含父子分块、BM25 与 BGE-M3 混合召回、RRF 和重排的最终检索链路。在 200 余道题的离线测评集上,Recall@10 从 0.71 提升到 0.89,MRR@10 从 0.62 提升到 0.78,评价的是整套链路的证据覆盖与排序。
定位各环节收益时,采用组件对照方案:固定文档、分块、过滤规则和测评集,依次比较单路检索、两路融合及增加重排的效果;分块收益通过固定检索配置的另一组对照评价。整体对比回答链路是否改善,组件对照定位收益来源。
实现细节
实验记录需补齐原始系统与最终系统的完整配置、文档快照和结果文件。下表列出用于定位收益来源的组件对照方案,各组使用固定分块;父子分块对照单独固定检索与重排配置。
组件对照方案如下。
| 组别 | 检索配置 | 比较目的 |
|---|---|---|
| A | BGE-M3 单路向量检索 | 观察语义单路表现 |
| B | BM25 单路检索 | 观察关键词单路表现 |
| C | BM25 + 向量 + RRF | 观察两路互补与融合收益 |
| D | C + Reranker | 观察精排收益 |
| 原始系统 → 最终系统 | 固定评测口径,另存完整配置 | Recall@10:0.71 → 0.89;MRR@10:0.62 → 0.78,为整体收益 |
面试回答
按标准证据召回的定义,Recall@10 看前十条结果找回了多少标准证据,占这道题全部标准证据的比例,再对题目汇总。MRR@10 则看第一条正确结果排在哪里,第一名得一分,第二名得二分之一,前十都没有正确结果就得零,再计算平均值。
Recall 关注证据覆盖,MRR 关注第一条正确证据的排序。多证据问题中,MRR 反映模型多早能读到第一条正确依据,Recall 反映所需依据找回了多少。项目两项指标同时提升,说明最终链路在前十条结果的证据覆盖和首条正确证据排序上均有改善;回答质量再按条件完整性和引用支持情况检查。
实现细节
设有标准证据的评测题共 N 道,Gq 为第 q 题的标准证据集合,Rq,10 为前十条结果映射、去重后的证据集合。标准宏平均口径为:
Recall@10 = (1/N) × Σq |Gq ∩ Rq,10| / |Gq|。MRR@10 = (1/N) × Σq reciprocalRank(q);首条正确结果排名 r≤10 时取1/r,否则取 0。
例如一道题需要证据 A、B,前十仅在第 2 名命中 A,则该题 Recall@10 为 1/2,倒数排名为 1/2。同一原文被多个重叠子块命中不重复计证据。判断命中所需的原文范围覆盖规则也要固定,不能只看主题相似。
“前十是否至少命中一条正确证据”的题目比例通常称为 Hit@10;每题只有一条标准证据时,它与上述宏平均 Recall@10 一致。无答案题没有普通 Recall 的有效分母,应单独报告;宏平均、微平均和 Hit 口径也不能混用。
子块排序与父块补全后的证据覆盖需分开记录。
补充记录
简历表述:融合 BM25 与向量检索,经 RRF 合并候选、BGE Reranker 重排,并按知识库范围和用户权限过滤;Recall@10 从 0.71 提升至 0.89,MRR@10 从 0.62 提升至 0.78。
- 原始基线:旧系统的分块、召回、过滤、融合和重排配置,以及最终系统的对应版本。
- 指标口径:Recall 的分母与汇总方式、MRR 的正确命中定义、证据去重单位、统计阶段、无答案题处理及原始结果文件。
- 评测集:题型与数量、标注字段和复核流程、调参与最终评测是否分开、近似改写是否按组划分。
- 实验记录:实际完成的 Top-K、RRF 参数组合与组件消融,各组质量和耗时结果;初始配置与最终采用配置分开记录。
- 检索实现:全文索引引擎、中文分词、BGE-M3 部署版本及距离度量。
- 重排实现:Reranker 版本、tokenizer、实际输入预算、超长截断/分窗及分数聚合规则。
- 有效候选:后置校验位置、未完成入库版本的过滤,以及候选不足后的补位、扩召回和停止条件。