Parent-Child Chunk 分层索引

⋯

快速回顾

项目 内容
核心思路 子块定位,父块补全;兼顾检索精度与条款完整性
处理链路 子块召回 → RRF → 子块重排 → 按父块去重 → 预算内补全上下文
调参参考 子块约 200~400 tokens;父块约 800~1500 tokens
存储分工 MySQL 保存正文与关系;全文索引保存子块文本;Milvus 保存子块向量

职责与实现概述

养老政策和机构制度中的具体条件需要精确定位,但单个片段又可能缺少适用范围和例外说明。Parent-Child Chunk 将用于召回的子块和补充上下文的父块分开处理,兼顾定位精度与条款完整性。

入库时,先按章节、条款等结构划分父块,再在父块内部划分主题更集中的子块,保存父子关系、文档版本和页码。检索时对较小的子块做 BM25 和向量召回,经过 RRF 融合与 BGE Reranker 重排,再根据命中的子块回溯父块,补充回答需要的完整依据。

回溯时按 parentId 去重,并根据上下文预算控制补充范围。父块尽量保留完整条款边界,避免将无关内容拼在一起,也避免重复内容占用上下文。具体切分粒度和补全范围结合文档结构与离线测评调整。

原理与选型

为什么不直接用固定切块加 overlap?

面试回答

固定切块加 overlap 可以补偿切分边界附近的信息,但政策的适用范围和例外说明可能相隔比较远,只增加相邻重叠,不一定能把这些条件一起带回来。overlap 过大还会增加重复文本,让相似片段占用召回名额。

父子分块由较小、主题集中的子块负责精确召回和重排,命中后按父子关系补回完整条款,让模型同时读到所问内容、前置条件和例外。子块可保留适量 overlap 补偿局部切分边界,父块则按条款结构补全更大范围的上下文。

父块负责补全同一条款的上下文;条款引用其他章节或附件时,继续沿引用关系读取或补充检索,取得相应依据。

实现细节

父子分块需要维护 parentId 与版本关系,并控制回溯预算。选择该方案的业务依据是政策、制度具有章节与条款结构,且遗漏限制条件会影响答案适用性。

方案 主要作用 需要注意
固定切块 控制片段长度,便于建立索引 可能拆开条件与例外,或混合多个主题
增加 overlap 补偿切分边界附近的信息 增加重复内容,未必覆盖远处附注
Parent-Child 子块精确定位,父块补齐结构化上下文 需维护父子关系并控制回溯预算

实现与调参

父块和子块分别多大?怎么确定?

面试回答

我们优先按文档结构切分,再设置长度上限。父块对应完整条款或章节中的独立主题,子块沿段落、句子边界细分,使检索主题集中。调参时以子块约 200 到 400 tokens、父块约 800 到 1500 tokens 为比较范围,结合条款结构选择粒度。

选择大小时,要同时看检索效果和回答完整性。子块太大可能混入无关主题,太小又可能失去必要指代;父块太大则会增加上下文成本。因此尺寸需要结合条款结构与评测确定,比较时同时观察召回、条件覆盖和 token 开销。

实现细节

过长章节按独立主题继续拆分,并保存章节关联。长度使用对应模型的 tokenizer 计算,补充的标题与必要指代信息一并计入预算。

例如,一个条款包含“适用对象—材料清单—例外说明”三个段落,父块可对应完整条款,子块沿段落进一步划分。材料清单被召回后,仍能通过父子关系读到同条款的对象与例外;如果条款过长,则需要继续按独立主题拆分并保留结构关联。

对象 调参参考范围 切分与检查重点
子块 约 200~400 tokens 按段落和句子边界,主题集中且可独立理解
父块 约 800~1500 tokens 尽量覆盖完整条款、适用条件和例外
参数选择 参考范围,结合文档与评测确定 比较召回、排序、条件完整性和上下文成本

面试回答

这套方案里,MySQL 保存文档版本、父子块正文和关联关系,子块上记录 parentId、章节路径和页码。用于检索的是子块,全文索引保存子块文本供 BM25 使用,Milvus 保存 BGE-M3 编码后的子块向量和必要过滤字段。

检索、融合和重排确定子块后,根据文档版本和 parentId 从 MySQL 直接回查父块。回查时校验父子版本一致、该版本适用于请求时间,以及用户当前具有访问权限。历史查询读取对应时点有效的旧版本,保留当时的条款依据。

实现细节

正文与父子关系以 MySQL 记录为准,全文索引和向量索引承担召回职责。父块回溯时同时使用文档版本与 parentId,防止不同版本之间错误关联。

例如 V1 的子块 C1、C2 都指向父块 P1,读取时使用 V1 与 P1 联合定位。子块保留原文件位置,补全父块后仍能将结论映射回 V1 的实际来源页。

组件 保存内容 主要用途
MySQL 文档版本、父子块正文、parentId、章节及页码 回查正文、父子关系、入库状态与时间适用性
全文索引 子块文本及过滤字段 BM25 关键词检索
Milvus BGE-M3 子块向量及过滤字段 语义召回
父块读取 按文档版本与 parentId 回查 补齐上下文,不另做一次父块向量检索

重排在回溯父块之前还是之后?为什么?

面试回答

我们先对子块重排,再回溯父块。子块内容比较集中,Reranker 更容易判断它是否直接回答问题,输入长度和计算成本也比较可控。等相关子块筛选出来后,再补回它所在的完整条款,供后续生成答案使用。

先重排子块能减少同一父块被重复评分及长文本截断的开销。切分时为子块保留标题、章节路径和必要指代信息,使 Reranker 能理解局部正文的含义,再为高相关子块补全条款。

实现细节

重排输入是问题与候选子块,父块装配服务于后续回答。对子块中“符合上述条件者”一类表述,需要保留足够的标题或上下文信息,避免相关性判断失去依据。

顺序 收益 主要代价或风险
先重排子块,再回溯父块 相关性判断集中,输入较短,成本可控 子块需要保留标题和必要指代信息
先回溯父块,再重排 可直接看到更大范围内容 重复与无关内容增加,相关条款可能被截断

面试回答

先按文档版本和 parentId 聚合,同一个父块只放进上下文一次,同时保留命中的子块和位置。父块排序需要结合子块相关性,一种简单方式是取最相关子块的得分,避免长章节因为子块多、累加分数高就天然排在前面。

如果同一父块的多个命中分别覆盖问题的不同条件,装配时保留各自的证据范围。重排后的十个子块可能聚合为两个父块,证据是否充足按问题维度的覆盖情况判断。缺少申请材料等必要维度时,再定向补查,并控制相关性和上下文预算。

实现细节

父块去重键使用文档版本与 parentId,子块位置用于围绕命中区域读取及定位引用。候选补充以未覆盖的问题维度为目标,并满足相关性与上下文预算要求。

排序示例:C1、C2 属于 V1/P1,重排分数为 0.9、0.8;C3 属于 V1/P2,分数为 0.85。若采用最高子块分数,P1、P2 的排序分数分别为 0.9、0.85;P1 只装配一次,但 C1、C2 的来源位置都保留。

父块太大,超过上下文预算怎么办?

面试回答

父块超过上下文预算时,围绕命中的子块补充所属条款,优先保留标题、适用条件和例外说明。同一父块中多个相邻或重叠的命中范围先合并,减少重复,不同父块再根据相关性分配 token 预算。

必要条件超出单次预算时,通过后续读取或补充检索分步查证;每项结论保留对应的适用条件与例外。当前回答范围由已取得的完整依据决定,后续调用继续处理剩余维度。

实现细节

预算装配保留原文位置和版本,截取片段后仍可回查。跨父块比较时,先检查问题各维度的证据覆盖,再按相关性分配剩余预算。

证据可用预算可按“模型上下文上限 − 指令与工具说明 − 当前问题、对话和任务状态 − 输出预留”估算,所有内容使用实际 tokenizer 计数。例如 P1 的两个命中范围在同一条款中重叠,可先合并范围,再计算标题、正文及引用元数据的总长度。

优先级 装配内容 控制方式
先保留 命中片段、所属条款、标题、适用条件与例外 围绕命中位置读取,避免只截取开头
再去重 同一父块内相邻或重叠范围 合并后装配
分配预算 不同父块的相关证据 按相关性分配 token 预算
仍有缺口 回答必须依赖但未读到的内容 补充读取、分步查证或缩小回答范围

PDF 表格、跨页条款怎么切?

面试回答

切分依据应是解析后的条款和表格结构,页码主要用于引用定位。一个条款即使跨了两页,只要编号、标题和正文是连续的,仍然需要关联起来,同时保留每个片段的来源页码。

表格要保留表名、表头、单位和附注。表格过大需要拆开时,每组数据行都带上必要表头,否则一个金额数字脱离照护等级和每人每月的单位就没有完整含义。跨页表格还要检查列结构和表头是否一致,不能只因为位置相邻就合并。最终引用指向真正支持结论的页面,涉及多页时保留多页来源。

实现细节

结构切分关注条款编号、标题层级、正文连续性以及表格列结构。金额、比例、计量周期和适用对象都属于证据的一部分,不能只索引单元格中的数值。

例如,同一条款跨第 4、5 页,父块可以关联两页正文;第 4 页子块记录自己的页内位置,第 5 页子块也保留独立位置。回答仅使用第 5 页某项材料时引用第 5 页,结论同时依赖两页时保留两侧来源。

面试回答

按命中子块记录的文档版本和父块关系回查,分别识别父块缺失、版本错配、文档状态变化和权限变化。当前请求排除错配或无权访问的候选,后台按文档与构建版本核对关联记录。

父块缺失时,若子块来源有效且权限通过校验,就检查其能否独立支持当前结论;缺少必要条件则继续补查,并保留待补依据。关联异常记录下来交由后台修复,回答使用校验通过且条件完整的证据。

实现细节

检查结果 当前查询的处理 后续核对方向
父块不存在 不装配虚构或同名父块,重新判断证据是否足够 父子记录是否完整、索引是否残留
父子版本不一致 排除错配组合 文档版本与索引构建版本、关联写入过程
版本对请求时间不适用 排除该证据,查请求时间对应版本 时间条件与政策关系
用户已无权访问 不返回正文 当前认证范围与索引过滤信息
文档尚未完成入库 不作为回答证据 入库状态及部分索引的隔离方式

评测与结果

怎么证明父子分块比原来的方案好?

面试回答

父子分块的评价重点是:子块能否准确定位条款,父块补全后能否保留适用条件和例外,以及为此增加多少上下文开销。对照时固定文档版本、测评集、embedding、检索与重排配置,比较固定切块加 overlap 和父子分块两种方式,同时记录 Recall@10、MRR@10、条件覆盖、引用支持情况、token 数与耗时。

标注以原文条款或范围为单位,将各方案命中的子块映射回同一份标准证据。这样即使切分后 chunk ID 变化,也能比较是否找到了相同依据。对“材料清单已命中,但适用对象或例外被切开”的题目,重点核对补全后条件是否齐全。

实现细节

分块对照固定检索和重排配置,混合检索对照固定分块。子块排序在父块扩展前统计,条件覆盖在证据装配后检查;项目整体检索结果见“混合检索与重排”的评测部分。

独立对照需要记录以下项目。

比较项 固定条件或观察参数
固定条件 文档及版本、评测集、embedding、检索与重排配置
主要变量 分块方式与上下文补充方式
证据覆盖与排序 Recall@10、MRR@10
回答质量 适用条件是否遗漏、例外是否误用、引用是否支持结论
成本 上下文 token 数与耗时
归因 整体链路提升与父子分块独立收益分开判断
补充记录

简历表述:通过子块召回定位相关内容,回溯父块补全条款与上下文。

  • 切分配置:实际结构识别规则、父子块长度、overlap、tokenizer 及标题补全方式。
  • 关联与排序:父子 ID 与文档/构建版本的关系、原文位置保存方式、父块得分聚合及候选补位策略。
  • 预算与读取:实际 token 预算、超预算后的读取入口与次数限制。
  • PDF 能力:解析工具、跨页条款与表格处理方式,无法识别结构时的处理。
  • 异常恢复:父块缺失、版本错配和索引残留的发现与修复方式。
  • 评测依据:独立分块对照、基线配置、条件遗漏案例及 token/耗时记录。
复盘手记

搜索笔记

输入关键词,搜索所有主题与问答。