快速回顾
| 复盘点 | 核心内容 |
|---|---|
| 业务问题 | 农机手册包含表格、结构图和操作示意,纯文本提取容易丢失版面和图文关系 |
| 入库链路 | 上传 → 持久事件与 RabbitMQ → 渲染和原生文本 → 完整视觉索引发布 → 独立补文字 |
| 数据分工 | OSS 保存原件和页面图片;MySQL 保存当前内容修订、发布页面、文字和任务;Qdrant 保存派生索引 |
| 视觉检索 | ColQwen 对页面和查询生成多向量,通过后期交互匹配相关页面 |
| 生成依据 | 读取页面图片或对应文本,校验权限和版本,返回支持结论的页码引用 |
| 评测单位 | 按问题标注标准证据页,区分召回覆盖、排序质量和最终回答质量 |
| 测评结果 | Recall@10 = 0.945;MRR@10 = 0.798;NDCG@10 = 0.839 |
职责与实现概述
农机维修资料中的故障码表依赖行列和附注,结构图依赖部件位置及连线,操作步骤还可能跨页。文档入库同时保留文本和页面图片,通过页面视觉检索定位这些证据,使知识问答能够使用完整的图文资料。
入库侧通过持久事件和 RabbitMQ 异步执行页面渲染、原生文本提取和 ColQwen 编码,完整视觉索引成功后发布当前内容修订;缺文字时再独立调用 MinerU 补充解析。OSS 保存原件和页面图片,MySQL 保存当前修订、文字、页面与任务,Qdrant 保存派生索引。回答时读取同修订、同发布代次的页面或文字,核对当前权限并返回页码引用。
离线评测按问题标注标准证据页,Recall@10 达到 0.945、MRR@10 达到 0.798、NDCG@10 达到 0.839,分别衡量证据覆盖、首个相关结果的位置和整体排序质量。回答侧核对数值、适用条件及页码引用,将检索到的页面落实为可核对的答案依据。
文档处理与异步任务
面试回答
上传先登记原件存储意图,再把 PDF 存入 OSS,在业务事务中绑定文档当前内容修订并登记摄取事件。RabbitMQ 触发 Worker,调用 Runtime 渲染页面、提取原生文本,再使用 ColQwen 编码并把页面多向量写入 Qdrant。
完整视觉索引成功后,后端在文档锁和任务租约校验下发布页面及发布代次。缺文字的文档同时登记独立 parse_text 任务,由 MinerU 补充 OCR;文字解析失败保留其错误和重试状态,已经发布的视觉检索继续可用。原件阅读可以直接经过授权入口完成。
实现细节
| 阶段 | 产物与控制 |
|---|---|
| 原件上传 | 精确对象键及上传意图先登记,失败或未知结果进入存储清理 |
| 摄取登记 | 当前内容修订、任务和持久发布事件一起提交 |
| 页面处理 | Runtime 返回页数、页面图片及原生文本,图片存 OSS |
| 视觉索引 | 按批调用 ColQwen,写入本次执行代次隔离的 Qdrant 页面点 |
| 发布 | 锁内复核当前修订、租约及执行资格,原子发布页面和代次 |
| 独立补文字 | 缺文字时登记 parse_text,MinerU 结果校验页数、顺序及目标代次后更新 |
内容修订 content_revision 标识当前文件,执行代次 execution_generation 隔离处理尝试;发布指针决定哪一代页面可供检索。页面 ID 由文档、修订、代次和页码派生,查询命中后还要回查 MySQL 的当前修订与发布代次。尚未发布的页面点即使已写入 Qdrant,也不能进入回答上下文。
面试回答
文档页面渲染、OCR 和模型编码耗时长,大文件、扫描件的资源消耗差异也很大。如果都放在上传接口里,会长时间占用请求线程,用户也不容易区分上传失败还是后台解析失败。所以接口上传后返回任务标识,后台按资源能力处理,用户查询进度。
这里采用 RabbitMQ,主要因为它的任务队列、消费确认和路由机制适合平台当前的任务分发需求,也与已有技术栈匹配。MySQL 保存任务状态,消息触发执行,产物和状态持久化后再确认消息。临时故障有限重试,损坏文件等确定性错误记录原因并终止无效重试。
实现细节
消费者并发按照页面渲染、OCR 和编码服务的资源能力控制。队列消息确认与业务可检索状态分开,处理成功后同时核对产物与状态,避免只确认消息却丢失阶段结果。
面试回答
任务和持久事件在同一 MySQL 事务中登记,消息发布需要生产者确认并验证可路由;未完成发布的事件保留并重投。消费者按消息 ID 读取数据库任务,重新检查主体、组织和执行资格,完成负责的状态写入后再手动确认消息。临时错误有限重试,耗尽后进入死信。
并发和重投依靠任务的 owner、generation、lease 及当前内容修订隔离。每次取得新的摄取执行代次,都构建独立的页面和索引产物;发布前锁内重新验证,迟到 Worker 不能发布过期结果。文字补解析单独绑定已发布代次,过期目标不能覆盖新文件。
实现细节
- 事务到消息:任务与 Modulith 持久事件共用数据源和事务。Broker 不可用时保留发布登记,等待重投;确认消息进入有效路由后才完成登记。
- 领取与续租:领取生成 owner 和执行代次,长任务续租;每次外部调用或关键写入前检查当前执行资格。失租约后停止发布。
- 摄取重试:新代次使用独立对象前缀和页面点,重新构建完整视觉索引;同一代次中的稳定 ID 支持安全 upsert,新执行不会沿用旧代次的完成进度。
- 发布与清理:文档锁和任务锁内复核修订、代次与资格;清理按精确对象键或代次前缀登记,并排除当前原件、发布页面和有效租约引用。
- 失败与确认:失败先持久化任务状态,再进入重试或死信流程;消息确认与文档发布状态分别判断。消费者并发、预取及计算队列共同限制积压对 Runtime 的压力。
替换文件时取消旧任务并清空发布指针,旧 Worker 的迟到结果不能重新成为当前资料;外部上传结果未知时保留清理记录,持续复查迟到对象。
面试回答
原生文本提取适合带文字层的 PDF,扫描件或文字缺失页还需要 OCR。MinerU 用于补充这部分可读文字与复杂版面内容,帮助回答环节核对故障码、单位、表格附注和操作条件。
当前链路先发布完整视觉索引,再对缺文字的文档登记独立解析任务。Worker 把当前原件交给 MinerU,核对返回页数和顺序,填补缺失文字,并更新同修订、同发布代次的元数据。用户已能通过 ColQwen 找到页面,文字补齐后可以更方便地阅读和取证。
实现细节
文字解析与视觉索引有独立的进度和失败状态;解析失败进入自身的重试流程。写回前再核对目标发布代次,文件被替换或任务被取消时,旧解析结果失效。表格题读取完整行列标题和附注,结构图题还需读取页面图片、图例或相关区域,按实际读到的内容支撑结论。
视觉检索与证据使用
面试回答
ColQwen 是面向文档页面的多模态检索模型,可以把页面图片编码成多个向量,再与查询做细粒度匹配。农机资料中有大量表格、结构图和操作示意,纯文本提取可能丢掉布局或部件位置关系,页面检索能利用这些局部视觉信息查找相关页。
比如查询液压回路中某个阀的位置,页面多向量可以利用图中的局部信息定位相关页,再将页面图片、文字和图例送入回答环节核对。这个场景的价值是保留部件与管路的位置关系。页面编码、向量存储和匹配开销按页统计,查询时控制候选页数和证据量,使图文证据的使用与资源预算相匹配。
实现细节
常见文本检索与页面检索的差异见表。ColQwen 定位相关页面,回答环节再读取原文中的型号、数值和图例,将局部匹配结果转成具体证据。
| 比较点 | 常见文本向量检索 | ColQwen 页面检索 |
|---|---|---|
| 检索对象 | 提取后的文本块 | 文档页面图片 |
| 向量表示 | 通常每个文本块一个向量 | 每个页面多个向量 |
| 主要保留的信息 | 提取出的文字语义 | 页面文字、布局和视觉信息 |
| 资源开销 | 通常较低 | 页面编码、存储和匹配开销更高 |
面试回答
查询和文档页面都编码成多向量,通过 MaxSim 后期交互计算相关性。可以理解成查询的每个向量去页面向量中找最相似的一项,再汇总这些最大相似度,这样保留问题不同部分与页面局部内容的匹配关系,不必先把整页压成单个向量。
Qdrant 保存页面多向量,以及文档、内容修订、执行代次、页码和组织等过滤元数据。原文件与页面图片仍在 OSS,文档和页面业务关系在 MySQL,召回后要回查原始证据。查询与页面编码保持模型和配置兼容,升级导致向量空间变化时要重建相应索引,不能把不同模型的向量直接混用。
实现细节
设查询向量为 q_i、页面向量为 d_j,分数为 sum_i max_j sim(q_i, d_j),即对每个查询向量取页面侧最大相似度后求和。以归一化向量点积得到的相似度为例:
| 查询向量 | 页面向量 d1 | 页面向量 d2 | 页面向量 d3 | 本行最大值 |
|---|---|---|---|---|
| q1 | 0.2 | 0.8 | 0.1 | 0.8 |
| q2 | 0.6 | 0.3 | 0.4 | 0.6 |
该页 MaxSim 得分为 0.8 + 0.6 = 1.4。最大值分别来自不同页面向量,因此能保留问题不同部分的局部匹配。各候选页按此相关性分数排序,选出供后续读取和核对的证据页。
页面点使用名为 colqwen 的多向量字段,payload 包含如下定位与过滤信息:
{
"document_id": "doc-7",
"page_id": "8c77c6e1-752f-50b0-84f6-aac832a0ea24",
"content_revision": 3,
"execution_generation": 8,
"page_number": 12,
"organization_id": "42",
"library_scope": "organization",
"model_version": "encoder-v1"
}
集合使用 MaxSim 匹配,向量维度和模型配置一致。payload 用于候选过滤;最终有效性还需核对 MySQL 当前修订、发布代次及权限。页面图片、文字与引用沿同一定位读取,替换文件后旧页面不能因索引清理滞后而再次生效。
面试回答
视觉检索负责定位相关页面,原生文本或 OCR 提供模型可读取的文字、表格与注释。比如用户查故障码,先找到故障码表所在页,再读取对应行、列标题和适用条件,形成有具体内容支撑的回答。
回答链路将召回结果关联回具体版本和页面,校验后从 OSS 读取页面图片,并加载对应原生文本或 MinerU 结果。查故障码时加载表格行、列标题、单位和附注,问阀的位置时加载结构图及图例。页面向量完成相关性匹配,原图和解析内容提供生成证据。
实现细节
例如召回“故障码 E01”所在页后,证据内容需要包含 E01 对应行、含义列、排查步骤及适用机型,并保留页面 ID;只给一段缺少列标题的 OCR 文字可能造成错配。结构图问题则将页面图片连同图例交给具备视觉输入能力的生成环节。文本生成链路只使用已提取、能支撑结论的文字与结构化证据,缺少图中关系时需要补充图像理解结果或说明证据缺口。
页面图和文字通过同一内容修订、发布代次及页面 ID 对齐。候选只由 ColQwen 页面检索产生,原生文本和 OCR 用于命中后的阅读取证;视觉读取失败时可使用已有文字,ColQwen 检索故障则返回服务失败。
| 环节 | 输入与输出 | 主要职责 |
|---|---|---|
| 视觉检索 | 查询与页面多向量 → 相关页面 | 定位证据页 |
| 原生文本 / OCR | 页面 → 可读文本或结构化内容 | 提供文字、表格行列及注释信息 |
| 多模态生成 | 页面图片及相关文本 → 回答 | 结合视觉证据解释内容 |
| 纯文本生成 | 原生文本、OCR 或结构化内容 → 回答 | 需先提供可读证据,不能输入检索向量代替原文 |
面试回答
检索前按知识范围和元数据过滤,命中后回查 MySQL 的当前授权、文档生命周期、内容修订和发布代次。只有仍然有效的当前页面才能用于回答,索引滞后时的旧页面会被排除。
引用保留文档、内容修订、发布代次、页面 ID 和 PDF 物理页码,原文预览和下载时再次授权。替换文件会立即切换当前修订、清空旧发布指针并取消旧任务,旧引用随即失效;新文件处理失败保留当前处理错误,等待重新处理。
实现细节
| 标识或状态 | 作用 |
|---|---|
| 文档 ID | 持续标识同一份资料记录 |
content_revision |
标识当前原件的内容修订,替换时增加 |
| 发布代次 / 页面 ID | 确认引用来自当前成功发布的那次处理 |
page_number |
PDF 物理页序,用于原文定位 |
| 当前授权与生命周期 | 检索、页面读取、引用预览及原件下载分别复核 |
例如当前修订为 3、发布代次为 8,引用指向物理第 12 页;若正文印刷页码为 8,可在解释中标明两者关系,跳转仍按系统保存的物理页序。跨页步骤和警告条件分别关联支持页面。系统维护当前文件与当前发布页面,失效引用不能跳转到同名新文件的相似页。
评测与结果
面试回答
我们从农机手册、技术规范和操作资料中整理问题,覆盖文字参数、表格行列、图示部件、跨页条件,以及无答案或信息不足的场景。题目既有直接查询,也有业务中的自然表达,比如保养周期、适用型号、部件位置和多页操作要求。
每道题标注文档版本、参考答案及支持回答的证据页或片段,以标准证据页计算命中。调参集和测试集分开,同一道题的近似改写放在同一组;固定版本、证据和指标口径后比较检索配置,无答案题单独检查澄清和证据不足处理。
实现细节
各题型的标注重点见表。跨页问题保留完整证据页集合,表格标注对应行列、单位与注释,图示题标明支持信息。
| 题型 | 主要检查 | 标注重点 |
|---|---|---|
| 文本查询 | 条文与参数是否召回 | 文档版本、证据页或片段 |
| 表格查询 | 对应行列、单位与注释 | 能够支持结论的表格位置 |
| 图示查询 | 部件、结构或操作图定位 | 图示所在页及支持信息 |
| 跨页查询 | 多项证据是否覆盖 | 完整证据页集合 |
| 无答案或信息不足 | 是否正确拒答或澄清 | 不足原因,单独评估 |
面试回答
Recall@10 看前十条结果找全了多少标准证据;MRR@10 看第一个正确结果有多靠前;NDCG@10 进一步看高相关内容在整体排序中的位置,按名次折损收益,再与理想排序比较。
比如一道题有三个证据页,前十条找到了两个,Recall 就是三分之二;第一条正确结果在第二位,倒数排名就是二分之一。项目测得 Recall@10 为 0.945、MRR@10 为 0.798、NDCG@10 为 0.839,分别反映检索覆盖、首个相关结果位置和整体排序。回答侧继续核对事实、条件和引用,完整链路统计耗时与成本。
实现细节
计算含义见表。MRR 在前 10 条没有相关结果时记 0,再按题平均;NDCG 可以采用二元或分级相关性,但对照时标注与计算方式必须一致。无答案题单独检查拒答和澄清,不混入普通证据召回分母。
| 指标 | 计算含义 | 关注点 |
|---|---|---|
| Recall@10 | 前 10 条命中的标准证据数 ÷ 标准证据总数,再对问题取平均 | 证据是否找全 |
| MRR@10 | 第一个相关结果排名的倒数;前 10 条无相关结果记 0,再取平均 | 用户多久能看到第一个正确结果 |
| NDCG@10 | 对相关性收益按位置折损,再除以理想排序的收益 | 高相关结果是否整体排在前面 |
NDCG 的计算形式为 DCG@k = sum_i gain(rel_i) / log2(i + 1),NDCG@k = DCG@k / IDCG@k。IDCG 将同一组标准相关页面按收益从高到低放在理想位置后计算,不能只把实际召回到的页面重排来构造分母。
例如采用分级相关性与 gain(rel) = 2^rel - 1,两个标准页面的相关等级为 2 和 1,理想前两位 DCG 为 3 + 1/log2(3) ≈ 3.631;实际顺序反过来时为 1 + 3/log2(3) ≈ 2.893,NDCG@2 约为 0.797。采用二元标注时,相关页收益为 1、无关页为 0,排序越靠后折损越大。离线对照固定相关性等级、收益函数、截断位置及平均口径,避免配置变化导致指标不可比。
面试回答
对照纯文本检索与页面视觉检索时,围绕农机资料中的文本参数、表格、结构图和跨页问题,固定文档版本、问题及标准证据,分别比较证据覆盖和排序。图表题重点检查行列、部件位置和图例是否被完整保留,回答侧核对数值、条件与引用,使评价对应页面视觉检索的主要应用价值。
资源成本按入库和在线查询拆开统计:入库记录页面渲染、OCR、编码耗时与向量存储;在线记录查询编码、检索、证据加载和生成耗时,以及模型调用与上下文开销。项目现有 Recall@10、MRR@10、NDCG@10 给出页面检索的覆盖和排序结果;配置选择结合分题型证据质量与成本,控制页面向量数量、候选页数和生成证据量。
实现细节
- 对照固定语料版本、权限范围、问题分组与标准页集合,保持相同截断数量,并分别记录各方案的解析、编码和排序配置。
- 分题型记录 Recall、MRR、NDCG、证据完整率和引用支持情况;跨页题检查必要证据是否齐全,无答案题检查是否澄清或停止生成。
- 入库记录页数、页面图体积、OCR 与编码耗时、每页向量数、总存储和失败重试;同一规模的文档才能比较成本。
- 在线按冷缓存与预热、固定并发分别记录查询编码、Qdrant 查询、OSS 证据读取及生成耗时,观察端到端 P95、输入 token 和图片处理开销。
- 调整候选数量或压缩表示时,同步核对标准证据页覆盖、回答质量和端到端耗时,选择符合图文问题需求与资源预算的配置。
易混点与回答检查
视觉索引决定页面能否召回,原生文本和 OCR 提供阅读内容;引用绑定当前修订及发布代次,检索命中后继续核对当前权限和已读证据。