快速回顾
| 项目 | 内容 |
|---|---|
| 核心目的 | 上传与解析、分块、向量化解耦,支持大文件续传和任务恢复 |
| 处理链路 | MinIO 分片上传 → 合并确认 → MySQL 状态与 Outbox → Kafka → 后台处理 |
| 状态与恢复 | Redis Bitmap 记录进度;MinIO 校对实际分片;MySQL 保存阶段 checkpoint |
| 一致性 | 稳定业务键、条件更新、稳定 chunk ID upsert、Outbox 重试发布 |
职责与实现概述
文档解析、分块、向量化和索引写入耗时较长,大文件传输又容易受网络中断影响。入库链路将文件传输和后台处理解耦:MinIO 分片上传配合 Redis Bitmap 支持续传,Kafka 承接后续入库任务,使上传进度和处理进度能够分别跟踪、分别恢复。
文件上传采用 MinIO 分片上传,Redis Bitmap 记录已完成的分片。网络中断后沿用原上传会话,与 MinIO 的实际分片核对,再补传缺失部分。文件合并并确认可用后,在数据库事务中更新文档状态、写入 Outbox 事件,由发布器投递 Kafka 入库任务。
后台按阶段保存处理进度和产物,失败后从未完成的位置继续;通过稳定业务键和索引 upsert 处理重复消费。只有解析、分块和索引全部成功,文档才进入可检索状态。
原理与选型
面试回答
文件上传后还要解析、分块和向量化,所以通过消息队列把上传接口和后台处理解耦。选择 Kafka 首先是因为公司团队已有使用基础,可以沿用已有经验,减少引入另一套消息队列的学习和维护成本。
技术上,Kafka 通过日志顺序追加、批量发送和分区并行,适合承接较高吞吐的任务消息。集中上传时,任务可以先进入队列,再由消费者按处理能力消化,缓冲上传高峰与后台处理速度之间的差异。同时,Kafka 支持消息保留和按位点重放,便于追踪消费进度和失败后重新处理。
综合团队基础、分区扩展和消息重放需求,我们采用 Kafka。队列负责缓冲任务,后台通过阶段并发上限控制解析和向量化资源,通过幂等写入和 checkpoint 处理重复消费与失败恢复。
实现细节
Kafka 将记录追加到分区日志,顺序追加减少随机写入开销;生产者批量发送摊薄网络请求和 Broker 处理开销,分区支持分散存储及并行消费。文档处理能力则由解析、模型调用和索引写入各阶段的资源与并发决定。
batch.size 控制每个分区的批次大小,linger.ms 控制聚合批次的等待时间,调节时同时观察发送吞吐与排队延迟。压缩通过 CPU 开销换取更少的传输和存储量;acks、副本数和 min.insync.replicas 按写入可靠性与故障容忍要求配置。
Kafka 在消息保留期内支持按位点重新读取消息,重放时仍需检查业务任务状态。消费者组通过分配分区扩展消费能力,同一消费组的有效消费并行度受分区数量限制。
消费位点记录分区中的消息进度,业务 checkpoint 记录文档的阶段进度。任务投递、阶段完成和查询放行各有状态:消息发布后进入后台处理,必要阶段与索引全部完成后文档才可检索。
性能分析从消息排队、阶段处理和端到端入库三个层面展开,结合积压量、阶段耗时、在途任务数与下游限流定位瓶颈,再调整相应阶段的处理能力。
| 比较点 | Kafka | RabbitMQ |
|---|---|---|
| 任务传递 | 分区日志,消费者按位点读取 | 队列投递,消费者确认处理结果 |
| 本项目的取舍 | 团队已有 Kafka 使用基础,同时考虑吞吐扩展、消息保留、按位点重放与消费进度管理 | 任务队列和消息路由机制更直接,也能承担异步任务 |
| 扩展方式 | 顺序追加与批处理摊薄开销,通过分区并行扩展 | 通过队列与消费者配置扩展 |
| 消费扩展 | 消费者组分配分区,并行度受分区数限制 | 由队列及消费者配置决定 |
| 业务侧仍需处理 | 幂等、任务状态与失败恢复 | 幂等、任务状态与失败恢复 |
面试回答
原文件在 MinIO 中合并并确认可用后,系统通过 Outbox 发布入库任务。后台先解析文件,提取正文和页码等信息,再按文档结构划分父块和子块,保存正文、版本及父子关系。之后对子块进行向量编码,并写入全文索引和向量索引,供后续关键词检索和语义检索使用。
每个阶段都保存处理状态和产物,后一个阶段使用前一个阶段的结果。处理中断后,核对已完成阶段及其产物,从未完成的位置继续。本次文档版本所需的处理和索引全部完成后,再标记为可检索。
检索侧按文档版本核对入库状态,以必要处理阶段和索引均完成为放行条件,使查询使用完整入库的文档版本。
实现细节
上传分片按文件字节划分,合并后得到完整原文件,以 uploadId + partNumber 定位;正文分块发生在解析之后,按章节、条款和语义组织检索内容,以 chunk ID 关联索引与原文。
MySQL 保存文档版本、父子块正文、关联关系与阶段 checkpoint;全文索引保存用于 BM25 检索的子块文本,Milvus 保存 BGE-M3 编码后的子块向量及必要过滤字段。任务消息应引用文档版本和原文件位置,让后台从对象存储读取文件,避免把大文件直接塞进消息。
阶段完成以产物可用为依据:解析阶段核对正文和页码,向量化阶段核对子块向量,索引阶段确认目标版本的必要索引写入成功。失败时保存位置与原因,保留待处理状态。处理进度从持久化任务记录查询,上传分片进度从 Redis Bitmap 查询。
例如,同一文档版本的全文索引已写入、向量索引失败,此时阶段状态仍未完成。查询侧需要依据权威状态排除该版本;重试完成必要索引后,才具备放行条件。MySQL 中的完成状态需要与查询侧的放行检查配合,才能避免使用未完成版本的索引结果。
| 阶段 | 输入 | 产物与完成依据 |
|---|---|---|
| 上传与合并 | 原文件分片 | MinIO 中完整可用的原文件 |
| 文件解析 | 原文件 | 正文、页码等解析结果 |
| 正文分块 | 解析结果与文档结构 | 父子块正文、版本与关联关系 |
| 向量化 | 子块正文 | 对应编码配置的子块向量 |
| 索引写入 | 子块文本、向量与过滤字段 | 目标版本的全文索引和向量索引写入成功 |
| 完成入库 | 本次版本的阶段状态和产物 | 必要处理均已完成,文档才可检索 |
实现与恢复
面试回答
流程可以分成创建会话、上传分片、中断续传和合并确认。用户发起上传后,后端先校验文件信息和权限,再向 MinIO 创建分片上传会话,取得 uploadId。客户端沿用这个会话上传各个分片,Redis Bitmap 记录哪些分片已经完成。
网络中断后,先用原会话查询 MinIO 中实际存在的分片,校正缓存进度,再补传缺失部分。这样既不用从头上传,也不会因为 Redis 进度丢失或过期而误判文件已经传完。
所有分片齐全后,后端请求合并并确认目标文件完整可用,随后发布入库任务,后台继续解析和索引处理。
实现细节
uploadId 标识 MinIO 的一次 Multipart Upload,续传必须沿用对应会话。partNumber 标识分片序号,客户端保存每片上传后返回的 ETag,合并时按序号提交对应的 ETag 列表。
Redis Bitmap 用位记录分片完成情况,分片上传成功后更新对应进度。续传时以 MinIO 的实际分片列表为依据校正 Bitmap,再计算缺失分片。
合并确认后,在同一数据库事务中更新文档状态并写入 Outbox 事件,再由发布器投递 Kafka。上传状态与索引处理状态分别维护。
| 步骤 | 关键动作 | 具体记录或检查 |
|---|---|---|
| 创建会话 | 校验文件与权限,创建 Multipart Upload | 关联上传会话与 uploadId |
| 上传分片 | 按 partNumber 上传 |
保存对应 ETag,成功后更新 Bitmap |
| 中断续传 | 查询 MinIO 实际分片 | 校正缓存进度,只补传缺失分片 |
| 合并确认 | 按序号提交分片及 ETag 列表 | 确认目标对象完整可用 |
| 触发入库 | 数据库事务更新状态并写入 Outbox | 由发布器投递 Kafka,后续单独跟踪处理状态 |
面试回答
分片序号是连续整数,每个分片又只需要记录完成或未完成,用 Bitmap 比较合适。每个分片占一位,上传成功后把对应位设为一,查询时可以定位缺失分片,也可以统计已完成数量。重复把同一位设为一不会重复计数。
Bitmap 按上传会话隔离,分片序号映射到对应位,避免不同文件或不同上传尝试共用进度。它只记录完成标记,分片的 ETag 仍要另外保存,合并时交给 MinIO。Redis 进度丢失或过期后,先查询 MinIO 的实际分片列表,再恢复进度并补传缺片。
Set 也能记录已完成分片,适合编号比较稀疏或需要直接枚举成员的情况。这里分片序号连续、状态简单,因此使用 Bitmap;它用来加速进度查询,MinIO 中的实际分片仍是续传核对依据。
实现细节
若共有 N 个连续分片,Bitmap 的位数据约占 ceil(N / 8) 字节,Redis Key 和对象另有开销。编号稀疏时,位数据空间由最大位偏移决定,因此连续分片编号更适合这种表示。
分片编号与位偏移需要统一约定。例如 MinIO 的 partNumber 从 1 开始,可以映射到 partNumber - 1 的位偏移,先校验编号位于本次上传的合法范围,再执行 SETBIT;查询单片使用 GETBIT,统计已完成分片数使用 BITCOUNT。
进度 Key 按上传会话隔离,后台结合认证身份校验会话操作权限。同一文件重新创建会话时建立独立进度;ETag 列表、总分片数和目标对象信息保存到会话元数据中。
分片大小与上传并发需要结合文件规模、网络和对象存储约束选择。最后一片大小可能不同,已完成分片比例不一定等于已上传字节比例。清理进度前核对会话状态和实际分片,避免缓存过期后误删仍有效的上传。
面试回答
关键是同时控制拉取节奏、在途任务数和消费位点。解析和向量化可能耗时很长,单批拉取太多,再逐条串行处理,就容易超过两次 poll 的最大间隔。因此先按阶段处理能力限制批量和并发,让消费循环能够按时继续运行,后台也不会被任务压满。
如果耗时工作交给工作线程,消费线程仍负责 poll、暂停恢复和提交位点,工作线程只返回处理结果。缓冲队列满时暂停对应分区接收新任务,并继续维持消费循环;处理能力恢复后再接收。增加消费者只解决一部分并行度问题,解析、模型调用和存储仍各有资源上限。
位点按分区推进到连续完成或已持久化交接的位置;工作线程乱序完成时,等待前面的消息满足确认条件再提交。重平衡后,通过阶段状态识别已完成工作,通过幂等写入处理再次到达的任务。
实现细节
Kafka 的 max.poll.interval.ms 限制消费应用两次 poll 之间的最大间隔,超出时会触发重平衡;心跳与会话超时负责检测成员存活。max.poll.records 控制单次返回数量,应用另设在途任务上限控制累计负载。
直接在消费线程执行时,让批量和处理耗时与 poll 间隔相匹配;交给工作线程时,由消费线程统一操作 KafkaConsumer,协调拉取、暂停和位点提交,工作线程返回结果。分区暂停期间继续 poll,并通过有界缓冲实施背压。
按分区跟踪连续完成的消息,提交位点表示下一条待消费的位置。内存排队的任务等待执行完成后确认;采用持久化任务接管时,以任务记录落库并具备后续领取和恢复能力为交接条件,重平衡后的重复领取走业务幂等控制。
积压处理分别观察消息积压、文档排队时长、各阶段耗时、在途任务数与失败重试。消费者数量、分区数、解析并发和向量化并发围绕瓶颈阶段调整,并受下游限流与资源容量约束。
| 控制项 | 作用 | 配套要求 |
|---|---|---|
max.poll.interval.ms |
限制两次 poll 的间隔 | 按批量耗时安排 poll 节奏 |
max.poll.records |
限制单次 poll 返回数量 | 同时设置在途任务上限 |
| 分区暂停与恢复 | 暂缓拉取已分配分区的数据 | 暂停期间仍需 poll,也需限制应用缓冲 |
| 有界队列与阶段并发上限 | 控制待处理任务和资源使用 | 持久化交接成功后才满足相应确认条件 |
| 分区内连续完成位点 | 避免确认尚未完成的较早消息 | 配合业务幂等与阶段恢复状态 |
面试回答
幂等控制覆盖任务状态和索引写入两层。任务按文档版本和处理阶段区分,消费者收到重复消息时,已经完成的阶段直接跳过;状态推进通过数据库条件更新控制,避免两个消费者只凭一次状态查询就同时推进同一阶段。
索引写入使用稳定的 chunk ID 和 upsert。同一个子块重复处理时更新同一条记录,不会因为消息重放而新增一份重复索引。阶段产物和完成状态持久化之后,即使提交消费位点失败,消息再次到达,也能识别已经完成的工作。
实现细节
阶段业务键使用 documentVersionId + stage,对应同一文档版本的同一处理阶段。条件更新同时匹配业务键与预期状态,根据更新结果判断处理资格和状态推进;更新未成功时,重新读取当前状态再决定后续动作。
同一文档版本、同一切分配置下,chunk ID 在重复处理时保持一致。upsert 将重复写入落到同一条索引,阶段状态控制处理资格,checkpoint 支持复用已完成产物,分别解决写入幂等、并发推进和计算恢复问题。
checkpoint 记录阶段恢复位置,阶段完成前核对产物已持久化且可用。重复消息按当前状态决定跳过、等待或恢复;涉及非幂等外部副作用时,另外保存调用结果,恢复前核对实际执行情况或进行补偿。
| 层次 | 标识或机制 | 控制的内容 |
|---|---|---|
| 任务阶段 | documentVersionId + stage |
识别同一文档版本的同一处理阶段 |
| 状态推进 | 业务键、预期状态与数据库条件更新 | 避免只查后改造成并发重复推进 |
| 阶段完成 | checkpoint、持久化产物与完成状态 | 识别已完成工作,提供恢复依据 |
| 索引写入 | 稳定 chunk ID + upsert | 重复写入同一条记录,避免新增重复索引 |
| 外部副作用 | 调用结果记录与核对或补偿 | 单独处理无法直接幂等的外部操作 |
面试回答
失败后先保存文档版本、失败阶段和原因,再判断是否值得重试。模型超时、存储暂时不可用这类临时故障适合退避重试;文件损坏、格式不支持等需要修正输入的问题,则保留失败状态,停止重复执行同一份错误输入。临时故障达到重试上限后,也要保留可继续处理的失败记录。
恢复时先读阶段 checkpoint,再核对实际产物,从第一个未完成或产物不可用的阶段继续。例如解析结果已经保存,向量化超时,就复用解析和分块结果,继续处理向量化与索引,而不是重新上传、重新解析。Worker 重启和消息重放沿用同一套恢复逻辑。
位点确认以消息负责的工作完成或失败任务持久化交接为条件。交接记录包含任务标识、失败阶段与原因,确保后续重试或人工处理能够找到并接管任务。
实现细节
checkpoint 记录解析、分块、向量化等阶段的进度。恢复时核对状态与产物,产物缺失则重新处理对应阶段。重试记录失败类型、原因和次数,临时故障按退避策略执行,确定性错误或重试耗尽后转入持久化失败处理。
消费位点按消息职责确认:消息覆盖完整入库时,等待完整处理结束或持久化交接;消息按阶段拆分时,等待当前阶段完成且下一阶段任务可靠交接。分区位点推进到连续满足确认条件的位置。
业务恢复流程根据持久化的任务状态和失败记录接管后续处理;交接完成后再提交相应位点。异常日志用于排查,任务记录用于定位恢复阶段和重新执行。
| 情况 | 判断依据 | 处理边界 |
|---|---|---|
| 临时故障 | 超时、存储暂时不可用等 | 退避重试,受次数或执行预算限制 |
| 确定性错误或重试耗尽 | 失败类型、原因与已执行次数 | 持久化失败信息,再转后续处理 |
| Worker 重启或消息重放 | 阶段 checkpoint 与实际产物 | 从未完成阶段恢复,重复到达仍走幂等控制 |
| 某个阶段完成 | 阶段产物及状态已持久化 | 保存 checkpoint,不据此确认超出该阶段范围的整条消息 |
| 消息可确认 | 所负责的工作完成,或失败任务已可靠交接 | 才具备提交相应消费位点的条件 |
面试回答
链路分两段建立恢复依据:先核对 MinIO 目标对象是否完整可用,再通过数据库事务将文档状态与 Outbox 待发布事件一起落库。对象合并结果不确定时走上传恢复;状态与事件提交成功后,由 Outbox 发布器负责投递重试。
文件已经合并、数据库事务却失败时,根据同一上传会话、目标对象和文档版本核对记录,再恢复文档状态与待发事件。这样已上传文件可以继续用于入库,任务创建也有明确的持久化依据。
Kafka 暂时不可用时,待发布事件仍然保留在数据库,发布器可以继续重试,收到 Kafka 确认后才标记为已发布。如果消息已经发出,但发布器在更新标记前崩溃,事件可能再次发送,由消费端幂等处理。这样,数据库事务保证状态与待发事件一起落库,发布重试处理漏投递,消费幂等处理重复投递。
实现细节
MinIO 合并在数据库事务之外完成,Outbox 事务覆盖文档状态和待发事件。文件与数据库之间的恢复按上传会话、目标对象及文档版本对齐;数据库提交后的恢复则以待发布事件为依据。
发布器扫描已提交的待发布事件,收到 Kafka 确认后标记已发布。未收到确认、发送超时或结果不确定时保留重试资格;消息已送达但标记未更新时允许再次投递,由消费端按业务键和阶段状态幂等处理。
| 故障位置 | 已持久化的内容 | 后续处理依据 |
|---|---|---|
| MinIO 合并完成、数据库事务未成功 | 目标文件、上传会话关联记录 | 核对对象后恢复文档状态与待发事件 |
| 数据库事务执行 | 提交后文档状态与待发布事件同时落库 | 事务失败时两项数据库变更一起回滚 |
| Kafka 不可用或发送结果不确定 | 待发布事件仍保留 | 发布器继续重试,不提前标记已发布 |
| 已发送、更新标记前崩溃 | Kafka 可能已收到消息,事件仍待发布 | 再次投递,由消费端幂等处理 |
面试回答
先核对 MinIO 中的实际分片是否齐全。如果缺片或分片信息不一致,就保留仍有效的上传会话,补传或校正后再请求合并。
合并接口超时只表示未取得确定响应,恢复时需要核对目标对象是否已经完整生成。已经生成就继续后续入库;确认没有成功且原会话仍有效时,再重试合并。文件没有生成、原会话也已失效时,才需要重新创建上传。
只有确认原文件完整可用后才触发入库。失败过程中保留状态和原因,长期未完成的分片再按清理策略回收。
实现细节
合并前按 partNumber 核对分片及对应 ETag,并按序号提交合并列表。ETag 用于指定参与合并的分片,不直接当作原文件的完整性校验值。
合并成功会结束对应 Multipart Upload。请求超时后,先检查本次上传关联的目标对象,结合预期大小和内容校验确认完整性;对象尚未生成时,再查询会话是否仍有效,决定重试合并还是重新上传。
清理长期未完成的会话和分片前,需要检查任务是否仍有效,避免回收仍在上传或等待恢复的分片。
| 故障位置 | 具体检查 | 恢复方式 |
|---|---|---|
| 分片不完整 | MinIO 实际分片与预期列表 | 保留有效会话,补传缺失分片 |
| 分片信息不一致 | partNumber 与对应 ETag |
校正后重新请求合并 |
| 合并请求超时 | 本次上传关联的目标对象及完整性 | 已完成则继续入库,确认未完成且会话有效才重试 |
| 目标对象未生成、会话失效 | 同时核对对象与会话状态 | 重新创建上传 |
| 长期未完成 | 任务有效性与清理条件 | 按策略回收,避免清理仍有效的上传 |
验证与结果
面试回答
验证时要主动打断链路,再检查恢复后的业务结果。上传侧可以在传完部分分片后断网,确认重新连接后沿用原会话,只补传缺片;再清除缓存进度,确认系统能依据 MinIO 的实际分片恢复进度,最终文件与原文件一致。
入库侧重点检查重复消息、Worker 重启和下游暂时失败。恢复后,已完成的阶段应能复用,索引不应产生重复记录,未完成版本也不应出现在回答证据中。Outbox 则检查发送失败能否继续投递,以及发送成功但标记未更新时,重复投递是否仍得到正确结果。
可靠性核对关注续传结果、阶段复用、重复索引和查询放行;性能核对记录消息积压、排队时间、各阶段耗时及端到端入库耗时,用于定位后台处理瓶颈。
实现细节
验证场景和预期结果如下。
| 中断或故障位置 | 恢复操作 | 核对结果 |
|---|---|---|
| 部分分片上传后断网 | 使用原会话重新查询并续传 | 已有分片不重复传,缺片补齐;合并后大小与独立内容校验一致 |
| Redis 进度丢失 | 从 MinIO 分片列表恢复 | 不误报完成,不重新上传全部分片 |
| 阶段产物保存后 Worker 重启 | 重新领取或重放任务 | 已完成阶段被识别,失败阶段继续执行 |
| 相同任务重复到达 | 重复消费同一业务版本 | 状态不倒退,稳定 chunk ID 不产生重复索引 |
| 一路索引写入失败 | 重试该阶段并发起查询 | 完成前不放行该版本,必要索引完成后可查询 |
| Kafka 确认后发布器崩溃 | 重启发布器 | 允许重复投递,最终业务结果保持一致 |
补充记录
简历表述:基于 Kafka 将解析、分块与向量化转为后台任务;结合 Redis Bitmap 与 MinIO 分片上传实现大文件断点续传。
- 消费执行:单条消息负责完整入库还是一个阶段;同步处理、工作线程或持久化任务接管的实际选择;消费位点提交点及重平衡处理。
- 并发与重试:poll 配置、在途任务和阶段并发上限、重试载体与次数、失败任务的持久化接管方式。
- 查询可见性:未完成文档版本在全文索引与向量索引中的隔离方式,权威状态的查询校验位置。
- 上传恢复:合并成功但数据库事务失败时的恢复入口;上传会话与进度 Key 的关联、位偏移约定、分片大小、上传并发及清理周期。
- 状态反馈:任务进度和失败原因查询接口,以及消息负载中的实际字段。
- 验证依据:已执行的断网、重复消费、Worker 重启和 Outbox 故障场景记录;实际性能数据。