快速回顾
| 复盘点 | 核心内容 |
|---|---|
| 业务目的 | 根据设备照片缩小机型范围,人工确认后用于资产关联和资料查询 |
| 识别模型 | 当前部署配置为 ConvNeXt Tiny;权重、类别映射与输入预处理一起加载 |
| 服务分工 | PyTorch 负责推理,FastAPI 提供内部接口,Java 后端负责认证与业务处理 |
| 返回结果 | Top-K 候选、置信度、模型版本和人工复核状态 |
| 结果使用 | 模型分数辅助候选排序,人工确认标准机型,业务服务校验具体资产关联 |
| 稳定性 | 输入校验、连接与读取超时、有界推理队列,识别不可用时支持手动选择 |
| MCP 能力 | 图片识别、机型目录、知识检索、知识问答、故障排查、调度预览、维保准备、成本分析 |
| 调用边界 | 客户端模型选择工具,MCP Server 校验执行,后端统一控制权限与业务规则 |
| 权限与错误 | 当前用户权限 ∩ 客户端同意能力 ∩ 固定只读工具;区分空结果、证据不足与执行失败 |
职责与实现概述
录入农机或查询资料时,用户可以上传照片取得候选机型,再结合铭牌确认标准型号,继续查询对应说明书和维保资料。图像识别服务通过 PyTorch 推理、FastAPI 提供内部接口,Java 后端处理认证、图片校验、候选映射和人工复核。
识别结果返回 Top-K 候选、置信度和模型版本,用户结合铭牌等信息确认后,再关联标准机型,用于后续资料检索。服务调用设置超时和并发限制,模型不可用时支持手动选择机型,使识别结果能够衔接到平台中的资产与资料查询。
MCP Server 提供八项固定只读工具,组织用户登录并逐项同意后,外部客户端可读取共享知识和当前用户有权访问的组织资料、调度冲突与成本汇总。Backend 派生租户及经营范围并逐次复核权限;图片识别只做临时推理,业务工具返回预览和依据,实际安排、工单及费用变更通过业务入口执行。
业务场景与模型选择
面试回答
用户录入农机设备或查资料时,不一定知道准确型号。我接入图片识别服务,根据照片返回候选机型和置信度,先缩小范围,再让用户结合铭牌、品牌和设备参数确认标准机型。确认后,就可以继续查对应说明书、保养要求或故障资料。
不同系列和配置外观相近,角度、遮挡和背景也会影响分类,因此保留 Top-K 供用户比较。标准机型用于定位型号及对应资料,组织资产通过资产编号、归属和用户确认进一步关联,识别结果由此衔接到实际业务查询。
实现细节
图片识别辅助机型定位,再衔接知识问答。候选、模型版本和人工复核结果分别保存,最终确认的标准机型用于资料查询,具体资产关联由业务服务校验。
面试回答
当前部署配置使用 ConvNeXt Tiny,将农机照片分类为模型已知的机型候选。ConvNeXt 是采用现代网络设计的卷积架构,Tiny 是其中较小的规格。服务返回 Top-K 和分数,后端再做标签映射与复核处理。
接入时最关键的是权重、类别顺序和预处理一致。输入尺寸、RGB 转换和归一化影响模型看到的图片,类别映射决定输出索引对应哪个型号;这些配置需要随权重一起管理。模型计算封装在独立 Runtime 中,后端沿用候选和模型版本契约,升级模型时再验证映射、效果与资源开销。
实现细节
| 接入项 | 当前处理 |
|---|---|
| 模型架构 | Compose 指定 ConvNeXt Tiny 权重;加载器显式支持 ConvNeXt Tiny、ResNet18,也可读取包含完整模型对象的 checkpoint |
| 类别映射 | 从 checkpoint 的 classes 或按索引排序的 class_to_idx 读取 |
| 输入尺寸 | 优先读取 checkpoint 的 img_size,缺省使用服务配置 |
| 预处理 | 转为 RGB、缩放、转 Tensor,再按约定均值和标准差归一化 |
| 推理输出 | Softmax 后取 Top-K,返回标签、分数和模型版本 |
机型分类面向照片中的设备,ColQwen 面向资料页面中的证据定位,两项能力各自管理权重、预处理和输出结构。
服务接入与结果处理
面试回答
Java 后端负责用户认证、文件与业务校验,调用内部模型服务后,把候选标签映射为标准机型,再处理人工复核和业务关联。FastAPI 提供内部 HTTP 接口,负责图片解码与预处理,PyTorch 加载分类模型权重并完成推理,返回 Top-K、分数和模型版本。
模型服务主要做计算,不直接读取组织资产或工单,这样模型资源和业务服务可以分别部署、限流和升级。预处理中的尺寸、颜色通道和归一化要与训练配置一致,类别索引与机型标签也随权重管理,否则模型即使正常返回,也可能被映射成错误名称。
实现细节
组件职责和完整调用顺序见表与流程。Java 后端将分类结果转换为标准机型候选,用户确认后完成业务关联,整个请求由后端统一执行认证和资源校验。
| 组件 | 职责 | 关键约束 |
|---|---|---|
| Java 后端 | 认证、文件校验、机型映射与复核流程 | 统一业务规则及访问范围 |
| FastAPI | 内部接口、图片解码与预处理 | 预处理与模型训练配置一致 |
| PyTorch / ConvNeXt Tiny | 模型加载与分类推理 | 权重、类别映射和模型版本一致 |
| 用户确认 | 结合铭牌等信息确认候选 | 确认后再完成业务关联 |
用户上传图片
↓
Java 后端:认证、文件校验、业务处理
↓
FastAPI:图片解码和预处理
↓
PyTorch / ConvNeXt Tiny:模型推理
↓
返回 Top-K、置信度和模型版本
↓
Java 后端:关联标准机型、返回候选
↓
用户确认后完成业务关联
Runtime 在内部按类别索引读取标签,接口返回标签、Top-K 分数和模型版本。Backend 根据标签查找标准机型,映射成功后返回机型信息;未匹配到有效机型的候选保留待确认状态。模型版本与类别映射共同决定标签含义。
人工复核分别记录推荐候选与最终选择:用户可以选另一候选,也可以从标准机型库手动选择。确认后的 modelId 用于资料检索;关联组织具体资产时,由业务服务校验资产归属和操作权限。模型候选、人工选择和资产关联分别保存,支持追踪从识别到业务使用的完整过程。
面试回答
农机相近型号的外观可能很接近,Top-K 可以保留多个候选,让用户结合铭牌和其他角度比较。模型输出的 Softmax 分数反映已知类别间的相对倾向,未经校准不能直接理解成这次识别正确的概率;一张不属于任何已知类别的图片也可能得到较高分。
当前后端按可配置的置信度阈值区分 accepted、review_required 和 failed,同时返回决策原因和策略版本。使用结果时还要核对标签与有效机型的映射;照片不清晰或候选接近时,可补照片、查看铭牌或手动选型。组织识别入口保存识别与复核记录,资产关联继续经过业务权限校验。
实现细节
分数含义及使用方式见表,复核检查项见列表。模型分数辅助排序,人工复核确定标准机型,资产关联进一步核对组织中的具体设备。
| 信息 | 判断依据 | 使用方式 |
|---|---|---|
| Top-K 候选 | 外观相近的模型已知类别 | 结合铭牌、参数和其他角度比较 |
| Softmax 分数 | 已知类别间的相对倾向 | 用于候选排序,未知类别结合输入检查和人工复核处理 |
| Top-1 与 Top-2 差距 | 候选之间的接近程度 | 差距小时重点提示补照片或核对铭牌 |
| 标准机型与具体资产 | 型号及组织内设备记录 | 先确认标准机型,再按资产标识和归属建立关联 |
- Top-1 分数是否足够高。
- Top-1 与 Top-2 的差距是否明显。
- 图片是否清晰,设备主体是否完整。
- 候选类别是否能映射到有效标准机型。
面试回答
输入问题和服务故障分别返回。格式错误、文件损坏、字节数或像素超限时,提示用户换图;模型未加载、连接失败或超时时返回不可用,让用户稍后重试或手动选择机型。Runtime 将识别放在独立串行计算通道中,限制在途请求数量,过载及时拒绝。
Backend 的内部调用设置连接和读取超时,MCP 还用总 deadline 约束令牌获取、Backend 请求和取消传播。一次失败保留明确错误,是否重新发起由调用方决定;重试前先区分输入错误、模型未就绪和暂时故障,避免重复提交放大压力。
实现细节
进入推理前验证格式、文件字节和解码结果,进一步限制单帧、总像素和资源占用。识别就绪接口检查权重、预处理和类别映射加载状态,与服务存活、PDF 及 ColQwen 就绪分别观察。
| 情况 | 当前处理 |
|---|---|
| 图片无效或超限 | 返回输入错误,修改图片后重新提交 |
| 模型未加载 | 返回不可识别,排查权重、类别与运行依赖 |
| 计算通道满 | 返回繁忙,限制继续进入的计算 |
| 推理完成但分数不足 | 按阈值返回复核或失败状态,结合铭牌及手动选型 |
| 连接/读取超时或 MCP 取消 | 返回相应失败或取消状态,不把故障当成已确认机型 |
验证时分别记录排队、服务调用和推理耗时,核对超时后界面仍可重传或手动选型;识别失败不阻塞正常业务录入。
MCP 工具与调用边界
面试回答
MCP 的全称是 Model Context Protocol,用于让 AI 应用以统一方式连接外部工具和数据。普通 HTTP 接口已经提供业务能力,MCP Server 再把这些能力描述为可发现的工具,提供工具说明、参数 Schema 和调用方式,方便支持 MCP 的客户端接入。
MCP Server 将识别、知识和三项业务只读能力封装为标准工具,执行时使用用户授权,复用 Java 后端的业务规则和访问范围。比如外部助手可以先识别图片,请用户确认机型,再调用知识问答查询保养要求。这样减少每个客户端分别理解和适配业务 API 的工作,业务实现和权限仍由原后端维护。
实现细节
工具能力见表。客户端模型与编排层根据工具描述选择调用,MCP Server 提供工具发现和调用适配,HTTP 服务承载实际业务。这一分工让客户端复用统一工具协议,同时由后端集中维护业务实现。
| 工具能力 | 解决的问题 |
|---|---|
| 图片识别 | 根据照片获取候选机型 |
| 标准机型查询 | 确认品牌、型号和机型类型 |
| 知识检索 | 查找相关手册与证据 |
| 知识问答 | 根据资料生成带引用的回答 |
| 故障排查 | 结合现象、故障码与资料给出排查建议 |
| 调度预览 | 核对指定设备、可选机手和时间窗口的冲突,不预留资源 |
| 维保准备 | 汇集登记保养基准、分页工单历史和手册候选 |
| 成本分析 | 按明确期间计算已审核 CNY 费用与有效计量的授权汇总 |
面试回答
每个 MCP 工具都定义清楚名称、适用场景、输入 Schema 和返回结构,同时说明是否写入数据。客户端获取工具描述后,模型根据用户目标提出工具名和参数,客户端与 MCP Server 校验后执行,Java 后端再检查实际业务范围。
例如图片识别工具接收图片和文件信息,返回候选、置信度与复核建议;知识检索返回证据,知识问答基于证据生成回答。清晰的输入输出帮助客户端模型选择合适工具,MCP Server 收到调用后校验参数,Java 后端按当前授权用户核对访问范围并执行。
实现细节
工具发现返回名称、说明与 inputSchema,调用通过 tools/call 提交工具名及 arguments。下面以图片识别为例展示描述、调用和结果结构;返回内容区分候选、证据和业务回执,各参与方职责见表。
| 参与方 | 负责什么 | 执行依据 |
|---|---|---|
| 客户端模型与编排层 | 根据目标和工具描述提出调用 | 用户目标、工具说明及参数 Schema |
| MCP Server | 工具发现、Schema 校验与调用处理 | 工具定义及已认证调用身份 |
| Java 后端 | 实际业务能力与权限检查 | 授权用户、客户端同意能力、当前访问范围与业务规则 |
| 内部模型服务 | 执行图像等模型计算 | 通过校验的图片与模型配置 |
{
"name": "farm_machinery_run_image_recognition",
"description": "对单张农机图片执行一次不落库的型号推理,返回候选机型、置信度和复核建议",
"inputSchema": {
"type": "object",
"properties": {
"image_base64": {"type": "string", "minLength": 4, "maxLength": 11188908},
"file_name": {"type": "string", "minLength": 1, "maxLength": 180, "pattern": "^[A-Za-z0-9][A-Za-z0-9._ -]*$"},
"content_type": {"type": "string", "enum": ["image/jpeg", "image/png", "image/webp"]},
"response_format": {"type": "string", "enum": ["markdown", "json"], "default": "markdown"}
},
"required": ["image_base64", "file_name", "content_type"],
"additionalProperties": false
}
}
{
"jsonrpc": "2.0",
"id": 1,
"method": "tools/call",
"params": {
"name": "farm_machinery_run_image_recognition",
"arguments": {
"image_base64": "...",
"file_name": "tractor.jpg",
"content_type": "image/jpeg",
"response_format": "json"
}
}
}
工具成功结果同时提供 content 和 structuredContent;选择 json 时,文本内容也是结构化结果的 JSON。识别字段包含 status、confidence、top_k、模型版本、复核标记和决策原因,references 标明推理结果未持久化。
图片 Schema 拒绝额外字段,file_name 必填,支持 JPEG、PNG、WebP;Base64 解码后还限制 8 MiB 字节数,再由后端和 Runtime 校验内容、像素及资源占用。调用中的图片内容须为实际编码,远程图片 URL 不作为输入。
三个业务工具使用 request.mode=candidates|query:同名资源先返回候选由用户选择,已有明确 ID 可直接查询。调度输入明确起止毫秒时间戳,成本输入起止日期;经营单元、场站只是当前授权内的筛选条件,组织身份由 Backend 派生。返回结构同时保留范围和分页信息,截短结果标注不完整。
面试回答
用户通过浏览器登录 AMMS,对客户端逐项同意只读能力,MCP 使用取得的用户令牌调用 Backend。实际访问取当前业务权限、客户端同意能力和固定工具能力的交集;Backend 每次重新核对有效成员、动作和经营范围。知识包含平台共享及本组织可见资料,调度、维保和成本只返回授权范围内的预览、依据或汇总。
授权可以在个人中心撤销。权限变化在后续调用时重新生效,停用成员等操作还会撤销授权。工具结果区分成功空结果、证据不足、参数或权限错误、超时与服务不可用,客户端据此调整参数、澄清或重试。
实现细节
| 环节 | 约束 |
|---|---|
| 用户授权 | 授权码流程结合 PKCE S256,固定客户端和精确回调地址 |
| 每次调用 | Backend 从令牌派生用户和租户,复核当前有效成员与业务授权 |
| 数据范围 | 用户权限、客户端同意 scope、固定工具能力取交集;平台账号不能取得租户能力 |
| 业务副作用 | 八项工具只读;识别不保存记录,调度不占用资源,维保不建工单,成本不生成单据 |
| 授权生命周期 | 普通浏览器退出保留独立 MCP 连接;修改密码、退出所有设备、成员停用或移除撤销授权 |
| 传输与取消 | 远程使用 Streamable HTTP,本地 stdio 通过同一用户授权桥接;取消传播到 Backend 请求 |
JSON-RPC 报文或方法错误使用协议错误响应;已进入工具执行后的可恢复业务错误,通过 isError: true 和可理解的错误内容返回。空结果属于成功观察,证据不足描述缺少的资料或条件;来源故障保留失败状态,不伪装成空列表。工具范围和当前用户权限都不能由模型声明扩大。
接入验证
面试回答
图像识别先验证完整业务链路:图片是否按模型要求预处理,返回的类别索引能否按版本映射到正确标准机型,Top-K 是否包含有用候选,以及用户改选后后续检索和资产关联是否使用最终选择。还要覆盖模糊、遮挡、未知类别和坏图片,保证不会把高分或服务失败直接当作已确认机型。
MCP 从工具发现开始验证,检查描述和 Schema 能否支持正确调用、非法参数是否被拒绝、结果及引用能否被客户端理解。重点测试租户隔离、同意能力与业务权限交集、撤销后的访问拒绝,以及空结果、证据不足与执行失败的区分。同时记录推理和工具调用的耗时、重试及资源占用,检查超时和过载后能否继续手动选型。
实现细节
| 验证范围 | 用例与核对标准 |
|---|---|
| 分类与映射 | 固定图片、模型版本和预期标准机型,核对类别索引、标签与业务映射 |
| Top-K 与人工复核 | 统计正确机型是否进入候选;改选后保留原推荐,最终选择用于后续查询 |
| 异常与未知输入 | 模糊、遮挡、非农机、损坏文件、超大像素;返回候选待复核或明确输入错误 |
| 服务故障与容量 | 模型未加载、连接失败、慢响应、并发过载;总时间与排队有界,支持手动选择 |
| MCP 发现与调用 | 工具可发现,Schema 必填项、字段类型、额外参数限制有效,调用返回结构可解析 |
| 用户授权边界 | 未同意能力、超出经营范围、跨租户资源及平台账号请求被拒绝;撤销、撤权及停用后不再返回受限数据 |
| 只读契约 | MCP 识别不创建记录,调度不预留资源,维保不创建工单,成本只返回授权汇总 |
| 证据与错误分类 | 问答引用关联正确版本与页面;区分空结果、资料不足、协议错误和工具执行失败 |
每次验证关联请求 ID、模型与映射版本、候选、最终人工选择、工具名、错误类别和各阶段耗时。识别侧观察 Top-K 覆盖与人工改选情况,服务侧观察 P95、超时率、并发和重试次数,分别衡量候选实用性与接入稳定性。完整链路核对最终选择、资料引用及实际业务关联。
易混点与回答检查
识别分数用于候选排序,业务关联核对机型和具体资产;MCP 的用户授权独立于浏览器会话,工具能力受当前业务权限约束。