图像识别服务与 MCP Server

⋯

快速回顾

复盘点 核心内容
业务目的 根据设备照片缩小机型范围,人工确认后用于资产关联和资料查询
识别模型 当前部署配置为 ConvNeXt Tiny;权重、类别映射与输入预处理一起加载
服务分工 PyTorch 负责推理,FastAPI 提供内部接口,Java 后端负责认证与业务处理
返回结果 Top-K 候选、置信度、模型版本和人工复核状态
结果使用 模型分数辅助候选排序,人工确认标准机型,业务服务校验具体资产关联
稳定性 输入校验、连接与读取超时、有界推理队列,识别不可用时支持手动选择
MCP 能力 图片识别、机型目录、知识检索、知识问答、故障排查、调度预览、维保准备、成本分析
调用边界 客户端模型选择工具,MCP Server 校验执行,后端统一控制权限与业务规则
权限与错误 当前用户权限 ∩ 客户端同意能力 ∩ 固定只读工具;区分空结果、证据不足与执行失败

职责与实现概述

录入农机或查询资料时,用户可以上传照片取得候选机型,再结合铭牌确认标准型号,继续查询对应说明书和维保资料。图像识别服务通过 PyTorch 推理、FastAPI 提供内部接口,Java 后端处理认证、图片校验、候选映射和人工复核。

识别结果返回 Top-K 候选、置信度和模型版本,用户结合铭牌等信息确认后,再关联标准机型,用于后续资料检索。服务调用设置超时和并发限制,模型不可用时支持手动选择机型,使识别结果能够衔接到平台中的资产与资料查询。

MCP Server 提供八项固定只读工具,组织用户登录并逐项同意后,外部客户端可读取共享知识和当前用户有权访问的组织资料、调度冲突与成本汇总。Backend 派生租户及经营范围并逐次复核权限;图片识别只做临时推理,业务工具返回预览和依据,实际安排、工单及费用变更通过业务入口执行。

业务场景与模型选择

图像识别在项目中解决什么问题?

面试回答

用户录入农机设备或查资料时,不一定知道准确型号。我接入图片识别服务,根据照片返回候选机型和置信度,先缩小范围,再让用户结合铭牌、品牌和设备参数确认标准机型。确认后,就可以继续查对应说明书、保养要求或故障资料。

不同系列和配置外观相近,角度、遮挡和背景也会影响分类,因此保留 Top-K 供用户比较。标准机型用于定位型号及对应资料,组织资产通过资产编号、归属和用户确认进一步关联,识别结果由此衔接到实际业务查询。

实现细节

图片识别辅助机型定位,再衔接知识问答。候选、模型版本和人工复核结果分别保存,最终确认的标准机型用于资料查询,具体资产关联由业务服务校验。

面试回答

当前部署配置使用 ConvNeXt Tiny,将农机照片分类为模型已知的机型候选。ConvNeXt 是采用现代网络设计的卷积架构,Tiny 是其中较小的规格。服务返回 Top-K 和分数,后端再做标签映射与复核处理。

接入时最关键的是权重、类别顺序和预处理一致。输入尺寸、RGB 转换和归一化影响模型看到的图片,类别映射决定输出索引对应哪个型号;这些配置需要随权重一起管理。模型计算封装在独立 Runtime 中,后端沿用候选和模型版本契约,升级模型时再验证映射、效果与资源开销。

实现细节

接入项 当前处理
模型架构 Compose 指定 ConvNeXt Tiny 权重;加载器显式支持 ConvNeXt Tiny、ResNet18,也可读取包含完整模型对象的 checkpoint
类别映射 从 checkpoint 的 classes 或按索引排序的 class_to_idx 读取
输入尺寸 优先读取 checkpoint 的 img_size,缺省使用服务配置
预处理 转为 RGB、缩放、转 Tensor,再按约定均值和标准差归一化
推理输出 Softmax 后取 Top-K,返回标签、分数和模型版本

机型分类面向照片中的设备,ColQwen 面向资料页面中的证据定位,两项能力各自管理权重、预处理和输出结构。

服务接入与结果处理

FastAPI、PyTorch 和 Java 后端分别负责什么?

面试回答

Java 后端负责用户认证、文件与业务校验,调用内部模型服务后,把候选标签映射为标准机型,再处理人工复核和业务关联。FastAPI 提供内部 HTTP 接口,负责图片解码与预处理,PyTorch 加载分类模型权重并完成推理,返回 Top-K、分数和模型版本。

模型服务主要做计算,不直接读取组织资产或工单,这样模型资源和业务服务可以分别部署、限流和升级。预处理中的尺寸、颜色通道和归一化要与训练配置一致,类别索引与机型标签也随权重管理,否则模型即使正常返回,也可能被映射成错误名称。

实现细节

组件职责和完整调用顺序见表与流程。Java 后端将分类结果转换为标准机型候选,用户确认后完成业务关联,整个请求由后端统一执行认证和资源校验。

组件 职责 关键约束
Java 后端 认证、文件校验、机型映射与复核流程 统一业务规则及访问范围
FastAPI 内部接口、图片解码与预处理 预处理与模型训练配置一致
PyTorch / ConvNeXt Tiny 模型加载与分类推理 权重、类别映射和模型版本一致
用户确认 结合铭牌等信息确认候选 确认后再完成业务关联
用户上传图片
    ↓
Java 后端:认证、文件校验、业务处理
    ↓
FastAPI:图片解码和预处理
    ↓
PyTorch / ConvNeXt Tiny:模型推理
    ↓
返回 Top-K、置信度和模型版本
    ↓
Java 后端:关联标准机型、返回候选
    ↓
用户确认后完成业务关联

Runtime 在内部按类别索引读取标签,接口返回标签、Top-K 分数和模型版本。Backend 根据标签查找标准机型,映射成功后返回机型信息;未匹配到有效机型的候选保留待确认状态。模型版本与类别映射共同决定标签含义。

人工复核分别记录推荐候选与最终选择:用户可以选另一候选,也可以从标准机型库手动选择。确认后的 modelId 用于资料检索;关联组织具体资产时,由业务服务校验资产归属和操作权限。模型候选、人工选择和资产关联分别保存,支持追踪从识别到业务使用的完整过程。

面试回答

农机相近型号的外观可能很接近,Top-K 可以保留多个候选,让用户结合铭牌和其他角度比较。模型输出的 Softmax 分数反映已知类别间的相对倾向,未经校准不能直接理解成这次识别正确的概率;一张不属于任何已知类别的图片也可能得到较高分。

当前后端按可配置的置信度阈值区分 accepted、review_required 和 failed,同时返回决策原因和策略版本。使用结果时还要核对标签与有效机型的映射;照片不清晰或候选接近时,可补照片、查看铭牌或手动选型。组织识别入口保存识别与复核记录,资产关联继续经过业务权限校验。

实现细节

分数含义及使用方式见表,复核检查项见列表。模型分数辅助排序,人工复核确定标准机型,资产关联进一步核对组织中的具体设备。

信息 判断依据 使用方式
Top-K 候选 外观相近的模型已知类别 结合铭牌、参数和其他角度比较
Softmax 分数 已知类别间的相对倾向 用于候选排序,未知类别结合输入检查和人工复核处理
Top-1 与 Top-2 差距 候选之间的接近程度 差距小时重点提示补照片或核对铭牌
标准机型与具体资产 型号及组织内设备记录 先确认标准机型,再按资产标识和归属建立关联
  • Top-1 分数是否足够高。
  • Top-1 与 Top-2 的差距是否明显。
  • 图片是否清晰,设备主体是否完整。
  • 候选类别是否能映射到有效标准机型。

模型服务超时或者不可用,怎么处理?

面试回答

输入问题和服务故障分别返回。格式错误、文件损坏、字节数或像素超限时,提示用户换图;模型未加载、连接失败或超时时返回不可用,让用户稍后重试或手动选择机型。Runtime 将识别放在独立串行计算通道中,限制在途请求数量,过载及时拒绝。

Backend 的内部调用设置连接和读取超时,MCP 还用总 deadline 约束令牌获取、Backend 请求和取消传播。一次失败保留明确错误,是否重新发起由调用方决定;重试前先区分输入错误、模型未就绪和暂时故障,避免重复提交放大压力。

实现细节

进入推理前验证格式、文件字节和解码结果,进一步限制单帧、总像素和资源占用。识别就绪接口检查权重、预处理和类别映射加载状态,与服务存活、PDF 及 ColQwen 就绪分别观察。

情况 当前处理
图片无效或超限 返回输入错误,修改图片后重新提交
模型未加载 返回不可识别,排查权重、类别与运行依赖
计算通道满 返回繁忙,限制继续进入的计算
推理完成但分数不足 按阈值返回复核或失败状态,结合铭牌及手动选型
连接/读取超时或 MCP 取消 返回相应失败或取消状态,不把故障当成已确认机型

验证时分别记录排队、服务调用和推理耗时,核对超时后界面仍可重传或手动选型;识别失败不阻塞正常业务录入。

MCP 工具与调用边界

面试回答

MCP 的全称是 Model Context Protocol,用于让 AI 应用以统一方式连接外部工具和数据。普通 HTTP 接口已经提供业务能力,MCP Server 再把这些能力描述为可发现的工具,提供工具说明、参数 Schema 和调用方式,方便支持 MCP 的客户端接入。

MCP Server 将识别、知识和三项业务只读能力封装为标准工具,执行时使用用户授权,复用 Java 后端的业务规则和访问范围。比如外部助手可以先识别图片,请用户确认机型,再调用知识问答查询保养要求。这样减少每个客户端分别理解和适配业务 API 的工作,业务实现和权限仍由原后端维护。

实现细节

工具能力见表。客户端模型与编排层根据工具描述选择调用,MCP Server 提供工具发现和调用适配,HTTP 服务承载实际业务。这一分工让客户端复用统一工具协议,同时由后端集中维护业务实现。

工具能力 解决的问题
图片识别 根据照片获取候选机型
标准机型查询 确认品牌、型号和机型类型
知识检索 查找相关手册与证据
知识问答 根据资料生成带引用的回答
故障排查 结合现象、故障码与资料给出排查建议
调度预览 核对指定设备、可选机手和时间窗口的冲突,不预留资源
维保准备 汇集登记保养基准、分页工单历史和手册候选
成本分析 按明确期间计算已审核 CNY 费用与有效计量的授权汇总

MCP 工具怎么定义,模型怎么选择工具?

面试回答

每个 MCP 工具都定义清楚名称、适用场景、输入 Schema 和返回结构,同时说明是否写入数据。客户端获取工具描述后,模型根据用户目标提出工具名和参数,客户端与 MCP Server 校验后执行,Java 后端再检查实际业务范围。

例如图片识别工具接收图片和文件信息,返回候选、置信度与复核建议;知识检索返回证据,知识问答基于证据生成回答。清晰的输入输出帮助客户端模型选择合适工具,MCP Server 收到调用后校验参数,Java 后端按当前授权用户核对访问范围并执行。

实现细节

工具发现返回名称、说明与 inputSchema,调用通过 tools/call 提交工具名及 arguments。下面以图片识别为例展示描述、调用和结果结构;返回内容区分候选、证据和业务回执,各参与方职责见表。

参与方 负责什么 执行依据
客户端模型与编排层 根据目标和工具描述提出调用 用户目标、工具说明及参数 Schema
MCP Server 工具发现、Schema 校验与调用处理 工具定义及已认证调用身份
Java 后端 实际业务能力与权限检查 授权用户、客户端同意能力、当前访问范围与业务规则
内部模型服务 执行图像等模型计算 通过校验的图片与模型配置
{
  "name": "farm_machinery_run_image_recognition",
  "description": "对单张农机图片执行一次不落库的型号推理,返回候选机型、置信度和复核建议",
  "inputSchema": {
    "type": "object",
    "properties": {
      "image_base64": {"type": "string", "minLength": 4, "maxLength": 11188908},
      "file_name": {"type": "string", "minLength": 1, "maxLength": 180, "pattern": "^[A-Za-z0-9][A-Za-z0-9._ -]*$"},
      "content_type": {"type": "string", "enum": ["image/jpeg", "image/png", "image/webp"]},
      "response_format": {"type": "string", "enum": ["markdown", "json"], "default": "markdown"}
    },
    "required": ["image_base64", "file_name", "content_type"],
    "additionalProperties": false
  }
}
{
  "jsonrpc": "2.0",
  "id": 1,
  "method": "tools/call",
  "params": {
    "name": "farm_machinery_run_image_recognition",
    "arguments": {
      "image_base64": "...",
      "file_name": "tractor.jpg",
      "content_type": "image/jpeg",
      "response_format": "json"
    }
  }
}

工具成功结果同时提供 content 和 structuredContent;选择 json 时,文本内容也是结构化结果的 JSON。识别字段包含 status、confidence、top_k、模型版本、复核标记和决策原因,references 标明推理结果未持久化。

图片 Schema 拒绝额外字段,file_name 必填,支持 JPEG、PNG、WebP;Base64 解码后还限制 8 MiB 字节数,再由后端和 Runtime 校验内容、像素及资源占用。调用中的图片内容须为实际编码,远程图片 URL 不作为输入。

三个业务工具使用 request.mode=candidates|query:同名资源先返回候选由用户选择,已有明确 ID 可直接查询。调度输入明确起止毫秒时间戳,成本输入起止日期;经营单元、场站只是当前授权内的筛选条件,组织身份由 Backend 派生。返回结构同时保留范围和分页信息,截短结果标注不完整。

MCP 的权限和错误怎么处理?

面试回答

用户通过浏览器登录 AMMS,对客户端逐项同意只读能力,MCP 使用取得的用户令牌调用 Backend。实际访问取当前业务权限、客户端同意能力和固定工具能力的交集;Backend 每次重新核对有效成员、动作和经营范围。知识包含平台共享及本组织可见资料,调度、维保和成本只返回授权范围内的预览、依据或汇总。

授权可以在个人中心撤销。权限变化在后续调用时重新生效,停用成员等操作还会撤销授权。工具结果区分成功空结果、证据不足、参数或权限错误、超时与服务不可用,客户端据此调整参数、澄清或重试。

实现细节

环节 约束
用户授权 授权码流程结合 PKCE S256,固定客户端和精确回调地址
每次调用 Backend 从令牌派生用户和租户,复核当前有效成员与业务授权
数据范围 用户权限、客户端同意 scope、固定工具能力取交集;平台账号不能取得租户能力
业务副作用 八项工具只读;识别不保存记录,调度不占用资源,维保不建工单,成本不生成单据
授权生命周期 普通浏览器退出保留独立 MCP 连接;修改密码、退出所有设备、成员停用或移除撤销授权
传输与取消 远程使用 Streamable HTTP,本地 stdio 通过同一用户授权桥接;取消传播到 Backend 请求

JSON-RPC 报文或方法错误使用协议错误响应;已进入工具执行后的可恢复业务错误,通过 isError: true 和可理解的错误内容返回。空结果属于成功观察,证据不足描述缺少的资料或条件;来源故障保留失败状态,不伪装成空列表。工具范围和当前用户权限都不能由模型声明扩大。

接入验证

面试回答

图像识别先验证完整业务链路:图片是否按模型要求预处理,返回的类别索引能否按版本映射到正确标准机型,Top-K 是否包含有用候选,以及用户改选后后续检索和资产关联是否使用最终选择。还要覆盖模糊、遮挡、未知类别和坏图片,保证不会把高分或服务失败直接当作已确认机型。

MCP 从工具发现开始验证,检查描述和 Schema 能否支持正确调用、非法参数是否被拒绝、结果及引用能否被客户端理解。重点测试租户隔离、同意能力与业务权限交集、撤销后的访问拒绝,以及空结果、证据不足与执行失败的区分。同时记录推理和工具调用的耗时、重试及资源占用,检查超时和过载后能否继续手动选型。

实现细节

验证范围 用例与核对标准
分类与映射 固定图片、模型版本和预期标准机型,核对类别索引、标签与业务映射
Top-K 与人工复核 统计正确机型是否进入候选;改选后保留原推荐,最终选择用于后续查询
异常与未知输入 模糊、遮挡、非农机、损坏文件、超大像素;返回候选待复核或明确输入错误
服务故障与容量 模型未加载、连接失败、慢响应、并发过载;总时间与排队有界,支持手动选择
MCP 发现与调用 工具可发现,Schema 必填项、字段类型、额外参数限制有效,调用返回结构可解析
用户授权边界 未同意能力、超出经营范围、跨租户资源及平台账号请求被拒绝;撤销、撤权及停用后不再返回受限数据
只读契约 MCP 识别不创建记录,调度不预留资源,维保不创建工单,成本只返回授权汇总
证据与错误分类 问答引用关联正确版本与页面;区分空结果、资料不足、协议错误和工具执行失败

每次验证关联请求 ID、模型与映射版本、候选、最终人工选择、工具名、错误类别和各阶段耗时。识别侧观察 Top-K 覆盖与人工改选情况,服务侧观察 P95、超时率、并发和重试次数,分别衡量候选实用性与接入稳定性。完整链路核对最终选择、资料引用及实际业务关联。

易混点与回答检查

识别分数用于候选排序,业务关联核对机型和具体资产;MCP 的用户授权独立于浏览器会话,工具能力受当前业务权限约束。

复盘手记

搜索笔记

输入关键词,搜索所有主题与问答。