Function Calling 我的理解是这样一套机制:开发者用 JSON schema 把工具描述好传给模型,模型判断需要调工具的时候不输出自然语言,而是直接输出一段结构化的 tool_calls JSON,告诉你「我要调哪个函数、参数是什么」,你的代码拿到这段 JSON 去真正执行,把结果塞回对话,模型再生成最终答案。
整个流程本质上是两轮对话:第一轮模型说「我需要调这个工具」,你去执行,第二轮模型拿到执行结果说「答案是这个」。
我觉得最核心的设计是,模型全程只做决策,执行的事情一律由宿主代码完成,职责分得很清楚。
这道题我分两块来讲:模型怎么被训练出工具调用能力,以及训练好之后运行时是怎么工作的。
训练层面靠两个阶段:
-
SFT(监督微调,Supervised Fine-Tuning):给模型喂大量「工具调用示范对话」,让它通过模仿学会「看到工具描述 -> 判断要不要调 -> 输出结构化 JSON 请求」这整套流程;
-
RLHF(基于人类反馈的强化学习,Reinforcement Learning from Human Feedback):收集人类对「哪种回答更好」的判断,训练一个打分器,再用这个分数反复调整模型,让它学会什么时候不应该调工具。
运行层面,每次请求时,你的应用代码把工具描述(叫 schema,可以理解为工具的说明书)传给模型,模型如果判断需要工具,就输出一段结构化的 tool_calls JSON;你的代码拿到这段 JSON 去真正执行,把结果塞回对话,模型再给出最终答案。
有一点非常关键:模型全程只是在「下指令」,真正执行工具的是你的代码,不是模型本身。这套「模型决策、代码执行」的运行时机制,就是我们常说的 Function Calling。
Function Call 的能力主要靠两个训练阶段来培养,这两个阶段解决的是不同的问题。
第一个是 SFT,就是给模型喂大量「包含工具调用的完整对话样本」,每条样本覆盖工具定义、用户问题、模型应该输出的结构化 JSON 调用、工具执行结果、最终答案,让模型通过模仿学会整套流程。但光有 SFT 不够,模型可能学得过激,遇到什么问题都想调工具。
第二个阶段是 RLHF,通过人类标注「哪种回答更好」来训练奖励模型,再用强化学习调整主模型,让它学会「能直接回答的就直接回答,需要实时数据才去调工具」这个边界感。
一句话总结:SFT 教会怎么调,RLHF 教会什么时候调。
我理解 MCP 是一套连接 AI 应用与外部工具、数据的开放协议。它统一了能力发现和调用方式,让兼容的 AI 应用复用同一个 MCP Server,减少重复对接。
架构里,Host 是 AI 应用,负责模型交互、上下文和权限;Client 是 Host 内部的通信组件,每个 Client 对接一个 Server;Server 提供外部能力。所以一个 Host 可以通过多个 Client 接入多个 Server。
服务端的三类主要能力是 Tools、Resources 和 Prompts,分别提供可调用的功能、上下文数据和提示模板。Tools 既可以只读,也可以写入,不能单纯按有没有副作用来区分。
一次工具调用中,模型通常通过 Function Calling 提出工具名和参数,Host 检查授权,通过 Client 请求 Server 执行,再把结果交给模型生成回答。这样就能看出 Function Calling 和 MCP 怎样配合。
底层消息使用 JSON-RPC 2.0,标准传输方式有适合本地进程通信的 stdio,以及适合独立服务部署的 Streamable HTTP。
MCP 由三层组成,可以从角色、能力、协议三个维度来理解。
角色层有三个:Host 是 AI 应用本身(比如 Claude Desktop),Client 是 Host 里负责和 Server 通信的模块,Server 是工具提供方实现的独立进程,一个 Host 可以同时连多个 Server。
能力层定义了 Server 能暴露三类东西:Tools 是有副作用的操作(比如创建文件、调 API),Resources 是只读数据(比如读取文档内容),Prompts 是预定义的提示词模板。
协议层是底层通信:消息格式统一用 JSON-RPC 2.0,传输方式支持 stdio(本地子进程通信)和 Streamable HTTP(远程 HTTP 连接)两种,早期的 HTTP+SSE 双端点方案在 2025 年 3 月的规范更新里被标记为 deprecated。
这三层合在一起,就是 MCP 的完整组成。
我理解这两者不是竞争关系,解决的不是同一层面的问题。
Function Calling 是「调用语言」,定义的是模型怎么表达「我要调哪个函数、参数是什么」;MCP 是「工具生态协议」,定义的是工具怎么标准化打包、注册和被 AI 客户端发现。
MCP 底层其实还是用 Function Calling 来触发工具调用,只是在它之上加了一套工具管理框架,让工具实现一次、到处复用。
打个比方:Function Calling 像 HTTP 请求格式,MCP 像 REST API 的设计规范加服务注册发现机制,两者是不同层次的东西。
关于实际跑过的经验,我用 Claude Desktop 配过文件系统和 GitHub 的 MCP Server,在配置文件里加几行就能用,Claude 会自动发现工具,完全不用写对接代码。
如果只是给单个应用接一两个工具、场景临时、不需要复用,Function Calling 就够了,简单直接,不需要引入额外的进程和配置。
但只要工具需要跨项目或跨团队复用、或者数量多了管理麻烦、或者社区已经有现成的 MCP Server 可以直接配置,MCP 就值得上了。
判断的核心问题只有一个:这个工具会不会在这个应用之外被用到?会的话,把它封装成 MCP Server 是更长远的选择。
此外,做 Agent 系统的话更应该选 MCP,工具来源多、数量大,手写 Function Calling 的维护成本会让代码变得难以管理。
我理解根本原因是两者的生成范式有冲突。
推理模型在给出答案之前,会先跑一段完整的「思维链」,这个 thinking 过程是一次性连续生成的,不能中途打断。但工具调用天然是多轮交互:模型输出调用请求、暂停等工具执行、拿到结果再继续生成,这两种模式没法兼容。你没法在思考链跑到一半的时候暂停去等工具结果,否则之前的推理上下文全断了。
而 MCP 底层就是靠 Function Calling 驱动的,推理模型连 Function Calling 都支持不好,MCP 自然也用不了。
当然这个问题不是无解的,后来 o3 和 Claude Extended Thinking 都找到了折中方案,比如让工具调用发生在思考阶段结束之后,保证思考过程还是一次性完整生成的。
Agent Skill 是把「指令、脚本、模板」一体化打包成可复用能力包的机制,关键在于三件事:Agent 能自动发现它、按需加载它、在需要时调用里面的脚本和资源。它不只是「存 prompt」,而是一份 Agent 能自己翻阅的「操作手册 + 工具箱」。每个 Skill 是一个文件夹,里面有一份 SKILL.md 指令文件,还可以带上脚本、模板、参考文档这些资源。
它和普通 prompt 最大的区别是:Skill 能被 Agent 自动发现和按需加载,不用你每次手动输入;和 MCP 工具的区别是:MCP 给 Agent 提供外部工具和数据的访问能力,而 Skill 教 Agent 拿到这些工具和数据之后该怎么用。
MCP 和 Agent Skill 不是同类概念,不是竞争关系,而是互补的。
MCP 解决的是「Agent 怎么获得外部能力」,它把数据库、API、文件系统这些外部工具标准化封装成服务,Agent 通过 MCP 就能查数据、调接口、读写文件。
Skill 解决的是「Agent 拿到这些能力之后,该按什么步骤、什么标准来完成任务」,它把完成某类工作的知识和流程打包成可复用的模块。
简单记:MCP 是给 Agent 配的电脑和软件,Skill 是给 Agent 发的操作手册和 SOP。在实际系统里,两者经常同时工作,Skill 定义流程,流程中调用 MCP 提供的工具。
这三个概念在不同层次工作,不是竞争关系。
Function Calling 是最底层的调用协议,解决的是「模型怎么调函数」,模型输出结构化 JSON 告诉程序该调哪个函数、传什么参数。
MCP 在 Function Calling 之上做工具标准化,解决的是「工具怎么暴露给模型」,把数据库、API 这些外部能力封装成标准化服务,一次实现到处复用。
Agent Skill 在最上层做知识和流程的封装,解决的是「拿到工具之后按什么流程完成任务」,把执行步骤、标准、脚本、模板打包成可复用模块。
简单记就是:Function Calling 是语言,MCP 是工具箱,Skill 是操作手册。
A2A 是 Google 发布的开放协议,专门解决多个 AI Agent 之间怎么互相通信协作的问题。
我理解它和 MCP 的区别是这样的:MCP 解决的是「单个 Agent 怎么连工具和数据」,A2A 解决的是「多个 Agent 之间怎么分工协作」。
一个 Agent 通过 A2A 可以把子任务委托给另一个专业 Agent,接收方按自己的 Skill 声明承接,支持异步长任务和流式推送结果。
两者是互补的,不冲突:MCP 向下连工具,A2A 向上连 Agent,在复杂的多 Agent 系统里这两个通常都要用到。
MCP 支持两种主要的传输方式,分别适用于不同场景。
本地场景用 stdio,Client 把 Server 作为子进程启动,通过标准输入输出通信,延迟极低,不用开端口,也没有网络安全问题,我用 Claude Desktop 接本地工具走的就是这种方式。
远程场景现在推荐用 Streamable HTTP,Server 作为独立的 HTTP 服务部署,多个 Client 可以共享同一个 Server,适合团队统一管理工具服务。
底层消息格式都统一用 JSON-RPC 2.0,传输方式只影响「怎么传」,消息协议本身不变。
我觉得最核心的区别是通信方向:SSE 是服务端单向推,客户端只能接收,想发消息只能另起一个 HTTP 请求;WebSocket 是全双工,双方都可以随时主动发消息。
对于 LLM 流式输出这种「模型一直在推 token、用户只是看」的场景,SSE 完全够用,而且轻量、HTTP 原生支持、运维简单,OpenAI 和 Anthropic 的 API 用的都是 SSE。
WebSocket 的复杂性只有在真正需要双向实时交互的时候才值得引入,比如用户要在模型说话过程中随时打断。
两者各有局限:SSE 在 HTTP/1.1 下有连接数上限,只支持文本传输;WebSocket 有状态、横向扩展麻烦,还容易被企业代理或防火墙拦掉。大多数 LLM 文字对话产品用 SSE 就够了。
我理解核心原因是 WebSocket 基于 TCP,而 TCP 的可靠性设计在实时语音场景里反而是负担。
语音可以容忍丢包,但绝对不容忍延迟;一旦网络抖动丢了包,TCP 强制等重传,后续所有音频都得跟着等,延迟一堆积通话就卡。
WebRTC 走的是 UDP,丢包了不等重传,直接用插值算法填补,用一点点音质损失换来稳定的低延迟,延迟能控制在 50 到 150 毫秒。
另外 WebRTC 还内置了回声消除、噪声抑制、自适应码率这些语音处理能力,这些用 WebSocket 都得自己实现。
所以 OpenAI Realtime API 这类实时语音产品选 WebRTC,就是因为 TCP 根本撑不住语音场景的延迟要求。
我用过 LiteLLM,它是目前最活跃的开源 LLM 网关。我理解网关本质上是架在应用和模型 API 之间的中间层,主要解决几个实际问题。
第一是多模型统一接口,业务代码只调一个地方,想换模型只改网关配置,不用动应用代码;第二是 API Key 集中管理,不用每个服务都存一份,降低泄漏风险。
第三是限流和配额,可以给不同团队分别设 token 预算,防止某个团队把整个公司的额度用光;第四是成本追踪,所有请求的 token 用量都在网关记录,方便统计哪个服务最烧钱。
还有一个我觉得挺实用的能力是语义缓存,两个用户问了语义相近的问题,直接命中缓存返回上次的结果,根本不打底层模型,省钱还降延迟。
工具很多时,我不会把全部 Schema 都塞给模型,而是做分层 Tool Routing。
首先维护统一的工具注册表,给工具补齐命名空间、标签、适用场景、参数 Schema、权限、风险等级和可用状态。每次请求先用产品范围、租户、用户角色、环境和当前任务状态做硬过滤,把无权调用或当前不可用的工具直接隐藏。
接着做两级召回。一级用规则或轻量分类模型判断工具类别,比如检索类、订单类、支付类;二级在相关类别内,用关键词、BM25、Embedding 或混合检索召回少量候选工具。最后只把候选工具的完整描述和 Schema 动态绑定给 LLM,让它判断是否调用、选哪个工具以及怎样填参数。
Tool Routing 路由的是「工具候选集」,Multi-Agent Routing 路由的是「任务由哪个 Agent 接手」,这两个层次可以配合,但不能混为一谈。
上线后我会同时看候选工具的 Recall@K、最终工具选择准确率、无工具场景的拒选准确率、参数合法率、任务成功率、工具 Schema Token、端到端延迟和越权暴露率。低置信度时优先澄清或扩大召回,不能让模型猜一个高风险工具直接执行。
我会把工具调用拆成「决策 -> 校验 -> 执行 -> 确认 -> 恢复」五个阶段,每个阶段使用不同的处理方式。
模型选错工具、JSON 不合法或缺少参数时,先用结构化输出和 Schema 拦截,再把明确的校验错误交给模型重生成。参数满足 Schema 后,服务端还要检查业务约束、用户身份、工具权限和风险级别,不能信任模型自己判断权限。
进入执行阶段后,我只对限流、连接失败和部分 5xx 这类瞬时故障做有界重试,并同时满足三个条件:调用可以安全重放、总时间预算还有余量、重试次数没有超限。退避要加抖动,遇到 Retry-After 就尊重服务端建议。参数错误、权限不足和明确的业务失败应该修参数、重新规划或询问用户,不能原样重试。
付款、发邮件、创建订单这类工具还要处理「结果未知」。我会在第一次调用前生成幂等键并写入 Checkpoint,重试和恢复时复用同一个键;超时后先按幂等键查询状态,确认没有执行再决定是否重试。查不清时暂停任务并转人工,避免重复副作用。
系统还需要熔断、降级、故障转移和统一的结构化错误。Trace 里记录每次调用的工具版本、参数摘要、耗时、重试决策、幂等键摘要和最终状态,敏感参数要脱敏,方便告警、复盘和审计。
封装成 CLI,主要是为了让工具流程能够独立运行,并被不同调用方复用。业务逻辑与聊天状态分开以后,同一套能力既能给 Agent 调用,也能给开发者调试、脚本和定时任务使用,不需要每次都启动整个 Agent 应用。
另一个好处是便于调试和自动化。CLI 有明确的参数、结果和退出状态,工具出错时,可以拿对应输入和环境单独运行,检查是工具本身的问题,还是 Agent 选错了工具、传错了参数。机器调用时,还可以把结构化结果与诊断日志分开,避免靠终端里一句「成功」判断业务是否完成。
流程里已经确定的步骤,也可以由工具代码统一组织。模型负责选择工具和填写参数,宿主负责启动 CLI、接收结果,再交回模型,内部步骤就不用每次重新编排。
不过,CLI 会增加进程启动、数据传递和部署成本,也不会自动提供权限隔离。它更适合需要独立运行、多入口复用的工具流程;只在当前程序里使用的小函数,直接调用通常更合适。
主要看调用方的接入需求和维护成本。CLI 提供命令行执行入口,MCP 约定客户端与服务端怎样发现和调用能力,两者可以组合,不一定要互相替换。
如果只有一个可控的 Agent 宿主,已经有稳定的 CLI,直接适配通常更简单:宿主维护工具说明,把模型生成的参数转换成命令参数,再解析执行结果。如果一项能力要被多个兼容 MCP 的宿主复用,MCP 就更有价值,工具描述、参数结构和调用方式可以通过统一协议提供,减少重复接入。
已有 CLI 可以由 MCP Server 包装,业务逻辑继续复用。部署位置则要单独考虑:MCP 能通过 stdio 连接本地进程,也能通过 Streamable HTTP 提供网络服务;CLI 本身也可以访问远程 API。最终还要比较依赖安装、版本维护、调用开销和权限管理,不能只按「本地用 CLI、远程用 MCP」来选。
核心是让代码只拿到当前任务需要的权限,并把资源消耗限制在预算里。模型生成的代码要按不可信代码处理,不能只靠 Prompt 约束,也不应该直接继承宿主的全部权限。
执行环境可以只提供本次任务的输入,把输入设为只读,给临时目录和输出目录写权限,用低权限身份运行。网络按需开放,宿主凭据和管理接口不交给代码。资源限制则要覆盖 CPU、内存、进程数量和运行时间,并作用于整个任务的进程集合,而不只是启动的那个进程。
容器可以作为实现,但需要检查挂载、权限和网络配置,而且普通 Linux 容器共享宿主内核。面对任意用户代码或更高的隔离要求,可以评估虚拟机等更强边界,同时考虑启动成本和兼容性。
任务由沙箱外的运行器管理:准备输入,启动受限执行,超时或取消时终止整个执行单元,核对并导出允许的产物,最后清理环境。沙箱负责限制代码的影响范围,结果是否符合业务要求,还要另外验证。
Skill 通常采用渐进式加载。宿主先发现可用的能力包,读取 SKILL.md 里的名称和描述,形成一份轻量目录。模型根据任务和描述判断需要哪个 Skill,或者由用户明确指定,再把对应正文读进上下文。
正文提供操作步骤,详细参考、模板和脚本留在包里,执行到需要它们的步骤时再取用。这样模型先知道有哪些能力,用到时才读具体方法,不需要启动就加载所有手册和资源。
这里的加载主要是在补充模型当前的工作信息,不会更新模型参数,也不等于执行脚本。脚本仍然要通过工具调用,由宿主检查参数和权限后运行。文件发现、正文读取和上下文维护由宿主完成,所以安装了 Skill,不代表模型已经读到了它,更不代表相关操作已经发生。