MCP-GRANITE 基准：面向基于 MCP 的 LLM 智能体的工具接口粒度测试

该论文提出开源可扩展基准 MCP-GRANITE，将工具接口粒度作为受控变量，在边缘与 IoT 场景下评估基于 MCP 的智能体。基准覆盖 9 个领域、81 个多步场景，设 4 种粒度层级，并在 9 个本地部署模型（268M 至 20.9B 参数）上完成 8,748 次试验，以任务完成率、工具选择 F1、参数准确率、延迟和资源占用为指标。

此前 MCP 相关研究多聚焦协议连通与工具调用能力，工具接口如何拆分这一设计变量缺少受控对照。该工作把它变成可复现的基准变量，并给出粒度与模型规模交互的量化结果，为接口设计和边缘部署选型提供了可比较的起点。

工具粒度决定智能体在单步中需要理解与选择的候选空间：过细拆分增加选择与参数拼装负担，单一巨型工具则要求模型自行完成功能定位与参数分解。4 工具左右的中间粒度让每步语义边界更清晰，从而降低选择歧义和参数错误，同时控制单次调用的上下文与规划长度。

对做 MCP 工具集成的团队，接口拆分不应只按功能模块随手切，而应作为可测参数纳入评测。边缘和本地部署场景尤其需要按最优粒度调优，而非一味堆模型规模；同时评测需同时跟踪完成率、参数准确率与延迟和资源，避免只优化单一指标。

• 在自有 MCP 工具集上复现 4 种粒度层级，用任务完成率与参数准确率选出业务最优拆分方案
• 为边缘设备产品建立以粒度、延迟和内存为核心的模型选型表，而非只看参数量
• 将工具选择 F1 与参数准确率纳入 MCP 接口上线的回归测试集
• 开发辅助工具，把现有粗粒度工具自动拆分为多工具候选并批量压测对比

• 该基准结论在云端大模型或非边缘场景下是否同样成立
• 4 工具的最优粒度是否依赖具体领域与任务复杂度，是否存在通用规律
• 8,748 次试验的指标波动范围与统计显著性未在证据中给出
• MCP-GRANITE 框架的具体可扩展接口与复现门槛尚不明确