We read the schemas of 4,951 public MCP servers

Описание и применение

Исследование выявило, что 21,8 % параметров в схемах публичных MCP‑серверов не описаны, 17,4 % инструментов имеют одинаковые описания, а размер схемы может достигать 280 000 токенов. Предложены рекомендации по улучшению описаний и проверке коллизий.

Задача

MCP server tool schemas often lack descriptive clarity, leading to ambiguous tool selection and potential model errors.

Результат

The study revealed widespread schema deficiencies, quantified their prevalence, and offered concrete guidance for improving tool and parameter descriptions to reduce model ambiguity.

Рабочий процесс

• Collect tool schemas from Smithery registry or local servers
• Validate registry data against real server responses
• Analyze parameter descriptions for presence and distinctiveness
• Compute tool description distinctiveness per server
• Measure token cost of schema transmission
• Identify enum usage and enforceability
• Generate actionable recommendations for server maintainers

Доказательства

59,038 of 270,487 parameters — 21.8% — ship with no description.

Источник

17.4% of tools are exactly zero distinctive.

Источник

Median server: 4,991 bytes, roughly 1,250 tokens

Источник