Compare Against the Schema They Shipped, Not the One You Expected

Описание и применение

Система проверки вызовов exec была настроена на строгое сравнение с фиксированным JSON, но схема провайдера разрешала дополнительные поля, что приводило к ложным ошибкам. После исправления ожидаемый объект включил только обязательные поля и проверка осталась строгой.

Задача

A harness expected a specific JSON object for an exec tool call, but the provider’s schema allowed additional optional fields, causing a false mismatch error.

Результат

The harness now correctly identifies mismatches due to schema conflicts rather than false positives, preserving control integrity.

Рабочий процесс

• 1. Read provider’s exec schema to understand required fields.
• 2. Define a constant intent value for the harness.
• 3. Build the expected object with command and the constant intent.
• 4. Validate that the expected object has exactly two keys and matches the provider’s required set.
• 5. Compare the model’s actual JSON to the expected object using canonical JSON serialization.
• 6. If mismatch, report EXEC_ARGUMENTS_MISMATCH without altering the comparison logic.

Доказательства

The provider's exec schema — from the compiled artifact I ran, @truefoundry/[email protected], dist/core/sandbox/Sandbox.mjs

Источник

The expected object gate also got stricter…

Источник