Agentes LLM: presupuesto de latencia para email

Description and use

The article explains how to set a latency budget for LLM agents waiting for emails, using a clear contract with deadline and poll_interval, and structured evidence to avoid ambiguity and improve diagnostics.

Problem

Un agente LLM que espera un email con una instrucción vaga puede quedarse dando vueltas o declarar éxito por accidente, ya que no hay límite de tiempo, señal de cancelación ni evidencia de cada consulta.

Outcome

Implementar un presupuesto de latencia con deadlines y poll_intervals, junto con un contrato de observación estructurado, reduce errores de diagnóstico, mejora la trazabilidad y facilita pruebas en CI.

Workflow

• 1. Definir contrato con estados, run_id, deadline y regla de coincidencia.
• 2. Adaptar proveedor de inbox temporal y entorno local.
• 3. Inyectar reloj controlable para pruebas de expiración.
• 4. Registrar intentos, latencia y resultado sin exponer cuerpos completos.
• 5. Describir entradas y salidas del LLM con ejemplos de expired y ambiguous.
• 6. Probar escenarios de entrega rápida, tardía, mensaje duplicado y viejo.

Evidence

Un agente LLM que espera un email suele tener una instrucción muy vaga: “comprueba si llegó”.

Source

El agente no necesita decidir todos esos números. El orquestador puede entregarle un deadline y el tiempo restante.

Source

Los estados principales pueden ser pending, observed, expired, cancelled y ambiguous.

Source