Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

I Gave an LLM the Keys to Rewrite Its Own Prompt — Then Built a Gate That Said No 4,150 Times

Описание и применение

Разработан безопасный конвейер само‑улучшения подсказок, использующий локальную модель Qwen 4B и детерминированный шестимерный шлюз, который гарантирует 0% ложных положительных результатов и выявляет все атакующие изменения.

Задача

Building a self‑improving prompt optimizer risks unsafe edits; the gate must be deterministic and conservative to prevent drift and false promotions.

Результат

Zero false positives, 5/5 adversarial edits caught, 12/12 Docker tests passed, 489/489 unit tests passed, 4,150 LLM calls at $0.00 cost.

Рабочий процесс

  • 1. Agent executes task and stores trace in SQLite
  • 2. Feedback Analyzer (LLM) reviews trace and proposes prompt edits
  • 3. A/B Test Engine runs candidate vs current prompt on a 40‑task set
  • 4. Promotion Gate applies six deterministic checks in order
  • 5. If all pass, promote; if near‑miss, log for human review; if reject, archive reasoning

Доказательства

Gate false positive rate 0% (all runs, all domains)

Источник

Sample floor — Minimum A/B trials completed. Default 5.

Источник

4,150 LLM calls in the full field test: $0.00.

Источник

  • Дата записи: 2026-09-07T04:07:34.035Z