I Gave an LLM the Keys to Rewrite Its Own Prompt — Then Built a Gate That Said No 4,150 Times
Описание и применение
Разработан безопасный конвейер само‑улучшения подсказок, использующий локальную модель Qwen 4B и детерминированный шестимерный шлюз, который гарантирует 0% ложных положительных результатов и выявляет все атакующие изменения.
Задача
Building a self‑improving prompt optimizer risks unsafe edits; the gate must be deterministic and conservative to prevent drift and false promotions.
Результат
Zero false positives, 5/5 adversarial edits caught, 12/12 Docker tests passed, 489/489 unit tests passed, 4,150 LLM calls at $0.00 cost.
Рабочий процесс
- 1. Agent executes task and stores trace in SQLite
- 2. Feedback Analyzer (LLM) reviews trace and proposes prompt edits
- 3. A/B Test Engine runs candidate vs current prompt on a 40‑task set
- 4. Promotion Gate applies six deterministic checks in order
- 5. If all pass, promote; if near‑miss, log for human review; if reject, archive reasoning
Доказательства
Gate false positive rate 0% (all runs, all domains)
Sample floor — Minimum A/B trials completed. Default 5.
4,150 LLM calls in the full field test: $0.00.
- Дата записи: 2026-09-07T04:07:34.035Z