I open-sourced DomA: an AI automation agent for the browser

Описание и применение

DomA – расширение для Chrome/Edge, которое запускает AI‑агента в боковой панели, сохраняя сессии и расширения пользователя. Агент использует снимки экрана с индексацией элементов, внутренний цикл Jev для уменьшения запросов к LLM и навыки для повторного использования процедур, повышая точность автоматизации на реальных сайтах.

Задача

Browser automation agents often fail on real sites due to fragile selectors, slow LLM round‑trips, and lack of reusable procedures.

Результат

DomA reduces LLM round‑trips, improves accuracy on real sites, and enables reusable automation skills while preserving user session data.

Рабочий процесс

• 1. User opens DomA side panel in Chrome/Edge
• 2. Agent captures a screenshot with numbered overlays (Set‑of‑Mark grounding)
• 3. Agent selects index‑based actions (click, type, navigate)
• 4. Optional Jev inner loop executes multiple grounded steps locally
• 5. Agent verifies progress and continues until goal achieved or hands back to main LLM
• 6. Successful procedures are saved as Agent Skills for future reuse

Доказательства

DomA is a Chrome/Edge extension, not a standalone AI browser and not a hosted “cloud browser.”

Источник

The real pain isn’t “can it click?” — it’s accuracy

Источник

Jev is DomA’s optional inner loop on browser_screenshot (act/verify)

Источник