Building Neo v0.1: Dual-GPU Vision Engine for Desktop Automation

Описание и применение

Neo v0.1 обеспечивает точное распознавание интерфейса и OCR для автоматизации рабочего стола на высоких разрешениях, используя кластер с двумя GPU и защиту от ошибок.

Задача

Desktop automation needs precise screen perception, but most solutions struggle with high‑DPI displays and multi‑monitor setups.

Результат

Neo v0.1 delivers reliable, low‑latency desktop automation on high‑DPI, multi‑monitor setups, with safety safeguards for critical actions.

Рабочий процесс

• Capture desktop frames live
• Detect UI elements and OCR text
• Map detected elements to Windows UI Automation actions
• Execute tasks via UIA
• If action is high‑risk, present safety overlay for human approval

Доказательства

Neo v0.1 processes desktop frames at 15 fps, detects UI elements, and uses Windows UI Automation (UIA) to execute tasks.

Источник