I built a hands-free slide remote for a friend who can never find the right page

Описание и применение

Руководитель презентаций часто теряет ориентир в больших PDF‑деках. Создан локальный дистанционный пульт, использующий распознавание рук через MediaPipe и голос через Whisper, а также Gemma для семантического выбора слайдов. Система работает без облака, повышая конфиденциальность и экономию средств.

Задача

Presenters lose track of slide position in large PDFs during talks, making navigation stressful and error-prone.

Результат

The remote reliably navigates slides using gestures and voice, with a hybrid architecture that reduces reliance on LLMs for simple commands and improves safety by preferring no‑action over incorrect jumps.

Рабочий процесс

• Extract slide text from PDF/PPTX
• Index slides
• Track hand via MediaPipe from webcam
• Detect gestures (swipe, open palm, fist) and map to slide actions
• Record audio via microphone
• Transcribe with Whisper using slide titles as hints
• Detect command phrases
• Apply deterministic logic for simple commands
• Apply keyword + fuzzy matching for content requests
• If multiple candidates, send to Gemma via Ollama for final decision
• Execute slide navigation or no‑action if confidence low

Доказательства

The webcam tracks the presenter's hand using MediaPipe.

Источник

Whisper runs locally, so the microphone audio does not need to be uploaded to a speech API.

Источник

Gemma via Ollama → semantic understanding and slide selection

Источник