Comparing LLMs for Voice Assistants with Oxlo

Описание и применение

Пошаговый скрипт на Python, позволяющий записывать аудио, транскрибировать его через Oxlo Whisper, сравнивать несколько LLM‑моделей по времени отклика и количеству слов, очищать ответы от форматирования и выбирать лучшую модель для голосового ассистента.

Задача

Choosing the fastest, most natural LLM for a voice assistant requires a repeatable benchmark that measures latency, word count, and TTS‑friendly output.

Результат

The script identifies Llama 3.3 70B as the fastest, most concise model for the sample weather query, demonstrating a reproducible method to compare LLMs for voice assistants on Oxlo.ai.

Рабочий процесс

• Record 5 s of audio with sounddevice and save as query.wav
• Send query.wav to Oxlo Whisper endpoint and retrieve transcript
• Define a system prompt that forces plain‑text, no‑markdown responses
• For each candidate model: send user message, measure latency, count words, collect raw text
• Clean each raw text by removing asterisks, backticks, and excess whitespace
• Score each result by latency plus word count penalty, sort, and pick the best
• Print transcript, per‑model metrics, and the winning response

Доказательства

I keep the entire pipeline on Oxlo.ai so billing and routing stay simple.

Источник

I test Llama 3.3 70B, Qwen 3 32B, Kimi K2.6, and DeepSeek V3.2.

Источник