Cómo correr Whisper localmente en una Mac
Notas de usar Whisper local dentro de un flujo de dictado en la Mac. Qué modelo, cuánto esperas y a dónde va el audio.
Whisper es el modelo de reconocimiento de voz que OpenAI publicó en 2022. Como es público, puedes correrlo en tu propia Mac. Yubi lo usa como su segundo motor, y convierte la voz en texto sin enviar el audio a ningún lado.
Qué necesitas
Una Mac con Apple Silicon y whisper.cpp, una implementación ligera en C++ que usa el motor neuronal de la Mac. La versión actual de Yubi llama a la herramienta de línea de comandos de whisper.cpp instalada en tu Mac y a un archivo de modelo que descargas una vez. Yubi todavía no los incluye. Eso es algo que quiero cambiar.
Qué modelo
Whisper viene en varios tamaños. Los pequeños son más rápidos y los grandes más precisos. En mi Mac, los modelos pequeños se comían las partículas y los finales de frase del japonés con tanta frecuencia que me quedé con uno más grande. Yubi usa una versión cuantizada de large-v3-turbo, que conserva casi toda la precisión del modelo grande en un archivo más pequeño y más rápido.
Cuánto esperas
A diferencia de SpeechAnalyzer, Whisper empieza cuando terminas de hablar. En una frase corta casi no lo notas. En una nota larga se siente como una respiración después de terminar. Si esa pausa te molesta, usa SpeechAnalyzer, y por eso Yubi soporta los dos.
Lo que me funcionó mejor
Las notas que tomo en un café o en el andén del tren salen mejor con Whisper en mi Mac. También parece manejar bien las explicaciones largas llenas de frases que vuelvo a empezar. Son observaciones de mi propio uso, no una prueba comparativa. Para algo rápido de una línea, uso SpeechAnalyzer y me ahorro la espera.
Costo
El modelo es público y el trabajo pasa en tu Mac, así que no hay cuota de un servicio de transcripción. Los servicios en la nube cobran por hora o por mes. Si corres Whisper localmente, esa cuenta no existe.
A dónde va el audio
Cuando Yubi transcribe con Whisper, escribe el audio en un archivo temporal, lo procesa en la Mac y borra el archivo cuando termina la transcripción. No se sube nada. No hay una opción llamada enviar a la nube, porque no hay a dónde enviarlo.
Por qué no está en la Mac App Store
La versión actual de Yubi llama a un whisper-cli instalado en la Mac, y el sandbox de la App Store no lo permite. Por eso Yubi se descarga directamente. Las principales apps de dictado que revisé se distribuyen igual.