Subtítulos al ritmo de la voz

Advertencia

Rod and Reef todavía no ha sido lanzado, y no se pueden mostrar videos ni GIFs de este sistema hasta que salga.

Todo lo que se dice con voz en Rod and Reef tiene subtítulos. En las frases del protagonista, cada palabra aparece justo cuando se dice, con las pausas donde el actor hizo la pausa.

Cómo se hicieron

Sincronizar a mano cada palabra de cientos de frases no era opción, así que hice un programa que lo hace solo:

• Escucha cada audio con OpenAI Whisper, un modelo de reconocimiento de voz, y anota en qué momento empieza cada palabra.
• Averigua a qué línea del guion corresponde cada grabación, aunque el actor haya improvisado o cambiado palabras.
• Escribe los subtítulos listos para el juego, con lo que se dijo de verdad y no con lo que decía el guion.
• Sube los audios a Roblox y conecta cada subtítulo con su audio.

Si cambio la forma de calcular los tiempos, vuelvo a generar todo en segundos, sin volver a escuchar los audios.

En el juego

• El texto se escribe siguiendo un reloj, así que no se adelanta ni se atrasa aunque el juego se trabe un momento.
• Puede haber varias líneas en pantalla a la vez sin taparse entre sí.
• En las cinemáticas, el subtítulo sigue la posición del audio en cada cuadro, así que siempre va sincronizado.
• Puedes apagar los subtítulos desde la configuración sin apagar las voces.

Los detalles, con las fórmulas de los tiempos, están en la versión de portafolio.