Dessa

Ragavan Thurairatnam:

Interactuar con la IA de voz actual puede ser simplemente pésimo. Convierte tu voz en texto y descarta una cantidad increíble de información que el texto por sí solo no puede transmitir. Las IA más potentes del mundo no pueden oír cómo te sientes. Creemos que eso es ridículo, genera una peor experiencia y es potencialmente peligroso.

Entrenamos a Dessa desde cero utilizando únicamente la conversación humana. ¡Sonidos! Sin texto, sin modelos preentrenados. Aprendió a mantener una conversación en tiempo real simplemente escuchando. Hasta donde sabemos, Dessa es la primera IA del mundo con la que puedes tener una conversación en vivo realista y que fue entrenada únicamente a partir del habla humana.

Dessa hace avanzar la frontera de los modelos de aprendizaje profundo y crea una categoría diferente con comportamientos completamente nuevos e interesantes para que los investigadores los descubran. ¿Qué tan eficientemente aprenden el lenguaje y los hechos en comparación con el texto? ¿Qué tan eficientemente pueden aprender nuevos idiomas? ¿Qué tipos de aprendizaje en contexto pueden realizar?

Tienes que escuchar los demos. Holy shit. La comparación con ChatGPT Live es especialmente impresionante.

Técnicamente, Dessa es interesante porque no es un LLM: 

Audio de entrada, audio de salida. Dessa es un verdadero modelo de voz a voz, y todo lo que sabe proviene del habla humana. Es full-duplex, por lo que escucha y habla al mismo tiempo, como tú. Aprendió de conversaciones reales, por lo que sabe cuándo interrumpir y cuándo dar retroalimentación verbal («¡sí!», «¡entendido!», «¡ooh!») para demostrar que te sigue. La inferencia se ejecuta más rápido que en tiempo real, por lo que no hay esperas incómodas. Y se ejecuta localmente en una MacBook Pro M4 Max o superior.

Y lo entrenaron en un solo GPU:

Los LLM necesitan una cantidad demencial de texto. Dessa aprendió el lenguaje con cientos de veces menos palabras (para ser justos, los LLM también tienen que aprender C++ y lo que sea que diablos sea Angular).

Y tuvo que aprender mucho más que el lenguaje. Acentos, pausas, respiración, sarcasmo, humor, entonación, emoción, cuándo interrumpir: cada uno de estos elementos cambia el significado de lo que alguien dice. Di en voz alta «No dije que ella robara mi código de CUDA», enfatizando una palabra diferente cada vez. Las mismas palabras, un significado diferente cada vez.

El habla nunca se repite. Di una oración dos veces, exactamente de la misma manera, y los datos seguirán saliendo diferentes. El texto es idéntico sin importar quién lo escriba. Y una sola palabra hablada requiere miles de veces más bytes que la misma palabra en texto. La gente aprende a hablar con tanta facilidad que olvidamos lo difícil que es. Para una máquina sin texto en el que apoyarse, es brutal.

Pero lo resolvimos. Y descubrimos cómo entrenar a Dessa en solo un NVIDIA GB200 NVL72.