MonsterHouse: el garaje que habla con IA de NVIDIA

Una casa que habla

En el blog de Hugging Face se muestra MonsterHouse, una instalación de Halloween que transforma una puerta de garaje en un personaje con voz de pirata gruñón. La solución combina varios modelos de NVIDIA: Nemotron Voice Agent para la orquestación, Nemotron ASR para la transcripción, Nemotron 3.5 Bolt E4B 4GB como LLM de respuesta, Magpie TTS Zeroshot para la síntesis de voz y Audio2Face‑3D para animar la boca en tiempo real.

Cómo funciona el pipeline

• Escucha: Nemotron 3 ASR convierte el discurso de los visitantes en texto.
• Pensamiento: Nemotron 3.5 Bolt E4B 4GB genera la respuesta, ajustada con un LoRA que le da personalidad.
• Habla: Magpie TTS Zeroshot sintetiza la voz a partir de una muestra corta del personaje.
• Animación: Audio2Face‑3D traduce el audio en movimientos de la boca dentro de Unreal Engine 5.
• Visión: Nemicron 3 Nano Omni describe disfraces y YOLO + ByteTrack contabilizan y siguen a los visitantes.

Infraestructura

Todo el flujo se ejecuta en una sola estación de trabajo equipada con una RTX PRO 6000 Blackwell Max‑Q y una RTX PRO 4000 Blackwell. No se necesita conexión a la nube, lo que permite que el sistema sea autónomo y rápido.

Impacto para profesionales de IA

MonsterHouse muestra que es viable crear agentes conversacionales locales con un stack completo de reconocimiento, generación y animación sin depender de servicios externos. Para desarrolladores que buscan prototipos offline, la combinación de Nemotron Voice Agent y Bolt E4B ofrece un punto de partida con bajo consumo de recursos.

💡 Opinión iaPasión

Ideal para makers, estudios indie y eventos que necesiten interacción en tiempo real sin latencia de la nube. Menos útil para empresas que requieran escalado masivo o integración con datos externos.