Nvidia presentó un nuevo modelo generativo experimental de IA, al que llaman «herramienta universal para trabajar con sonido».
Este modelo, conocido como Foundational Generative Audio Transformer Opus 1 (o Fugatto), puede interpretar indicaciones textuales y usarlas para crear audio o modificar archivos musicales, vocales y sonoros existentes. Un equipo internacional de investigadores de IA trabajó en el desarrollo del modelo, lo que, según NVIDIA, hizo que sus «capacidades multilingües y con diversos acentos» fueran aún más fuertes.
Rafael Valle, uno de los investigadores del proyecto y gerente de investigación de audio aplicado en NVIDIA, señaló: «Queríamos crear un modelo que entienda y genere sonido de la misma manera que lo hacen las personas».
La compañía proporcionó varios ejemplos de cómo Fugatto puede ser útil. Por ejemplo, los productores musicales podrán crear rápidamente prototipos de canciones que luego pueden editar fácilmente, cambiando estilos, voces e instrumentos.
Las personas podrán usar Fugatto para crear materiales para aprender idiomas con una voz seleccionada. Y los desarrolladores de videojuegos podrán crear diferentes variantes de sonidos pregrabados que se adapten a los cambios en el juego según las elecciones y acciones de los jugadores.
Además, los investigadores descubrieron que el modelo puede realizar tareas para las que no fue entrenado, con un ajuste mínimo adicional. Por ejemplo, puede combinar comandos aprendidos por separado para generar una voz enojada con un cierto acento o el sonido de pájaros cantando durante una tormenta. El modelo también es capaz de crear sonidos que cambian con el tiempo, como el sonido de la lluvia acercándose.
NVIDIA no ha informado si proporcionará acceso público a Fugatto. Pero este modelo de IA no es el primer modelo generativo capaz de crear sonidos a partir de indicaciones textuales. Anteriormente, Meta lanzó un conjunto de herramientas de IA abierto que puede generar sonidos a partir de descripciones textuales. Y Google tiene su propio IA llamado MusicLM, que convierte texto en música.
Nvidia App вийшла з бети: нова програма замінить GeForce Experience та Control Panel
Spelling error report
The following text will be sent to our editors: