NVIDIA ha anunciado la disponibilidad de AI Blueprint, una nueva herramienta de inteligencia artificial generativa para la generación de guiones 3D. A diferencia de muchos otros modelos generativos, este nuevo producto da a los autores más control sobre los detalles finos y la composición.
Los modelos tradicionales de texto a imagen suelen fallar cuando los creadores o desarrolladores necesitan ángulos de cámara específicos, una colocación precisa de los objetos o una escena clara. AI Blueprint for 3D Guided Generation resuelve este problema. La nueva herramienta combina escenas 3D con la generación de imágenes mediante IA a través de un proceso automatizado.
Como resultado, AI Blueprint da a los creadores el control sobre la estructura de la imagen, el diseño y la perspectiva directamente desde Blender. Esto elimina la necesidad de múltiples indicaciones o configuraciones complejas. Esto elimina las conjeturas y acelera el proceso creativo.
NVIDIA AI Blueprint for 3D Guided Rendering permite controlar el proceso de renderizado utilizando una vista previa de la escena 3D en Blender que proporciona al renderizador un mapa de profundidad. En combinación con una petición textual del usuario, este sistema genera las imágenes deseadas. En este caso, se utiliza el generador de imágenes FLUX.1-dev de Black Forest Labs.
El mapa de profundidad ayuda al modelo a comprender dónde deben colocarse los objetos. La ventaja de este método es que no requiere modelos 3D detallados ni texturas de alta calidad. Gracias a la escena 3D, los usuarios pueden mover fácilmente los objetos o cambiar los ángulos de la cámara.
Blueprint utiliza la herramienta ComfyUI para enlazar modelos generativos de IA en pipelines flexibles. Por ejemplo, el plugin ComfyUI para Blender permite conectar directamente Blender con ComfyUI. Además, el microservicio NVIDIA NIM permite que el modelo FLUX.1-dev se ejecute al máximo rendimiento en las GPU GeForce RTX.
Blueprint incluye todo lo necesario para empezar con un flujo de trabajo avanzado de generación de imágenes: Blender, ComfyUI, plugins para conectarlos, el microservicio NIM de FLUX.1-dev y los nodos ComfyUI necesarios para empezar. También se proporciona un instalador e instrucciones detalladas de despliegue para artistas de IA.
Actualmente hay 10 microservicios NIM disponibles para RTX, que cubren tareas desde la generación de imágenes y texto hasta la IA de voz y la visión por ordenador.
AI Blueprint para la generación guiada por 3D requiere una tarjeta gráfica NVIDIA GeForce RTX 4080 o superior. La herramienta AI Blueprint puede descargarse desde Web oficial de NVIDIA.
AnteriormenteNvidia presenta el modelo de IA Fugattoque «entiende y genera sonido de la misma manera que los humanos» lo hacen.
Fuente: NVIDIA