Revelando la Tecnología de Difusión Estable: La Tecnología Detrás de la Generación de Imágenes a Partir de Texto

La Difusión Estable es un modelo de aprendizaje profundo para la generación de imágenes a partir de texto basado en la tecnología de difusión, que fue introducido por primera vez en 2022. Esta tecnología de inteligencia artificial generativa es el producto insignia de Stability AI y se considera parte del actual auge de la IA. ¿Qué es exactamente? Vamos a profundizar en esta tecnología que transforma texto en imágenes y explorar sus principios fundamentales y su importancia.

¿Qué es la Difusión Estable?

La Difusión Estable es un marco de aprendizaje automático de código abierto que genera imágenes únicas y realistas basadas en los mensajes de texto e imágenes del usuario. Desde su lanzamiento en 2022, no solo ha generado imágenes estáticas, sino que también puede crear videos y animaciones. Al combinar autoencoders variacionales con modelos de difusión, esta tecnología puede convertir texto en representaciones visuales complejas, lo que representa un avance significativo en el campo de la IA generativa. Creadores, diseñadores y desarrolladores han encontrado una herramienta gratuita y abierta para la creación de imágenes, lo que les permite crear cualquier cosa, desde fotos realistas hasta obras artísticas de varios estilos, con simples mensajes de texto.

¿Cómo Funciona la Difusión Estable?

Como modelo de difusión, la Difusión Estable difiere de muchos otros modelos de generación de imágenes. Idealmente, el modelo de difusión utiliza ruido gaussiano para codificar imágenes y luego utiliza predictores de ruido y procesos de difusión inversa para reconstruir las imágenes. La singularidad de la Difusión Estable radica en su uso del espacio latente en lugar del espacio de píxeles para las imágenes.

La razón detrás de esto es que una imagen colorida de resolución 512x512 tiene 786,432 valores posibles. En contraste, las imágenes comprimidas utilizadas por la Difusión Estable tienen solo 16,384 valores, lo que reduce las demandas de procesamiento aproximadamente en un 48%. Esto significa que puedes usar la Difusión Estable sin problemas en un escritorio equipado con una GPU NVIDIA de 8 GB de RAM. Este espacio latente más pequeño es efectivo porque las imágenes naturales no son aleatorias. La Difusión Estable utiliza los archivos de autoencoder variacional (VAE) en el decodificador para renderizar características detalladas como los ojos.

El conjunto de datos de entrenamiento para el modelo se recopila de LAION y Common Crawl, incluidos el conjunto de datos de imágenes LAION-Aesthetics v2.6, que contiene imágenes con puntajes estéticos de 6 o más.

¿Por Qué es Importante la Difusión Estable?

La importancia de la Difusión Estable radica en su accesibilidad y facilidad de uso. Puede ejecutarse en tarjetas gráficas de consumo, lo que permite a cualquiera descargar el modelo y generar imágenes personalizadas por primera vez. Los usuarios pueden controlar hiperpámetros clave, como el número de pasos de eliminación de ruido y la cantidad de ruido aplicado. Además, el proceso de creación de imágenes es muy sencillo, sin necesidad de información adicional. Además, la comunidad de usuarios de la Difusión Estable es muy activa, proporcionando mucha documentación y tutoriales relacionados a los que se puede hacer referencia. La versión de software está gobernada por la licencia Creative ML OpenRail-M, que permite a los usuarios usar, modificar y redistribuir el software modificado.

¿Qué Arquitectura Utiliza la Difusión Estable?

Los principales componentes arquitectónicos de la Difusión Estable incluyen el autoencoder variacional, la difusión hacia adelante y hacia atrás, el predictor de ruido y la condicionación de texto.

Autoencoder Variacional (VAE)

El VAE en la arquitectura de la Difusión Estable se utiliza para aprender la distribución de las imágenes de entrenamiento. Codifica las imágenes de entrada en un espacio latente de baja dimensión para capturar sus características esenciales. Este proceso de codificación permite que el modelo genere nuevas imágenes al muestrear del espacio latente, aprendiendo efectivamente a reproducir la diversidad y complejidad de los datos de entrada. El VAE es crucial para la capacidad del modelo de generar imágenes de alta calidad y diversas.

Difusión Hacia Adelante

En el proceso de difusión hacia adelante, la Difusión Estable agrega gradualmente ruido gaussiano a la imagen hasta que la imagen final consiste únicamente en ruido aleatorio. La imagen original no puede ser reconocida a partir de la salida llena de ruido. A través del control fino de este proceso, el modelo aprende y comprende la estructura subyacente de las imágenes.

Difusión Hacia Atrás

Durante la fase de difusión hacia atrás, la Difusión Estable realiza la inversión del proceso hacia adelante. Comenzando desde ruido aleatorio, el proceso elimina gradualmente el ruido y sintetiza una imagen que coincide con el mensaje de texto proporcionado. Esta fase es crítica, ya que utiliza la representación aprendida para guiar la reconstrucción del ruido en contenido visual coherente. A través de una serie de iteraciones, el modelo ajusta los detalles, colores, formas y texturas, asegurando que los resultados generados sean consistentes con la descripción textual.

Predictor de Ruido (U-Net)

El predictor de ruido es clave para la eliminación de ruido de las imágenes. La Difusión Estable utiliza un modelo U-Net para este proceso de eliminación de ruido. U-Net fue diseñado inicialmente para la segmentación de imágenes biomédicas, y la Difusión Estable emplea un modelo de red neuronal residual (ResNet) desarrollado en el campo de la visión por computadora. U-Net puede manejar efectivamente tanto la estructura general como los detalles finos, asegurando que las imágenes generadas se ajusten estrechamente a los requisitos del usuario.

Condicionamiento de Texto

El condicionamiento de texto es la forma más común de ajuste de mensajes. El tokenizador CLIP analiza cada palabra en el mensaje de texto y embebe los datos en un vector de 768 valores. Se pueden usar hasta 75 tokens en el mensaje. La Difusión Estable transfiere estos mensajes desde el codificador de texto al predictor de ruido U-Net a través de un transformador de texto. Al establecer la semilla con un generador de números aleatorios, se pueden generar diferentes imágenes en el espacio latente, asegurando que las salidas no sean meramente aleatorias, sino que estén estrechamente relacionadas con los temas, contenido y estilos de la descripción textual de entrada.

¿Qué Puede Hacer la Difusión Estable?

En términos de generación de texto a imagen, la Difusión Estable representa un avance tecnológico significativo. En comparación con otros modelos de texto a imagen, la Difusión Estable es más abierta y requiere menores capacidades de procesamiento. Sus funciones incluyen:

• Generación de Texto a Imagen: Este es el uso más común de la Difusión Estable. Los usuarios simplemente ingresan mensajes de texto para generar imágenes y pueden crear diferentes efectos ajustando la semilla del generador aleatorio o modificando el horario de eliminación de ruido.
• Generación de Imagen a Imagen: Al combinar una imagen de entrada y mensajes de texto, los usuarios pueden generar nuevas imágenes basadas en las existentes, generalmente comenzando con un boceto.
• Creación de Gráficos, Ilustraciones y Logotipos: Con diversos mensajes, los usuarios pueden crear ilustraciones y logotipos en varios estilos. Si bien los bocetos pueden guiar la creación, la salida final puede ser impredecible.
• Edición y Restauración de Imágenes: La Difusión Estable también puede utilizarse para la edición y restauración de imágenes. Después de cargar imágenes en un editor de IA, los usuarios pueden cubrir partes que desean modificar con un pincel de borrado y luego utilizar mensajes generados para definir los objetivos de edición o redibujo, como restaurar fotos antiguas, eliminar objetos de imágenes, alterar características de sujetos y agregar nuevos elementos.
• Creación de Videos: Con funciones como Deforum, la Difusión Estable también puede crear clips y animaciones de video cortos, incluso agregando diferentes estilos a las películas. Crear animaciones a partir de fotos estáticas simulando efectos de movimiento (como el agua fluyendo) es otra aplicación.

¿Por Qué Entrenar Tu Propio Modelo?

Ajustar el modelo base de la Difusión Estable puede permitirle generar imágenes más especializadas adaptadas a necesidades o estilos específicos, lo que permite la personalización y el refinamiento. Un método comúnmente utilizado para ajustar el modelo es Dreambooth, donde puedes entrenar el modelo base utilizando conjuntos de datos suplementarios centrados en temas específicos (como la vida salvaje), permitiendo que el modelo ajustado genere imágenes que se alineen estrechamente con los resultados esperados con un esfuerzo mínimo, logrando mayor precisión y consistencia en el estilo.

Este proceso de ajuste transforma el modelo base general en uno dedicado que puede comprender y replicar estilos visuales o temas específicos con alta fidelidad. Técnicas avanzadas para crear modelos ajustados (como la atención local de LoRA y LyCORIS) enfocan aún más el modelo para generar imágenes con estilos altamente específicos. Por ejemplo, los usuarios pueden inyectar personajes de ficción en visuales, modificar los trajes de los personajes, agregar elementos específicos a los fondos o incorporar objetos como autos y edificios. Jake Dahn demostró cómo utilizar LoRA para ajustar el modelo con imágenes que capturó personalmente, generando autorretratos detallados en varios estilos.

Usa XXAI para Optimizar Tu Infraestructura de IA

XXAI puede automatizar la gestión de recursos y la orquestación, reduciendo el costo de la infraestructura requerida para entrenar modelos de lenguaje a gran escala (LLM) y otros modelos intensivos en cálculo. Con XXAI, los usuarios pueden ejecutar automáticamente cualquier número de experimentos intensivos en recursos según sea necesario. En la próxima actualización del producto, XXAI continuará integrando 13 modelos de IA populares, incluidos Perplexity y Grok 2, basándose en los 5 modelos de IA existentes, mientras mantiene el precio sin cambios (tan bajo como $9.99 por mes), para que los usuarios puedan resolver varios problemas de manera integrada, mejorando aún más la experiencia del usuario y las capacidades de resolución de problemas. Esta capacidad integrada proporcionará a los usuarios más opciones y flexibilidad, permitiéndoles ser más ágiles en entornos complejos de aprendizaje automático.