La revolución que suponen las IA generativas de imágenes a partir de texto

[sirdrak]

Bueno pues el tema de Flux está que arde... La comunidad se ha volcado por completo con él y ya están saliendo avances y cosas interesantes... Vamos a comentar algunas de ellas:

- Como sabéis, Flux, al ser tan grande, de inicio para ser usado al 100% en fp16 pedía una gráfica con 24 GB de VRAM (es decir una RTX 3090 o una RTX 4090). Después salieron versiones en fp8, que permitían ejecutar los modelos en equipos con gráficas con 12 GB de VRAM con una pérdida de calidad mínima. Pues bién, resulta que Illyasviel, nada menos que el creador de ControlNET, de Fooocus y de Forge, tras estar durante 7 días picando código 14 horas diarias, ha dado un paso más en la optimización de modelos para generación de imágenes aplicando técnicas de optimización que hasta ahora se usaban exclusivamente en LLMs, de forma que no sólo ha dado soporte a Flux en Forge, sino que ha hecho posible ejecutarlo en másquinas con 6/8 GB de VRAM e incluso menos, tanto la variante Dev como la variante Schnell. Para ello ha sacado una versión optimizada BNB FN4 de ambos modelos con muy buenos resultados y siendo incluso más rápidas que usando ComfyUI, lo que supone una proeza.

- A pesar de la dificultad que en principio parecía suponer el gran tamaño de Flux a la hora de entrenarlo para crear LoRas o nuevos Checkpoints (que parecían requerir ya de gráficas profesionales para entrenar), finalmente están empezando a aparecer LoRas y técnicas para entrenarlos con 24 GB de VRAM. Ya hay LoRas para conseguir más realismo en fotos, otro para generar más imágenes de tipo 'no-profesional', etc...

[zzgus]

Bueno pues el tema de Flux está que arde...

Vale justo he empezado a usar SD y sale Flux !!! :-)

Si me permites un par de preguntas SR. Sirdrak por favor...

1- ¿Hay algún canal discord/telegram para poder preguntar en caso de dudas sobre SD?

2- ¿Puedes decirme los servicios o programas que usas para entrenar los LoRas para SD?

3- Estoy usando COMFY UI en local y quería crear las "miniaturas pintadas" que pusiste en uno de los primeros post.
https://civitai.com/models/7718/painted-miniature
Según la descripción el LoRA es este "Pmini_v3.5.18.safetensors" (144MB) pero leyendo veo que pone que además utiliza "Clarity" (3.97GB) y "Protogen x5.3" (3.97GB)

¿Como se cuece todo esto en COMFY UI?

Muchas gracias.

Saludos
Gus

[sirdrak]

Bueno pues el tema de Flux está que arde...

Vale justo he empezado a usar SD y sale Flux !!! :-)

Si me permites un par de preguntas SR. Sirdrak por favor...

1- ¿Hay algún canal discord/telegram para poder preguntar en caso de dudas sobre SD?

2- ¿Puedes decirme los servicios o programas que usas para entrenar los LoRas para SD?

3- Estoy usando COMFY UI en local y quería crear las "miniaturas pintadas" que pusiste en uno de los primeros post.
https://civitai.com/models/7718/painted-miniature
Según la descripción el LoRA es este "Pmini_v3.5.18.safetensors" (144MB) pero leyendo veo que pone que además utiliza "Clarity" (3.97GB) y "Protogen x5.3" (3.97GB)

¿Como se cuece todo esto en COMFY UI?

Muchas gracias.

Saludos
Gus

Bueno es que veo que has empezado por lo más complicado jejeje Lo más sencillo sería empezar usando Forge en vez de ComfyUI... Pero bueno vamos con las dudas. En Telegram hay un grupo de español en que estoy yo y está muy bien para estas cosas... Es este: https://t.me/inteligenciaartificialparatodos

Para entrenar LoRas en local suelo usar Kohya-ss, que es una utilidad dedicada para ello y que da muy buenos resultados. Hay otra muy popular que se llama OneTrainer que es algo más sencilla de usar, pero nunca la he usado. Y online, la que sí que he probado y me ha dado resultados muy buenos es la de la web de Civitai (https://civitai.com/). Aviso que entrenar un LoRa es algo bastante complejo con multitud de parámetros de configuración y además no hay un método exacto, por lo que es un proceso iterativo de 'prueba y error'.

En lo referente al LoRa de las minis eso a lo que hace referencia son los Checkpoints que se han usado para generar las imágenes... Imagino que ya sabrás que un checkpoint es el modelo completo, la IA en sí que genera la imagen. En el caso de Stable Diffusion y el resto de modelos opensource, hay muchos porque al tener los usuarios acceso al modelo original de la empresa responsable de su creación, los pueden personalizar y reentrenar para hacer un tipo específico de imágenes, mejoran notablemente la calidad de las mismas... Hay literalmente miles de ellos, y esos dos en particular son modelos de fotorrealismo basados en SD 1.5, pero puedes usar el modelo que más te guste. Obviamente el resultado será mejor con unos que con otros, para este caso lo mejor son modelos de fotorrealismo o tipo RPG (especializados en hacer personajes de fantasía y esas cosas). Para usarlos en ComfyUI sólo tienes que descargarlos a la carpeta models/checkpoints y luego en el nodo de carga del modelo te saldrán en la lista para elegir.

[sirdrak]

Bueno, pues parece ser que el que Flux tenga como text encoder un LLM completo (el T5), beneficia y facilita bastante el entrenar LoRas... Parece ser que dan mejor resultado usando pocas imágenes de entrenamiento (entre 10 y 30) e incluso sin etiquetar dichas imágenes porque el LLM ya entiende perfectamente lo que está viendo sin que nosotros se lo expliquemos... Como primera prueba me he entretenido en entrenar uno de la Bruja Avería con sólo 11 imágenes y poniendo únicamente como etiqueta la palabra para invocar al personaje, que en mi caso es 'b-averia'... El resultado es bastante bueno, como podéis ver en estas imágenes:









Mi LoRa se puede descargar de aquí: https://civitai.com/models/710616

[Zael]

No me digas más... ¡Mercadona a las 19h! Ja, ja, sólo te ha faltado ponerle la piña al revés! 

P.D.: La de "Avería for President" brutal también, ja ja! Muy buenas las imágenes esas, está claro que para generación de imágenes las I.A. estas lo están petando.

[empardopo]

No me digas más... ¡Mercadona a las 19h! Ja, ja, sólo te ha faltado ponerle la piña al revés! 

P.D.: La de "Avería for President" brutal también, ja ja! Muy buenas las imágenes esas, está claro que para generación de imágenes las I.A. estas lo están petando.

Joder! Menuda publicidad para el puto Mercadona de las pelotas que menudos precios llevan ya tiempo poniendo!!!!

[sirdrak]

Bueno, pues he hecho un pequeño experimento y me ha salido bastante bién... Si recordáis, hace un tiempo, las imágenes que yo creaba en Stable Diffusion usaban una especie de estilo que descubrí por casualidad a combinar varios modelos (entre ellos mi versión del modelo del estilo de Azpiri de Stable Diffusion 1.5) de una determinada forma, básicamente el de estas imágenes:





Es decir, que no era un modelo concreto sino una combinación de varios... Pues bién, ya llevaba un tiempo pensando en entrenar un modelo con imágenes generadas de esta forma para convertirlo en un estilo normal, en modelos más modernos como Pony y Flux, con la intención de conservar la estética y tener las ventajas de dichos modelos. Así que me puse manos a la obra y entrené un LoRa con un set de imágenes de entrenamiento formado por unas 73 imágenes de las mejores generadas por mí mismo con dicho estilo (y con menos fallos de los típicos como en las manos y tal) en Flux, y bueno, pues parece que lo he clavado y a la primera. La ventaja es que ya no me salen las manos mal y puedo controlar mucho mucho mejor lo que quiero que salga en las imágenes gracias al mejor entendimiento de Flux. Unas cuantas imágenes de ejemplo:

















Como podéis ver, el estilo clavado al 100% pero con mejores manos y anatomía. Lo he puesto en Civitai y parece que está teniendo buena aceptación (más de 80 descargas en 2 días). Para el que lo quiera probar, se puede descargar aquí:

https://civitai.com/models/844159/western-comic-semirealistic-25d-style-for-flux

Mi siguiente idea es entrenarlo en Pony y así se podrán hacer cosas 'más subidillas de tono' con dicho estilo 

[sirdrak]

He mejorado mi modelo anterior y hoy he publicado una nueva versión con las siguientes mejoras:

- Más detalle de texturas y pequeños detalles.
- Mejor textura de piel y ropa, especialmente de piel de 'tios cachas'.
- Notable mejora en los efectos de luz e iluminación.

Unos ejemplos:



















Se puede descargar aquí: https://civitai.com/models/844159/western-comic-semirealistic-25d-style-for-flux

[empardopo]

Mamma mia con la nueva versión de Turbo Girl, jeje! Oye, @sirdrak hay algo para la creación de videos a partir de texto? Es que he encontrado una herramienta pero de pago....La herramienta te mete audio y todo pero quería saber si hay algo free, te suena?

[Zael]

Todo esto me parece genial, pero repito lo mismo que ya he dicho anteriormente: es alucinante lo rápido que avanza toda esta tecnología de la I.A. para fines artísticos y de ocio (generación de imágenes, vídeos, música, etc.) y lo desesperantemente lenta que avanza en campos realmente importantes como la Medicina, prevención de pandemias, prevención de catástrofes naturales... o prevención de políticos corruptos e incompetentes. 

En fin, a ver si desarrollan una I.A. que pueda solucionar todo esto. Dios proveerá...

[sirdrak]

Todo esto me parece genial, pero repito lo mismo que ya he dicho anteriormente: es alucinante lo rápido que avanza toda esta tecnología de la I.A. para fines artísticos y de ocio (generación de imágenes, vídeos, música, etc.) y lo desesperantemente lenta que avanza en campos realmente importantes como la Medicina, prevención de pandemias, prevención de catástrofes naturales... o prevención de políticos corruptos e incompetentes. 

En fin, a ver si desarrollan una I.A. que pueda solucionar todo esto. Dios proveerá...

No, en realidad en los otros campos está avanzando igual de rápido, sólo que parece que esas noticias, que son positivas 'no venden', sólo interesan los relatos catastrofistas de que la IA va a acabar con la humanidad (una patraña absurda) y nos va a quitar a todos el trabajo. En medicina está avanzando enormemente en la creación de vacunas, la detección precoz del melanoma y del cáncer y muchas áreas más. Por ejemplo... Ya hay una IA que es capaz de detectar el melanoma mejor que los 17 mejores expertos humanos, otra que puede detectar un tipo de cáncer con sólo escuchar 2 segundos hablar al posible paciente, etc...

En cuanto a los otros temas, el problema es que las decisiones finales las siguen tomando humanos, y la mayoría de las veces, los menos indicados para tomasr decisiones: esos malignos seres llamados 'políticos'. Por ejemplo, hace 20 años que hay un plan para evitar las consecuencias de lo que ha acontecido en Valencia, hasta con mapas que indican perfectamente en caso de catástrofe qué zonas se van a inundar, con un coste de 220 millones de euros, pero como estos políticos actuales están 'gilipollas' con el ecologismo de salon ignorante y mal entendido, paralizaron todas las obras hidráulicas, prohibieron dragar los cauces para hacer limpieza (sabiendo que eran cauces de riesgo) y por si eso fuera poco, se dedicaron a echar abajo las presas existentes... Es decir, todo lo contrario de lo que tendrían que haber hecho, sabiendo las consecuencias y teniendo las soluciones en la mano.

El tema es que estos seres malignos adictos al poder nunca van a permitir que una IA tome las decisiones por ellos, ni niguna otra cosa que vaya en contra de sus intereses.

[Zael]

No, en realidad en los otros campos está avanzando igual de rápido, sólo que parece que esas noticias, que son positivas 'no venden', sólo interesan los relatos catastrofistas de que la IA va a acabar con la humanidad (una patraña absurda) y nos va a quitar a todos el trabajo. En medicina está avanzando enormemente en la creación de vacunas, la detección precoz del melanoma y del cáncer y muchas áreas más. Por ejemplo... Ya hay una IA que es capaz de detectar el melanoma mejor que los 17 mejores expertos humanos, otra que puede detectar un tipo de cáncer con sólo escuchar 2 segundos hablar al posible paciente, etc...

En cuanto a los otros temas, el problema es que las decisiones finales las siguen tomando humanos, y la mayoría de las veces, los menos indicados para tomasr decisiones: esos malignos seres llamados 'políticos'. Por ejemplo, hace 20 años que hay un plan para evitar las consecuencias de lo que ha acontecido en Valencia, hasta con mapas que indican perfectamente en caso de catástrofe qué zonas se van a inundar, con un coste de 220 millones de euros, pero como estos políticos actuales están 'gilipollas' con el ecologismo de salon ignorante y mal entendido, paralizaron todas las obras hidráulicas, prohibieron dragar los cauces para hacer limpieza (sabiendo que eran cauces de riesgo) y por si eso fuera poco, se dedicaron a echar abajo las presas existentes... Es decir, todo lo contrario de lo que tendrían que haber hecho, sabiendo las consecuencias y teniendo las soluciones en la mano.

El tema es que estos seres malignos adictos al poder nunca van a permitir que una IA tome las decisiones por ellos, ni niguna otra cosa que vaya en contra de sus intereses.

100% de acuerdo @sirdrak. Mucho antes de que aparecieran estas nuevas I.A. ya habían muchos proyectos hidrográficos, estudios e informes para evitar catástrofes como la que ha ocurrido aquí en Valencia pero ya fuera por evitar los altos costes económicos, por evitar largos juicios por expropiaciones de terrenos o demandas de ecologistas, muchos de esos proyectos e informes acabaron en un cajón. Esos mismos proyectos o informes, aunque hubieran estado generados por I.A., también hubieran acabado en un cajón.

Al principio de la pandemia ya había la tecnología para generar modelos informáticos con datos de otros países donde la enfermedad llegó antes que en España (como Italia, por ejemplo) y poder predecir la evolución con bastante precisión. Imagino que debió haber bastantes modelos epidemiológicos acertados, generados por I.A. o por epidemiólogos competentes. Pero como bien dices, las decisiones al final no las toman ni la I.A. ni profesionales cualificados, sino esa gente malvada que tiene nombres y apellidos: políticos incompetentes.

No estaría mal sustituir una temporada a los políticos por I.A., igual nos llevamos una grata sorpresa.

Aún así estaría bien que se le dé más visibilidad (y sobre todo mucho más presupuesto) a los avances realmente importantes de la I.A. que a los meramente artísticos o de ocio. Imagino que será así y que, como bien dices, a nivel popular se dan a conocer mucho más los avances de la I.A. en estos campos secundarios mientras que los verdaderos avances, los realmente necesarios e importantes, tienen menos visibilidad y se quedan en el ámbito científico, médico, etc.