Autor Tema: La revolución que suponen las IA generativas de imágenes a partir de texto  (Leído 8439 veces)

0 Usuarios y 1 Visitante están viendo este tema.

Desconectado sirdrak

  • VIP
  • *
  • Mensajes: 1342
  • Gracias 60
  • Ciudad: Sevilla
Re: La revolución que suponen las IA generativas de imágenes a partir de texto
« Respuesta #90 en: Agosto 13, 2024, 01:35:29 pm »
Advertisement
Bueno pues el tema de Flux está que arde... La comunidad se ha volcado por completo con él y ya están saliendo avances y cosas interesantes... Vamos a comentar algunas de ellas:

- Como sabéis, Flux, al ser tan grande, de inicio para ser usado al 100% en fp16 pedía una gráfica con 24 GB de VRAM (es decir una RTX 3090 o una RTX 4090). Después salieron versiones en fp8, que permitían ejecutar los modelos en equipos con gráficas con 12 GB de VRAM con una pérdida de calidad mínima. Pues bién, resulta que Illyasviel, nada menos que el creador de ControlNET, de Fooocus y de Forge, tras estar durante 7 días picando código 14 horas diarias, ha dado un paso más en la optimización de modelos para generación de imágenes aplicando técnicas de optimización que hasta ahora se usaban exclusivamente en LLMs, de forma que no sólo ha dado soporte a Flux en Forge, sino que ha hecho posible ejecutarlo en másquinas con 6/8 GB de VRAM e incluso menos, tanto la variante Dev como la variante Schnell. Para ello ha sacado una versión optimizada BNB FN4 de ambos modelos con muy buenos resultados y siendo incluso más rápidas que usando ComfyUI, lo que supone una proeza.

- A pesar de la dificultad que en principio parecía suponer el gran tamaño de Flux a la hora de entrenarlo para crear LoRas o nuevos Checkpoints (que parecían requerir ya de gráficas profesionales para entrenar), finalmente están empezando a aparecer LoRas y técnicas para entrenarlos con 24 GB de VRAM. Ya hay LoRas para conseguir más realismo en fotos, otro para generar más imágenes de tipo 'no-profesional', etc...

Desconectado zzgus

  • VIP
  • *
  • Mensajes: 351
  • Gracias 39
  • Ciudad: Manresa
  • Pais: España
Re: La revolución que suponen las IA generativas de imágenes a partir de texto
« Respuesta #91 en: Agosto 21, 2024, 12:36:09 pm »
Bueno pues el tema de Flux está que arde...

Vale justo he empezado a usar SD y sale Flux !!! :-)

Si me permites un par de preguntas SR. Sirdrak por favor...

1- ¿Hay algún canal discord/telegram para poder preguntar en caso de dudas sobre SD?

2- ¿Puedes decirme los servicios o programas que usas para entrenar los LoRas para SD?

3- Estoy usando COMFY UI en local y quería crear las "miniaturas pintadas" que pusiste en uno de los primeros post.
https://civitai.com/models/7718/painted-miniature
Según la descripción el LoRA es este "Pmini_v3.5.18.safetensors" (144MB) pero leyendo veo que pone que además utiliza "Clarity" (3.97GB) y "Protogen x5.3" (3.97GB)

¿Como se cuece todo esto en COMFY UI?

Muchas gracias.

Saludos
Gus




Bartop Star Wars Stormtrooper: Fotos finales
http://arcadespain.info/Foro/index.php?topic=4555.0
Bartop Star Wars Stormtrooper: Construcción
http://arcadespain.info/Foro/index.php?topic=4349.0
Transformación iCade en mini bartop 1 player
http://arcadespain.info/Foro/index.php?topic=6756.0
Panel CPO:
http://arcadespain.info/Foro/index.php?topic=5990
Regalo artes flechas para joystick CPO
http://arcadespain.info/Foro/index.php?topic=4562.0

Desconectado sirdrak

  • VIP
  • *
  • Mensajes: 1342
  • Gracias 60
  • Ciudad: Sevilla
Re: La revolución que suponen las IA generativas de imágenes a partir de texto
« Respuesta #92 en: Agosto 22, 2024, 01:20:14 am »
Bueno pues el tema de Flux está que arde...

Vale justo he empezado a usar SD y sale Flux !!! :-)

Si me permites un par de preguntas SR. Sirdrak por favor...

1- ¿Hay algún canal discord/telegram para poder preguntar en caso de dudas sobre SD?

2- ¿Puedes decirme los servicios o programas que usas para entrenar los LoRas para SD?

3- Estoy usando COMFY UI en local y quería crear las "miniaturas pintadas" que pusiste en uno de los primeros post.
https://civitai.com/models/7718/painted-miniature
Según la descripción el LoRA es este "Pmini_v3.5.18.safetensors" (144MB) pero leyendo veo que pone que además utiliza "Clarity" (3.97GB) y "Protogen x5.3" (3.97GB)

¿Como se cuece todo esto en COMFY UI?

Muchas gracias.

Saludos
Gus

Bueno es que veo que has empezado por lo más complicado jejeje Lo más sencillo sería empezar usando Forge en vez de ComfyUI... Pero bueno vamos con las dudas. En Telegram hay un grupo de español en que estoy yo y está muy bien para estas cosas... Es este: https://t.me/inteligenciaartificialparatodos

Para entrenar LoRas en local suelo usar Kohya-ss, que es una utilidad dedicada para ello y que da muy buenos resultados. Hay otra muy popular que se llama OneTrainer que es algo más sencilla de usar, pero nunca la he usado. Y online, la que sí que he probado y me ha dado resultados muy buenos es la de la web de Civitai (https://civitai.com/). Aviso que entrenar un LoRa es algo bastante complejo con multitud de parámetros de configuración y además no hay un método exacto, por lo que es un proceso iterativo de 'prueba y error'.

En lo referente al LoRa de las minis eso a lo que hace referencia son los Checkpoints que se han usado para generar las imágenes... Imagino que ya sabrás que un checkpoint es el modelo completo, la IA en sí que genera la imagen. En el caso de Stable Diffusion y el resto de modelos opensource, hay muchos porque al tener los usuarios acceso al modelo original de la empresa responsable de su creación, los pueden personalizar y reentrenar para hacer un tipo específico de imágenes, mejoran notablemente la calidad de las mismas... Hay literalmente miles de ellos, y esos dos en particular son modelos de fotorrealismo basados en SD 1.5, pero puedes usar el modelo que más te guste. Obviamente el resultado será mejor con unos que con otros, para este caso lo mejor son modelos de fotorrealismo o tipo RPG (especializados en hacer personajes de fantasía y esas cosas). Para usarlos en ComfyUI sólo tienes que descargarlos a la carpeta models/checkpoints y luego en el nodo de carga del modelo te saldrán en la lista para elegir.
« Última modificación: Agosto 22, 2024, 01:24:18 am por sirdrak »

Desconectado sirdrak

  • VIP
  • *
  • Mensajes: 1342
  • Gracias 60
  • Ciudad: Sevilla
Re: La revolución que suponen las IA generativas de imágenes a partir de texto
« Respuesta #93 en: Septiembre 01, 2024, 07:52:50 pm »
Bueno, pues parece ser que el que Flux tenga como text encoder un LLM completo (el T5), beneficia y facilita bastante el entrenar LoRas... Parece ser que dan mejor resultado usando pocas imágenes de entrenamiento (entre 10 y 30) e incluso sin etiquetar dichas imágenes porque el LLM ya entiende perfectamente lo que está viendo sin que nosotros se lo expliquemos... Como primera prueba me he entretenido en entrenar uno de la Bruja Avería con sólo 11 imágenes y poniendo únicamente como etiqueta la palabra para invocar al personaje, que en mi caso es 'b-averia'... El resultado es bastante bueno, como podéis ver en estas imágenes:









Mi LoRa se puede descargar de aquí: https://civitai.com/models/710616

Desconectado Zael

  • VIP
  • *
  • Mensajes: 1914
  • Gracias 10
    • Ancient Bits
  • Iniciales nick: ZAE
Re: La revolución que suponen las IA generativas de imágenes a partir de texto
« Respuesta #94 en: Septiembre 02, 2024, 10:42:41 am »



No me digas más... ¡Mercadona a las 19h! Ja, ja, sólo te ha faltado ponerle la piña al revés!  ;D ;D

P.D.: La de "Avería for President" brutal también, ja ja! Muy buenas las imágenes esas, está claro que para generación de imágenes las I.A. estas lo están petando.






Desconectado empardopo

  • Admin
  • *
  • Mensajes: 21870
  • Gracias 763
  • Espero mejorar al KungFu Master!
    • Mi canal de Youtube
  • Ciudad: Norte de África
  • Pais: Escoña
  • Iniciales nick: EPP
Re: La revolución que suponen las IA generativas de imágenes a partir de texto
« Respuesta #95 en: Septiembre 03, 2024, 07:26:58 pm »



No me digas más... ¡Mercadona a las 19h! Ja, ja, sólo te ha faltado ponerle la piña al revés!  ;D ;D

P.D.: La de "Avería for President" brutal también, ja ja! Muy buenas las imágenes esas, está claro que para generación de imágenes las I.A. estas lo están petando.

Joder! Menuda publicidad para el puto Mercadona de las pelotas que menudos precios llevan ya tiempo poniendo!!!!

 


* 💰💰Ahorra Dinero💰💰 con 1TB GRATIS usando Terabox  Autor: jmpuk Foro: Otros programas 12/09/2024 (00:00)
* ArcadeSpain forever!  Autor: Zael Foro: Noticias 11/09/2024 (21:01)
* ¿Cerramos el foro Arcadespain? - ¿Cambios?  Autor: Zael Foro: Noticias 11/09/2024 (20:37)
* Van dos y se cae el del medio - Hilo de cachondeo general  Autor: empardopo Foro: Offtopic 10/09/2024 (20:04)
* PRESÉNTATE AQUÍ (Bienvenid@)  Autor: jmpuk Foro: Presentate al Foro 09/09/2024 (00:08)
* ¿A qué estáis jugando ahora mismo?  Autor: joselopez Foro: Offtopic 07/09/2024 (21:33)
* [Recomendación] Cine para los findes en casa (bueno, bonito y barato)  Autor: joselopez Foro: Offtopic 07/09/2024 (00:49)
* [PS4] PS4 5.05 - Should I Stay or Shoud I Go?  Autor: jmpuk Foro: Consolas actuales 06/09/2024 (17:44)
* Ghosts 'n Goblins 2 para PC  Autor: Zael Foro: Otros programas 06/09/2024 (11:07)
* La revolución que suponen las IA generativas de imágenes a partir de texto  Autor: empardopo Foro: Offtopic 03/09/2024 (19:26)
* Retro Portable Maker ArcadeSpain (RPMA)  Autor: empardopo Foro: Otros programas 03/09/2024 (19:13)
* Música y artistas aptos para nuestra jukebox  Autor: Zael Foro: Offtopic 02/09/2024 (10:38)
* Amiga Games + 1.9.9  Autor: empardopo Foro: Emuladores 01/09/2024 (17:32)
* Ofertas Amazon  Autor: empardopo Foro: Offtopic 01/09/2024 (17:17)
* Reto 322 - Hard Times  Autor: empardopo Foro: Competiciones y concursos 30/08/2024 (11:05)
* Valgo?  Autor: empardopo Foro: Offtopic 30/08/2024 (11:00)
* Chollos para todos!!!!  Autor: Zael Foro: Links interesantes 29/08/2024 (20:22)
* El megapost del ZX Spectrum  Autor: empardopo Foro: Offtopic 28/08/2024 (09:08)
* Mercapixels, patrocinador para el foro ArcadeSpain  Autor: empardopo Foro: Noticias 23/08/2024 (14:16)
* [Recomendacion] Series para ver  Autor: empardopo Foro: Offtopic 21/08/2024 (09:04)
* Descuentos Aliexpress  Autor: empardopo Foro: Offtopic 20/08/2024 (17:33)
* DONACIONES  Autor: empardopo Foro: Noticias 19/08/2024 (10:00)
* Reto 319 - Action Hollywood  Autor: Zael Foro: Competiciones y concursos 16/08/2024 (20:53)

Reto 222: Hard Times
Buscaunchollo.click