El uso de la IA y redes neuronales para remasterizar y mejorar los juegos.

[treme]

Ahora si,ahora se ve de puta madre el video de MaCGyver,ya no llevan los brochazos en la cara

Gomas,a la Bony le iba a dar yo Tigreton del bueno,jejeje

[empardopo]

Bueno, pues ya he subido el vídeo de MacGyver sin el efecto 'maquillaje' del primero, y con más calidad, ya que al ser la fuente del vídeo sacada de la versión en blu ray (a pesar de que para hacer el mío he reducido el vídeo primero de 1080p a 480p para luego de nuevo aumentar su resolución un 450% con Video Enhance AI) y estar la imagen mejor enfocada, el resultado es mucho mejor:

También he hecho algunas capturas de pantalla del programa mientras codificaba otro vídeo de prueba, ya que al mostrar a la izquierda el fotograma original y a la derecha el nuevo, se puede apreciar mejor la diferencia de nitidez entre ambos, cómo desaparecen los pixelados y mejora la imagen. Allá van:






Las imágenes están a una resoluciín 4K, por lo que lo mejor para verlas bien es que pinchéis en ellas para que las podáis ver a su tamaño completo.

Compi, ya puestos un video explicando como lo haces... :-)

[sirdrak]

Bueno, pues ya he subido el vídeo de MacGyver sin el efecto 'maquillaje' del primero, y con más calidad, ya que al ser la fuente del vídeo sacada de la versión en blu ray (a pesar de que para hacer el mío he reducido el vídeo primero de 1080p a 480p para luego de nuevo aumentar su resolución un 450% con Video Enhance AI) y estar la imagen mejor enfocada, el resultado es mucho mejor:

También he hecho algunas capturas de pantalla del programa mientras codificaba otro vídeo de prueba, ya que al mostrar a la izquierda el fotograma original y a la derecha el nuevo, se puede apreciar mejor la diferencia de nitidez entre ambos, cómo desaparecen los pixelados y mejora la imagen. Allá van:






Las imágenes están a una resoluciín 4K, por lo que lo mejor para verlas bien es que pinchéis en ellas para que las podáis ver a su tamaño completo.

Compi, ya puestos un video explicando como lo haces... :-)

Es que es tan simple que no merece la pena... Tan sólo es abrir el programa (Video Enhance AI), arrastar al recuadro central que aparece en la ventana un vídeo, y en las opciones del lateral, seleccionar un tamaño de imagen (bien predefinido, bien manualmente con un porcentaje), cambiar el modelo si con el que aparece por defecto el resultado no es satisfactorio, y luego, en la línea de tiempo del vídeo, antes de darle a Procesar, elegir una posición para ver con la Preview si el resultado es bueno (codifica 60 fotogramas a modo de prueba desde el punto que le hayas indicado), y cuando estés satisfecho, darle a Procesar y dejarlo trabajar hasta que termine... No tiene más...

Y con el DAIN para interpolar los fotogramas lo mismo... Primero cargar el vídeo o gif o animación de origen, seleccionas uno de los dos modelos que tiene (uno para imagen real y otro para animaciones), donde quieres que guarde el resultado y le das a cuánto quieres aumentar los fotogramas (x2, x4, etc...). Luego pulsas el botón Render y a esperar a que acabe...

[sirdrak]

Por cierto, estoy haciendo más pruebas y hay veces que el resultado es casi sobrenatural... Resulta que encontré en Youtube una intro especial de la serie original de los Thundercats de 1986 animada por Shiro Murata y Masayuki Yamaguchi y supervisada por Tsuguyuki KUBO, pero la imagen procede de una cinta VHS y está a una calidad realmente pésima, de las peores que he visto en un tiempo, como podéis ver aquí:

Pues en estas capturas podéis ver la increíble mejora pasándola de 480p a UHD con el Video Enhance AI:

[treme]

Pues si se nota,yo diria que esto hace que los dibujos animados se vean mejor,o al menos me parece que se logra mejor resultado con dibujos que con peliculas

[sirdrak]

Pues si se nota,yo diria que esto hace que los dibujos animados se vean mejor,o al menos me parece que se logra mejor resultado con dibujos que con peliculas

Eso es porque son más simples y fáciles de tratar, igual que los gráficos de juegos, por la uniformidad de colores y texturas... Además muchos dibujos animados usan colores planos sin apenas degradados, lo que facilita aún más las cosas. Por eso el resultado es excelente en todo lo que he probado hasta ahora... Además en el caso de los juegos es como os mostré antes... Parece totalmente que estés viendo el propio juego a una resolución más alta.

[gomas]

pues si que me s cierto que de momento los dibujos ganan muchisimo más, supongo que será cuestión de encontrar los ajustes adecuados a cada caso.

[sirdrak]

Ahora mismo acabo de subir el vídeo de los Thundercats, esta vez poniendo incluso una comparativa entre la fuente original y el resultado en la parte final del vídeo:

[sirdrak]

Ya tengo listo el vídeo comparativo de El Coche Fantástico... He pasado de un vídeo a 854x480 y 24 fps a UHD (3840x2160) y 48 fps. Al igual que en el de los Thundercats, en la segunda mitad del vídeo hago una comparativa con pantalla dividida. Decir que, aunque se aprecia la diferencia claramente, en el vídeo original que yo tengo en mi equipo se nota mucho más, pero ya sabemos cómo es de agresiva Youtube recomprimiendo los vídeos. De todas formas, en las capturas que puse unos mensajes antes sí que se aprecia más.

[treme]

Algo se nota,pero sigo viendo brochazos,jejejeej,pero eso creo que es por gusto personal,estas y tantas series de los ochenta,las veo remasterizadas o mejoradas la imagen que pierden ese algo nostalgico.

Y deja ya de poner series coño.jajajjaajaj,estoy liado buscando la de MacGyver aun que ahora me voy a tener que liar a buscar la de el coche fantastico 

[sirdrak]

Bueno pues hoy vengo a hablar de otro programa de estos que emplean IA para fotografía, aunque en este caso de una forma muy útil y sencilla: El programa usa IA para analizar la imagen y mejorar el brillo, el contraste, los colores, potenciar los detalles de zonas osculas y mejorar el aspecto de los cielos, etc... El resultado con todas las fotos es muy bueno, que además te muestra con una barra deslizable para que puedas comparar la foto original con el resultado, y está todo tan automatizado que sólo hay que arrastras la foto y dejarle hacer... Se llama Photolemur 3.

Algunas capturas de pruebas que he hecho yo mismo:

[sirdrak]

He estado echando un ojo a cómo crear packs de texturas personalizadas con el Dolphin y creo que voy a intentar crear uno, a ver qué resultado consigo... Si es bueno, lo compartiré por aquí con vosotros. Mi idea es probar con The House of The Dead 2 & 3 Return de Wii, usando Gigapixel AI para aumentar la resolución de todas las texturas x2 o x4 (probaré con ambas dependiendo del impacto que tengan en el rendimiento). Ya os contaré... 

Por cierto, también me estuve entreteniendo ayer en pasar la intro del laserdisc de la recreativa original de Dragon's Lair a UHD y 60 fps, con un resultado bastante bueno. También he hecho una prueba usando como fuente la versión 'remasterizada' de los vídeos del mismo juego cuando lo sacaron para PS3 y ya el resultado en 4K es simplemente perfecto (a ver si lo subo a Youtube y lo pongo aquí también):

[sirdrak]

Y aquí subida la prueba en vídeo que he hecho a partir de los vídeos de la versión de PS3 (de mucha mejor calidad que los originales del Laserdisc), pasando de una resolución de 480p y 30 fps a UHD y 60fps:

[gomas]

es espectacular lo que ganan en algunos casos

[sirdrak]

es espectacular lo que ganan en algunos casos

Pues ahora me he enterado de que los de Oculus están experimentando con las Oculus Quest (de momento a modo de pruebas de concepto por lo que no se sabe si lo implementarán a nivel de consumidor en las Quest actuales o lo dejarán para próximos modelos) para conseguir una amplia mejora gráfica aplicando este tipo de técnicas con IA en tiempo real sobre los gráficos de los juegos para conseguir ganar rendimiento a nivel gráfico. Es un cambio de filosofía muy interesante que ya está aplicando nVidia en sus gráficas RTX con el famoso DLSS, que no es otra cosa que generar la imagen a una resolución inferior a la que se quiere utilizar para escalarla usando IA como hemos estado viendo aquí y ganando un rendimiento notable y consumiendo muchos menos recursos que generando la imagen directamente a la resolución deseada. De esta manera, con el experimento llevado a cabo por Oculus dicen que han conseguido un aumento del rendimiento de la GPU del Snapdragon 835 de las Oculus Quest de nada menos que el 67%... Esto posibilitaría en un futuro juegos con mejores gráficos y más cercanos a los de VR en Pc sin necesidad de tener un hardware tan potente como actualmente.