Remasterización de vídeos con IA - 4K

Pues básicamente consiste en conseguir algún vídeo antiguo, en blanco y negro preferiblemente para que se aprecie aún más el cambio, y mediante varios modelos de Inteligencia Artificial, mejorar la calidad del mismo.

Por ejemplo, haciendo que el vídeo sea mucho más fluido que el original, ya que los vídeos antiguos tenían una tasa de fotogramas por segundo bastante baja comparando con los vídeos que estamos acostumbrados a ver a día de hoy.

Y en el caso de que el vídeo sea en blanco y negro podremos incluso ¡colorearlo digitalmente!.

Así que, ¡vamos al lío!

Para conseguir una correcta remasterización de vídeos mediante el uso de la Inteligencia Artificial, debemos ir realizando una serie de pasos hasta conseguir el resultado que queremos.

Es importante hacer cada paso completo, hasta pasar al siguiente paso, de esta forma podremos tener todo organizado ya que cuando acabes tendrás «chorrocientos» archivos, y si no mantienes orden, tendrás un problemón…

Paso 1: ¡Mantenlo estable!

En primer lugar tenemos que mejorar la estabilización. En este caso, hemos realizado un postprocesado del vídeo en las zonas donde la estabilización de las escenas tenían mayor movimiento de «temblor» (no vamos a entrar en tecnicismos, que sino ¡no acabamos!), para conseguir una imagen estable en estas escenas. Para hacer esto no he utilizado ningún modelos en particular, esto puede hacerse con software de edición de vídeo y postprocesado, como es After Effects o incluso con Davinci Resolve.

Paso 2: Dale color a la vida

Posteriormente se ha procedido a colorear artificialmente mediante un modelo de machine learning denominado Deoldify.

Podéis descargar el modelo Deoldify totalmente gratis, ahora eso sí, aprender a utilizarlo es otra historia…
Por ahora sólo quería presentar esta demostración, así que quizás algún día haga un tutorial paso a paso pero por ahora lo dejaremos así.

Paso 3: Más FPS que en tu shooter favorito

Después de esto, con otro proceso, utilizando machine learning también, se han añadido fotogramas al vídeo, ya que el vídeo que pude conseguir en Youtube tenía 29,97 fotogramas por segundo, aunque el vídeo original seguro que tenía menos.
Para esto se ha utilizado un modelo denominado Dain.

En este punto del proceso, el vídeo ha llegado a conseguir hasta ¡239 fotogramas por segundo!.

¡Esto es una auténtica salvajada!, así que luego he decidido adaptarlo a algo más coherente de los tiempos que corren, y dejarlo en 60 fps, que es una cantidad de fotogramas por segundo más que razonable para apreciar una fluidez de lujo en contenidos audiovisuales.

Paso 4: Mayor resolución que en el cine de tu pueblo

Por último se ha realizado un «reescalado» (upscale, para los que les gustan los anglicismos) del vídeo desde la resolución original de 952×720 hasta conseguir un vídeo 4K (3840 × 2160 píxeles).

Para realizar todo el proceso dividí el vídeo en pequeños fragmentos de unos 30 segundos, ya que es un proceso muuuy lento que requiere de bastantes recursos computacionales, por esto realicé el proceso en partes, algunas las trabajé con tarjetas gráficas de Google Colab, y otras con el ordenador de sobremesa, además de necesitar mucho tiempo y «mucha mucha paciencia».

Conclusión y sobretodo…paciencia

El proceso completo de remasterización de vídeos con IA, es sin duda un proceso lento, en el que necesitarás una perfecta organización, test de prueba y error hasta encontrar el proceso más idóneo, y una buena tarjeta gráfica a poder ser, a pesar de todo esto te animo a que lo pruebes si cumples todos estos requisitos.
Por supuesto, si no tienes tanta paciencia siempre puedes contactarme en mi formulario de contacto, y te haré presupuesto a medida.

Y si quieres ver algunos de mis servicios ya sabes donde ir.