El método de NVIDIA, que realiza un proceso llamado "impainting de imagen", podría implementarse en programas digitales de edición fotográfica para eliminar el contenido no deseado y reemplazarlo con una alternativa realista generada por computadora.
Para comenzar a entrenar su red neuronal, el equipo primero generó 55.116 máscaras de rayas aleatorias y agujeros de formas y tamaños arbitrarios. También generaron casi 25 mil otras máscaras para realizar pruebas. Estos se identificaron en seis categorías según los tamaños relativos a la imagen de entrada, con el fin de mejorar la precisión de la reconstrucción.
Utilizando las tarjetas gráficas NVIDIA Tesla V100 y el marco de aprendizaje profundo PyTorch (Inteligencia Artificial) acelerado por la biblioteca cuDNN, el equipo entrenó su red neuronal aplicando las máscaras generadas a las imágenes de los conjuntos de datos.
Durante la fase de entrenamiento, se introducen agujeros o partes faltantes en imágenes de entrenamiento completas de los conjuntos de datos anteriores, para permitir que la red aprenda a reconstruir los píxeles faltantes.
Los investigadores dijeron que los métodos existentes de impainting para imágenes basados en el aprendizaje profundo sufren porque el valor resultante para los píxeles faltantes necesariamente depende del valor de la entrada que se debe suministrar a la red neuronal para completarlos. Esto produce imágenes con diferencias de color y borrosidad.
Para solucionar este problema, el equipo de NVIDIA desarrolló un método que garantiza que los valores resultantes de los píxeles faltantes no dependan del valor de entrada proporcionado para esos píxeles. Este método usa una capa de "convolución parcial" que renormaliza cada resultado dependiendo de la validez de su campo receptivo correspondiente.
Según el equipo de NVIDIA, este es el primer sistema que consigue desarrollar una red neural que puede procesar vacíos irregulares en las imágenes y actuar en consecuencia.