Visualização de camadas intermediárias de Redes Neurais Convolucionais de Transformação de Imagem

Abstract

As Redes Neurais Convolucionais são um modelo de aprendizado supervisionado que nos últimos anos tem se tornado o estado da arte em diversas aplicações da área de visão computacional, como reconhecimento de carácteres, classificação de imagens e detecção de objetos. Apesar do grande poder deste modelo, ele possui algumas desvantagens, entre elas a dificuldade de se compreender como os seus diversos parâmetros se relacionam para chegar a resposta final. Recentemente, algumas técnicas de visualização foram desenvolvidas com o objetivo de auxiliar na compreensão do funcionamento interno de uma rede neural, e o conhecimento obtido através da aplicação destas técnicas foi utilizado para melhorar o desempenho das arquiteturas em questão. Estas técnicas, porém, foram desenvolvidas para e aplicadas em redes de classificação de imagens. O objetivo deste trabalho é estudar os métodos de visualização existentes e avaliar a sua aplicação em redes neurais destinadas a problemas de transformação de imagem, que são aqueles onde a entrada e a saída são uma imagem, geralmente do mesmo tamanho. Foram utilizadas como estudo de caso redes neurais relacionadas aos problemas de estimativa de profundidade, remoção de névoa e restauração de imagens subaquáticas. A aplicação de métodos de visualização nestes modelos permitiu uma melhor compreensão sobre os mesmos, que pode ajudar no desenvolvimento de arquiteturas melhores e mais eficientes.

Convolutional Neural Networks are a supervised learning model that in recent years has become the state-of-the-art in many fields of computer vision, such as character recognition, image classification and object detection. Despite its power, this model has some disadvantages, among them the difficulty in understanding how the model parameters are related in order to reach the network's final answer. Recently, some visualization techniques have been developed with the objective of helping the understanding of the inner working of a neural network, and the knowledge obtained through the application of these techniques was used to improve the performance of the architectures in question. Those techniques, however, were developed for and applied to image classification networks. The objective of this work is to study existing visualization methods and evaluate their application in neural networks intended to image transformation problems, i.e., problems where both the input and output are images, usually of the same size. Convolutional Neural Networks related to the problems of depth estimation, image dehazing and underwater image restoration were used as case studies. The application of visualization methods in these models allowed a better understanding of them, which may help in the development of better and more efficient architectures.