Modelo de reconstrução de imagens afetadas por variação na exposição baseado em redes neurais convolucionais

Abstract

O trabalho apresenta um modelo de rede neural artificial para restauração de imagens danificadas por exposição inadequada, contemplando condições de sub-exposição e sobre-exposição. O problema abordado tem relevância em aplicações de visão computacional que envolvem obtenção de imagens em cenas onde a limitação do sensor ou arranjo óptico impedem que os detalhes da cena sejam adequadamente representados na imagem capturada. Em função da variabilidade de equipamentos e técnicas de fotografia disponíveis, da quantidade de circunstâncias não controladas que impactam o processo de aquisição de imagens opta-se pela modelagem baseada em redes neurais profundas. Nesta abordagem uma arquitetura de rede combinado com um procedimento de ajuste é capaz de convergir em um modelo a partir de dados pareados compostos por uma imagem com exposição inapropriada para a cena e uma imagem com a exposição adequada. A proposição desta modelagem leva em consideração os avanços recentes propiciados por redes convolucionais em problemas como segmentação semântica, transformação imagem- imagem e classificação de objetos em imagens, resultando em um modelo compacto e que pode ser incorporado como uma etapa de pré-processamento em aplicações de visão computacional. Com relação aos procedimentos técnicos, pode-se caracterizar a metodologia científica da pesquisa proposta em bibliográfica, descritiva e experimental. No que tange a avaliação dos resultados da pesquisa utilizam-se medidas de qualidade de imagem para avaliar a qualidade dos resultados produzido e métricas objetivas para avaliar o impacto desta em aplicações de visão computacional. Utiliza-se também a análise qualitativa para discutir os aspectos conceituais e explicitar o funcionamento do modelo, evidenciando o impacto das escolhas técnicas realizadas. Os resultados obtidos, tanto em termos de aprimoramento visual quanto na aplicação do modelo em problemas típicos da computação visual indicam que o modelo de rede neural convolucional proposto é capaz de melhorar imagens danificadas pela heterogeneidade de exposição, oferecendo ganho sobre métodos estado-da-técnica, tanto em conjuntos de dados simulados quanto em dados reais.This work presents an artificial neural network model for the restoration of images damaged by underexposure and overexposure. The problem is relevant in computer vision applications that are applied in conditions where the limitation of the sensor or optical arrangement prevents the scene details from being adequately represented in the captured image. Due to uncontrolled conditions that impact the process, the variability of available equipment and photography techniques, and the feasibility of using paired datasets, we chose to address this problem using a deep learning based approach. The modeling takes into account the recent advances provided by convolutional networks in problems such as semantic segmentation, image-image transformation and classification of objects in images. Regarding the technical procedures, the scientific methodology of the proposed research can be characterized as bibliographical, descriptive and experimental. Regarding the evaluation of research results, a broad range of image quality metrics is used to assess the quality of the results produced by the model. We employ objective metrics to assess the impact that the use of the proposed model can have in computer vision applications. Qualitative analysis is also used to discuss conceptual aspects and to understand how the model works. The results obtained, measured by means of different image quality indicators, as well as by applying the model to typical problems of visual computing, indicate that the proposed convolutional neural network model is able to improve images damaged by exposure heterogeneity, offering gains over state-of-the-art methods, both on simulated and real data sets.