Segmentação de imagens multiespectrais de alta resolução utilizando o modelo U-Net para cartografia de uso do solo

Tese de mestrado, Engenharia Geoespacial, Universidade de Lisboa, Faculdade de Ciências, 2021A aprendizagem profunda (DL) tornou-se numa tecnologia emergente na aprendizagem automática (ML). Estas novas tecnologias, conjugadas com o potencial das imagens aéreas ou de satélite, permitem a construção de produtos úteis para a caracterização e observação da Terra. O presente estudo tem como objetivo avaliar a capacidade das redes neurais de convolução (CNN) para a classificação de entidades geoespaciais que caracterizam o uso do solo nomeadamente, telha vermelha, vias, edifícios industriais, culturas permanentes e caminhos agrícolas. Nas diferentes abordagens adotadas foram avaliadas técnicas de otimização tais como, o aumento de dados, a junção de modelos e a transferência de aprendizagem (TL), as quais potenciam a capacidade do modelo em classificar novos dados. Foram utilizadas imagens aéreas de muito alta resolução (50 cm) adquiridas em junho de 2018, sobre a região de Samora Correia facultadas pelo Instituto de Financiamento de Agricultura e Pescas (IFAP). Recorreu-se à estrutura Tensorflow e à biblioteca Keras para a construção da arquitetura da rede e treino dos modelos. A arquitetura adotada foi a U-Net que tem demonstrado ser competitiva na área da observação da terra. Para o treino dos modelos foi necessária a elaboração manual das máscaras para cada entidade geoespacial. Os dados foram inicialmente reduzidos para dimensões suportáveis pela rede, processados e introduzidos na rede neural. Nas abordagens testadas, os melhores resultados para o F1- score obtidos com a arquitetura U-Net foram, para a classe telha vermelha 86%, para a classe vias 78%, para a classe edifícios industriais 87%, para a classe culturas permanentes 77% e para a classe caminhos agrícolas 82%. Os resultados permitiram avaliar a capacidade destes modelos e técnicas na classificação de 5 classes de uso do solo, identificando as particularidades e estratégias que possibilitem uma melhoria na classificação e a produção de mapas de uso do solo com uma maior exatidão.Deep learning (DL) has become an emerging technology in machine learning (ML). These new technologies, combined with the potential of aerial and satellite images, allow the generation of useful products for the earth’s surface characterization and observation. This study aims to evaluate the capacity of convolutional neural networks (CNN) for the classification of geospatial entities that characterize land use, namely, red tile, roads, industrial buildings, permanent crops, and agricultural roads. Different data and network optimization techniques were evaluated such as data augmentation, ensemble models and transfer learning (TL) that enhance the model's ability to classify on new data. Very high-resolution aerial images (50 cm) acquired in June 2018 over the region of Samora Correia were used, being provided by the Fisheries and Agriculture Financing Institute (IFAP). The Tensorflow structure and Keras library were used to build the network architecture and train the models. The U-Net architecture has shown to produce very competitive results in the field of earth observation, being therefore the architecture adopted for this study. To carry out the training of the models, it was necessary to manually produce the ground truth masks for each geospatial entity. The data were initially reduced to dimensions supported by the network, processed and introduced into the neural network for training the model. For the different approaches tested, the best F1-score results obtained with the U-Net architecture were, 86% for red tile, 78% for road, 87% for industrial buildings, 77% for class permanent crops, and 82% for agricultural roads. Results allowed the evaluation of the model’s performance and techniques used for the classification of 5 land use classes, through the identification of their particularities, which enabled the improvement of the classification and the production of more reliable land use maps