Spatio-temporal Analysis of Agricultural Landscape Images: A Superpixel-based Approach

In the last hundred years, the world population has tripled and is still growing dramatically but resources have remained the same, causing changes in food supply outlook. According to the Food and Agriculture Organization (FAO), global food production will need to grow by 70% in order to satisfy the food and feed demand of a population of 9 billion people by 2050. In the current scenario, with limited arable lands and water scarcity, this means a greater pressure than ever before on productive land; thus today’s main challenge is to put agriculture on a more sustainable and productive long-term path. In this context, the study of the variability within plots represents an opportunity for improving agricultural management. For most farmers, agricultural plots are variable which implies that not all areas within them require the same management; for example: some areas have specific needs of water, fertilizers, or pesticides in order to be more profitable. Therefore, adjusting the management of the plots based on the variability within them opens a route to a variable farm management able to improve cost/yield relationship. New generation of optical remote sensors placed on aircraft, satellite platforms and drones, offers accessible and useful data of very-high resolution for monitoring and determining spatial variability of agricultural fields at plot level. However, the landscape complexity makes the manual analysis of the variability within an agricultural plot a highly time-consuming and expensive task. At the same time, it hinders considerably the monitoring of a high number of agricultural plots simultaneously. Moreover this very-high spatial resolution represents a challenge for traditional approaches of analysis based on pixels, unable to handle the withinclass spectral variability, intrinsic to this type of images. Therefore, it exists a critical need to develop methodologies for efficiently and automatically extracting and analyzing information from very-high resolution images, that would allow stakeholders to enable variable farm management. In this context, it is of particular interest to automatically detect region dynamics within the agricultural plots. The aim of this work is the development of a methodology for automatic generation of spatial and temporal information on the dynamics of agricultural land, particularly at plot level. In this sense, the study of agricultural scenes has been addressed through an object-based approach, exploring superpixel methods, which are seen as a link between the pixels of the image and objects of interest. To this end a superpixel method for multi-spectral images has been proposed. This method has been exploited in different applications at three different scales of interest: (i) to analyze fragmented agricultural scenes, (ii) to delineate agricultural plots, and (iii) to capture the internal variability of agricultural plots. The analysis of fragmented agricultural scenes has been approached by two methodologies. The first one focuses on providing a framework for multi-scale segmentation and, at the same time, a way to identify the best scale according to criteria of spectral variability of the regions at each scale. While this methodology provides spectrally similar regions at all scales, the variability of agricultural covers hinders to correctly establish the plot boundaries. This issue is further discussed in later approaches. The second methodology is aimed at generating thematic maps by combining only two scales which correspond to segments generated by a segmentation based on edges and the other based on superpixels. For mapping lands covers, it has combined the results of classifying the superpixels through a supervised classifier and the segments based on edges by a set of rules. The combination of both scales has yielded results with an accuracy better than those obtained on both scales separately. Delineation of agricultural plots has been approached by two different methodologies. The first approach uses a supervised classification method to segment the image by agglomerating superpixels. This methodology represents an alternative to traditional methods of segmentation, which is based on learning how agricultural plots in a similar way as a human operator, as it does. In this regard, unlike conventional methods that require to find a suitable combination of segmentation parameters, the proposed method has the advantage that the classifier is able to find relationships in a multidimensional space to facilitate an adequate segmentation. The main drawback of this method is that it requires large amounts of annotated information for training the classifier. In this regard, a second method which uses only the image information for the delimitation has been proposed. From the basis that segmentations (superpixels) obtained by different parameters can capture various phenomena at different scales of an image, the proposed methodology allows to exploit its edges to obtain by consensus a segmentation of agricultural plots. It was found that superpixels can reduce the image noise, while most of the edges corresponding to the plots are kept in different segmentations. Both approaches are complementary, and depending on the availability of annotated data one or the other can be used, the first method can be used when there is ground truth, and the second one when there is no such information. Finally, to capture the internal variability of agricultural parcels, it has proposed a method based on superpixels that considers spatial and temporal components of multiple images to find temporarily homogeneous regions within plots. Further analysis of the behavior of generated superpixels through the different dates provided the information about the spatio-temporal variability inside the plots. In this regard, three behaviors have been considered to determine the variability: (i) no variability, (ii) low-persistence variability, and (iii) high-persistence variability. This considerations allowed to create a map of spatio-temporal dynamics that provides an overview of the variability inside plots. RESUMEN En el último siglo, la población mundial se ha triplicado y continúa creciendo de forma alarmante; sin embargo, los recursos disponibles se mantienen igual, lo que provoca cambios en la perspectiva del suministro de alimentos. De acuerdo a la Organización de las Naciones Unidas para la Alimentación y la Agricultura (FAO), la producción mundial de alimentos tendrá que aumentar en un 70% con el fin de satisfacer la demanda de alimentos de una población de 9 mil millones de personas en 2050. En el escenario actual con limitadas tierras cultivables y la escasez de agua, lo anterior significa una presión cada vez mayor sobre las tierras productivas; por tanto, actualmente el principal desafío es conducir a largo plazo a la agricultura hacia un camino más sostenible y productivo. En este contexto, el estudio de la variabilidad dentro de las parcelas representa una oportunidad para mejorar la gestión agrícola. Para la mayoría de los agricultores, las parcelas agrícolas presentan variabilidad, lo cual implica que no todas las áreas dentro de las mismas requieren el mismo manejo; por ejemplo, algunas áreas tienen necesidades específicas de agua, fertilizantes o pesticidas que les permitirían ser más rentables. Por lo tanto, el ajuste de la gestión de las parcelas en función de su variabilidad interna abre una ruta hacia una gestión agrícola variable, es decir que varíe de acuerdo a esas necesidades permitiendo mejorar la relación coste/rendimiento. La nueva generación de sensores ópticos de teledetección, instalados en aviones, plataformas de satélite y aviones no tripulados, ofrece datos de muy alta resolución accesibles y útiles para el seguimiento, así como la determinación de la variabilidad espacial de los campos agrícolas a nivel de parcela. Sin embargo, la complejidad del paisaje hace que el análisis manual de la variabilidad interna de las parcelas agrícolas sea una tarea costosa que requiere un tiempo considerable. Al mismo tiempo, el seguimiento simultáneo de un alto número de parcelas se dificulta considerablemente. Por otra parte, la muy alta resolución espacial de los datos representa un desafío para los enfoques tradicionales de análisis basados en píxeles, los cuales son incapaces de manejar la variabilidad espectral dentro de la clases. Por lo tanto, existe una necesidad crítica de desarrollar metodologías para extraer y analizar la información de las imágenes de muy alta resolución de manera eficiente y automática que permita a las partes interesadas la gestión agrícola variable de las parcelas. En este contexto, es de particular interés la detección automáticamente de las dinámicas dentro de la parcelas agrícolas. El objetivo de este trabajo es el desarrollo de una metodología automática que permita la generación de información espacial y temporal sobre la dinámica de las tierras agrícolas, particularmente a nivel parcela. En este sentido, el estudio de las escenas agrícolas se ha abordado mediante un enfoque basado en objetos, explorando técnicas de generación de superpíxeles, los cuales sirven como un enlace entre los píxeles de la imagen y los objetos de interés. Con este fin se ha propuesto una extensión de un método de superpíxeles para el procesamiento de imágenes multiespectrales. Este método ha sido explotado en diferentes aplicaciones a tres diferentes escalas de interés: (i) para analizar escenas agrícolas fragmentadas, (ii) para delinear parcelas agrícolas, y (iii) para capturar la variabilidad interna de las parcelas agrícolas. El análisis de escenas agrícolas fragmentadas se ha abordado mediante dos metodologías. La primera está centrada en proveer un marco para la segmentación multiescala y al mismo tiempo la identificación de la mejor escala de trabajo de acuerdo a criterios de variabilidad espectral de las regiones. Si bien esta metodología provee regiones espectralmente similares en todas las escalas, la variabilidad de las cubiertas agrícolas dificulta establecer correctamente los límites de las parcelas. Este difícil problema se ha abordado posteriormente en capítulos posteriores. La segunda metodología está orientada a la generación de mapas temáticos mediante la combinación de dos escalas, las cuales corresponden a segmentos generados mediante una segmentación basada en bordes y la otra basada en superpíxeles. Para obtener el mapa de las cubiertas se han combinado los resultados de clasificar los superpíxeles mediante un clasificador supervisado y los segmentos basados en bordes mediante un conjunto de reglas. La combinación de los resultados en ambas escalas ha permitido obtener resultados con una precisión superior a los obtenidos en ambas escalas por separado. La delineación de parcelas agrícolas ha sido abordada mediante dos diferentes metodologías. La primera metodología utiliza un método de clasificación supervisado para segmentar la imagen mediante la aglomeración de superpíxeles. Esta metodología plantea una alternativa a los métodos tradicionales de segmentación, la cual se basa en aprender como segmentar parcelas de una forma similar a cómo una persona lo hace. En este sentido, a diferencia de los métodos de segmentación convencionales que requieren encontrar una combinación de parámetros adecuada, el método propuesto tiene la ventaja de que el clasificador es capaz de encontrar relaciones en un espacio multidimensional permitiendo así una segmentación adecuada. El principal inconveniente de este método radica en que requiere grandes cantidades de información anotada con el fin de realizar el entrenamiento del clasificador. En este sentido, se ha propuesto una segunda metodología que utiliza solamente la información de la imagen para realizar la delimitación. Partiendo de la premisa de que segmentaciones (superpíxeles) obtenidas mediante diferentes parámetros pueden capturar diversos fenómenos de una imagen a diferentes escalas, la metodología propuesta permite explotar los bordes de estas segmentaciones para obtener mediante un consenso las parcelas agrícolas. Los superpíxeles permiten reducir el ruido de la imagen, mientras mantienen la mayoría de los bordes de las parcelas a diferentes escalas. Ambos enfoques son complementarios, así en función de la disponibilidad de datos anotados, el primer método puede ser utilizado cuando existe verdad de terreno, y el segundo cuando no existe esta información. Finalmente, para capturar la variabilidad interna de las parcelas agrícolas, se ha propuesto un método basado en superpíxeles que considera las componentes espaciales y temporales de múltiples imágenes con la finalidad de encontrar regiones temporalmente homogéneas en el interior de las parcelas agrícolas. Así, un análisis detallado del comportamiento de los superpíxeles generados a través de las diferentes fechas mediante este método permite generar la información sobre la variabilidad espacio-temporal dentro de las parcelas. En este sentido, se consideraron tres comportamientos para determinar la variabilidad: (i) sin variabilidad, (ii) variabilidad de baja persistencia, y (iii) variabilidad de alta persistencia. Las consideraciones anteriores han permitido crear un mapa de la dinámica espacio-temporal que proporciona una visión general de la variabilidad dentro de las parcelas