Contribucions a l’anàlisi automàtica de grans volums de dades en el context de la Ciència de la Informació Geogràfica

Es presenta una tesi multidisciplinària en el context de la Ciència de la Informació Geogràfica on convergeixen sinèrgicament metodologies de la Geostadística, la Teledetecció, la Ciència Computacional i els Sistemes d’Informació Geogràfica amb l’objectiu d’estudiar i oferir noves solucions que permetin l’automatització de determinats algorismes d’anàlisi espacial i de processament d’imatges. L’automatització d’aquests algorismes està enfocada a possibilitar i millorar l’eficiència del processament massiu de grans volums de dades geospacials. L’automatització d’aquests processos està fonamentada en dos pilars principals: • L’aprofitament adequat de les metadades en la presa de decisions automàtiques. Aquestes metadades poden ser generades tant pel proveïdor de les dades originals com pels resultats intermedis derivats dels processos implicats en els algorismes estudiats. Aquest important rol de conductor dels processos d’anàlisi espacial afegeix a les metadades un component més geogràfic que altres usos més habituals com són les cerques sobre catàlegs. • L’estudi i adaptació específic de l’algorisme a l’automatització. S’ha analitzat i re- dissenyat cada algorisme fins aconseguir una solució automàtica que mantingui la màxima qualitat possible: kriging, anàlisis del variograma, interpoladors òptims, models de regressió multivariant o logística adequats i correccions radiomètriques. Addicionalment, l’automatització ha permès aplicar les metodologies de distribució de còmput entre diferents unitats de processament i reduir de forma significativa els temps d’execució (s’ha aconseguit speed-ups propers a 60 en algun cas, i propers a un comportament lineal en altres). Aquestes millores computacionals s’han dut a terme mitjançant la paral·lelització dels codis en llenguatge C i l’enviament de dades entre processadors mitjançant Message Passing Inteface (MPI) en un entorn d’elevades prestacions computacionals (HPC). Les automatitzacions s’han aplicat a diversos camps i a diversos tipus de dades, essent les sèries temporals d’imatges de Teledetecció el principal àmbit de recerca i aplicació. Per exemple, en aquesta tesi es proposa un mètode que millora la selecció d’imatges (reflectàncies de Terra MODIS) d’elevada qualitat respecte a la que només s’efectua en funció de les màscares de qualitat que acompanyen aquests productes. El nou mètode afegeix una anàlisi automàtica del variograma que detecta les possibles anomalies radiomètriques i geomètriques respecte un patró espacial tipus, definit també amb criteris geostadístics. Aconseguir corregir radiomètricament de forma automàtica imatges Landsat de diversos sensors en base a valors radiomètrics de referència des de polígons pseudo-invariants, també generats automàticament, és una altra de les fites d’aquesta tesi. Aquesta aportació permet processar llargues sèries temporals d’imatges d’elevada resolució espacial per a àmbits geogràfics extensos amb un elevat rigor radiomètric i, per tant, obre la porta a realitzar anàlisis del territori amb un nivells de detall fins ara no viables. Finalment, en el camp de la compressió amb pèrdua d’imatges de Teledetecció s’ha realitzat aportacions que afegeixen una visió més espacial (i per tant territorial) sobre visions més clàssiques en l’àmbit general del tractament d’imatges. La compressió d’imatges és una de les metodologies àmpliament acceptades avui per a gestionar de forma eficient grans volums de dades i, altre cop, l’anàlisi geostadística ha permès conduir les compressions cap a resultats que conservin millor les propietats espacials de les imatges comprimides.Se presenta una tesis multidisciplinar en el contexto de la Ciencia de la Información Geográfica dónde convergen sinérgicamente metodologías de la Geoestadística, la Teledetección, la Ciencia Computacional y los Sistemas de Información Geográfica con el objetivo de estudiar y ofrecer nuevas soluciones que permitan la automatización de determinados algoritmos de análisis espacial y de procesamiento de imágenes. La automatización de estos algoritmos está enfocada a posibilitar y mejorar la eficiencia del procesamiento masivo de grandes volúmenes de datos geoespaciales. La automatización de estos procesos está fundamentada en dos pilares principales: • El aprovechamiento adecuado de los metadatos en la toma de decisiones automáticas. Estos metadatos pueden ser generados tanto por el proveedor de los datos originales como por los resultados intermedios derivados de los procesos implicados en los algoritmos estudiados. Este importante rol de conductor de los procesos de análisis espacial añade a los metadatos una componente más geográfica que otros usos más habituales como son las buscas sobre catálogos. • El estudio y adaptación específico del algoritmo a la automatización. Se ha analizado y rediseñado cada algoritmo hasta conseguir una solución automática que mantenga la máxima calidad posible: kriging, análisis del variograma, interpoladores óptimos, modelos de regresión multivariante o logística adecuados y correcciones radiométricas. Adicionalmente, la automatización ha permitido aplicar las metodologías de distribución de cómputo entre diferentes unidades de procesamiento y reducir de forma significativa los tiempos de ejecución (se ha conseguido speed-ups próximos a 60 en algún caso, y próximos a un comportamiento lineal en otras). Estas mejoras computacionales se han llevado a cabo mediante la paralelización de los códigos en lenguaje C y el envío de datos entre procesadores mediante Message Passing Inteface (MPI) en un entorno de elevadas prestaciones computacionales (HPC). Las automatizaciones se han aplicado a varios campos y a varios tipos de datos, siendo las series temporales de imágenes de Teledetección el principal ámbito de investigación y aplicación. Por ejemplo, en esta tesis se propone un método que mejora la selección de imágenes (reflectividades de Terra MODIS) de elevada calidad respecto a la que sólo se efectúa en función de las máscaras de calidad que acompañan estos productos. El nuevo método añade un análisis automático del variograma que detecta las posibles anomalías radiométricas y geométricas respecto a un patrón espacial tipo, definido también con criterios geoestadísticos. Conseguir corregir radiométricamente de forma automática imágenes Landsat de varios sensores en base a valores radiométricos de referencia desde polígonos pseudo-invariantes, también generados automáticamente, es otro de los logros de esta tesis. Esta aportación permite procesar largas series temporales de imágenes de elevada resolución espacial para ámbitos geográficos extensos con un elevado rigor radiométrico y, por lo tanto, abre la puerta a realizar análisis del territorio con un niveles de detalle hasta ahora no viables. Finalmente, en el campo de la compresión con pérdida de imágenes de Teledetección se ha realizado aportaciones que añaden una visión más espacial (y por lo tanto territorial) sobre visiones más clásicas en el ámbito general del tratamiento de imágenes. La compresión de imágenes es una de las metodologías ampliamente aceptadas hoy para gestionar de forma eficiente grandes volúmenes de datos y, nuevamente, el análisis geoestadístico ha permitido conducir las compresiones hacia resultados que conserven mejor las propiedades espaciales de las imágenes comprimidas.This is a multidisciplinary thesis in Geographical Information Science. Methodologically, it draws on Geostatistics, Remote Sensing, Computer Science and Geographical Information Systems. The thesis studies certain algorithms for spatial analysis and image processing, and proposes new ways of automatize them. This automatization is meant to enable and improve the efficiency of massive processing of big geospatial data. The automatization of these processes is based on: 1) The use of metadata in automated decision making. This metadata can be generated either by the supplier of the original data or by the intermediate results derived from the processes involved in the algorithms. Allowing them to drive the processes of spatial analysis, gives metadata a geographic dimension that is missing in more common uses, such as catalogue search. 2) The study and specific adaptation of the algorithm to automatization. Each algorithm has been studied and redesigned to achieve an automatic solution while preserving the highest possible quality: kriging, variogram analysis, optimal interpolation, multivariant or logistic regression models, and radiometric corrections. In addition, automatization allows us to distribute computing amongst different processing units, significantly reducing execution time (speed-ups close to 60 have been achieved in some instances, while in others behaviour was nearly linear). These computational improvements result from parallel programming in C language and from sending data between processors through Message Passing Interface (MPI) in a High Performance Computing (HPC) environment. Automatization has been applied to various fields and various types of data, first and foremost to temporal series of Remote Sensing images, our main domain of research and application. For example, this thesis proposes a method that improves the selection of high quality images (Terra MODIS reflectance) with regard to the selection based on the quality masks accompanying these products. The new method adds an automatic variogram analysis capable of detecting possible radiometric and geometric anomalies with respect to a spatial pattern type, defined with geostatistical criteria. Another aim of this thesis is to automatize the radiometric correction of Landsat images from various sensors, on the basis of radiometric reference values from pseudo-invariant polygons that are also automatically generated. This contribution makes it possible to process long temporal series of high spatial resolution images covering large geographic areas, and to do so with high radiometric accuracy. This could be applied to geographical analysis at a level of detail not feasible until now. Finally, in the field of lossy compression for Remote Sensing images, the thesis proposes a view that is more spatial (and therefore geographical) than more traditional views in the domain of image processing. Image compression is widely accepted today as a methodology to efficiently manage big data. Here again, geostatistical analysis has allowed us to compress images with a minimum loss of their spatial properties