Infrared image processing tools for automated aerial remote sensing of active wildland fires

Aplicat embargament des de la data de defensa fins el 31/12/2020Premi Extraordinari de Doctorat, promoció 2018-2019. Àmbit d’Enginyeria IndustrialForest fires are natural phenomena essential for ecosystem balance. However, their impact on society is increasing. Emergency managers are facing unprecedented crises producing massive evacuations, numerous casualties and economic losses in the order of billions of dollars. At the same time, fire scientists around the world are struggling to improve our understanding of wildfire dynamics, which is incomplete at present. Extensive large-scale experimental campaigns have been designed, funded and implemented in recent years to study fire behaviour. Furthermore, operational fire spread simulators have been revisited to improve their accuracy when working .in real time. A very promising approach to do so is data assimilation, which relies on fire monitoring. In this context, there is a strong need for accurate detailed information about wildfire behaviour, with a triple goal: firstly, to improve the understanding of fire dynamics; secondly, to assist evacuation and firefighting tasks if such data can be acquired and provided in real time during a fire emergency; thirdly, to support modelling efforts including the specific case of data-driven fire spread simulators Remote sensing techniques have shown a great potential to monitor wildland fires. Thermal infrared (TIR) cameras allow a clear view of the fire, in most conditions even in the presence of heavy smoke. Furthermore, modern TIR cameras are light, compact and affordable and they can be installed aboard Unmanned and Remotely Piloted Aircraft (UAS and RPAS, respectively), which facilitates sensor deployment while drastically reducing cost and risk. These conditions have spurred an interest in the use of airborne thermal infrared imaging to measure fire behaviour metrics with high temporal and spatial resolution. However, the analysis of TIR imagery has so far been mostly manual and often only qualitative. When quantitative results have been obtained, they have usually been computed analysing individually a subset of video frames. This methodology entails two important limitations. Firstly, image analysis is slow and it cannot be performed in real time. Secondly, measured values of fire behaviour metrics are averaged both in time and space, with a significant portion of the acquired information never being used. This Thesis contributes to the automation of active wildfire monitoring. It presents a number of image processing algorithms that assist in the analysis of aerial thermal infrared imagery. After a thorough review of the current state of the art, highest priority needs were identified (chapter 1). Detected needs include video stabilization, fire perimeter tracking and the estimation of spatially explicit fire rates of spread (ROS). Image registration and video stabilization are essential to georeference aerial imagery, which must be performed before any further analysis. Automated fire perimeter tracking has a great applicability for tactical emergency management and it allows ROS estimation Finally, ROS can be used to derive additional fire behaviour metrics such as fire fine intensity and it can be fed into data-driven simulators to improve operational fire spread forecast. Algorithms for IR tire image segmentation, fire line detection and fire perimeter tracking are presented in chapters 2 and 3, whereas image registration and video stabilization are dealt with in chapters 4 and 5. Additionally, chapter 6 describes a number of tools developed to overcome practical limitations of modern compact IR cameras. Afterwards, chapter 7 provides a demonstration of the use of developed algorithms in two independent datasets. Finally, chapter 8 describes the integration of the software developed in this Thesis with third-party tools. External software necessary for the study of wildfire behaviour includes Geographic Information Systems (GIS), fire models based on Computational Fluid Dynamics (CFD) and data-driven fire spread simulators that incorporate data assimilation.Los incendios forestales son un fenómeno natural, esencial para la conservación de una gran cantidad de ecosistemas. Sin embargo, su impacto social ha aumentado considerablemente en los últimos años. La ocurrencia de incendios cerca de asentamientos humanos ha dado lugar recientemente a importantes desastres con evacuaciones masivas, numerosas víctimas mortales y pérdidas económicas multimillonarias. Mientras los equipos de gestión de emergencias buscan nuevas herramientas para hacer frente a estas situaciones, la comunidad científica trata de mejorar el conocimiento disponible sobre el comportamiento del fuego. En este contexto, crece la necesidad de obtener información fiable y detallada sobre el comportamiento de los incendios forestales a escala real. Dicha información tiene tres aplicaciones principales: en primer lugar, permite el estudio científico de la dinámica del fuego; en segundo lugar, refuerza la percepción de la situación durante una emergencia y ayuda en la toma de decisiones; en tercer lugar, puede ser utilizada por simuladores basados en la asimilación de datos para mejorar la predicción de la propagación del fuego. La primera aplicación requiere información con gran resolución espacial y temporal, así como una metodología de análisis sistemática que permita relacionar las variables de dinámica del fuego con las propiedades del combustible, el terreno y las condiciones meteorológicas. Además, las aplicaciones durante un escenario de emergencia requieren información en tiempo real. Las técnicas de teledetección han demostrado tener un gran potencial para monitorizar incendios forestales. En concreto, las cámaras de termografía infrarroja instaladas en plataformas aéreas permiten obtener una visión clara del fuego incluso en presencia de humo. Además, estas cámaras han sufrido un desarrollo considerable con diseños cada vez más compactos, ligeros y económicos que permiten su instalación en vehículos aéreos no tripulados (UAVs), reduciendo costes y riesgo para el personal que las opera. Estas circunstancias han favorecido el uso de cámaras termográficas aerotransportadas en campañas experimentales a mediana y gran escala, y sugieren una importante aplicabilidad en incendios forestales no controlados. No obstante, el análisis de las imágenes adquiridas se realiza de forma manual, a menudo únicamente cualitativa. Cuando se obtienen resultados cuantitativos sobre el comportamiento del fuego, su resolución tanto espacial como temporal queda limitada por la imposibilidad de procesar toda la información disponible. Además, la metodología manual imposibilita el procesamiento de datos en tiempo real. Con el fin de facilitar el estudio del comportamiento de incendios forestales mediante técnicas de teledetección, esta tesis propone una serie de algoritmos de procesamiento de imagen infrarroja. Un análisis bibliográfico inicial (capítulo 1) permitió identificar las principales necesidades existentes, que incluyen el registro de imágenes, la estabilización de vídeo, la detección de las líneas de fuego activas y la medición de la velocidad de propagación del incendio. Todos estos aspectos son tratados en los capítulos 2, 3, 4 y 5 de esta tesis. A continuación, el capítulo 6 añade una serie de soluciones prácticas diseñadas para solventar limitaciones existentes en el uso de cámaras termográficas compactas. El capítulo 7 incluye una demostración del uso combinado de los algoritmos propuestos. Por último. el capítulo 8 describe la integración del software desarrollado con otros programas existentes que resultan de utilidad en el estudio de incendios forestales. Entre los programas externos de interés se encuentran los Sistemas de Información Geográfica (SIG), los simuladores basados en dinámica de fluidos computacional (CFD) y los simuladores de propagación de incendios que incorporan asimilación de datos.Award-winningPostprint (published version