Explanations for dynamic Bayesian networks: a case study in climate science

Si bien la inteligencia artificial (IA) es un campo que lleva en investigación desde hace décadas, no ha sido hasta recientemente que han surgido una gran cantidad de modelos con una gran capacidad de cómputo. Sin embargo, dicha gran capacidad suele venir a costa de una opacidad en el tratamiento de los datos, lo que nos lleva a no entender el razonamiento de dicho sistema. En una sociedad donde cada vez la IA está más y más presente en nuestras vidas, esto puede dar lugar a problemas legales, éticos y de rendimiento. Como respuesta, en los últimos años está en auge la disciplina de la inteligencia artificial explicable, que busca mejorar la interpretabilidad de los sistemas de diversas maneras. Uno de los métodos consiste en seleccionar modelos que sean transparentes y mejorar su interpretabilidad, dado que transparencia no implica explicabilidad ni interpretabilidad. Un ejemplo de dichos modelos son las redes Bayesianas, un tipo de modelo gráfico probabilístico que permite una representación compacta y visual de los datos además de trazar el proceso de inferencia. En este trabajo buscamos analizar series temporales de datos usando redes Bayesianas y mejorar la intepretabilidad de dicho análisis. Mientras que el grueso de trabajos en inteligencia artificial explicable se centran en predicción (y generalmente con cajas negras), analizar datos donde el tiempo es una variable a considerar es una tarea que ha quedado más relegada, pero que es de gran utilidad debido al número de campos de aplicación, como por ejemplo en neurociencia o en las ciencias climáticas. Las redes Bayesianas dinámicas son una extensión de estos modelos que permiten lidiar con series temporales. Sin embargo, dichos modelos suelen asumir estacionariedad en las relaciones temporales, algo que no es realista en algunos campos como en ciencias climáticas, en el que nos centraremos (si bien nuestras propuestas no se verán limitadas a dicho ámbito). Así, se buscará también mejorar la explicabilidad en modelos no estacionarios, que cuentan con una literatura menos extensa. En primer lugar, realizamos una extensa revisión literaria sobre explicabilidad e interpretabilidad en series temporales y redes Bayesianas. También expandimos la última añadiendo una nueva categoría y completando las ya existentes, y catalogandose los tipos de explicaciones en redes Bayesianas en las clases ya existentes de explicaciones en aprendizaje computacional. También se revisan en detalle las explicaciones que nos serán de utilidad a la hora de desarrollar nuestras propuestas, como por ejemplo las explicaciones basadas en ejemplos (prototipos y contrafactuales) y las explicaciones del modelo. En cuanto a nuestras propuestas, en este trabajo diversificaremos nuestra investigación en lugar de centrarnos en un solo tipo de explicación, siguiendo la filosofía de “una explicación no se ajusta a todo”. Primero, mejoramos propuestas ya existentes que analizan la robustez en explicaciones en redes Bayesianas. Si bien esta propuesta no se restringe a series temporales, evaluar la robustez es, junto a la simplicidad, un factor que consideramos clave a la hora de conseguir una explicación y, por ende, será analizado en este trabajo. Volviendo al ámbito de las redes Bayesianas dinámicas, haremos uso de la capacidad generativa de estos modelos para construir explicaciones basadas en prototipos que pueden ser utilizadas en modelos estacionarios y no estacionarios, ya que el ser humano tiende a buscar ejemplos para comprender fenómenos. También se analizan los cambios producidos en modelos no estacionarios, mostrándolos gráficamente para así entender cómo las relaciones temporales han cambiado en el tiempo. En adición a estas propuestas teóricas, también ofrecemos una implementación de código abierto de aprendizaje, inferencia y visualización de redes Bayesianas dinámicas variables en el tiempo, modelos en los que las relaciones temporales cambian en cada instante. A dicha implementación se añade un módulo de explicabilidad. Usando nuestra propia implementación, ilustramos el potencial de las propuestas con algunos experimentos, utilizando tanto conjunto de datos de referencia como la base de datos climática NCEP/DOE Reanalysis II, de extendido uso en la comunidad científica. El objetivo es mostrar que, en efecto, nuestra propuesta es aplicable computacionalmente y útil en ámbitos reales. Este trabajo se enmarca en el proyecto de investigación concedido por el Ministerio de Educación de España con PID 2019-109247GB-I00 y en el proyecto de la fundación BBVA (convocatoria 2019) “Score-based nonstationary temporal Bayesian networks. Applications in climate and neuroscience”.---ABSTRACT---Although artificial intelligence (AI) is a field that has been subject to research for decades, recently a large number of models with high computational power have emerged. However, this often comes at the cost of obscured data processing, which leads us to not be able to understand the reasoning of such systems. In a society where AI is becoming more and more present in our lives, this can lead to legal, ethical and system performance issues. In response, the discipline of explainable artificial intelligence (XAI), which seeks to improve the explainability of systems in a variety of ways, has been on the rise in recent years. One method to accomplish that is to select models that are transparent and improve their interpretability, since transparency does not imply explainability nor interpretability. An example of such models are Bayesian networks, a type of probabilistic graphical model that allows a compact and visual representation of the data as well as tracing the inference process. In this master thesis project we focus in analysing time series using Bayesian networks and on improving the interpretability of such analysis. While the bulk of work in XAI is focused on prediction (and usually with black boxes), analysing data where time is a variable to be considered is a task that has been subject of less study, but that is very useful due to the increasing number of application fields that incorporate a temporal dimension, such as neuroscience or climate science. Dynamic Bayesian networks are an extension of these models that allow dealing with time series. However, these models tend to assume stationarity in the temporal relationships, which is not realistic in some fields such as climate science, on which we will focus (although our proposals will not be limited to this field). Thus, we will also research how to improve the explainability of non-stationary models, which have a less extensive literature. First, we conduct an extensive literature review on explainability in time series and Bayesian networks. We also expand the latter by adding a new category and completing the existing ones, and we categorize the different types of explanations in Bayesian networks into the already existing classifications of explanations of machine learning (ML). We also review in detail explanations that will be useful to the development of our proposals, such as example-based explanations (prototypes and counterfactuals) and model explanations. As for our proposals, in this document we will diversify our research rather than focusing on a single type of explanation, following the philosophy of “one explanation does not fit all”. First, we improve upon existing proposals that explore the robustness of explanations in Bayesian networks. While this proposal is not restricted to time series, robustness is, together with simplicity, a key factor for us to construct good explanations and therefore, will be studied in this master thesis project. Returning to the field of dynamic Bayesian networks, we will make use of the generative capacity of these models to construct explanations based on prototypes that can to understand phenomena. The changes produced in non-stationary models are also analysed, showing them graphically in order to understand how temporal relationships have changed over time. In addition to these theoretical proposals, we also offer an open-source implementation of learning, inference and visualization of time-varying dynamic Bayesian networks, models in which temporal relationships change at every instant. An explainability module is added to this implementation. Using our own implementation, we illustrate the potential of our proposals with some experiments, using both simulated benchmark datasets and the NCEP/DOE Reanalysis II climate database, widely used in the scientific community. The objective is to show that our proposal is computationally applicable and useful in real environments. This work is part of the research project granted by the Spanish Ministry of Education with code PID 2019-109247GB-I00 and by BBVA foundation project (call 2019) entitled “Score-based nonstationary temporal Bayesian networks. Applications in climate and neuroscience"