Análisis Interactivo de Datos: Mapas Autoorganizados

Los fenómenos físicos, así como los procesos industriales, producen volúmenes cada vez más cuantiosos de datos, a menudo de difícil tratamiento. Se hace preceptiva la generación de sistemas y procedimientos que permitan extraer, en una primera etapa visual de análisis, la información subyacente a estos datos, orientando así los cálculos y estudios posteriores que puedan aplicarse. El análisis visual será reforzado si se complementa con elementos interactivos que permitan al usuario dirigirse hacia los focos de su interés. Dentro de las técnicas de visualización de datos para los fines expuestos destacan los Mapas Autoorganizados (también llamados SOM, acrónimo de Self-Organizing Maps), un tipo de redes neuronales visuales cuya efectividad será potenciada si son dotados de interactividad. Las aportaciones destacadas del presente trabajo son: 1. Desarrollo de una herramienta de código abierto de ayuda en entornos tecnológicos, académicos e industriales, que incorpora entrenamiento de Mapas Autoorganizados y sistema interactivo de visualización de resultados. Dicha herramienta constituye un prototipo de código abierto, fácil de modificar y escalar, y compatible con los sistemas operativos de uso más habitual en el mercado. Se realiza el entrenamiento de diferentes modelos de Mapas Autoorganizados: GSOM (Growing SOM), GHSOM (Growing Hierarchical SOM) y una nueva propuesta: GCHSOM. Los entrenamientos permiten diversidad de parámetros y se realizan por lotes, almacenando los resultados que presenten mejores mediciones en sus medidas de calidad (error de cuantificación, error topográfico e índice de Kaski y Lagus). 2. Presentación de los Mapas Autoorganizados como herramienta de visualización de datos para su empleo en fases iniciales de análisis de información. Sus propiedades de cuantificación de datos y proyección de las relaciones existentes entre éstos en espacios de bajas dimensiones los convierten en útiles muy eficaces para el análisis visual de información. 3. Mejora de los Mapas Autoorganizados mediante la adición de interactividad, como respuesta a las necesidades actuales de análisis visual de datos. Entre otras opciones, se destaca la realización de una selección de distintos modos de color (secuencial, escala de grises, bipolares secuenciales, escalas de pseudocolores) que por sus características facilitarán en algunos casos, la discriminación, y en otros, la cuantificación. Además se realizan agrupamientos de la información que facilitan su comprensión. Las opciones interactivas de tratamiento de los datos facilitan la discriminación de la información, permitiendo así la visualización de muchas capas. 4. Optimizaciones en el proceso de entrenamiento de grupos de Mapas Autoorganizados para un mismo conjunto de datos para, posteriormente, seleccionar de entre éstos al que reúna mejores condiciones. Se realizan una serie de mejoras sobre el algoritmo base de entrenamiento (paralelismo, cacheado de cálculos) que facilitan la realización de experimentos. 5. Valoración de modelos de entrenamiento y propuesta de variantes en el ámbito de visualización de datos. Concretamente se propone una variante de Mapa Autoorganizado bautizada como GCHSOM (Growing Cluster Hierarchical SOM) que consiste en una estructura de Mapas Autoorganizados de tipo GSOM. Esta variante permite que los datos a analizar se muestren gráficamente en una primera instancia con alto nivel de detalle, permitiendo además al investigador realizar nuevas consultas visuales siguiendo una estructura jerárquica que le guiará permitiendo el acceso a diferentes subconjuntos o contextos de los datos, proporcionando nuevos matices sobre cada uno de estos contextos.Physical phenomena, as well as industrial processes, produce increasingly large volumes of data, often of dificult treatment. It makes mandatory the generation of systems and procedures that allow to extract, in the first analysis stage, the underlying information to this data, facing this way the calculations and later studies that could be applied. Visual analysis will be strengthened if it is supplemented with interactive elements that allow the user to move towards the foci of interest. Among the techniques of visualization of data to the exposed ends are the Self-Organizing Maps (SOM), a kind of neural network whose effectiveness will be enhanced if they are endowed with interactivity. The contributions of this work are: 1. Development of an open source tool to aid in technological, academic and industrial environments, which incorporates training of Self-Organizing Maps and an interactive display of visualization of results. It is worth developing as it is difficult to find free software that can be ported to different operating systems. As it is open source, it can be modified to accomplish different purposes. Also, as its interface is made on the Processing framework, it is near-direct portable to Linux, Mac OS X and Windows, and makes use of Processing powerful graphics library. This software is of particular interest as it allows navigation through structures formed by different neural networks, compared to flat representations of the same. It can train several SOM models: GSOM (Growing SOM), GHSOM (Growing Hierarchical SOM) and a new proposal: GCHSOM. It allows diversity of training parameters and can perform batch, storing the resulting nets that present better measures in their measures of quality (quantization error, topographic error, and Kaski and Lagus rate). The users can choose the training options via the client interface, and select the data to be treated. Then they choose the number of times to repeat the experiment. According to those inputs, this piece of code provides the best SOM networks based on three qualitycriteria: a) quantization error b) topographical error. c) Kaski and Lagus Index 2. Presentation of Self-Organizing Maps as a data visualization tool for use in early stages of analysis. Its properties of data quantification and projection of the relationships between data on low-dimensional spaces make them very effective useful for visual analysis. 3. Improvement of Self-Organizing Maps by adding interactivity, in response to the current needs of visual data analysis. The user is offered the following options: a) Saving and loading the different experiments that have been conducted. b) Selecting the network that complies with the quality criteria for each training. c) Request new clusters of data for the calculated network. d) Select the color map used (sequential, grayscale, sequential bipolar scales, pseudo colors) whose characteristics provide in some cases, discrimination, and other, quantification. e) Manipulate the results (hiding on, pan, and zoom). f) Different partial selection modes for the display of summary information. g) The ability to re-train with subsets of information results. In short, the graphic interface serves not only as a bridge between the user and the training libraries, but also provides a number of functions that facilitate interactive data analysis and navigation through the most complex hierarchical structures. 4. Optimizations in the process of batch training Self-Organizing Maps groups for the same set of data to select from among them the ones which meet best conditions. A number of improvements on the training base (parallelism, caching calculations) that facilitate algorithm performing experiments are implemented. 5. Assessment of training models and variants proposed in the field of data visualization. A new proposal has been made, variant from GHSOM: GCHSOM (Hierarchical Cluster Growing SOM) consisting of a hierarchical structure of GSOM. This option allows data to be analyzed is graphically displayed at first sight with high level of detail, also allowing the researchers to make new visual queries following a hierarchical structure that will guide them, allowing the access to different subsets of data, providing new nuances of each of these contexts