Desarrollo de un sistema de Big Data sobre datos abiertos

Este documento se presenta como resultado de la investigación y el desarrollo realizado al final del Máster Universitario en Ingeniería Informática impartido en la Universidad de Alicante. La motivación para el desarrollo del presente proyecto viene suscitada por el continuo incremento del uso de datos para tomar decisiones estrategias, en concreto, se ha querido destacar las oportunidades que ofrece el uso de datos abiertos tanto para los organismos que los publican como para quienes se nutren de ellos para aplicarlos en sus propios ámbitos. El proyecto ha sido realizado bajo la supervisión, seguimiento y evaluación del Catedrático de Universidad D. Juan Carlos Trujillo Mondejar y Alejandro Maté Morga, Doctor en Informática por la Universidad de Alicante. El objetivo fundamental del trabajo consiste en demostrar la aplicabilidad de las técnicas de Big Data sobre conjuntos de datos abiertos para mejorar de la toma de decisiones y descubrir nuevos valores. Para ello se utilizarán datos procedentes de la ciudad de San Francisco (EE. UU.). Los conjuntos de datos aislados se relacionarán entre sí con el objetivo de encontrar indicadores (KPIs, Key Performance Indicators) que ayuden a tomar decisiones en situaciones de emergencia y así demostrar el valor aportado para las ciudades que ofrecen datos abiertos. Encontrar los KPIs correctos es una tarea compleja incluso cuando se trata con expertos en sus sectores. Elegir indicadores incorrectos o una interpretación errónea de estos puede traer efectos muy perjudiciales. Es por eso por lo que se ha buscado crear una metodología donde el usuario final de la aplicación sea capaz de describir una serie de objetivos concretos sin necesidad de tener conocimientos técnicos, y estos se conviertan en KPIs perfectamente cuantificables que midan el nivel de alcance. En concreto, para desarrollar el proyecto fue necesario un análisis DAFO sobre ciudades inteligentes que están comenzando a utilizar sus datos para mejorar. Se ha aplicado un modelado de objetivos con la finalidad de que los propios usuarios finales sean capaces de transmitir sus necesidades a los desarrolladores. Una vez el modelado ha sido validado, se han aplicado técnicas de procesamiento y visualización de grandes cantidades de datos obteniendo una serie de visualizaciones e indicadores con los que el usuario podrá monitorear su progreso. Una dificultad añadida de este trabajo es la visualización, al trabajar con Big Data nos enfrentamos con varios retos. En la realización de estos procesos se encuentran dificultades como la representación de grandes cantidades de datos, las herramientas no eran capaces de representar tal cantidad de datos en las gráficas de manera individual por lo que se han tenido que aplicar algoritmos para agrupar los valores y poder representarlos de forma agregada. Por otra parte, en el desarrollo de este proyecto no se ha contado con una comunicación directa con los usuarios finales de la aplicación, por lo que se ha llevado a cabo una serie de encuestas sobre usuarios de distintos sectores y niveles de conocimiento técnico con las que se han definido y validado los objetivos planteados en el diseño