Towards a Framework for Multiscale Social Event Extraction and Visualization

La population des villes devrait doubler d'ici le milieu du siècle, selon les estimations de l’OMS. Cette augmentation rapide de la population a un impact sur les transports et la croissance économique, et accroîtra les responsabilités des autorités de gestion locales. Nous vivons une transformation des villes en villes intelligentes offrant de nouveaux services à la population, en optimisant l’utilisation des ressources disponibles. Qu'il s'agisse de données provenant des citoyens, de données gouvernementales ouvertes ou d'autres sources en ligne, une pluralité de sources de données peut permettre la création d’outils intelligents pour gérer efficacement les activités quotidiennes. De plus, grâce au progrès d'Internet et des technologies mobiles, les plateformes de réseaux sociaux (Twitter) sont devenues des modes de communication populaires. Elles permettent aux utilisateurs de partager un large éventail d'informations, y compris des données spatio-temporelles. Ainsi, Il est aisé d'accéder, en temps réel, à des connaissances provenant de différents types de données disponibles, riches, géo-référencées et issues de sources multiples et de les intégrer sur une carte. Il s'agit d'une réelle opportunité d'enrichir les cartes traditionnelles.Dans cette thèse, nous proposons d'abord un système de recommandation d'itinéraires, tenant compte des contraintes temps réel, en l'absence d'infrastructure physique ; en exploitant les données géolocalisées issues de réseaux sociaux (twitter) pour identifier les contraintes de trafic temps réel et, par conséquent, recommander un chemin optimisé. Nous avons mis en œuvre un système d'indexation à base de grille spatiale pour notre modèle de prédiction en quasi-temps réel. Ensuite, nous avons introduit le concept de "cartes intelligentes " intégrant la représentation visuelle de couches de « connaissances pertinentes » par le biais de la collecte, la gestion et l'intégration de sources de données hétérogènes. Contrairement aux cartes conventionnelles, les cartes intelligentes extraient des informations à partir des événements annoncés et découverts en temps réel (concerts, incidents, ...), les offres en ligne et les analyses statistiques (zones dangereuses, …) en encapsulant les données entrantes semi-structurées et non structurées dans des paquets génériques structurés.Cette méthodologie ouvre la voie à la fourniture de services et applications intelligents. De plus, le développement de ‘’cartes intelligentes’’ nécessite un traitement efficace et évolutif et la visualisation de couches basées sur les connaissances à plusieurs échelles cartographiques, permettant ainsi une navigation fluide et sans encombre. Enfin, nous présentons Hadath, un système évolutif et efficace qui extrait les événements sociaux d'une multitude de flux de données non structurés. Nous utilisons le traitement du langage naturel et les techniques de regroupement multidimensionnel pour extraire les ‘’événements pertinents’’ à différentes échelles cartographiques et pour déduire l'étendue spatio-temporelle des événements détectés.Le système comprend un composant de gestion et de prétraitement des différents types de sources de données et génère des paquets de données structurés à partir de flux non structurés. Notre système comprend également un schéma d'indexation spatio-temporelle hiérarchique en mémoire pour permettre un accès efficace et évolutif aux données brutes, ainsi qu'aux groupes d'événements extraits. Dans un premier temps, les paquets de données sont traités pour la découverte d’événements à l'échelle locale, puis l'étendue spatio-temporelle appropriée. Par conséquent, les événements détectés sont affichés à différentes résolutions spatio-temporelles, ce qui permet une navigation fluide. Enfin, pour valider notre approche, nous avons mené des expériences sur des flux de données réelles. Le résultat final du système proposé, nommé Hadath crée une expérience unique et dynamique de navigation cartographique.The population in cities is slated to double by mid-century according to estimates prepared by the World Health Organization. This rapid increase in population will impact transportation and economic growth, and will increase responsibilities of local managing authorities and different stakeholders. It is a need of the hour to convert cities into smart cities in order to provide new service to the public, by using available resources in an optimum manner. From crowd-sourced data and open governmental data to other online sources, a variety of data sources can provide users with smart tools to efficiently manage their daily activities. Moreover, with the advancement in Internet and mobile technologies, social networking platforms such as Facebook and Twitter have become popular modes of communication. They allow users to share a spectrum of information, including spatio-temporal data, both publicly and within their community of interest in real-time. Scrutinizing knowledge from different types of available, rich, geo-tagged, and crowd-sourced data and incorporating it on a map has become more feasible. This presents a real opportunity to enrich traditional maps and enhance conventional spatio-temporal queries with the help of different types of data extracted from a variety of available data sources. In this thesis, we first propose a constraint-aware route recommendation system in lack of physical infrastructure environment that leverages geo-tagged data in social media and user-generated content to identify upcoming traffic constraints and, thus, recommend an optimized path. We have designed and developed a system using a spatial grid index to inform users about upcoming constraints and calculate a new, optimized path in minimal response time. Later, the concept of “smart maps” will be introduced by collecting, managing, and integrating heterogeneous data sources in order to infer relevant knowledge-based layers. Unlike conventional maps, smart maps extract information about live events (e.g., concert, competition, incidents, etc.), online offers, and statistical analysis (e.g., dangerous areas) by encapsulating incoming semi- and un-structured data into structured generic packets. This methodology sets the ground for providing different intelligent services and applications. Moreover, developing smart maps requires an efficient and scalable processing and the visualization of knowledge-based layers at multiple map scales, thus allowing a smooth and clutter-free browsing experience. Finally, we introduce Hadath, a scalable and efficient system that extracts social events from a variety of unstructured data streams. Hadath applies natural language processing and multi-dimensional clustering techniques to extract relevant events of interest at different map scales, and to infer the spatio-temporal extent of detected events. The system comprises a data wrapping component which digests different types of data sources, and prepossesses data to generate structured data packets out of unstructured streams. Hadath also implements a hierarchical in-memory spatio-temporal indexing scheme to allow efficient and scalable access to raw data, as well as to extracted clusters of events. Initially, data packets are processed to discover events at a local scale, then, the proper spatio-temporal extent and the significance of detected events at a global scale is determined. As a result, live events can be displayed at different spatio-temporal resolutions, thus allowing a smooth and unique browsing experience. Finally, to validate our proposed system, we conducted experiments on real-world data streams. The final output of our system named Hadath creates a unique and dynamic map browsing experienc