BASIS: a Big Data Architecture for Smart Cities

Dissertação de mestrado integrado em Gestão de Sistemas de InformaçãoNo mundo atual, os centros urbanos são a principal escolha para habitação. Cidadãos comportam-se como consumidores de serviços, esperando o desempenho adequado por parte dos órgãos gestores das cidades, independentemente das restrições vividas. Com este fenómeno advêm desafios de sustentabilidade económica, social e ambiental. É expectável que as cidades virem o seu foco para o cidadão e o enquadrem num governo participativo. Emerge assim o conceito de Smart City, onde a dinâmica humana atual assenta no uso intensivo da Internet of Things (IoT), em que vários dispositivos se encontram permanentemente conectados, gerando vastas quantidades de dados, nos mais variados formatos. As Smart Cities passam a ser vistas como uma fonte incessável de Big Data e um potencial campo de aplicação para as tecnologias de armazenamento e processamento deste emergente tipo de dados, definido sobretudo pelo volume, variedade e velocidade. Nesta dissertação propõe-se uma arquitetura de Big Data para Smart Cities (BASIS), cujo contributo foi suportado pela realização de um adequado enquadramento conceptual e tecnológico, onde são estudados os conceitos envolvidos nesta dissertação, as principais abordagens existentes entre o conjunto de publicações científicas e as tecnologias de Big Data que podem integrar o leque de componentes tecnológicos da arquitetura. Após este enquadramento, realizou-se a especificação da arquitetura, dando particular atenção à criação de várias camadas de abstração, desde a mais conceptual à mais tecnológica, colmatando assim uma das principais lacunas identificadas na literatura, a falta de detalhe tecnológico. Posteriormente, prestou-se particular atenção à disponibilização pública dos dados, outra questão habitualmente pouco detalhada em outras abordagens, permitindo aqui o foco no Portal Open (Big) Data e na forma de integração com outras plataformas de acesso aos dados. Por fim, validou-se a arquitetura BASIS através da criação de dois serviços inteligentes no âmbito de uma Smart City: o primeiro serviço consiste no armazenamento e processamento do consumo de eletricidade e gás de 237 casas, de modo a criar perfis de consumo e a prever futuros consumos de eletricidade, comparando cada casa com o perfil em que é inserida; o segundo serviço baseia-se na identificação de perfis de atraso nos voos em certas companhias, aeroportos ou regiões, usando Data Mining distribuído para encontrar clusters em cerca de 18.000.000 de voos. Os resultados produzidos pelo desenvolvimento destes serviços revelam uma arquitetura capaz de armazenar, processar e disponibilizar Big Data no contexto de Smart Cities, incluindo modelos de Data Mining (clustering e time series forecasting) com desempenhos adequados e reduzidas margens de erro.In today’s world, urban centers are the main choice for living. Citizens behave like service consumers, expecting adequate performance from cities’ government, despite current restrictions. With this phenomenon come economical, social and environmental sustainability challenges. It is expected that cities turn their attention to the citizen, involving him in a participatory government. Thus emerges the Smart City concept, where the actual human dynamic is based on the intensive use of the Internet of Things (IoT), in which multiple devices are permanently connected, generating vast amounts of data, in various formats. Smart Cities are seen as a continuous Big Data source and a potential application field for the storage and processing technologies used within this emerging type of data, mainly defined by the volume, variety and velocity. In this dissertation it is proposed a Big Data architecture in the context of Smart Cities (BASIS), whose contribution was supported by the realization of an adequate conceptual and technological framework, in order to study the concepts present in this dissertation, the main approaches discussed in the scientific publications and the Big Data technologies that can integrate the set of technological components present in the architecture. After this, the architecture was specified, paying particular attention to the creation of multiple abstraction layers, from the most conceptual to the most technological, eliminating one of the main gaps identified in the literature, the lack of appropriate technological detail. Afterwards, particular attention was given to the public availability of data, another issue that was not as detailed as needed in other approaches, focusing specifically on the Open (Big) Data Portal and on the integration with other data access platforms. Lastly, the architecture was validated through the development of two intelligent services in the context of a Smart City: the first service consists in the storage and processing of electricity and gas consumption of 237 homes, in order to create consumption profiles and to forecast electricity consumptions, comparing each home with the profile in which it is inserted; the second one is based on the identification of delay profiles on flights in certain companies, airports or regions, making use of distributed Data Mining in order to find clusters in about 18.000.000 flights. The results produced by the development of these services reveal an architecture capable of storing, processing and make available Big Data in the context of Smart Cities, including advanced analytics as Data Mining models (clustering and time series forecasting) with adequate performances and a small margin of error