Object online preclassifier for video streams using GMM

[SPA] Cada día hay disponibles más y más datos y esta tendencia no para de crecer. Por ponerlo en contexto, en 2019 cada minuto son subidas a YouTube más de 400 horas de video. El 99,5% de los datos generados no se analizan debido a falta de recursos [1]. Toda esta información se hace imposible de analizar y visualizar manualmente, por lo que es necesario estudiar y emplear nuevas técnicas de análisis de información y videos. El objetivo de este proyecto es estudiar la viabilidad de aplicar técnicas de inteligencia artificial para obtener, analizar y clasificar información extraída de videos de modo desatendido. Es decir, sin partir de unos datos etiquetados previos. En concreto, nuestro objetivo es ser capaz de identificar y agrupar objetos en movimiento en un video, y todo ello del modo más simple posible y con la mínima intervención humana. Para la realización del estudio hemos utilizado videos disponibles online. En este documento se recoge en concreto la aplicación para detectar peces en un acuario y diferenciar cuántas especies distintas hay. Ésta es simplemente una aplicación demostrativa, pero que ilustra potencialmente los pasos de resolución para otro tipo de problemas similares. En un primer paso hemos detectado objetos en movimiento extrayendo un modelo del background a partir del video. Los objetos en primer plano son aquellos que se mueven entre frames, y pueden ser peces, plantas u otros objetos móviles. En un segundo paso estos objetos se uniformizan a un tamaño fijo y como imágenes en escala de grises. Tras ello se compara el objeto con un modelo Gaussiano multidimensional creado a partir de un grupo de imágenes de peces. Obsérvese que este paso requiere intervención humana, pero es más simple que un modelo supervisado donde se requieren también etiquetar imágenes negativas. Por último, aquellas imágenes que superan este test son agrupadas con un modelo de mixturas gaussianas (GMM), usando el método del codo para determinar el número total de clusters (especies). Todo este algoritmo se ha desarrollado mediante Python con las librerías de OpenCV y Keras/TF. Para concluir se puede afirmar que con la tecnología actual y utilizando las capacidades del lenguaje de programación Python y las librerías disponibles de inteligencia artificial es posible realizar un sistema que de forma semiautónoma pueda realizar un análisis de la información contenido en videos o imágenes. Palabras clave: Big data, Inteligencia artificial, Python, GMM, Autoencoder, OpenCV, Clasificación, Aprendizaje Supervisado. [ENG] Every day more and more data are generated, this trend does not stop growing up. In 2019, more than 400 hours of video are uploaded to YouTube every minute. 99.5% of the data generated are not analysed due to lack of resources or techniques[1]. All this information becomes impossible to analyse and visualize by hand. Therefore, is necessary an evolution of information and video analysis techniques to apply. The objective of this project is to study the viability of apply artificial intelligence techniques to obtain, analyse and classify information extracted from videos. To carry out the study we have been used online videos available. This document specifically collects the application to detect fish in an aquarium and differentiate how many different species there are. This is a simple demonstration application, but potentially illustrates the resolution steps for other similar types of problems. In a first step we have detected moving objects by extracting a model of the background from the video. The objects in the foreground are those that move between frames, and can be fish, plants or other moving objects. In a second step these objects are standardized to a fixed size and as grayscale images. The object is then compared with a multidimensional Gaussian model created from a group of fish images. Note that this step requires human intervention but is simpler than a supervised model where negative images are also required to be labelled. Finally, those images that pass this test are grouped with a Gaussian mixture model (GMM), using the elbow method to determine the total number of clusters (species). All this algorithm has been developed using Python with the OpenCV and Keras / TF libraries. To conclude, it can be stated that with current technology and using the capabilities of the Python programming language and the available artificial intelligence libraries, it is possible to create a semi-autonomous system that can perform an analysis of the information contained in videos or images. Keyword: Big Data, Artificial Intelligence, Python, GMM, Autoencoder, OpenCV, Clustering, Classification, Supervised learningEscuela Técnica Superior de Ingeniería de TelecomunicaciónUniversidad Politécnica de Cartagen