Desarrollo de un sistema inteligente sobre un prototipo robotizado de reparto de medicinas a domicilio

En el momento en el que nos encontramos, donde la proliferación de los servicios de reparto de todo tipo de productos a domicilio está a la orden del día y donde el contexto sociosanitario insta a evitar cualquier tipo de contacto personal innecesario. La idea original sobre la que se construyen las bases del proyecto es el desarrollo y construcción de un robot autónomo cuyo objetivo se base en el reparto de medicinas desde la farmacia hasta el domicilio de los clientes. Esta iniciativa, (aunque en un futuro escalable a otros públicos) iría orientada a personas con problemas de movilidad a quienes les fuese complicado desplazarse a la farmacia, supliendo así una necesidad básica de este colectivo. De esta idea tan amplia se han acotado una serie de objetivos para el proyecto, centrándose en el desarrollo de un prototipo robot, la implementación de la inteligencia artificial y del software relacionado con la clasificación, obtención y evitación de obstáculos en el funcionamiento diario del robot por medio de redes neuronales. El primer paso a la hora de desarrollar una red neuronal eficaz y precisa es contar con un conjunto de imágenes amplio y bien categorizado con el que entrenar al robot. Para la obtención de dicho dataset se ha utilizado el desarrollo de un script en Python que descarga imágenes sin copyright de Google imágenes dando un criterio de búsqueda. Esta obtención automática de imágenes se ha supervisado para eliminar imágenes no adecuadas. Como añadido se ha investigado y utilizado el dataset Animals-10 de Kaggle. A la hora de entrenar y desarrollar la red neuronal se ha utilizado el lenguaje Python por las facilidades y utilidades que dota al desarrollo de inteligencia artificial y Jupyter notebook como entorno de programación. Respecto a las tecnologías que hemos usado, la red neuronal se apoya sobre Tensorflow y librerías útiles para el desarrollo y validación de redes neuronales como numpy, keras, scipy, image… El modelo final es capaz de discriminar entre 18 categorías de obstáculos Para dotar al prototipo de una red neuronal que mejore con el tiempo, que sea escalable y que tenga un mejor almacenamiento de modelos se ha integrado tanto el software como el proceso de reentrenamiento en “la nube”. Esta implementación ha sido desarrollada bajo un servidor en Amazon Aws. En este punto se ha desarrollado una página web para validación de resultados, realizada en Flask, a la cual se pueden subir imágenes y devuelve una predicción y un porcentaje de acierto respecto a la red neuronal y el script de predicción activos en dicho servidor. Una vez desarrollada la página web se ha desarrollado el software necesario para el reentrenamiento en la nube en el cual el robot, una vez al día en un horario determinado, se conecta al servidor, envía las imágenes que haya predicho con más de un 80% de precisión y se entrena nuevamente con estas imágenes, consiguiendo así que el modelo mejore con el tiempo. Para hacer todo este proceso más visual se ha desarrollado una interfaz de validación en tkinter que permite acceder a la cámara del prototipo. Se ha establecido un tiempo periódico para la toma de imágenes y se han guardado en la memoria del prototipo las imágenes que haya predicho con más de un 80% de precisión para posteriormente ser enviadas al servidor. Finalmente se ha desarrollado una conversión del modelo de TensorFlow a TensorFlowlite, mucho más ligero y necesario para ser ejecutado por el procesador del prototipo. Todo lo anteriormente mencionado se ha implementado en un prototipo robot que se ha ensamblado bajo una plataforma Nvidia Jetbot, dotándole así de la red neuronal que hará posible que reconozca obstáculos según vaya desplazándose. Como ultimo desarrollo software se ha adaptado un código en github sobre evitación de obstáculos a nuestro caso de uso modificando parámetros y añadiendo código propio para que el robot pueda reconocer obstáculos y evitarlos de forma paralela además de en una segunda versión poder reconocer obstáculos mientras sigue una línea en el suelo. Como resultado final del proyecto, se dispone de un prototipo robotizado que de manera autónoma evita colisiones, es capaz de reconocer y predecir obstáculos entre 18 categorías, almacena las imágenes de estos y una vez al día las envía a un servidor que reentrena y descarga del servidor un nuevo modelo actualizado y más preciso Abstract: This project is set at a time where the proliferation of home delivery services for all kinds of products is the order of the day and where the social and health context urges us to avoid any type of unnecessary personal contact. The original idea on which the bases of the project are built is the development and construction of an autonomous robot whose objective is based on the distribution of medicines from the pharmacy to the customers' homes. This initiative, (although in the future scalable to other audiences) would be aimed at people with mobility problems who find it difficult to get to the pharmacy, thus supplying a basic need for this group. From this broad idea, a series of objectives have been narrowed down for the project, focusing on the development of a robot prototype, the implementation of artificial intelligence and software related to the classification, obtaining and avoidance of obstacles in the daily operation of the robot. through neural networks. The first step in developing an efficient and accurate neural network is to have a large and wellcategorized set of images with which to train the robot. To obtain said dataset, the development of a Python script that downloads images without copyright from Google images, giving a search criteria, has been used. This automatic imaging has been monitored to eliminate unsuitable images. As an addition, the Kaggle Animals-10 dataset has been investigated and used. When training and developing the neural network, the Python language has been used for the easiness and utilities it provides for the development of artificial intelligence and Jupyter notebook as a programming environment. Regarding the technologies that we have used, the neural network is based on TensorFlow and useful libraries for the development and validation of neural networks such as numpy, keras, scipy, image... The final model is able to discriminate between 18 categories of obstacles To provide the prototype with a neural network that improves over time, is scalable and has better model storage, both the software and the cloud retraining process have been integrated. This implementation has been developed under a server in Amazon Aws. At this point, a web page has been developed for validation of results, made in Flask, to which images can be uploaded and it returns a prediction and a percentage of success with respect to the neural network and the prediction script active on said server. Once the web page has been developed, the necessary software has been developed for retraining in the cloud in which the robot connects to the server once a day at a certain time, sends the images that it has predicted with more than 80% accuracy. accuracy and train again with these images, thus getting the model to improve over time. To make this whole process more visual, a validation interface has been developed in tkinter that allows access to the prototype camera, a periodic time has been established for taking images and the images that have been predicted have been saved in the memory of the prototype. with more than 80% accuracy to later be sent to the server. Finally, a conversion of the TensorFlow model to TensorFlow -lite has been developed, much lighter and necessary to be executed by the prototype processor. All of the aforementioned has been implemented in a robot prototype that has been assembled under an Nvidia Jetbot en platform, thus providing it with the neural network that will make it possible for it to recognize obstacles as it moves. As the latest software development, a code on github on obstacle avoidance has been adapted to our use case, modifying parameters and adding its own code so that the robot can recognize obstacles and avoid them in parallel, as well as in a second version being able to recognize obstacles while following a path. line on the ground. As a final result of the project, there is a robotic prototype that autonomously avoids collisions, is capable of recognizing and predicting obstacles among 18 categories, stores their images and once a day sends them to a server that retrains and downloads the server a new updated and more accurate model