Desarrollo de herramientas de gestión de procesos para granja de HPC basada en apache mesos

En este documento hemos desarrollado como se realiza una librería de gestión de procesos para un sistema distribuido y una interfaz de usuario para la utilización de ésta. Este proyecto viene determinado por la necesidad de encontrar una herramienta para la simulación de tareas en un entorno multiusuario. Para determinar qué tipo de computación es la óptima para nuestro problema explicamos los cuatro tipos de computaciones existentes en la actualidad, centrándonos en la computación paralela y distribuida que son las dos más importantes. Una vez que hemos explicado el tipo de computación elegida explicaremos el sistema distribuido del que disponemos. Nuestro sistema es un conjunto de equipos para la computación numérica intensiva (HPC) interconectados entre sí. Estos computadores son capaces de paralelizar las tareas en su interior para disminuir el tiempo de procesamiento de éstas. Para finalizar no podemos realizar un contexto completo de nuestro proyecto si no hablamos de su principal competidor en el sector de la computación a gran escala, los Supercomputadores. De estos sistemas de procesado realizaremos una visión global, dando los ejemplos más sorprendentes y las ventajas e inconvenientes que tienen frente a los sistemas distribuidos. Para solucionar los diferentes inconvenientes que tiene la computación distribuida se han generado lo que se conoce como gestor de procesos. Esta herramienta tiene dos partes principales el gestor de colas y el planificador de tareas, cuyo funcionamiento se plantea para finalizar la parte de contextualización del proyecto. Después de finalizar la contextualización del proyecto en el documento se describen las distintas herramientas que vamos a utilizar para nuestro proyecto. Por un lado, vamos a utilizar el programa de Apache Mesos. Este software se utiliza de base para crear nuestra librería y para establecer una jerarquía entre las diferentes CPUs que forman nuestro sistema distribuido. Otra de las herramientas que se explican en este apartado son las diversas estructuras creadas para almacenar los datos que nos proporciona el usuario. Estas son los procesos y las tareas. Los procesos las estructuras de datos más amplias que tenemos. En ellos se encuentran el identificador del proceso, los recursos necesarios para ejecutar nuestros trabajos y el comando de ejecución de estos. Por otro lado, están nuestras tareas que son las unidades más pequeñas. En cada una de ellas se guarda un trabajo a ejecutar, los recursos que necesita éste, el identificador propio de la tarea y el nodo al que se envía para procesarla. Estos datos son totalmente necesarios para hacer un seguimiento de los trabajos y que se ejecuten con normalidad en los nodos esclavos. Además de la arquitectura de nuestro sistema distribuido y del tipo de datos que utilizamos, dentro de las herramientas que utilizamos se encuentra el lenguaje de programación empleado. En el caso de este proyecto nos hemos decantado por Python, debido a su facilidad de aprendizaje y de implementación. Es muy práctico en este caso porque posee programación orientada a objetos lo que nos hace más sencilla la creación de los tipos de datos descritos anteriormente. En cuanto a la interfaz gráfica que usamos para realizar nuestras simulaciones, hemos optado por el uso de I-Python Books. Esta interfaz es altamente modular y permite simular el código por partes pudiendo tener en un único fichero varios tipos de simulaciones, y no tener que simularlas todas siempre. Esta serie de características la hacen muy práctica para crear una interfaz sencilla. Por último, hemos desarrollado las distintas funcionalidades de nuestra librería y de nuestra interfaz gráfica, así como las pruebas realizadas para determinar su correcto funcionamiento y sus resultados.In this paper we have developed a library of process management and a user interface for a cluster. This project is determined by the need to find a tool for simulating tasks in a multiuser environment. To determine what type of computation is the best for our problem we explain the four types of computations existing today. But this document is focusing in parallel and distributed computing because they are the two most important today. Once you have explained the type of distributed computing we explain the chosen system. Our system is a set of interconnected computers HPC. These computers are able to parallelize tasks inside, to reduce the processing time of these. Finally, we can´t make a good context of our project if we do not speak of its main competitor in the field of large-scale computing, supercomputers. Inside the document, we will take a global view of the processing for these systems, giving the most striking examples and the advantages and disadvantages they have against distributed systems. To solve the various drawbacks that have been generated in distributed computing exist what is known as process manager. This tool has two main parts the queue manager and scheduler, whose operation is explained for complete the part of contextualization of the project. After completing the contextualization of the project are described the various tools that we use for our project. On the one hand, we will use the Apache Mesos program. This software is used as the basis for creating our library and to establish a hierarchy among the different cpus that form our distributed system. Another tool explained in this section are the various structures created to store the data that the user provides. These are the processes and tasks. Processes structures are wider data that we have. They have the process ID, the resources needed to execute our jobs and execution commands of these. On the other hand, they are our tasks are the smallest units. In each one the project run a job saved, the resources you need it, the own identifier of the task and the node that is sent for processing. These data are absolutely necessary to monitor the work and to run normally in the slave nodes. In addition to the architecture of our distributed system and the type of data we use within the tools we use is the programming language used. For this project we have opted for Python, due to its ease of learning and implementation. It is convenient in this case because it has got OOP what makes us easier to create data types described above. As for the GUI we use to make our simulations, we have opted for the use of I-Python Books. This interface is highly modular and you can simulate the code parts separately in the same script. This set of features makes it very practical to create a simple and intuitive interface. Finally, we have developed the different functionalities of our library and our graphical interface, as well as tests to determine their proper operation and its results.Ingeniería de Sistemas de Comunicacione