Desarrollo de un conector de un sistema de ficheros paralelo para el sistema HDFS: Evaluación de una prueba de concepto utilizando Expand

La integración de nuevos sistemas de ficheros en Apache Hadoop es un proceso largo y complejo debido a que está programado en un lenguaje de muy alto nivel y su interfaz no se ajusta a ningún estándar popular entre estos sistemas. Para paliar o dar solución a este problema, la propuesta es un conector genérico que oculte la interfaz para sistemas de ficheros proporcionada por Hadoop y suministre, en su lugar, una interfaz POSIX en el lenguaje de programación C. Como prueba de concepto, se proporciona la conexión con el sistema de ficheros paralelo Expand, desarrollado por el Grupo de Arquitectura de Computadores, Comunicaciones y Sistemas (ARCOS) de la Universidad Carlos III de Madrid.Integration of new file systems in Apache Hadoop is a long and complex task due to its implementation in a high level language (Java) and its interface, which doesn’t conform to any popular standard used in those systems. To diminish or solve this problem, a fairly generic connector is proposed. Its main goal is to hide the Hadoop FileSystem interface and provide a POSIX interface for a C application to use. As a proof-of-concept, a connection with Expand parallel filesystem is included in the project. This system has been designed by the research group of computer architecture, communications and systems at Universidad Carlos III de Madrid.Ingeniería Informátic