Sesgos en análisis de datos

El presente Trabajo de Fin de Grado tiene tres claros objetivos. El primero es analizar los distintos tipos de sesgos que se pueden producir a lo largo de un proyecto de análisis de datos. Dichos sesgos se categorizan según donde surjan. Los primeros en aparecer son los sesgos relacionados con la recolección y extracción de datos, seguidos por los sesgos presentes en el entrenamiento y desarrollo del modelo y para terminar los sesgos producidos en la evaluación de un modelo y su implementación. Adicionalmente, se exponen casos reales de modelos que sufren sesgos. El segundo objetivo es exponer distintas propuestas presentadas cuyos objetivos son intentar mitigar los efectos que tienen estos sesgos. Las propuestas suelen ser técnicas o algoritmos y se dividen en tres categorías. La primera categoría son las técnicas de preprocesado de datos. Estas técnicas intentan producir un nuevo conjunto de datos más justo. La segunda categoría son las técnicas de equidad en algoritmos. Dichas técnicas proponen cambios en modelos o en cómo se optimizan los modelos para intentar que los mismos realicen predicciones que no estén sesgadas. La última categoría son las técnicas de post-procesamiento que intentan cambiar las predicciones que efectúa un modelo ya entrenado para que no sufran de sesgos. El último objetivo es justificar la eficacia de estos métodos implementándolos en Python y aplicándolos a un conjunto de datos real. En este caso hemos decidido usar un conjunto de datos que contiene información de personas y el objetivo es intentar predecir su salario. El problema de este conjunto de datos es que sufre de muchos sesgos, pero nos ayudaremos de la variable género para intentar que el modelo no discrimine entre hombre y mujeres. ABSTRACT This Bachelor’s Final Project has three main objectives. The first is to analyse the biases found throughout a data analytics project. such biases are categorised according to where they arise. The first biases appear in the data collection and extraction, followed by biases in model development, and lastly, biases in model evaluation and deployment. Additionally, we will expose real-world cases of biased models. The second objective is to present different proposals which aim to mitigate the effects of these biases. The various proposals are techniques or algorithms that can be divided into three categories. The first category contains data preprocessing techniques that try to produce a new, more fair dataset. The first category contains model in-processing techniques. Such techniques propose modifications to models or modifications to the optimization of their parameters such that their predictions are less biased. The last category contains model postprocessing techniques. These techniques change the predictions of an existing model to avoid bias. The last objective is to justify the effectiveness of these techniques by implementing them in Python and applying them to a real-world dataset. The real-world dataset contains information about citizens and the aim is to predict their salary. The problem with this dataset is that it suffers from many biases, with the help of the gender variable we will try to generate models that don’t discriminate between men and women