A comparative study of SLMVP dimensionality reduction technique applied to classification problems

Las técnicas de reducción de dimensionalidad son importantes en los campos de la ciencia de datos y el aprendizaje automático. Su uso permite transformar datos con un gran número de características en nuevos conjuntos de datos de menor dimensión y por tanto más eficiente y menos costoso junto a su uso en modelos de clasificación. Entre las ventajas que se obtienen con esta transformación están el ahorro de espacio, el aumento de la velocidad de ejecución, mejora en el aprendizaje y la resolución de problemas asociados a la multicolinealidad de los datos. Es especialmente ventajoso cuando el dataset tiene menos ejemplos m que dimensiones p, ya que los modelos de aprendizaje automatico que entrenen con dichos datos tienen un sesgo al sobreaprendizaje alto y por tanto la reducción del número de dimensiones ayuda a que esto no suceda. Este trabajo realiza un estudio comparativo de diferentes técnicas de reducción de la dimensionalidad que reflejan el estado del arte actual. En la comparativa se incluyen metodos no supervisados como PCA, KPCA y LPP, y supervisados LDA, LOL y SLMVP. Resaltar que aunque los métodos no supervisados y supervisados han sido debate de estudio desde hace muchos años, todos ellos han considerado siempre métricas de variabilidad globales y no ha sido hasta relativamente hace poco cuando se han propuesto métodos que preservar la variabilidad de un modo local. Destacar que es aún más reciente el desarrollo de métodos capaces de trabajar de un modo eficaz con conjuntos de datos donde el número de dimensiones es mucho mayor que el de ejemplos como SLMVP y LOL. Todos estos métodos han sido probados en 4 bases de datos y los resultados obtenidos reflejan la utilidad de su uso. Los experimentos se han realizado con una metodología de computación basada en la optimización de hiperparámetros automática probabilista llamada hiperopt que utiliza la probabilidad de mejorar para reducir el espacio de búsqueda. Las ventajas de su uso en la aplicación a este y otros proyectos de aprendizaje automático similares también se exploran en este trabajo