Methods of performance evaluation for the supervised classification of satellite imagery in determining land cover classes

C.H.W Souza, E. Mercante, V.H.R. Prudente and D.D.D. Justina. 2013. Methods of performance evaluation for the supervised classification of satellite imagery in determining land cover classes. Cien. Inv. Agr. 40(2): 419-428. Satellite imagery, in combination with remote sensing techniques, provides a new opportunity for monitoring and assessing crops with lower cost and greater objectivity than traditional surveys. The present research employed Landsat 5/TM satellite imagery to identify the land cover classes in Cafelândia (Paraná, Brasil), a predominantly agricultural town. Five supervised classification methods (parallelepiped (PL), minimum distance (MND), Mahalanobis distance (MHD), maximum likelihood classifier (MLC) and spectral angle mapper (SAM)) were tested in this work. To assess the efficiency of the classifications, accuracy indices and error metrics obtained through total confusion matrices were used. The results indicated that the Mahalanobis and SAM methods generated the smallest errors for the four studied land use classes (soybean, corn, forest, and bare soil), with overall accuracy values of 88% and 86%, respectively, and kappa index values 0.83 and 0.80, respectively. The values of these methods for the applied metrics were 0.88 and 0.86 for the sensitivity index, 0.96 and 0.95 for the total specificity index and 0.84 and 0.81 for Matthews correlation coefficient, respectively. The different classification methods clearly exhibited large variations in their performance for land cover mapping. The use of measures obtained from the error matrix is a suitable method for comparisons of thematic maps.C.H.W. Souza, E. Mercante, V.H.R. Prudente y D.D.D. Justina. 2013. Métodos de evaluación de desempeño para la clasificación supervisada de imágenes satelitales en la determinación de las clases de cobertura terrestre. Cien. Inv. Agr. 40(2): 419-428. Imágenes satelitales junto con técnicas de sensoriarniento remoto ofrecen nuevas oportunidades para el monitoreo y evaluación de cultivos, con menores costos y una mayor objetividad en relación a los métodos tradicionales. La presente investigación utilizó imágenes de satélite Landsat 5/TM para identificar las clases de cobertura del suelo en Cafelândia (Paraná, Brasil), un municipio predominantemente agrícola. Cinco métodos de clasificación supervisada: Paralelepípedo (PL), Distancia mínima (MND), Distancia de Mahalanobis (MHD), Máximo probabilidad (MLC) y Mapeador de Ángulo Espectral (SAM) fueron probados en este trabajo. Con el fin de evaluar la eficiencia de las clasificaciones, se utilizaron índices y métricas de precisión obtenidos a través de matrices de errores y confusión total. Los resultados indicaron que los clasificadores de distancia de Mahalanobis y SAM superaron a los demás, consiguiendo los mejores resultados y proporcionando los menores errores para las cuatro clases estudiadas (soja, maíz, bosque, suelo desnudo), con valores de precisión global de 88 y 86%, respectivamente, y valores de índice de Kappa de 0,83 y 0,80, respectivamente. Para las métricas aplicadas, los valores fueron 0,88 y 0,86 para el índice de sensibilidad, 0,96 y 0,95 para el índice de especificidad y de 0,84 y 0,81 para el coeficiente de correlación de Matthews, respectivamente. La elección de los diferentes tipos de clasificadores claramente resultó en grandes variaciones en el desempeño del mapeamiento de la cobertura y uso de la tierra. El uso de las medidas obtenidas a partir de la matriz de errores es un método adecuado para hacer comparaciones entre mapas temáticos