A comparative study of structured prediction methods for sequence labeling

Algunas tareas de aprendizaje automático tienen un resultado complejo, en lugar de un número real o una clase. Esos resultados están compuestos de elementos que tienen interdependencias y propiedades estructurales. Los métodos que tienen en cuenta la forma del resultado se conocen como técnicas de predicción estructurada. Este trabajo se centra en esas técnicas, evaluando su rendimiendo sobre tareas de etiquetado de secuencias y comparándolas. En concreto, tareas pertenecientes al procesado del lenguaje natural son usadas como referencia. El principal problema evaluado es el etiquetado gramatical. Conjuntos de datos de diferentes idiomas (inglés, español, portugués y holandés) y entornos (periódicos, twitter y chats) son usados para lograr un análisis general. También son examinadas las tareas de análisis sintáctico superficial y el reconocimiento de nombres de entidades. Los algoritmos usados son el perceptrón estructurado, campos aleatorios condicionales, máquinas de vectores de soporte estructuradas y modelos ocultos de Markov con trigramas. Esos algoritmos también son comparados con otros enfoques para resolver esos problemas. Los resultados muestran que, en general, el perceptrón estructurado tiene el mejor rendimiento para el etiquetado de secuencias con las condiciones evaluadas. Sin embargo, con datos de entrenamiento más escasos, las máquinas de vectores de soporte estructuradas pueden lograr un rendimiento similar o superior. Además, los resultados para los campos aleatorios condicionales son cercanos a esos dos métodos. Los resultados relativos entre los algoritmos son similares para los diferentes conjuntos de datos, pero la precisión absoluta depende de sus particularidades.---ABSTRACT---Some machine learning tasks have a complex output, rather than a real number or a class. Those outputs are composed by elements which have interdependences and structural prop- erties. Methods which take in to account the form of the output are known as structured prediction techniques. This study focuses on those techniques, evaluating their performance for tasks of sequence labeling and comparing them. Specically, tasks of natural language processing are use das benchmarks. The principal problem evaluated is part-of-speech tagging. Datasets of different lan- guages (English, Spanish, Portuguese and Dutch) and environments (newspapers, twitter and chats) are used for a general analysis. Shallow parsing and named entity recognition are also examined. The algorithms treated are structured perceptron, conditional random fields, structured support vector machines and trigram hidden Markov models. They are also compared to different approaches to solve these problems. The results show that, in general, structured perceptron has the best performance for sequence labeling with the conditions evaluated. However, with few training examples, structured support vector machines can achieve a similar or superior accuracy. Moreover, the results for conditional ranom fields is near those two methods. The relative results of the algorithms are similar across different datasets, but the absolute accuracies are dependent on their specicities