Propuesta de un diccionario de palabras STEMMER para uso aplicaciones de procesamiento de lenguaje natural

El recurso más importante que posee la raza humana es conocimiento y la información. En la época actual de información, del manejo eficiente de este conocimiento depende del uso de todos los demás recursos naturales, industriales y humanos. El Procesamiento del Lenguaje Natural (PLN) es el campo que combina las tecnologías de la ciencia computacional con la lingüística, con el objetivo de hacer posible la comprensión y el procesamiento asistidos por ordenador de información expresada en lenguaje humano para determinadas tareas, como búsquedas de información, la traducción automática, los sistemas de diálogo interactivos, el análisis de opiniones. El PLN no trata de la comunicación por medio de lenguajes naturales de una forma abstracta, sino de diseñar mecanismos para comunicarse y que sean eficaces computacionalmente que se puedan realizar por medio de programas que ejecuten o simulen la comunicación. Los modelos aplicados se enfocan no sólo a la comprensión del lenguaje de por sí, sino a aspectos generales cognitivos humanos y a la organización de la memoria. El lenguaje natural sirve sólo de medio para estudiar estos fenómenos. Hasta la década de 1980, la mayoría de los sistemas de PLN se basaban en un complejo conjunto de reglas diseñadas a mano. A partir de finales de 1980, sin embargo, hubo una revolución en PLN con la introducción de algoritmos de aprendizaje automático, para el procesamiento del lenguaje. La Lematización es un proceso de eliminación automática de partes no esenciales de las palabras para reducirlas a su parte original (lema). El lema es viii la forma que por convenio se acepta como representante de todas las formas flexionadas de una misma palabra. Es decir, el lema de una palabra es la palabra que nos encontraríamos como entrada en un diccionario tradicional. Por ejemplo, decir es el lema de dije, pero también de diré o dijéramos; guapo es el lema de guapas; mesa es el lema de mesas.Tesi