Exploração, análise e avaliação de capacidades de extração automática de entidades

A informação não estruturada está presente em diversos contextos e formatos como arti- gos de notícias, publicações em redes sociais, trocas de e-mails ou em documentos. Este tipo de informação é geralmente criado por atividades humanas que não se encaixam em nenhum modelo ou estrutura sendo por vezes irreproduzíveis. Não obstante, este tipo de dados pode conter informação de alta relevância, permitindo maior conhecimento e potencial suporte na tomada de decisão das organizações e indivíduos. Nesta tese o foco foi aplicar mecanismos para a exploração e análise de documentos de Relatórios e Contas recorrendo ao Reconhecimento de Entidades Mencionadas, conhecida pelo acrónimo NER (Named Entity Recognition). NER é uma subtarefa do Processamento de Língua Natural (NLP), uma técnica de extração e reconhecimento de informação que permite localizar e classificar entidades em texto de forma automática. Recorrendo à aplicação das capacidades NER, foram exploradas as ferramentas de extração de entidades SparkNLP, spaCy e Text Analytics API e realizada uma análise comparativa dos resultados obtidos na identificação de entidades como Organizações ou Pessoas. Um dos fatores decisivos para o sucesso na aplicação de técnicas de NER está relaci- onado com a existência de dados anotados equilibrados, representativos e de qualidade. Desta forma, foi usada uma ferramenta de anotação de forma a agilizar o processo de anotação e de treino de novos modelos de modo a permitir a otimização de resultados na identificação de entidades. Adicionalmente, com suporte nesta ferramenta foi explorada a capacidade de criar uma nova categoria, RATING, relevante no contexto do Banco de Portugal. Segundo os resultados atingidos, é possível obter melhores resultados recorrendo ao treino de novos modelos com um conjunto de anotações representativo e equilibrado quando comparado com as capacidades de base das soluções.Unstructured information is present in several contexts and formats such as news articles, publications on social networks, email exchanges or documents. This type of information is generally created by human activities that do not fit into any model or structure and sometimes is irreproducible. However, this type of data may contain high relevancy data, that allows greater knowledge and potential support in decision-making by organizations and individuals. This thesis focus was applying mechanisms for the exploration and analysis of Annual Reports, using Named Entity Recognition, known by the acronym NER. NER is a subtask of information extraction that seeks to locate and classify entities automatically. Using NER capabilities, SparkNLP, spaCy and Text Analytics API were used and was realized a comparative analysis of the results obtained in the recognition of entities such as Organizations or People. One of the decisive factors for the success in the application of NER techniques is related to the existence of balanced, representative and quality annotated data. Thus, an annotation tool was used in order to streamline the annotation process and the training of new models in order to allow the optimization of results in the identification of entities. Additionally, supported by this tool, was explored the ability to create a new category, RATING, relevant in the context of Banco de Portugal. According to the achieved results, it is possible to obtain better results using the train- ing of new models with a representative and balanced set of annotations when compared compared to the native capabilities of the solutions