Natural language processing meets business : algorithms for mining meaning from corporate texts

Geschat wordt dat 80% van alle bedrijfsinformatie bestaat uit documenten waar informatie is beschreven in de vorm van vrije tekst, terwijl maar 20% bestaat uit gestructureerde informatie. Verborgen in deze documenten is kostbare informatie die van strategisch belang kan zijn voor ondernemingen, zoals klachten van klanten en beschrijvingen van reparaties die door onderhoudspersoneel zijn uitgevoerd. Bestaande 'Business Intelligence' software is vooral gericht op gestructureerde data, zoals databases, en is niet in staat om informatie te ontdekken in tekstdocumenten. Als gevolg hiervan kunnen ondernemingen onvoldoende profiteren van belangrijke inzichten die aanwezig zijn in de documenten die het bedrijf produceert. Dit leidt tot gemiste kansen, risico's, en onvermogen om bijvoorbeeld op onvrede en niet vervulde verwachtingen van klanten te reageren. Binnen de Natuurlijke-taalverwerking (Natural Language Processing, NLP) zijn verschillende technieken ontwikkeld om informatie te ontdekken in teksten. Dit zijn onder andere technieken voor informatie-extractie (IE) en tekst-clustering (TC). Deze technieken zijn succesvol toegepast op grote collecties van goed geschreven tekst, zoals verzamelingen krantenartikelen en (medisch-) wetenschappelijke artikelen. Zulke documenten bevatten betrouwbare taalkundige en statistische patronen, die het ontdekken van informatie mogelijk maken. Documenten binnen ondernemingen, zoals die bijvoorbeeld gebruikt worden tijdens productontwikkeling en klantcontacten, vormen een uitdaging voor bestaande NLP-technieken. Zulke documenten zijn vaak zeer informeel, en bevatten regelmatig ongrammaticale zinsconstructies. Ze zijn meestal ook veel beknopter dan documenten waarop NLP-technieken getest zijn, en bevatten daarom ook minder betrouwbare taalkundige en statistische signalen. Bestaande NLP-technieken zijn daarom vaak niet in staat om accuraat informatie aan zulke teksten te onttrekken. Deze tekortkoming in bestaande NLP-technieken was de motivatie voor ons onderzoek. De onderzoeksvraag die centraal staat in dit werk is: “Hoe kan automatisch informatie gevonden worden in beknopte, domein-specifieke, en informele teksten?” Meer in het bijzonder onderzochten we de volgende drie deelvragen: RQ1: Hoe kunnen termen en concepten accuraat worden geïdentificeerd in domeinspecifieke, beknopte, en informele teksten binnen ondernemingen? RQ2: Hoe kunnen semantische relaties binnen domein-specifieke, beknopte, en informale teksten automatisch gevonden worden? RQ3: Hoe kunnen coherente en homogene clusters van vergelijkbare documenten worden gevonden. The main research question (RQ) that we addressed in this dissertation, as formulated in Chapter 1 was “How to automatically extract meaningful information from sparse, domain-specific and informally-written corporate texts? This question was motivated by two main factors. The first factor, with an industrial/corporate underpinning, pertained to the proliferation of unstructured text data, which has resulted in a drastic shift in the information space of business organizations. According to various studies, the traditional structured data, such as sales transactions in databases and data warehouses, currently account for a (relatively) insignificant 20% of all corporate data. Conversely, an overwhelming 80% of corporate data is in unstructured text format, such as customer complaints and repair notes of service engineers. Corporate organizations have also become increasingly aware that buried within these massive amounts of unstructured texts are meaningful information nuggets, which are valuable for supporting a wide-range of Business Intelligence activities, leading to products of better quality and more satisfied customers. The second factor that motivated our main RQ had an academic underpinning, and was the main focus of this thesis. It pertained to the challenges involved in identifying meaningful information from corporate texts. Several Natural Language Processing (NLP) algorithms have been developed for discovering meaningful information from texts. Most of the existing NLP techniques developed to date have been applied to large collections of wellwritten texts. These texts provide reliable linguistic and statistical evidence, which makes it easier for NLP algorithms to identify meaningful information items from their contents. However, texts generated from specialized domains, such as Product Development-Customer Service, pose a set of new challenges that extant NLP algorithms fail to adequately address. For example, these domain-specific texts are informally-written, and reliable linguistic features cannot be obtained from their contents. Also, they are sparse, and do not offer substantial statistical evidence. Due to the lack of reliable linguistic/statistical features, most NLP algorithms exhibit various shortcomings when applied to these domain-specific texts, and are inaccurate for extracting meaningful information from their contents. The lack of reliable features is further compounded by the scarcity of domain-specific knowledge resources, such as ontologies, which could have been exploited to facilitate the detection of meaningful information from texts. The above two factors highlighted the need for novel NLP techniques that successfully overcome the challenges posed by domain-specific corporate documents. They established our objectives with this research. We had two main objectives. Our first objective, with an industrial underpinning, was to provide business organizations with our algorithms and corresponding prototypes so that they could use them to unlock the valuable corporate information, buried in the massive amount of texts. Our second objective, which was the main aim of this thesis, had an academic underpinning. It was to fill the lacuna in extant NLP research by developing state-of-the-art techniques, which successfully alleviated the limitations of existing ones and addressed the challenges involved in extracting meaningful information from sparse, informally-written domain-specific texts.