The impact of preprocessing on the classification of unstructured data

V vsakdanjem življenju se v večini primerov srečujemo z nestrukturiranimi podatki v obliki besedil iz različnih virov. Število teh iz dneva v dan narašča, zato obstaja vse večja potreba po njihovi organizaciji in kategorizaciji. Pri teh podatkih je najpomembnejša njihova predpriprava na uporabo v algoritmih strojnega učenja. Za ustrezno pripravo besedila lahko uporabimo različne metode/tehnike predprocesiranja – besedilo pretvorimo v male črke, iz njega odstranimo stop-besede, nad posameznimi besedami uporabimo krnjenje, lematizacijo, besede sestavljamo v fraze različnih dolžin (uni-grame, bi-grame, tri-grame) ali pa jih na primer pretvorimo v vektorsko obliko (ang. word embedding). S pomočjo laboratorijskega eksperimenta smo ugotovili, da nekatere tehnike predobdelave bolj vplivajo na uspešnost klasifikacije kot druge, poleg tega pa ima velik vpliv na uspešnost klasifikacije sam jezik in količina besedila, ter klasifikator, ki ga uporabimo za strojno učenje.In everyday life, in most cases we encounter unstructured data in the form of texts from different sources. The number of these is growing every day, so there is an increasing need for their organization and categorization. For these data, the most important part is their pre-preparation for use in machine learning algorithms. Various methods/techniques of pre-processing can be used for the proper preparation of the text - we can convert the text into lower case letters, remove the stop-words from it, use stemming, lemmatization, compose words in phrases of different lengths (unigrams, bigrams, trigrams), or convert them into word embedding. With the help of a laboratory experiment, we found out that some pre-preparation techniques have a greater impact on the performance of the classification than others, and in addition, the language and quantity of the text, as well as the classifier used for machine learning, have a great influence on the success of the classification