Text mining using concept indexing

Pretraživanje informacija i klasifikacija teksta dvije su discipline unutar dubinske analize teksta koje se bave sadržajno utemeljenom obradom nestrukturiranih tekstualnih dokumenata. Cilj je sustava za pretraživanje informacija vratiti, kao rezultat pretraživanja na postavljen korisnički upit, sve dokumente zbirke koji su relevantni za dani upit i pri tome vratiti čim manje dokumenata koji nisu relevantni za korisnički upit. Klasifikacija teksta je postupak dodjeljivanja oznaka prethodno definiranih klasa tekstualnim dokumentima. Ovaj se rad bavi tehnikama snižavanja dimenzije u modelu vektorskog prostora za predstavljanje tekstualnih dokumenata. Tema rada je tehnika konceptnog indeksiranja koju se uspoređuje s tehnikom latentnog semantičkog indeksiranja u izvršenju zadataka pretraživanja informacija i klasifikacije teksta. Tehnike se uspoređuju međusobno i sa standardnom tehnikom predstavljanja dokumenata u modelu vektorskog prostora u parametrima učinkovitosti pretraživanja informacija, odnosno klasifikacije teksta, te u veličini memorijskog prostora potrebnog za predstavljanje dokumenata. Također se uspoređuju po složenosti klasifikatora induciranih metodom potpornih vektora. Poseban problem predstavlja dodavanje novih dokumenata u prostoru snižene dimenzije. U radu su predstavljene i testirane dvije nove metode aproksimativnog dodavanja novih dokumenata u prostoru snižene dimenzije koji je dobiven metodom konceptnog indeksiranja.Information retrieval and text classification are two sub disciplines of text mining dealing with the content-based text document management. The goal of the information retrieval system is to retrieve all the documents which are relevant to a user query while retrieving as few non-relevant documents as possible. Text classification is a task of assigning labels of predefined classes to the unstructured text documents. This thesis deals with techniques of dimension reduction in the vector space model for representation of text documents. The main object of the thesis is a technique of concept indexing which is compared to the technique of latent semantic indexing in the tasks of information retrieval and text classification. These two techniques are compared to the standard technique of text representation in the vector space model in the parameter of efficiency of information retrieval and text classification, and in the parameter of the size of the memory space needed for the storage of document representations. These techniques are also compared in a complexity of classifiers induced by the method of support vector machines. Adding of new documents in the space of reduced dimension is a special problem. In this thesis two new approximate techniques for addition of new documents in the space of reduced dimension obtained by the method of concept indexing are presented