UNSTRUCTURED DATA AND NEW MODELS OF PROCESSING, SEARCH AND REPRESENTATION : Final paper

U današnje vrijeme na raspolaganju je velika količina podataka a većina se nalazi u nestrukturiranom ili polustrukturiranom obliku. Slabo strukturirani i nestrukturirani podatci su podatci koji se ne mogu obrađivati klasičnim sustavima za obradu podataka. Ideja je na neki ih način pretvoriti u strukture koje se mogu analizirati i pretraživati po smislenim algoritmima. Nestrukturirani i nepohranjeni podatci smanjuju iskoristivost, mogućnost analize i korištenje tih dokumenata stoga je potrebno pronaći način za obradu i korištenje takvih podataka. Upravljanje nestrukturiranim podatcima i sadržajem važan je zahtjev u poslovanju bilo kojeg poslovnog subjekta. Strukturirana je samo manja količina informacija koje se koriste u transakcijskim poslovnim sustavima kao što su ERP ili CRM. Pod nestrukturiranim dokumentima podrazumijevaju se svi dokumenti za koje bilo kakav podatak o dokumentu možemo naći samo otvaranjem (čitanjem) dokumenta. Veći dio dokumenata u bilo kojoj bazi podataka je nestrukturiran i pohranjen u različitim formatima (tekstovi, razne elektroničke forme: od e-mail poruka, preko MS Word dokumenta, sve do web stranica i multimedijalnih sadržaja), što predstavlja problem u korištenju i razumijevanju takvih podataka, posebno ukoliko se ti podatci koriste za poslovanje tvrtke. Stoga je potrebno pronaći rješenje za nestrukturirane podatke. Postoje različiti alati i baze podataka koje pomažu u rješavanju tog problema. U radu su ukratko opisani alati za obradu podataka Mozenda, Octoparse i Import.io, također su opisane NoSQL baze podataka te Hadoop softver koji je pojašnjen i na primjeru. Time su navedena samo neka rješenja problema velike količine nestrukturiranih podataka. Rad predstavlja sintetizirani pregled aktualnih modela i metoda obrade masovnih te slabostrukturiranih podatkaNowadays, a large amount of data is available and most are in unstructured or semi-structured form. Poorly structured and unstructured data are data that cannot be processed by classical data processing systems. The idea is to somehow turn them into structures that can be analyzed and searched by meaningful algorithms. Unstructured and unsaved data reduce the usability, analysis and use of these documents, so it is necessary to find a way to process and use such data. Managing unstructured data and content is an important requirement in the business of any business entity. Only a small amount of information used in transactional business systems such as ERP or CRM is structured. Unstructured documents are all documents for which any information about the document can be found only by opening (reading) the document. Most of the documents in any database are unstructured and stored in various formats (texts, various electronic forms: from e-mails, through MS Word documents, all the way to web pages and multimedia content), which is a problem in using and understanding such data, especially if that data is used for the company’s business. Therefore, it is necessary to find a solution for unstructured data. There are various tools and databases that help solve this problem. The paper briefly describes the data processing tools Mozenda, Octoparse and Import.io, as well as NoSQL databases and Hadoop software, which is explained by example. This lists only some solutions to the problem of large amounts of unstructured data. The paper presents a synthesized overview of current models and methods of processing mass and poorly structured data