Data Quality Assurance in Data Warehousing

Put od podataka do informacija i znanja nije jednostavan. Na tom putu se uvijek pojavljuje problem kvalitete podataka. Podaci u transakcijskim sustavima uvijek su jednim dijelom nepotpuni, nekonzistentni i netočni. U projektima implementacije skladišta podataka i sustava poslovne inteligencije vrlo velika pažnja posvećuje se kvaliteti podataka, te su razvijene politike osiguranja kvalitete podataka, platforme i algoritmi za čišćenje, konsolidaciju i ispravljanje netočnih podataka. Platforme za poboljšanje kvalitete podataka vjerojatno čine najmanje istraženu i korištenu grupu analitičkog softvera u Hrvatskoj. Hrvatsko tržište nije dovoljno veliko da bude zanimljivo globalnim dobavljačima da ulažu u razvoj lokaliziranih pravila za svoje platforme. Niti jedna od vodećih platformi za poboljšanje kvalitete podataka nije u procesu standardizacije i čišćenja spremna za rad s imenima, prezimenima i adresama specifičnim za hrvatski jezik, odnosno nema ugrađenu odgovarajuću aplikacijsku logiku i referentne podatke za Hrvatsku. Prije korištenja tih platformi potrebno je kreirati pravila za hrvatska imena i adrese. Za neke platforme, kreiranje pravila za hrvatski jezik nije lagan proces, zbog arhitekture platformi koje nisu jednostavne za kreiranje ekstenzija. Ovaj rad prikazuje lokalizacijski proces i kreiranje skupa pravila za poboljšanje kvalitete podataka za dvije vodeće platforme, te praktični primjer implementacije na projektu u velikoj hrvatskoj tvrtki.The path from data to information and knowledge is not easy. On this path there is always the problem of data quality. Data in operational systems are always partly incomplete, inconsistent and inaccurate. During implementation of data warehouse and business intelligence systems great attention must be paid to the quality of data. Policies for data quality assurance, platforms and algorithms for the cleaning, consolidation and correction of inaccurate data were developed. Platforms for improving data quality are probably the least explored and used group of analytical software in Croatia. Croatian market is not big enough to be interesting to global suppliers to invest in the development of localized rules for their platforms. None of the leading platforms for improving data quality is ready to work with the names and addresses specific to the Croatian language in the process of standardization and cleansing. Before using these platforms need to create rules for Croatian names and addresses. For some platforms, creating rules for the Croatian language is not an easy process, because the architecture of the platforms is not easy for creating extensions. This work shows the localization process and creation of a set of rules for improving the quality of data for the two leading platforms, and a practical example of implementation of the project in a large Croatian company