Generating Data Quality Rules for Inclusion into ETL Process

Proces upravljanja kvalitetom podataka temelji se na pravilima ili ograničenjima kojima se definira kvaliteta podataka, a koja moraju biti ispoštovana da bi se informacijski sustav smatrao kvalitetnim. U skladištima podataka upravljanje kvalitetom podataka sastavni je dio ETL procesa. Na tržištu su dostupni mnogobrojni samostalni alati za upravljanje kvalitetom podataka i ETL alati s ugrađenom funkcionalnošću za kvalitetu podataka. Ovisno o implementaciji ETL procesa, integracija modula za kvalitetu podataka može biti vrlo zahtjevan zadatak. Ukoliko su alati za kvalitetu podataka nedostupni ili neprimjereni za upotrebu na nekom sustavu, moguće je kreirati sustav za upravljanje kvalitetom podataka opisan u ovom radu. Implementacija modula za kvalitetu podataka korištenjem generatora zahtijeva znatno manje vremena od ručne implementacije modula. Inicijalna izgradnja sustava za upravljanje kvalitetom podataka, koja sadrži pravila za integritet baze podataka, izvediva je u nekoliko dana. Takav sustav je jednostavno nadograditi s dodatnim pravilima za kvalitetu podataka. Sve izmjene u definiciji pravila, kao i izmjene u implementaciji pravila i modula, vrlo su jednostavne i brze. Za razliku od ručne implementacije, sve izmjene rade se na jednom mjestu, umjesto u svakom modulu. Generiranje modula i njihovo kreiranje u bazi podataka traje nekoliko minuta, a koristeći grupiranje pravila postižu se bolje performanse u izvršavanju modula. Kvaliteta podataka Pravila za kvalitetu podataka Generiranje pravila Meta podaci Grupiranje pravila ETL proces.Data quality management process is based on rules or constraints that define data quality. Such rules must be satisfied in order to consider the information system to be of a good quality. In data warehouses, data quality management is a part of the ETL process. Numerous standalone data quality tools, as well as the ETL tools with data quality functionality are available on the market. Depending on the implementation of the ETL process, integration of data quality modules can be a demanding task. If data quality tools are not available or not applicable for usage in a certain information system, it is possible to create the data quality management system described in this thesis. Using a generator to implement data quality modules requires far less time then a manual implementation does. Initial build of a data quality management system, which contains database integrity rules, can be done in couple of days. Such system can be easily upgraded with additional data quality rules. Changes in rule definitions, as well as changes in rules and modules implementation, are very simple and fast. As opposed to manual implementation, all changes are done in a single place, instead of in each module. Generation of modules and their deployment in database takes a few minutes, and usage of grouping of rules results in a better performance when running a module. Data Quality Data Quality Rules Generating Rules Metadata Grouping of Rules ETL Process