Evaluating educational influence of intelligent e-learning systems

S obzirom na veliku prisutnost e-učenja u svijetu obrazovanja, potrebno je osigurati valjano i učinkovito okruženje u kojem bi se e-učenje odvijalo. Upravo zbog činjenice da sustavi e-učenja zbog svoje prisutnosti u procesu učenja i poučavanja, utječu na taj isti proces, kao i na postignuća učenika, smatramo da se u nastavi mogu koristiti samo oni sustavi čija je učinkovitost provjerena. U ovom radu smo inteligentne tutorske sustave prikazali kao posebnu vrstu inteligentnih sustava e-učenja, a samim time i sustava e-učenja općenito. Na temelju spoznaja iz literature dali smo pregled i klasifikaciju metoda vrednovanja, objasnili postupke i instrumente prikupljanja podataka. Pošto je proces vrednovanja učinka dugotrajan, a izbor metoda za vrednovanje velik, odlučili smo pristupiti definiranju vlastite metodologije koja predstavlja sintetički pristup vrednovanju učinka kojim se povezuju eksperiment i ideja o provjeravanju učinka sustava u što većem broju međustanja. Ova metodologija je implementirana u okviru programskog alata za automatsko vrednovanje učinka sustava e-učenja koji omogućava jednostavno vrednovanje učinka. Nastavak istraživanja je orijentiran prema primjeni definirane metodologije, kao i programskog alata za automatsko vrednovanje učinka sustava e-učenja, za vrednovanje učinka što većeg broja sustava e-učenja različitih kategorija, što bi omogućilo provedbu meta-analize i procjenu sveukupne veličine učinka različitih podkategorija sustava e-učenja.Concerning great presence of the e-learning in education, it is necessary to enable valid and efficient environment for its realization. Due to the fact that e-learning systems influence learning and teaching process, as well as students’ achievements, we believe that only those systems, whose efficiency has been evaluated, can be used in educational process. In this thesis we have shown that intelligent tutoring systems are one special class of intelligent e-learning systems, and e-leaning systems in general. Based on literature findings, we have presented classification of evaluation methods, as well as explained methods and instruments for gathering data. As efficiency evaluation process is long-lasting and choice of evaluation methods is vast, we have decided to define our own evaluation methodology that presents synthetic approach that relates an experiment and an idea about checking system’s efficiency in intermediate states. This methodology has been implemented in a system for automatic evaluation of e-learning systems’ educational influence that enables easy efficiency calculation. Further research is oriented towards application of the defined methodology, as well as the system for automatic evaluation, to evaluate efficiency of as much as possible e-learning systems. That would enable calculation of the overall effectiveness of different categories of e-learning systems using meta-analysis