Automatic evaluation of the students' assessments

Nearly seven hundreds of students each year apply for informatics' studies at University of economics, Prague (UEP). At the beginning, each one must complete two courses related to programming - Introduction to Programming and Fundamentals of Software Engineering. Both courses produce a lot of outputs -- simpler home works or more complex semestral projects -- which must be assessed by the teachers. Especially assessment of early home works is laboring and routine which makes it perfect candidate for automation. The goal of this work is to suggest the best suitable way how to implement this automation at UEP. Since mass courses make troubles universities all around the world there is already a lot of existing solutions how to automate evaluation of programming courses. First two chapters summarize the effort to find the most interesting ones and present them to the Czech audience. Because existing solutions are really sophisticated but does not provide white box tests support needed at UEP the rest of this thesis is not about creating own new automatic assessment system but about creating a middleware which can handle the problem mentioned. The middleware called Duckapter makes usage of Java reflection API easier and is downloadable from project website http://code.google.com/p/duckapter. Using them, the teachers can provide white box tests inside the black box (unit) tests which are supported by the most of the current automatic assessment systems.Necelých sedm set studentů nastupuje každým rokem na Vysokou školu ekonomickou v Praze (VŠE), aby se zde učili informatice. Každý z nich musí na úvod absolvovat dva navazující předměty týkající se programování -- Základy programování a Základy softwarového inženýrství. Oba kurzy žádají poměrně mnoho výstupů, ať již dílčího (domácí úkoly), nebo komplexnějšího rázu (semestrální práce), které musí vyučující řádně vyhodnocovat. Zejména hodnocení úvodních úkolů má pracný, ale rutinní charakter, což z nich dělá vynikající kandidáty na automatizaci. Cílem této práce je navrhnout nejvhodnější způsob, jak této automatizace dosáhnout. Jelikož problém s velkokapacitními kurzy trápí univerzity po celém světě, existuje již řada řešení, jak automatizovat vyhodnocování úkolů v programování. První dvě kapitoly této práce se shrnují snahu nalézt ty nejzajímavější z nich a představit je českému publiku. Protože nalezené systémy dosahují vysoké míry sofistikovanosti, nicméně nepodporují testy implementace využívané na VŠE, věnuje se zbytek práce místo tvorby vlastního systému tvorbě frameworku, který by umožnil tento nedostatek překonat. Zmiňovaný framework nazvaný Duckapter zjednodušuje práci s reflexí v jazyce Java a je volně dostupný jako knihovna na stránkách projekt http://code.google.com/p/duckapter. Pomocí něj mohou vyučující snáze zahrnovat testy implementace do (jednotkových) testů chování, které jsou běžnou součástí systémů pro vyhodnocování studentských úloh