Utvärdering av frågor om nybörjarkod som genererats med OpenAIs GPT-4

OpenAI’s ChatGPT has sparked a wave of interest worldwide since its public release in November, 2022. While concerns have been raised about the potential for students using the tool in order to cheat, researchers have recently started exploring how such models can be integrated into education to benefit learning. This report explores the potential of using GPT-4 to generate multiplechoice questions about student code by assessing the generated questions using qualitative metrics and employing numerical analysis to evaluate the extent to which they are correct, relevant, and reasonable to ask a student. Overall, the results show that there is good potential in using GPT-4 to generate questions about student code, with absence of logical errors, correct use of programming concepts, and a correct analysis of the program code. However, the results also indicate that a significant proportion of the generated questions were deemed not sensible to ask a student, often because they were too easy and did not assess the students’ comprehension of the program in any meaningful way. Furthermore, we found that it was easy to influence which aspects of the program that the generated question assessed by providing a set of keywords in the prompt.OpenAIs ChatGPT har väckt intresse världen över sedan den släpptes för allmänheten i november, 2022. Varningar har framförts eftersom verktyget potentiellt kan användas av elever i syfte att fuska, men forskare undersöker nu även hur sådana modeller kan komma att integreras i utbildningen för att gynna lärandet. Den här rapporten utforskar möjligheterna att använda GPT4 för att generera flervalsfrågor om studenters kod genom att utvärdera dessa frågor med kvalitativa mått och använda numerisk analys för att evaluera i vilken utsträckning de är korrekta, relevanta och rimliga att fråga en student. Resultaten visar överlag att det finns god potential att använda GPT-4 för att generera frågor om studenters kod, med avsaknad av logiska fel, korrekt användning av programmeringskoncept och en korrekt analys av programkoden. Dock indikerar resultatet också att en betydande andel av de genererade frågorna inte ansågs rimliga att ställa till en student, ofta eftersom att de var för enkla och inte testade programförståelse på något meningsfullt sätt. Vidare fann vi även att det var lätt att påverka vilka aspekter av programmet som skulle bedömas i frågan genom att tillhandahålla en uppsättning nyckelord i prompten