A comparative study of how the English A syllabus is interpreted in achievement tests focusing on writing ability

Studien är en jämförelsestudie av hur kursplanen för Engelska A tolkas i prestationsprov som fokuserar på skriftlig förmåga. Proven var hämtade från yrkesförberedande- och teoretiska program på gymnasiet. Jämförelsen mättes med en innehållsvaliditetsskala producerad med material från Brown (1983), Brown och Hudson (2002) och EN1201 - English A (2000) och analysen utfördes av två bedömare. Analysen visade ett flertal indexmedelvärden som skiljde sig åt mellan de två grupperna: yrkesförberedande och teoretiska. Proven tillhörande teoretiska program fick generellt ett högre indexmedelvärde än proven tillhörande yrkesförberedande program. Dock förekom det en skillnad mellan de två bedömarnas rankningar på de flesta frågorna i validitetsskalan, och några frågors medelvärden opponerade emot indexmedelvärdena, d.v.s. en av bedömarna rankade de yrkesförberedande programmens prov högre vid mer än ett tillfälle. Genom analysen upptäcktes två olika tillvägagångssätt av testning, där ett var av en mer preskriptiv natur och hade en anknytning till de yrkesförberedande programmen medan det andra tillvägagångssättet som var knytet till de teoretiska programmen var av en mer deskriptiv natur. Graden av innehållsvaliditet för respektive grupp (yrkesförberedande och teoretisk) uppvisar, enligt validitetsskalan i studiens analys, att proven tillhörande teoretiska program demonstrerar en högre grad av innehållsvaliditet (högre medelvärden) än de yrkesförberedande. Detta resultat tyder på en tolkningsskillnad av kursplanen mellan de två programmen vid konstruerandet av prestationsprov. Skillnaden mellan testen som upptäcktes kan bero på den vaga kursplanen.This thesis sets out to do a comparative study of how the English A syllabus is interpreted in achievement tests focusing on writing ability. The tests were collected from vocational and theoretical programs at upper secondary schools. The measurement instrument employed in this study was a content validity scale produced with material originating from Brown (1983), Brown and Hudson (2002) and EN1201 - English A (2000) and was utilized by two judges in order to analyse the collected tests. The analysis displayed numerous noteworthy index mean differences between the two groups: vocational and theoretical. The theoretical programs’ tests received overall a higher index mean compared to the vocational programs’ tests. However, a variance existed between the two judges’ scorings on most of the questions in the validity scale, and some questions’ means contradicted the index means, i.e. one of the judges ranked the vocational programs’ tests higher on more than one occasion. The analysis also revealed two diverse testing approaches, where one had a more prescriptive nature and was closely connected to the vocational programs while the other one, having a close connection to the theoretical programs, was more descriptive in nature. The degree of content validity in each test group (vocational and theoretical), showed that according to the scale used in the analysis of this study, the theoretical programs’ tests display a higher degree of content validity (higher means) compared to the vocational programs’. This result implies a difference in interpretation of the syllabus depending on program (theoretical and vocational) when constructing achievement tests. The difference found could be due to the vagueness of the syllabus