Betygens geografi : forskning om betyg och summativa bedömningar i Sverige och internationellt. Delrapport från skolforsk-projektet

Den här forskningsöversikten om betyg bygger på en läsning av över 6000 abstracts ca 500 artiklar och ett 40 tal avhandlingar. De artiklar vi gått igenom är vetenskapligt granskade och publicerade i vetenskapliga tidskrifter. Våra sökningar och urval har varit systematiska. Rapporten är uppbyggd kring fyra olika resultatkapitel kopplande till projektets fyra övergripande frågeställningar. I kapitel 1 studeras hur betyg ur ett elevperspektiv påverkar självbild, motivation och lärande. I kapitel 2 har vi sammanställt forskning om betyg ur ett lärarperspektiv, hur och vad lärare betygsätter och hur betyg påverkar undervisning. Kapitel 3 handlar om betyg som styrinstrument på olika nivåer i utbildningssystemet, framför allt nationell nivå. I kapitel 4 har vi beskrivit betyg ut olika komparativa perspektiv och studerat den forskning som finns där jämförelser sker mellan olika betygssystem och betyg och bedömning i ett internationellt perspektiv. Vi gör också en egen jämförelse av hur betygssystemen ser ut i Europa. Den första delstudien har undersökt forskning om hur summativa bedömningar påverkar elevernas lärande, motivation för lärande och prestationer och vilka resultat den genererat. I delstudien ser vi att resultaten från de granskade artiklarna till viss del är samstämmiga. Vuxna högpresterande studenter verkar påverkas positivt i sitt lärande och prestationer av feedback som innehåller mycket information som kommer i direkt anslutning till uppgiften. Informationen bör också vara positiv. Samtidigt framkommer det att vuxna studenter inte påverkas negativt om feedback kommer i form av betyg. Detta förklaras av att vuxna studenter på universitetsnivå ”kan” systemet och har lång erfarenhet av summativa bedömningar och har utvecklat strategier för att hantera detta system samt att de är högpresterande. Däremot verkar det vara annorlunda för yngre elever och när representativa urval undersöks. En slutsats som kan dras av resultaten från de inkluderade studierna är att betyg generellt differentierar och påverkar äldre och yngre elever och låg- och högpresterande elever på olika sätt. Lågpresterande och yngre elever verkar påverkas mer negativt av betygsättning jämfört med äldre och högpresterande elever. Ålder och erfarenheter av bedömning tycks spela en stor roll för hur elevers lärande, motivation för lärande och prestationer påverkas av betygsättning. Den andra delstudien handlar om hur och vad lärare betygsätter och hur betyg påverkar undervisning. Vi har studerat internationell respektive svensk forskning för att beskriva skillnader dem. Gemensamt är att validitetsfrågan är central men häri ligger också skillnaden. I svensk forskning är det relationen mellan lärarens betygsättning och styrdokumenten som dominerar perspektivet. Utanför Sverige är det framförallt frågan om vad läraren bedömer som dominerar, t.ex. elevens kunskaper eller personliga egenskaper. Att lärares dagliga verksamhet påverkas av betygens inflytande är mer framträdande i den svenska forskning vi funnit. Här är det framförallt godkäntgränsen som problematiseras men även hur betyg tar tid från lärarens pedagogiska arbete. Betygens inverkan på lärarens undervisning är däremot inte centralt i forskningen utanför Sverige. Där dominerar istället kritiken mot ett ökat inflytande av high-stakes tester och hur lärare upplever dessa som meningslösa i sin undervisning. Standardisering av betygsättningen och high-stakes tester ses som ett problem som kan riskera lärares möjlighet att verka som professionella bedömare. Över huvud taget framkommer i de studier som tar upp betygens dilemman en spänning mellan styrning och kontroll och pedagogiska aspekter av lärarens bedömning. I den tredje och fjärde delstudien har vi gått mer explorativt tillväga, då det inte funnits internationell forskning som primärt fokuserat betyg ur styrperspektiv. I delstudie tre fann vi tre centrala teman om betyg ur styrperspektiv: 1) Betyg ur rättvise- och jämlikhetsperspektiv, 2) Betyg som kunskaps- och urvalsmått, 3) Betyg som high-stakes i bedömnings- och utvärderingssystem. Det tredje temat gjordes till en inramning för de andra två. Den forskning som berörde första temat poängterade bland annat att betygssystem måste sättas in i ett större perspektiv av ett rättvist bedömnings- och utvärderingssystem, med instrument för att följa upp rättviseaspekter i relation till olika elevgrupper m.m. Studierna poängterade vikten av transparens i systemen, så att grunder för bedömning och utvärdering liksom existerande orättvisor blir synliga för systemets aktörer. Kunskapsfrågan lyftes också fram som central, det är lätt att anta att det som står i läroplanen – den kunskap som bedöms – är neutralt, men kunskapen har alltid konsekvenser och olika konsekvenser för olika grupper av elever. När det gällde tema två var ett tydligt resultat att betygens roll i många utbildningssystem reducerats de senaste decennierna. Samtidigt visar genomgången av betyg ur ett systemperspektiv att betyg är bättre som urvalsinstrument för högre utbildning jämfört högskoleprov och andra liknande tester. I synnerhet kursbetyg på gymnasienivå som ges med stor bredd och i hög frekvens har en god predikativ förmåga. Detta visar att betyg kan fylla viktiga funktioner i ett utbildningssystem och det på ett bättre sätt än andra instrument, och att den utveckling som man sett internationellt mot allt mer centralt administrerade examens- och antagningsprov inte bör anammas okritiskt. Den fjärde delstudien fokuserar betygen ur olika komparativa perspektiv. Det vi fokuserat på är vad betyg jämför samt hur olika betygssystem jämförs med varandra på nationell och internationell nivå. När vi söker på bedömning och internationella jämförelser ser vi att betyg inte får en särskilt framträdande plats i artiklarna. I huvudsak är det tre områden forskarna fokuserar vid dessa jämförelser: system för accountability; kulturella förklaringar till varför bedömnings- och betygssystem ser olika ut i olika länder; variationer mellan olika lärares bedömningar i olika ämnen eller av olika elevgrupper. Några viktiga iakttagelser i vår genomgång är att det länge funnits en internationell trend mot att upprätta olika system för ökad ansvarsskyldighet (accountability) för skolans resultat. Dessa resultat mäts främst i elevprestationer på test eller i betyg. Såväl kritiska forskare som OECD har dock på senare tid noterat, att förhoppningarna om att jämförelser av skolors resultat ska leda till resultatförbättringar har varit överdrivna. De system olika länder har för bedömning och accountability förklarar i princip ingenting av variationen i PISA resultat. Det är snarare vad lärarna gör i klassrummet som har betydelse och lärare ha svårt att dra slutsatser om vad de bör göra utifrån de resultat som tillgängliggörs via accountability-modeller. Modellerna har sällan rätt informationsnivå för didaktiska slutsatser. I kapitel 4 gör vi också en egen jämförelse av betygssystem i Europa i barn- och ungdomsskolan. Det första vi kan konstatera är att informationsläget är väldigt komplicerat. Det finns inte standardiserade data på detta varför alla jämförelser behöver bygga på komplicerat klassificeringsförfarande, där det ibland uppstår tolkningsproblem. Detta är inte bara ett problem för oss utan det finns i alla de jämförelser och hänvisningar till hur det ser ut i andra länder som också görs i den offentliga debatten om betyg. Enkla listor över när betyg ges i ålder eller i hur många skalsteg som används är ganska meningslös information utanför sitt kulturella och strukturella sammanhang. Baserat på vad vi har fått fram i den här översikten har vi några rekommendationer. Det finns tydliga resultat som åtminstone bör mana till försiktighet om att vidare sänka åldern för betyg. Frågan är också på vilket sätt utblickar mot andra länders betygsstart kan hjälpa oss att ta kloka beslut om när vi ska börja med betyg, där vi efterlyser att man på policy nivå i så fall går mer på djupet och identifierar principer för bedömning som mer har med klassrummet att göra. Flera länder ger exempelvis lärare och skolor stor autonomi över hur bedömningarna i tidiga åldrar ska tillämpas, vilket kan tänkas ha positiva konsekvenser för lärares professionalitet i frågan. Det är också viktigt att det svenska nuvarande betygssystemet bättre utvärderas på ett nyanserat sätt i förhållande till olika lärare, ämnen och elevgrupper. Betyg fungerar inte lika för alla. Det är också viktigt att fundera över hur vi utvärderar elevers resultat och om det finns möjlighet att kombinera fler modeller med varandra, så att vi bättre kan få data av ”value added”-karaktär samt för att följa kunskapsutvecklingen över tid. Studien visar också på flera olika plan vilka svårigheter det finns med översättning av forskningsresultat och information om utbildningssystem mellan olika länder och kontexter. Vår studie pekar på att lärarnas autonomi över bedömningssystemen, oavsett hur de ser ut, är det som kanske har störst betydelse. Att lärarna har verktyg som de kan använda i bedömning av elevernas kunskaper och i kommunikationen kring dessa kunskaper som lärarna själva upplever är meningsfulla och som gagnar den pedagogiska processen. Därför är det också av stor vikt att lärare ges möjlighet till fortbildning kring betyg och bedömning och att det kanske blir ett ännu mer markerat inslag i lärarutbildningen.This systematic research review about grades and summative assessments are based on a reading of over 6000 abstracts, 500 articles and about 40 theses. The articles we have read are peer reviewed and published in scientific journals. Our searches and selections have been systematic. The report is structured around four different chapters linking to the project's four overarching issues. In Chapter 1 we study how grades/marks from a student perspective affects self-image, motivation and learning. In Chapter 2, we have compiled research on grading/marking from a teacher's perspective, how and what teachers think of this and how grading affect teaching. Chapter 3 deals with grades and summative assessment as control instruments at different levels of the education system. In Chapter 4 we describe grading from various comparative perspectives. We also do our own comparison of how the different grading and assessment systems look like in Europe. In the first Chapter, we see that the results of the studies reviewed are partially coherent. Adults and high-performing students seem positively influenced in their learning and accomplishments from feedback that contains much information that comes directly adjacent to the task and if the information is positive. At the same time, it appears that adult students are not adversely affected if the feedback comes in the form of grades. This is explained by the fact that adult students at the university level and upper secondary education have extensive experience of summative assessments and have developed strategies to cope with this system. However, it seems to be different for younger students and when representative samples are examined. One conclusion that can be drawn from the results of the included studies is that grading generally influence older and younger students and low- and high-performing students in different ways. Underperforming and younger students seem to be more adversely affected by the scores compared with older and high-performing students. Age and experience of assessment appear to play a major role in how students' learning, motivation for learning and performance is influenced by the scores. The second Chapter is about how and what teachers view of grading and how grading affect teaching. We have studied international and Swedish research to describe differences between them. The issue of validity is central, but in a different way in international and Swedish research, respectively. In the Swedish research, the relationship between the teacher's grading and policy documents constitutes a dominant perspective. Outside Sweden, it is mainly the question of what the teacher look at when assessing that dominate, e.g. student's skills or personal qualities. In the third and fourth Chapter, we have used a more exploratory approach since grading isn’t that closely linked to governing and control in other countries as in Sweden. Instead external tests are more common. We found however three central themes from a control perspective, that is relevant to the issue of grading: 1) fairness and equality in assessments, 2) grading as merit, as a knowledge and selection measurement, 3) grading as part of a high stakes assessment and evaluation systems. The third theme was made into a setting for the other two. The research that touched the first theme emphasized in particular that grading must be put into a larger perspective of a fair assessment and evaluation system, with instruments to monitor fairness in relation to different student groups, etc. Regarding the second theme we found that the ratings' role in many educational settings, have been reduced in recent decades. But at the same time we see clear tendencies that grades are better as a selection tool for higher education compared to university aptitude tests and other similar tests. This shows that grades can fill important functions in the education system in a better way than other instruments, but are not as useful for other purposes. The fourth Chapter focuses on grades from different comparative perspectives. When we look at assessment and international comparisons we see that grades doesn’t have a particularly prominent place in the international comparative research. Essentially, there are three areas the researchers focused on in these comparisons: systems of accountability; cultural explanations for why the assessment and grading system looks different in different countries; variations between teachers' assessments of various subjects or by different groups of students. Some key findings of our survey is that there has long been an international trend towards establishing systems for measuring results and to increased accountability in education systems. These results are often measured as student performance on tests or grades. Both critical scholars as well as the OECD has, however, recently noted that the hopes that comparisons of schools' results will lead to performance improvements have been exaggerated. The systems for assessment and accountability systems in different countries explain almost nothing of the variation in the PISA results. Rather, it is what teachers do in the classroom that are important and teachers find it difficult to draw conclusions about what they should do on those results that are made available through accountability systems. The systems seldom produce the right level of information for didactical implications. In Chapter 4, we also do our own comparison of grading systems in Europe. The first thing we can say is that the data situation is very complicated. There is no standardized data on this, why all comparisons need to build on a complex classification procedure, where there sometimes are problems of interpretation. This is a problem for all references to how it looks in other countries so common in the public debate on grades in Sweden. Based on what we found in our overview, we have some recommendations. There are clear results, which at least should lead to caution about further lowering of the age when pupils meet their first grades. It is also important that the Swedish current grading system is better evaluated in relation to different teachers, subjects and groups of pupils. Grades do not work the same for everyone. It is also important to consider how we evaluate students' performance and whether it is possible to combine more models with each other, so that we can get better data of for example "value added" character, and to be able to follow the development of knowledge over time. Our study also shows on several different levels of difficulties in the translation of research findings and information on education between different countries and contexts. We suggest that teachers' autonomy in assessment systems, no matter what they look like, is perhaps the most important factor for them to work in purpose of support learning and development, at all levels. Therefore, it is also of great importance, not only for the government to pay attention to voice of teachers, but to provide teachers with the possibility to obtain further training on grading and assessment. Equally important, this aspect of teaching should be an even more marked feature of teacher education