Mitä näytöt näyttävät? Luotettavuus ja luottamus ammatillisten perustutkintojen näyttöperusteisessa arviointiprosessissa

Näytöillä myönteisiä vaikutuksia Ammatillisissa perustutkinnoissa opiskelijan osaamista arvioidaan ammattiosaamisen näytöillä. Näytöissä opiskelija osoittaa osaamisensa ja työelämän edellyttämän ammattitaidon työpaikoilla tai muutoin mahdollisimman aidoissa työtilanteissa tai -tehtävissä. Opiskelijan osaamista arvioivat opettaja ja työelämän edustaja joko yhdessä tai erikseen. Näytöt tulivat pakollisiksi jokaiseen ammatilliseen perustutkintoon vuonna 2006, ja vuodesta 2007 ovat näytöt olleet myös kansallisen oppimistulosten arvioinnin perusta. Tutkimus osoittaa, että erityisesti työpaikoilla toteutetut näytöt antavat osuvaa arviointitietoa opiskelijan osaamisesta ja arvosanat koetaan oikeudenmukaisiksi. Työelämän kanssa yhteistyössä suunnitellut näytöt kehittävät opetusta ja sen vastaavuutta työelämän vaatimuksiin. Näyttöjä käytetään hyvin kehittävästi; opiskelijoita ohjataan ja valmennetaan ja heidän osaamisensa varmistetaan ennen näyttöä, mikä edistää oppimista. Uusi näyttöihin perustuva oppimistulosten kansallinen arviointi on koettu hyödylliseksi oppilaitoksissa ja arviointiraportteja on käytetty oman toiminnan kehittämisessä. Kontrolli ja sääntely ovat lisääntyneet opiskelijan arvioinnissa Opiskelijan arviointia koskevat säädökset ja ohjeet ovat lisääntyneet ammattiosaamisen näyttöjen myötä, näyttöjen arviointiin on luotu kriteerit ja koulutuksen järjestäjille ja opettajille on tullut uusia tehtäviä. Näyttöjen arviointi vaikuttaa merkittävästi opiskelijaan: näytöt ovat pakollisia, jokaisen opintokokonaisuuden keskeinen osaaminen arvioidaan ja näytöistä annetaan erillinen näyttötodistus. Kaikki näytöt on läpäistävä, jotta opiskelija voi saada tutkintotodistuksen. Tutkimukseni mukaan opettajat kokivat säädösten lisääntymisen ja työelämän edustajan oikeuden päättää yksin arvioinnista epäluottamuksena ja kontrollina, joka kaventaa heidän ammatillista vastuutaan. Työelämän edustajat puolestaan kokivat epävarmuutta arvioinnissa, eivätkä luottaneet omiin arviointitaitoihinsa. He kokivat vastuunsa näytöistä suureksi ja toivoivat arvioinnissa kiinteämpää yhteistyötä opettajien kanssa. Kaikissa tutkinnoissa työelämän edustaja arvioi näytön erittäin harvoin yksin. Näyttöihin luotetaan, mutta niiden vertailukelpoisuutta epäillään Näyttöjen toteuttamistavat, suorituspaikat ja arviointikäytännöt vaihtelevat paljon tutkinnoittain ja oppilaitoksittain. Arviointikriteereitä sovelletaan ja ymmärretään arvioijasta riippuen hyvin eri tavoin. Kriteeriperusteinen arviointi koetaan pääsääntöisesti vaikeaksi. Säädösten lisääntymisestä huolimatta näyttöjen laatuvaatimukset ovat jääneet pääasiassa suosituksiksi ja oppilaitoksille on paljon joustoa näyttöjen käytännön toteuttamisessa. Näytöissä annetaan erittäin hyviä arvosanoja. Vaikka näyttöihin luotetaan, arvosanojen vertailukelpoisuutta epäillään. Tutkimukseni mukaan näytöt eivät tuota riittävän vertailukelpoista tietoa oppimistulosten seurantaa varten. Kansallisen arvioinnin tulosten luotettavuuden kannalta sääntely ja näyttöjen laadunvarmistus on liian vähäistä. Luottamusta puolestaan heikentää ennen kaikkea epäselvyys siitä, mihin näytöistä saatavaa arviointitietoa ja oppimistuloksia käytetään. Arvioinnin seuraamuksista ei käydä keskustelua eikä arvioinnin kohteella, opettajilla, oppilaitosjohdolla eikä opiskelijoilla, ole niistä tietoa. Vertailtavuusongelmasta huolimatta näyttöihin arviointimenetelmänä luotetaan, koska näytöillä on paljon myönteisiä seuraamuksia opiskelijan oppimiseen ja koulutuksen kehittämiseen. Osallisuus arvioinnissa edistää luottamusta Samat asiat, jotka varmistavat näyttöperusteisen arvioinnin laatua ja siten oppimistulosten luotettavuutta, lisäävät myös luottamusta näyttöperusteiseen arviointiin. Yhteisarviointi herättää voimakkaimmin luottamusta, samoin opettajien ja työelämän edustajien yhteistyö näyttöjen suunnittelussa ja näyttöjen toteuttaminen työpaikoilla. Luotettavuutta voidaan lisätä kouluttamalla arvioijat arviointitehtävään entistä paremmin, selkiyttämällä arviointikriteereitä ja vahvistamalla arvioijien yhteistä käsitystä kriteereistä. Yhteisarvioinnissa ja vertaisarvioinnissa arviointivastuu jaetaan. Tämä edistää osallisuutta arvioinnin toteuttamisessa ja vaikutusmahdollisuuksia omassa asiassa, mikä on luottamuksen perusta. Vertaisarviointiin suhtaudutaan hyvin myönteisesti; opettajat luottavat vertaisilta saatuun palautteeseen. Vahvistamalla arvioijien yhteistä käsitystä kriteereistä sekä antamalla muiden oppilaitosten tuloksista enemmän vertailutietoa ja taustatietoa tulosten tulkinnan tueksi lisää luottamusta näyttöperusteiseen arviointijärjestelmään ja omaan toimintaan. Tämä kannustaa jatkamaan myös näyttöihin perustuvan kansallisen arviointijärjestelmän luotettavuuden kehittämistä edelleen. Luottamuksen tärkein edellytys on kuitenkin, että kansallisen arvioinnin tarkoituksesta ja seuraamuksista sovitaan selkeästi ja avoimesti.Student assessments for upper secondary vocational qualifications have been reformed such that vocational competence is assessed based on skills demonstrations. Skills demonstrations enable students to demonstrate their competence either at the workplace or in other surroundings that provide an accurate representation of the functional modules relevant to their occupational proficiency. Skills demonstrations in upper secondary vocational qualifications are known as vocational skills demonstrations. In addition to student assessments, national evaluation of learning outcomes in vocational education and training were also reformed to become skills demonstrations-based. As a result, assessment information for national evaluations will be obtained directly from skills demonstrations and separate national tests are no longer needed. However, coordination of student assessments and national evaluations involves tensions between the different aspects of assessment. The purpose of this study was to provide information on use of assessments to develop the assessment and evaluation system further based on skills demonstrations, to increase theoretical understanding of assessing vocational competence based on vocational skills demonstrations and to observe tensions present in assessments, reliability of assessments and confidence in the assessment process. In addition, this study strives to provide relevant information to facilitate drawing practical conclusions in the process of developing the assessment system based on skills demonstrations. The conceptual framework is based on theories on assessment and assessment concepts involving, in particular, different assessment and evaluation traditions, different functions of assessments and evaluation and criteria or quality requirements set for assessment information. In addition, the relationship between assessment and learning is observed. The research questions posed were as follows: In what way are control and confidence present in the process of assessing occupational proficiency on the basis of vocational skills demonstrations? What kind of assessment information do assessments of vocational competence provide in different contexts, in particular, student assessments, the assessment practises of educational institutions and system-level evaluation? How is reliability of assessment information ensured and how is confidence in the new system of assessing vocational competence on the basis of skills demonstrations promoted? The approach is understanding and interpretative in a phenomenological-hermeneutic framework. The research material official records and memoranda, pilot project results, participants experiences and external evaluation and feedback for the project were gathered from national development work carried out between 1999 and 2008. The materials were classified into different contexts in line with the subject of the study, that is, an assessment process based on skills demonstrations. Analysis of the material was based on a conceptual model of tensions between the formative and summative, internal and external and confidence and control aspects of assessments applying holistic hermeneutic interpretation with first-order and second-order observations leading to the main findings. The study shows that in the contexts of both student assessments and national evaluation, the tension between control and trust depends on both the functions of assessments and their implementation. Skills demonstrations have many functions and purposes in political decision-making and national guidance, but in the finalised system, the function of skills demonstrations is yet to be specified in detail and the objectives of skills demonstrations tend to include both formative and summative assessment targets in parallel. Regulations concerning skills demonstrations involve balancing between tensions: there is ambivalence between control and trust in all contexts of quality assurance of assessments based on skills demonstrations quality assurance is both rigid and flexible and there are dissonances between different quality requirements. Assessments based on skills demonstrations are considered to be an accurate and usable method of student assessment, because skills demonstrations are authentic situations and assessment is based on set criteria. Skills demonstrations are considered to be a reliable method of assessing student competence although comparability of results is uncertain. Vocational skills demonstrations increase the accuracy and validity of assessment results, but reliability is an issue in national evaluation of learning outcomes. In national evaluation, confidence in skills demonstrations is undermined by uncertainty of their purpose and significance. In conclusion: positive effects of assessment based on skills demonstrations, such as participation and learning experiences, increase confidence in the new assessment system. Quality assurance and confidence are linked in a positive way: the same factors that promote the quality of skills demonstrations and reliability of learning outcomes also increase confidence in assessments. These factors include collaborative assessment, target and criteria-based assessment, useful feedback, participation and peer assessment in quality assurance of skills demonstrations. Assessments based on skills demonstrations also increase confidence in the quality of student assessments. However, it is not possible to distinguish when assessments rely on confidence and when they promote confidence. The study showed that the assessment model is relevant both for evaluation of national learning outcomes and development of skills demonstrations, however, national evaluation require quality assurance of skills demonstrations and minimum standards to be specified in order to increase the reliability of assessments. In addition, quality assurance will also develop assessment of students skills demonstrations and increase confidence in assessment results. On the other hand, excessive regulation can lead to a reduction in the accuracy of skills demonstrations and thus decrease confidence in assessments. Confidence in assessments based on skills demonstrations could be boosted by increasing provision of training for assessors, clarifying assessment criteria as well as providing more material for comparison and background information to support interpretation of national learning outcomes. Participatory quality assurance methods increase confidence in skills demonstrations