Olisipa johdonmukainen edes itsensä kanssa! : arvioijakäyttäytymisen analyysia suomenoppijoiden kirjoitusnäytteiden Eurooppalaisen viitekehyksen mukaisen taitotasoarvioinnin yhteydessä

Tiivistelmä – Referat – Abstract Kielitaidon arviointi on monin tavoin ajankohtaista ja tärkeässä roolissa toisaalta aikuisten suomenoppijoiden elämässä niin koulutuksen, työllistymisen, työssä etenemisen kuin kotoutumisen ja osallisuudenkin näkökulmista ja toisaalta koulutuksen tuloksellisuuden ja kehittämisen arvioinnissa. Yksi tutkimuskohde arviointityön laadun tarkastelussa on arvioijakäyttäytymisen tutkimus, jota Suomen kontekstissa on tehty melko vähän. Tässä työssä tutkitaan kielitaidon arvioinnin asiantuntijoiden arviointityön laatua johdonmukaisuuden ja yhdenmukaisuuden näkökulmista sekä sitä, miten arvioijat itse kokevat päivittäisessä työssä rakentuneen arvioijaidentiteettinsä suhteessa saatuun palautteeseen. Teoreettisen taustan tutkielmalle muodostavat erityisesti Eurooppalaisen viitekehyksen mukaisen kielitaitokäsityksen tutkimus, vieraalla kielellä kirjoittamiseen liittyvä tutkimus sekä arvioinnin teoriat ja arvioijakäyttäytymisen tutkimus. Aineistona on seitsemän kielitaidon arviointia päätoimisesti tekevän asiantuntijan piirteittäiset taitotasoarviot kolmestakymmenestä Eurooppalaisen viitekehyksen mukaisille taitotasoille pre A1–B2 -tasoille arvioidusta kirjoitussuorituksesta, jotka on kerätty työvoimahallinnon piirissä olevien kotoutuja-asiakkaiden lähtötason arvioinneista Testipisteestä. Menetelminä käytetään Rasch-mallinnusta hyödyntävää tilastollista analyysia, joka on toteutettu Facets-ohjelmalla, temaattista fokusryhmähaastattelua sekä kyselytutkimusta. Arviointityön laatu osoittautui tilastollisen analyysin valossa oletetusti hyväksi kielitaidon arvioinnin asiantuntijoiden keskuudessa. Arvioijat toimivat yleisesti ottaen johdonmukaisesti. Tutkimuksen kohteen mukaisessa arvioinnissa on tärkeää, että arvioijat tulkitsevat arviointiasteikkoa mahdollisimman yhdenmukaisesti. Tutkimus osoittaa, että yksimielisyyden saavuttaminen melko pienessä ja homogeenisessäkin arvioijaryhmässä on haastavaa. Toisaalta yhdessä työskentelevät arvioinnin ammattilaiset tunnistavat hyvin sekä omia että toistensa arviointityylejä ja painotuksia ja ovat valmiita työskentelemään joustavasti suuremman yksimielisyyden saavuttamiseksi. Arvioijien käsitys itsestään arvioijana ei aina näytä täysin vastaavan tilastollisen analyysin piirtämää kuvaa arvioijaidentiteetistä. Useimmat arvioijat sijoittivat itsensä keskivaiheille ankaruus–lempeys-jatkumolla, vaikka he analyysin tulosten mukaan sijoittuvat selvästi lempeään tai ankaraan päähän. Arvioijat kuvaavat suoritusten arviointia vaiheittain etenevänä prosessina, jossa luodaan ensin yleissilmäys arvioitavaan suoritukseen ja annetaan alustava arvio, johon vaikuttaa sekä itselle muodostunut käsitys tietyn taitotason vaatimuksista ja tasolle tyypillisistä piirteistä, että arviointikriteeri, sitten luetaan suoritus analyyttisemmin, jolloin tehtäväkohtaisen kriteerin osuus korostuu ja lopulta muodostetaan synteesinä yleisarvio, jonka painotuksiin vaikuttaa erityisesti Eurooppalaisen viitekehyksen edustama viestinnällinen kielitaitokäsitys