Improving the evaluation of project proposal effectiveness

Tutkimuksen kohteena oli julkisen sektorin kaupunkiorganisaation projektiehdotusten vaikuttavuuden arvioinnin kehittäminen. Kohdeorganisaationa oli yksi Suomen suurista kaupungeista, jossa oli muutama kuukausi ennen tutkimuksen aloittamista otettu käyttöön projektisalkkumalli kehittämistoiminnan johtamisen helpottamiseksi. Työssä tarkasteltiin projektiehdotusten käsittelyn sekä arvioinnin nykytilaa ja työn tavoitteena oli tuottaa konkreettisia kehitysehdotuksia sen kehittämiseksi ja osana tätä myös kehittää arviointikehikko yksittäisten projektiehdotusten vaikuttavuuden arviointiin. Työ muodostuu kirjallisuuskatsauksesta ja tapaustutkimuksena suoritetusta empiirisestä osasta. Kirjallisuuskatsauksessa keskityttiin ensin tarkastelemaan tutkimuksen kontekstia eli julkisen sektorin ja sen päätöksenteon erityispiirteitä sekä sitä, miten projektisalkkumallissa päätöksenteon ja projektiasioiden käsittelyn tulisi teoriassa tapahtua. Lisäksi tarkasteltiin, miten kirjallisuudessa on yleisesti käsitelty vaikuttavuuden arviointia. Empiirisessä osassa tutkimusaineisto kerättiin haastattelemalla kohdeorganisaation projektisalkkumallin avainhenkilöitä. Yksi empiirisen osan keskeisistä löydöksistä oli se, ettei projektiehdotusten käsittely kohdeorganisaatiossa vielä täysin edennyt uuden salkkumalliprosessin mukaisesti, millä oli myös vaikutuksia projektiehdotusten vaikuttavuuden arvioinnin merkittävyyteen. Lisäksi osasta projektisalkkujen toiminnasta puuttui tietynlainen pitkäntähtäimen puute, projektiasioiden käsittelyn ollessa ennemmin jatkuvaa reagointia. Yksittäisten projektiehdotusten vaikuttavuuden arvioinnin tärkeimmiksi päätöksentekoon vaikuttaviksi tekijöiksi haastateltavat nostivat projektin strategisen perustelun, suunnitellun vaikuttavuuden riittävän tarkan kuvailun ja määrittelyn, konkreettisten tavoitteiden asettamisen sekä logiikan kuvauksen siitä, mitä asioita muuttamalla haluttu vaikuttavuus todella saadaan aikaan. Tutkimuksen tuloksena kohdeorganisaatiolle annetuista kaksiosaisista ratkaisuehdotuksista toimenpide-ehdotuksilla pyrittiin kehittämään kohdeorganisaation projektitoimintaa salkkumalliprosessin mukaiseksi siten, että se samalla tukisi entistä paremmin myös projektiehdotusten vaikuttavuuden arviointia ja sen merkitystä päätöksenteolle. Toimenpide-ehdotusten pääpaino oli toiminnan suunnitelmallisuuden lisäämisessä, johtohenkilöiden sitouttamisessa sekä yhteistyön lisäämisessä toimintamallin kehittämiseksi. Toinen osa ratkaisuehdotuksista oli haastatteluiden perusteella kehitetty projektiehdotusten vaikuttavuuden arviointikehikko, jonka mukaisesti kaikkien projektiehdotusten vaikuttavuutta voidaan arvioida. Siinä otettiin huomioon kaikki haastatteluiden perusteella tärkeiksi nostetut tekijät eli sen avulla kuvataan logiikka siitä, mistä ja miten vaikuttavuus syntyy sekä miten projekti liittyy koko kaupungin strategisiin tavoitteisiin