Environmental Policy Evaluation: Concepts and Practice

Ympäristöpolitiikan arviointi auttaa luomaan parempaa politiikkaa Ympäristöpolitiikka on suurten haasteiden edessä. Toisaalta ohjausta pitäisi keventää, yksinkertaistaa ja tehostaa kilpailukyvyn nimissä, toisaalta uudet ympäristöongelmat edellyttävät uutta ympäristöpolitiikkaa. Jotta haasteisiin pystyttäisiin vastaamaan, pitäisi niin harjoitettua ympäristöpolitiikkaa kuin uusia aloitteitakin pystyä arvioimaan. Väitöskirjasta "Ympäristöpolitiikan arviointi: käsitteitä ja käytäntöjä" saa eväitä siihen, miten suomalaista ja eurooppalaista ympäristöpolitiikkaa voidaan arvioida niin, että voidaan kehittää aidosti parempaa politiikkaa. Politiikan toteutumista on arvioitu jo pitkään, mutta vasta viime vuosina arviointi on levinnyt ympäristöpolitiikkaan. Ympäristön ominaispiirteet asettavat sekä politiikalle että sen arvioinnille haasteita: ympäristöongelmat ovat monimutkaisia ja ristiriitaisia ja sisältävät paljon epävarmuuksia. Syiden ja seurausten hahmottaminen on haasteellista, ja politiikan tulokset näkyvät usein vasta vuosien tai jopa vuosikymmenien päästä. Näkökulma pitäisikin laajentaa ensin pelkistä tavoitelluista vaikutuksista harjoitetun politiikan sivuvaikutuksiin. Toisena lähtökohtana tulisi olla useiden arvokriteerien rinnakkainen käyttö vaikuttavuuden tai kustannustehokkuuden ohella. Kolmanneksi pitäisi tunnistaa eri sidosryhmien oletukset politiikan vaikutusmekanismeista, vertailla niitä keskenään ja analysoida niitä suhteessa empiirisiin aineistoihin. Useiden, niin laadullisten kuin määrällistenkin menetelmien rinnakkainen käyttö antaa enemmän ja varmempia vastauksia kuin vain yhden menetelmän soveltaminen. Väitöskirjan esimerkit Suomen vesiluparajojen arvioinnista osoittavat, miten näitä lähestymistapoja voidaan käytännössä soveltaa. Luparajat ovat vaikuttaneet merkittävästi massa- ja paperiteollisuuden vesipäästöihin. Niillä on ollut myös merkittäviä sivuvaikutuksia esimerkiksi ympäristöosaamiseen. Sellaiset kriteerit kuin ennakoitavuus ja joustavuus tuovat selkeästi esille uusia näkökulmia luparajoista ja yhdessä monta menetelmää kertoo enemmän kuin kukin niistä kertoisi yksinään. Ympäristöpolitiikan arviointi on tärkeää, sillä sen avulla edistetään politiikan ja sen toimenpanon kehittämistä. Lisäksi arviointi on yksi tapa edistää hallinnon vastuuvelvollisuutta. Ympäristöpolitiikan arvioiminen ottamatta huomioon sen erityispiirteitä johtaa todennäköisesti politiikan vaikutusten aliarvioimiseen. Seurauksena voi silloin helposti olla toimivien ohjausjärjestelmien romuttaminen tai kehittäminen väärään suuntaan.The European Union like many countries have started to require that environmental policies should be evaluated. Questions of whether environmental policies ­ present or future ­ are effective or if we are getting the most environment for the money are frequently posed. This thesis is a response to these requests. The main aims of this thesis can be summarised in two questions: Should environmental policies be evaluated? and if so "How could they be evaluated? . These questions are approached by examining concepts, which may be used to evaluate environmental policies. The usefulness of approaches, methods and criteria will be determined through the practice of evaluation and thus the use of the concepts is studied based on experiences from an evaluation of Finnish environmental permits for pulp and paper mills. In this thesis it is argued that the demand for evaluations warrants a response because evaluating environmental policies can provide opportunities for learning and development, and also promote accountability. Side-effect evaluation, multi-criteria evaluation, intervention theories and triangulation have been conceptually discussed and indeed tested in practice and found to provide useful means for the evaluation of environmental policies. The advantages of triangulation in order to evaluate impacts were clearly demonstrated when the impacts of permitting was evaluated. Clear effects of permit limits on the discharges of many but not all pulp and paper mills were found. That some mills got limit values very late and that others had limits that did not change for decades, however, reduced the impacts. A side-effect of the permitting systems was an increase in the education and general know-how in the environmental field. This side-effect has been important both regarding a sustained improved state of the environment and with respect to the ability to gradually expand the scope of environmental policies. Flexibility has implied the ability to differentiate the requirements based on e.g. local conditions and features of the mill concerned. A flexible permit system could be very uncertain, predictability thus becomes an important criterion. Statistical modelling showed that the introduction of phosphorus limits was not random, instead it was largely predictable based on certain characteristics related to the mill. The informal preparatory phase and the often long formal process made sure that the permit content was seldom a surprise. The evaluation showed that the Finnish permit systems were fairly transparent. Openness has improved predictability. The informal phase before an application was made has not been that transparent, which partly reduces the formal transparency. The side-effect evaluation perspective is a particularly useful starting point for the evaluation of environmental policies, emphasising that a key task of an evaluation is to draw a more complete picture of all the effects. In order to make statements on the merit, worth and value of the policy some criteria are also required. Fruitful deliberation is better advanced if several criteria are used instead of just one, e.g. assessing only the effectiveness of a policy. Intervention theories, restructured on the basis of the assumptions and beliefs of different stakeholders, are tools that can be used in order to plan the evaluation in relation to the anticipated effects. Utilising multiple criteria and examining intervention theories requires data and analyses. For these purposes triangulation is emphasised. By utilising several data sources, methods, theories and the complementary perspectives of several evaluators one is more likely to achieve a good assessment of complicated causal relationships as well as to discover unanticipated effects