Test av fagsystemet for økologisk tilstand. Erfaringer fra pilotprosjekter for arktisk tundra og arktisk del av Barentshavet

Jepsen, J.U., Arneberg, P., Ims, R.A., Siwertsson, A. og Yoccoz, N.G. 2019. Test av fagsystemet for økologisk tilstand. Erfaringer fra pilotprosjekter for arktisk tundra og arktisk del av Barentshavet. NINA Rapport 1674. Norsk institutt for naturforskning. Fagsystemet for vurdering av økologisk tilstand skal danne grunnlaget for samlet, kunnskapsbasert, vurdering av tilstand i norske hovedøkosystemer. Tre metoder for samlet vurdering ble anbefalt for videre vurdering av et tidligere Ekspertråd. To av disse er nært beslektet, og nå samlet til en overordnet metode, slik det nå er to metoder for samlet vurdering som er under nærmere utprøving; Fagpanelprinsippet, inspirert av tilnærmingen for vurdering i bl.a IPCC og IPBES, og Indeksprinsippet, som bygger på Naturindeksen og Vannforskriftens klassifiseringssystem. I denne rapporten beskrives utvikling og gjennomføring av protokollen for fagpanelprinsippet. Utvikling og gjennomføring av protokoll for indeksprinsippet presenteres i en parallell rapport (Nybø et al. 2019). To arbeidsgrupper har utført en pilottest med fagpanelprotokollen for økosystemtypene arktisk tundra og arktisk del av Barentshavet. Intensjonen var at indeksprotokollen skulle prøves ut for abiotiske indikatorer fra de samme økosystemene. Det kunne ikke gjennomføres fordi det ikke var gitt i denne protokollen hvordan skalering, et nødvendig steg i denne tilnærmingen, kunne gjøres for disse indikatorene. Ifølge fagpanelprotokollen gjøres vurderingen av avvik fra god økologisk tilstand av et bredt sammensatt fagpanel bestående av fagpersoner med ekspertise på det aktuelle økosystemet. Ifølge protokollen beskrives først datagrunnlaget og hvordan indikatorverdier er estimert fra dette grunnlaget. Datagrunnlaget for hver indikator vurderes også etter fastsatte kriterier. Deretter beskrives en formalisert forventning om hvordan hver indikator endrer seg som resultat av menneskeskapte drivere i økosystemet. Slike beskrivelser kalles fenomener. Fenomenene skal begrunnes med bakgrunn i publisert forskningslitteratur, og det skal vurderes i hvilken grad de forventede endringene kan være biologisk betydelige med hensyn til effekter på økosystemets struktur og funksjon, også det med bakgrunn i litteraturen. Dette danner bakgrunnen for å anslå fenomenenes gyldighet, som er en vurdering av hvor sikre vi er på forbindelsen mellom driver(e) og indikator og betydningen av endringer. Det neste steget er å vurdere, gjennom statistiske analyser av indikatorverdiene, i hvilken grad det er evidens for at de forventede endringene (fenomenene) har inntruffet. Det gjøres så en samlet vurdering av avvik fra god økologisk tilstand for hver av syv definerte egenskaper ved økosystemene, der det legges vekt på evidens for at fenomenene har inntruffet, fenomenenes gyldighet og datadekning for hver indikator. Basert på disse syv vurderingene gjøres det en kvalitativ vurdering av samlet avvik fra god økologisk tilstand for økosystemet som helhet. Alle stegene i protokollene dokumenteres for å sikre transparens og etterprøvbarhet. Utprøvingen for arktisk tundra og arktisk del av Barentshavet viser at fagpanelprotokollen lot seg gjennomføre på begge disse, svært ulike, økosystemene. Begge paneler har gjort seg liknende erfaringer med protokollen, og anbefaler liknende justeringer frem mot en operasjonell versjon. Dette indikerer at protokollen er nær ved å kunne operasjonaliseres. På bakgrunn av erfaringene fra pilottesten, og at det i forskningslitteraturen gjennomgående er konkludert med at vurdering av tilstand i komplekse systemer bør gjøres ved hjelp av fagpanel og ikke indekser, anbefales det å basere den videre utviklingen av fagsystemet på fagpanelprotokollen. Videre er det godt dokumentert i forskningslitteraturen at det er grunnleggende problemer med å tallfeste referanseverdier og grenseverdier for god tilstand i øko-systemer, to sentrale elementer i indeksprotokollen. Det anbefales å gjennomføre en kvalitetssikring av de metodiske protokollene og gjennomføring av dem ved hjelp av et interna-sjonalt bredt sammensatt fagfellepanel. Andre anbefalinger fra de to arbeidsgruppene er at klimaindikatorer er både en naturlig og nødvendig del av et system for vurdering av tilstand i økosystemer, at fagsystemet bør anvendes på relativt store områder som tilsvarer de skalaene økosystemprosesser opererer på, at operasjonalisering kan og bør begynne snarest og parallelt med en internasjonal fagfellevurdering, samt at det må tas nødvendige skritt for å sikre og utvide datagrunnlaget for en fremtidig operasjonell vurdering.Jepsen, J.U., Arneberg, P., Ims, R.A., Siwertsson, A. og Yoccoz, N.G. 2019. A test of the assessment system for ecosystem state. Experiences from arctic tundra and arctic sector of the Barents Sea. NINA Report 1674. Norwegian Institute for Nature Research. The assessment system for ecosystem condition (NO: Fagsystemet) is intended to form the basis for a consolidated, evidence-based, assessment of the ecological state of Norwegian ecosystems. Three methodological approaches for assessment of ecosystem condition were recommended for further development and evaluation by a previous expert committee. Two of these are closely related and have been merged into one, resulting in two methodological approaches currently under evaluation; A panel-based approach (NO: Fagpanelprin-sippet) inspired by the approach used in IPCC and IPBES, and an index-based method (NO: Indeksprinsippet) which builds on the approach used in the Norwegian Nature Index and the classification system of the Water Framework Directive. This report describes the development and test of the protocol for the panel-based approach (in the following termed the panel-based protocol). The development and test of the index-based protocol is described in a parallel report (Nybø et al. 2019). Two working groups have completed a test of the panel-based protocol for the ecosystems arctic tundra and the arctic sector of the Barents Sea. The intention was to additionally test the index-based protocol for all abiotic indicators in both ecosystems. This could not be completed, as the suggested methodology for scaling the indicator values, a required step in the index-based protocol, was not developed to handle indicators for which an ecologically meaningful ‘zero-line’ was lacking. In the panel-based protocol, the assessment of ecosystem state is done by a broad panel of experts on the ecosystem in question, according to strict criteria. The first step in the protocol is a description of the datasets used for each selected indicator, and the methods used for both collecting the data and for calculating indicator values from the data. The quality of the data coverage is evaluated according to defined criteria. The next step is to describe formalised expectations for how each indicator may change as a result of anthropogenic pressures. These descriptions are termed ‘phenomena’ (NO: fenomener). The protocol require that each phenomenon is justified in a description based on published literature, including a description of certainty with respect to the impact of anthropogenic drivers, and why and how expected changes might contribute to a worsening of the ecological state, in terms of ecosystem structure and functions. Based on this description the validity of each phenomenon is scored and used as a degree of confidence in the causal relationship between changes in the indicator and anthropogenic drivers (VF). The next step in the protocol is an evaluation of whether there are changes in the indicator values that can be considered statistically and biologically significant in the sense that they constitute a worsening of ecological state. This evaluation of the extent to which each phenomenon has occurred is scored and used as axis of evidence quality (EF). The next step is a consolidated assessment of the ecological state of each of seven ecosystem properties, based on the associated indicators and phenomena. The assessment is based on the validity (VF), the evidence quality (EF), and the data quality for each phenomenon. The assessment of each ecosystem property is inherently qualitative and includes a written assessment and a score to one of three categories, depending on whether none, some or substantial deviation from a normative intact ecological condition has been observed. The final qualitative assessment of the ecosystem as a whole is then made based on the assessments of each of the seven ecosystem properties. The two panel-based assessments, made for high- and low-arctic tundra and the arctic sector of the Barents Sea, show that the protocol was functional for both these, highly different, ecosystems. The assessment panels for both ecosystems had similar experiences with the use of the protocol, and recommended similar adjustments. This indicates that the protocol can be operationalised with a limited effort. From the promising test of the panel-based approach, and the fact that the scientific literature lends support to the notion that assessments of complex systems should preferentially be done based on qualitative panel-based assessments rather than quantitative index-based averages, we recommend that the assessment system for ecosystem state is founded on the panel-based assessment approach. In addition, it is well documented in the scientific literature that there are fundamental problems associated with establishing empirically sound quantitative estimates for pristine reference states and thresholds for entering a ‘poor’ ecological state, two key elements of an index-based approach. We strongly recommend that a broad international peer review is performed of one or both approaches. Other recommendations from the panels are that climatic indicators should be a natural and mandatory part of the evaluation of the ecosystem attribute ‘Abiotic conditions’, that assessment scale should be carefully considered and coincide with the scale at which ecosystem processes occur on, that the process towards operationalisation can and should begin soon and in parallel with a peer review process, and that necessary steps are taken to secure and extend the data contributing to the assessment system