Salience, credibility and legitimacy in land use change modeling : model validation as product or process?

Sustainable resource management requires balancing trade-offs between land productivity and environmental integrity while maintaining equality in resource access. Scenario analysis based on a credible simulation model can help to efficiently assess the dynamic and complex interactions in between components and their trade-offs. However, despite the potential of simulation models as decision support tools, acceptance and use by decision makers and natural resource managers are still major challenges, particularly in developing countries. This study was carried out to address issues related to validation of simulation models that includes users perspectives on validity of simulation models, scenario-based trade-offs analysis and uncertainty assessment for designing management intervention. Firstly, the current study analyzed users perspectives on validity of a simulation model for natural resource management based on two activities. The first activity is based on surveys in four countries (Indonesia, Kenya, Philippines and Vietnam). It explored the perceptions and expectations of potential model users (researchers, lecturers, natural resource managers, policy makers, communicators) on a hypothetical model. The second activity was a participatory model evaluation in Aceh, Indonesia involving use of the spatially explicit FALLOW model and evaluation of its outputs. When assessing a hypothetical model, potential model users considered salience (relevance) as the most important attribute in a simulation model followed by credibility. Once a model was used, the ability of the model results to depict reality on the ground (credibility) became a critical and most important aspect for users. Nevertheless, even in cases where model performance was poor, users considered the scenario approach in evaluating their landscape a novelty. Potential model users profession, prior exposure to a simulation model and interest in using models did not significantly influence respondents ranking of model attributes (salience, credibility, legitimacy). In the second study, to improve salience of a FALLOW model application, a livestock module was developed and tested for a peri-urban situation in the Upper Konto catchment, East Java, Indonesia. This study aimed to explore the impact of land use zoning strategies on farmers welfare, fodder availability and landscape carbon stocks. Scenario analysis revealed that the current land zoning policy of establishing protected areas and allowing farmers access to fodder extraction in part of the protected areas is the most promising strategy in balancing the trade-offs of production (farmers welfare) and environment (represented by above-ground carbon sequestration). Compared to the scenario reflecting current policy, the open-access scenario that allows opening land in protected areas, was simulated to increase farmers welfare by 13% at the expense of losing 23% of landscape carbon. The extended FALLOW model with its livestock module proved an effective tool to examine the interactions between livestock, cropping systems, household decision and natural resources in data poor environments. The FALLOW model was able to simulate the land cover spatial pattern in the catchment (2002-2005) with a goodness of fit of 81% while the ability of predicting land change was 34.5% at a pixel resolution of 1 ha. In the third study, to understand the effect of uncertainty in input parameters influencing model outcome, an uncertainty analysis of landscape C stock and emissions was carried out using several approaches that can cater for different situations of data availability (plot level carbon stocks and land cover maps). The analysis used data collected during a study assessing opportunities for REDD+ (Reducing Emission from Deforestation and Degradation) in a forest frontier region in Jambi, Indonesia, during 2000-2009. In a minimum data set situation (only single plot carbon estimates and a single land cover map available) the average landscape C stock estimates were 114.5 Mg.ha-1 and 81.0 Mg.ha-1 for 2000 and 2009, respectively. Based on an expected-carbon-deviance curve, the confidence levels that the landscape C estimates were correct were 70% and 63% for 2000 and 2009, respectively. For other cases of enhanced data availability, Monte Carlo simulations were carried out to evaluate the propagation of land use classification errors and plot-level carbon stocks variation, jointly influencing landscape C stock and emission estimates. Results showed that excluding errors in land use classification resulted in biased estimates of landscape C stock and emissions. However, the bias over the whole area was estimated to be less than 7.5% (or 2.8 Mg.ha-1) with a coefficient variation of less than 0.2%. In the last study, we combined spatial aggregation analysis on the error-perturbed C emission maps (resulting from Monte Carlo analysis in the third study) with local stakeholders perspectives to develop an effective REDD+ scheme at the district level. The uncertainty analysis formed the basis for determining an appropriate scale for monitoring carbon emission estimates as performance measures of a REDD+ scheme. Changes in spatial resolution of C emission maps influenced the magnitude of potential area eligible for carbon payment and the uncertainty in carbon emission estimates. At 100 m resolution, 34.8% of the area would be eligible for REDD+ with an uncertainty of 82%while at 5000 m resolution only 6.5% of the area would be eligible with a 1% error. At 1 km2 pixel size (1000 m resolution), the errors dropped below 5%, retaining most of the coarser spatial variation in the district. Hence, feasible measures for emission reduction in the district, derived from a participatory planning process, are compatible with the 1000 m spatial resolution of the C emission map. Overall, the research elucidates the importance of involving model users in evaluating a simulation model, including scenario development and subsequent results analysis and interpretation. The study also indicates the importance of making efforts to improve model output accuracy to gain users acceptance as users consider spatial accuracy is an important aspect of landscape-based models. In data-scarce situations, model users considered model robustness in responding to new situations to be more important than precision. Scenario analysis proved to be an effective tool to examine interactions in a complex landscape, including their consequences for trade-offs (e.g. farmers welfare versus landscape carbon stocks) and synergies (e.g. fodder availability and farmers welfare). Analysis of uncertainty of landscape C emission during land use changes can provide guidance in developing appropriate natural resource management interventions. Although model users may perceive model validation as a product, it is in fact a process.Nachhaltiges Ressourcenmanagement erfordert eine Balance der Austauschbeziehungen (trade-offs) zwischen Landproduktivität und ökologischer Integrität, sowie der Aufrechterhaltung eines gleichberechtigten Ressourcenzugangs. Szenarienanalyse basierend auf glaubwürdigen Modelsimulationen kann dabei die dynamischen und komplexen Interaktionen zwischen beteiligten Komponenten und deren Austauschbeziehungen unterstützen. Ungeachtet des Potentials von Simulationsmodellen als unterstützendes Mittel im Entscheidungsprozess des Landmanagements, stellen Akzeptanz und Verwendung von Entscheidungsträgern und Naturschutzmanagern eine noch immer große Herausforderung, vorallem im Kontext der Entwicklungsländer, dar. Diese Studie wurde erstellt, um relevante Aspekte im Bezug der Validierug von Simulationsmodellen aus Sichtweise der Nutzer-Perspektive sowie der Anwendung von Simulationsmodellen zur Bewertung von Austauschbeziehungen und deren Unsicherheitsabschätzungen zur Erstellung von Managementinterventionen zu ergründen. Zunächst wurde in der vorliegenden Studie die Validität von Simulationsmodellen aus Sichtweise der Modelnutzer basiered auf zwei unterschiedlichen Aktivitäten des Naturschutzmanagements untersucht. In der ersten Aktivität wurde dabei die Wahrnehmung und Erwartungshaltung von potentiellen Modelnutzern (Wissenschaftlern, Dozenten, Naturschutzmanagern, Entscheidungsträgern und Kommunikatoren) aus Indonesien, Kenia, Philippinen und Vietnam mit Hilfe von Fragebögen betrachtet. Die zweite Aktivität beinhaltete eine partizipative Validierung von Modelergebnissen generiert mit dem räumlich-expliziten FALLOW Model in Aceh, Indonesien. Die Ergebnisse ergaben, das potentielle Modelnutzer Relevanz als das wichtigste Attribut vor Glaubwürdigkeit als Grundlage zur Bewertung eines hypothetischen Models verwendeten. Nachdem ein Model bereits eingesetzt wurde, waren Glaubwürdigkeit der Modelergebnisse im Vergleich der Realtität vor-Ort als ein kritisches und zugleich als das wichtigste Nutzerkriterium angesehen. Auch in Fällen schlechter Simulatiosnergebnisse wurde von den Modelnutzern der Szenarienansatz zur Bewertung Ihrer Landschaft als Novum angesehen. Der potentielle Modeliererhintergrund, eine vorherige Erfahrung mit Simulatiosnmodellen und das Interesse zur Verwendung von Simulationsmodellen beeinflußten die genannte Rangfolge der Modelattibute (Relevanz, Glaubwürdigkeit, Legitimiät) der befragten Personen dabei nicht signifikant. In der zweiten Studie wurde zur Verbesserung der Relevanz einer FALLOW Modelanwendung ein Modul zur Viehbestandsbewertung entwickelt und anhand eines peri-urbanen Fallbeispiels im Upper Konto Wassereinzugsgebiet, Ost-Java, Indonesien getestet. Die Studie untersuchte dabei den Einfluss von Landnutzungszonenstrategien auf die Wohlstandssituation von Bauern, Futtermittelverfügbarkeit, und der Kohlenstoffbestände auf Landschaftsebene. Eine Szenarienanalyse machte deutlich, das die gegenwärtigen Richlinien zur Landzonierung zur Etablierung von Schutzgebieten und die erlaubte Nutzung von Futtermittelextraktion aus Teilen der Schutzgebiete die bestgeeigneteste Strategie ist, um ein ausgeglichene Bilanz der Austauschbeziehungen von Produktion (Wohlstand der Bauern) und Umwelt (Kohlenstoffsequestrierung) zu erreichen. Im Vergleich zur bestehenden Richtlinie hatte das Open-access Szenario, das eine vollständige Nutzung der Schutzgebiete erlauben würde, eine simulierte Wohlstandsteigerung der Bauern von 13% zur Folge, im Gegenzug dazu müße mit einem Verlust von 23% der Kohlenstoffbestände auf Landschaftsebene gerechnet werden. Das erweiterte FALLOW Model mit dem Tierbestandmodul bewies das es als effektives Werkzeug, zur Bewertung der Interaktionen zwischen Viehbestand, Anbausystemen, Haushaltsentscheidungen und Naturschutzmanagement, in einer datenarmen Umgebung einsetzbar ist. Das FALLOW Model war in der Lage, die räumlichen Landbedeckungsgrade im Wassereinzugsgebiet mit einer Genauigkeit (Goodness-of-fit) von 81% und einer Ladnutzungsänderung von 34,5% auf der Pixelebene von 1 ha im Zeitraum von 2002-2005 vorherzusagen. In der dritten Studie wurden die Effekte untersucht, die durch die Unsicherheit von Eingabeparamtern auf Seiten der Modelergebnisse entstehen können. Unter Zuhilfenahme einer Unsicherheitsanalyse von Kohlenstoffbeständen und Emissionen auf Landschaftsebene wurden dabei verschiedene Situationen der Datenverfügbarkeit (Schlagspezifische Kohlenstoffbestände, Landbedeckungskarten) untersucht. Die Analyse verwendete Daten die während einer Studie zur Abschätzung der REDD+ (Reducing Emission from Deforestation and Degradation) Verwendungsmöglichkeiten in einer Waldgrenzregion in Jambi, Indonesien während der Jahre 2000 bis 2009 erhoben wurden. In einer Minimumdatensatzsituation (nur schlagspezifische Datensätze, und einzelne Landbedeckungskarte verfügbar) wurde der Durchschnittskohlenstoffbestand auf Landschaftsebene auf 114,5 Mg ha-1 in 2000 und 81,0 Mg ha-1 für 2009 geschätzt. Basierend einer zu erwartenden Kohlenstoff-Abweichungs Kurve, wurde der Vertrauensgrad der Kohlenstoffschätzung auf Landschaftsebene im Jahr 2000 mit 70% und in 2009 auf 63% beziffert. Für Fälle mit erweiterterter Datenverfügbarkeit wurde ein Monte-Carlo Simulation ausgeführt, um die Fehlerfortpflanzung bedingt durch Landnutzungsklassifizierung und Variation der schlagspezifischen Kohlenstoffbestände auf den Einfluss der Kohlenstoffbestände auf Landschaftsebene und deren Emission gemeinsam zu untersuchen. Die Ergebnisse zeigten, das ein Fehlerauschluss innerhalb der Landnutzungsklassifizierungen, sowie die Variationen der schlagspezifischen Kohlenstoffbestände einen systematischen Fehler in den Abschätzungen des Kohlenstoffbestandes und der Emission auf Landschaftsebene erzeugten. Allerdings betrug der Fehler im Landschaftskontext weniger als 7,5% (oder 2,8 Mg ha-1) mit einem Varianzskoeffiezient von weniger als 0,2%. In der letzten Studie wurde eine räumliche Aggregierungsanalyse der fehlerbehafteten Kohlenstoddemissionskarten (basierend auf den Monte-Carlo Simulationen) dazu verwendet, eine räumlich-skalierte Abhängigkei, der Durschnitts- und Varianzabschätzungen der Kohlenstoffemissionen auf Schlagebene aufzeigen. Die Skalenabhängigkeit beinflusste das Ausmaß des potentiellen Gebietes für Kohlenstoffausgleichzahlungen und daher die Gerechtigkeit im Kontext des Ausgleichszahlungplans. Auf Schlagebenengröße von 1 ha (Einheitsgröße Kohlenstoffzahlungen), wären 34,8 % des Untersuchungsgebietes für einen REDD+ Plan geeignet, während bei einer 2500 ha großen Schlaggröße nur 6,5 % geeignet wären. Das Entwurf eines leistungsbasierten Zahlungsschemas sollte diese Skalenabhängigkeit berücksichtigen. Im Gesamtüberblick konnte die vorgelegte Dissertation die Bedeutung der mit einzubeziehenden Modelnutzer zur Evaluierung eines Simulationsmodels, der Ergebnis- und Szenarienanalyse aufzeigen. Die Studie konnte ebenso deutlich machen, das die Steigerung der Genauigkeit von Modelergebnissen im Bezug von Landschaftsmodelle vorallem der räumlichen Genauigkeit, zu einer höheren Modelnutzerakzeptanz führt. In datenarmen Situationen zeigte sich, das Modelnutzern die Robustheit eines Models sich an eine neue Situation anzupasen wichtiger erscheint als Genauigkeit. Szenarienanalyse erwiess sich als ein effektives Werkzeug, um Interaktionen in einer komplexen Landschaft, inklusive deren Konsequenzen (z.B. Wohlstand der Bauern im Vergleich von Kohlenstoffbeständen auf Landschaftsebene) und deren Synergien (z.B. Futtermittelverfügbarkeit im Vergleich zum Wohlstand der Bauern) untersuchen zu können. Die Analyse von Unsicherheiten von Kohlenstoffemission auf Landschaftsebene im Verlauf eines Landnutzungswandels bietet eine Orientierung zur Entwicklung von angemessenen Interventionen im Naturschutzmanagement. Auch wenn Anwender Modelvalidität als ein Produkt wahrnehmen ist es in Wirklichkeit ein Prozess