Evaluating Fund Stabilization Programs with Multicountry Data: Some Methodological Pitfalls (Evaluation des programmes de stabilisation du Fonds à partir de données sur divers pays: quelques écueils méthodologiques) (La evaluación de los programas de estabilización del Fondo con los datos de diversos países: algunas dificultades metodológicas)

In the context of the continuing debate on Fund conditionality, many researchers both inside and outside the Fund have attempted to estimate the effects of Fund programs through the use of multicountry samples. A key challenge in such work is to estimate the counterfactual--that is, what would have happened in program countries in the absence of Fund programs. Two methodologies have been dominant in approaching this problem. The before-after approach implicitly estimates the counterfactual on the basis of preprogram outcomes in the program countries. The control-group approach, in contrast, relies on observed outcomes in nonprogram countries to estimate what would have happened in program countries in the absence of programs. Both approaches are subject to potentially serious statistical problems. Because the problems associated with the control-group approach are less well known (at least in the context of evaluating Fund programs), the paper focuses on the potential sources of bias in this methodology. In particular, the paper shows that, unless the program group is randomly selected, observed outcomes in the control group may be systematically different from what would have happened in the program-country group in the absence of programs. Further, there are good a priori reasons for believing that the assignment of countries to program and nonprogram groups is not random. The paper presents some empirical evidence, drawn from the experience of the 1970s, to support this view. Estimates of program effects that control for observable preprogram differences between program and nonprogram countries turn out to be quite different from those that do not control for these differences. Application of the control-group methodology to multicountry samples therefore requires the removal of "sample-selectivity bias," which can arise from a variety of sources. On a broader level, the paper demonstrates that considerable caution is needed in attempting to estimate and interpret the effects of Fund programs by using multicountry data. /// Dans le cadre du débat permanent sur la conditionnalité du Fonds, un certain nombre de chercheurs, qu'ils soient membres du personnel de l'organisation ou non, se sont efforcés d'estimer les effets des programmes du Fonds à partir d'échantillons constitués par plusieurs pays. L'une des difficultés majeures que présentent ces travaux consiste à estimer ce qui se serait passé dans les pays à programme en l'absence de tout programme du Fonds. Deux méthodes principales ont été utilisées à cette fin. La première, ou méthode pre-post-programme, estime de manière implicite ce qui se serait passé en l'absence de programme à partir des résultats enregistrés avant l'application du programme dans les pays à programme. La seconde, ou méthode du groupe de contrôle, utilise en revanche les résultats observés dans des pays sans programme pour estimer ce qui se serait passé dans les pays à programme en l'absence de tout programme. Ces deux méthodes soulèvent des difficultés statistiques qui peuvent être sérieuses. Parce que les problèmes liés à la méthode du groupe de contrôle sont moins bien connus (du moins dans le contexte de l'évaluation des programmes du Fonds), les auteurs de l'étude mettent l'accent sur les sources éventuelles de biais de cette méthode. Ils montrent notamment que les pays à programme doivent être sélectionnés de manière aléatoire; sinon, les résultats qui sont observés dans les pays du groupe de contrôle peuvent différer de manière systématique de ceux qu'auraient enregistrés, en l'absence de programmes, le groupe des pays à programme. Il existe en outre a priori de bonnes raisons de croire que l'affectation des pays au groupe de pays à programme ou au groupe de pays sans programme n'est pas aléatoire. Les auteurs présentent certains résultats empiriques, obtenus dans les années 1970, pour corroborer cette hypothèse. Les estimations des effets des programmes en cas de contrôle des écarts observables avant l'application d'un programme entre les pays à programme et les pays sans programme s'avèrent tout à fait différentes de celles pour lesquelles ces écarts ne sont pas contrôlés. L'application de la méthode du groupe de contrôle à des échantillons constitués par plusieurs pays nécessite donc l'élimination du biais lié à la sélectivité de l'échantillon, qui peut provenir de diverses sources. De manière plus générale, les auteurs démontrent dans leur étude qu'il importe de faire preuve de la plus grande prudence lors de l'estimation et de l'interprétation des effets des programmes du Fonds au moyen de données relatives à plusieurs pays. /// En el marco del persistente debate sobre la condicionalidad del Fondo, muchos investigadores, pertenecientes a esta institución o ajenos a ella, se han valido de muestras de diversos países para estimar los efectos de los programas del Fondo. Una dificultad crucial en esa labor es la estimación de los efectos antitéticos; es decir, los que se hubieran producido de no haberse aplicado el programa del Fondo. Para resolver ese problema se aplican dos métodos principales. En el método que consiste en comparar la situación anterior con la posterior se estima implícitamente la situación antitética basándose en los resultados obtenidos anteriormente en los países que han aplicado programas del Fondo. En cambio, en el método de grupo de control para estimar lo que habría ocurrido en los países de no haberse aplicado programas en los mismos se toman como referencia los resultados observados en países en los que no se han aplicado programas. Ambos enfoques están expuestos a problemas estadísticos que pueden llegar a ser graves. Como los problemas relacionados con el método de grupo de control son menos conocidos (por lo menos en el contexto de la evaluación de los programas del Fondo), el presente estudio se concentra en los sesgos en potencia de ese método. Se pone de manifiesto, en especial, que a menos que se seleccione al azar a los países con programas, los resultados observados en el grupo de control pueden diferir sistemáticamente de los que se habrían dado en el grupo de los países con programas de no haberse aplicado éstos. Por añadidura, existen buenas razones para creer que la inclusión de los países en el grupo de los que tienen programa o de los que no lo tienen no se hace al azar. Para respaldarlo se presenta cierta evidencia empírica sacada de la experiencia de la década de los setenta. Los datos obtenidos fueron sumamente dispares según que, para estimar los resultados de los programas, se tuvieran en cuenta o no las diferencias entre los dos mencionados grupos de países en lo referente a su situación anterior a los programas. Por tanto, para que pueda aplicarse la metodología de grupo de control a las muestras plurinacionales hay que eliminar el "sesgo de la selectividad de la muestra", que puede obedecer a diversas causas. En el presente trabajo se demuestra, a un nivel más amplio, que se debe obrar con bastante prudencia cuando se trata de estimar e interpretar los efectos de los programas del Fondo mediante el uso de datos plurinacionales.