Ranking Academic Research Performance: A Recipe for Success?

Using the example of a governance system that allocates public funding for research on the basis of rankings of research quality and impact (as has been developed in the UK over the past three decades), this paper explores three conditions needed for such rankings to be effective as a basis for genuine performance improvement over time. First, the underlying metrics must be capable of meaningfully distinguishing the performance of the institutions being ranked. Second, the basis of assessment must be stable enough for changes in performance over time to be identified. Third, the ranking system should avoid perverse consequences arising from strategic responses by the institutions being assessed. By means of a hypothetical example of a series of research assessment exercises, this article demonstrates the difficulty of fulfilling all three conditions at the same time, and highlights the dilemma between reliability and validity that assessors face. This analysis is relevant to governance by indicators more broadly, because any comparative assessment of institutional performance faces similar issues.En s’appuyant sur l’exemple du système anglais d’allocation de fonds publics à la recherche qui, depuis trois décennies, est basé sur des palmarès établis à partir de critères d’impact et de qualité de la recherche, on explore ici trois conditions d’efficacité de ces classements en termes d’amélioration réelle de la performance des institutions de recherche. Tout d’abord, les mesures sous-jacentes doivent permettre de distinguer de façon significative la performance des institutions évaluées. En second lieu, la base de l’évaluation doit être suffisamment stable pour qu’il soit possible de suivre l’évolution des performances au fil du temps. Enfin, le système doit pouvoir éviter les effets pervers des comportements stratégiques d’adaptation des institutions évaluées. À travers l’exemple hypothétique d’une série d’évaluations formelles d’universités, cet article démontre la difficulté de remplir ces trois conditions en même temps. Il souligne aussi le dilemme entre la recherche de fiabilité et celle de validité auquel les évaluateurs sont confrontés. Ce cas éclaire les problèmes que posent toutes les tentatives d’évaluer de façon comparative la performance des institutions