Evaluabilité

Le système de suivi et évaluation est embarqué dès la conception du texte de loi.

Un texte de loi évaluable est un texte dont le système de suivi et évaluation est embarqué dès la conception : un contexte explicité, des objectifs formulés de façon vérifiable, des indicateurs identifiés, des données dont on sait qui les produira, des rendez-vous d’évaluation prévus. C’est ce que recouvre la notion d’évaluabilité, née dans l’évaluation de programmes au début des années 1970 et devenue depuis une étape de référence avant toute évaluation.

Dans la communauté du développement international, la définition de référence est celle du glossaire de l’OCDE/CAD (2002) : l’évaluabilité est la « mesure selon laquelle une activité ou un programme est évalué de façon fiable et crédible ». L’original anglais dit can be evaluated : il s’agit bien de la possibilité d’évaluer, et non d’une évaluation déjà réalisée. Le glossaire précise que l’étude d’évaluabilité consiste à examiner l’activité en amont, pour vérifier que ses objectifs sont définis de façon adéquate et que ses résultats sont vérifiables.

Les origines

La notion naît aux États-Unis, à l’Urban Institute. En 1974, Horst, Nay, Scanlon et Wholey publient « Program Management and the Federal Evaluator » dans la Public Administration Review. Ils cherchent à comprendre pourquoi tant de programmes fédéraux échouent, et pourquoi les évaluations répondent si mal aux besoins de ceux qui doivent s’en servir. Leur diagnostic : beaucoup de programmes ne sont tout simplement pas évaluables, faute d’objectifs clairement définis, d’hypothèses d’action vérifiables ou de volonté d’utiliser les résultats. Ils recommandent donc un examen préalable, le « pre-assessment of evaluability », pour que l’évaluation, lorsqu’elle a lieu, serve réellement. C’est cette démarche que Wholey développera ensuite sous le nom d’« evaluability assessment », traduit en français par étude d’évaluabilité.

Wholey formalise la démarche en 1987, dans « Evaluability Assessment: Developing Program Theory » (New Directions for Program Evaluation). Une étude d’évaluabilité doit répondre à quatre questions. Les objectifs de l’intervention sont-ils clairement définis ? Sont-ils plausibles au regard des connaissances disponibles et des moyens mobilisés ? Les données nécessaires peuvent-elles être obtenues à un coût raisonnable ? Les utilisateurs de l’évaluation savent-ils ce qu’ils feront de ses résultats ?

Michael Scriven (Evaluation Thesaurus, 1991)

Michael Scriven, dans son Evaluation Thesaurus (4e édition, 1991), compare l’évaluabilité à l’aptitude à l’entretien (serviceability) qu’on exige d’une voiture neuve : on attend d’un véhicule qu’il soit conçu pour pouvoir être révisé et réparé, de même on doit attendre d’un programme qu’il soit conçu pour pouvoir être évalué. Il en fait « le premier commandement de la redevabilité ». La responsabilité de l’évaluabilité incombe donc d’abord à ceux qui conçoivent l’intervention, et non à l’évaluateur qui arrivera après.

Voir également : EvalForEarth – évaluations de l’évaluabilité : Une invitation à la réflexion et à la discussio

Une formulation métaphorique mais forte : avant de juger, il faut vérifier que les conditions du jugement sont réunies.

Guides et manuels

Rapports

Ce rapport de la Cour des comptes répond à une commande inédite et paradoxale : la loi « Climat et Résilience » de 2021 exigeait de la Cour qu’elle évalue annuellement l’application de ses propres mesures. Le verdict de l’institution prend la forme d’un constat d’impuissance qui laisse entrevoir un vide : l’État ne dispose ni des données, ni de la méthode, ni des outils pour évaluer correctement sa propre politique climatique

La Cour révèle que l’État légifère mais n’anticipe pas les moyens de vérifier si ses lois fonctionnent. La Cour souligne une « absence d’attention à la gestion des données » : alors que la loi s’empare du sujet de l’évaluation climatique, l’administration est incapable de fournir des données robustes et exploitables. Le document met en lumière une fracture entre les ambitions de l’État-stratège et la réalité du terrain. Alors que la loi confie aux collectivités (communes, régions) un rôle moteur dans la transition écologique (ZAN, zones à faibles émissions, rénovation), la Cour constate qu’à ce jour, « l’État n’est pas en capacité de mesurer l’impact en CO2 et le coût des mesures mises en œuvre à l’échelon territorial.

🔄 Le besoin en données doit être identifié dès la phase de conception des lois.

Le portail de l’évaluation des politiques publiques, initié par le Commissariat général du Plan est resté « en construction » de 2003 à 2021 avant de disparaitre définitivement. Au regard du constat de la cour des comptes ci-dessus, une occasion pour le moins ratée.