Evaluabilité

Le système de suivi et évaluation est embarqué dès la conception du texte de loi.

Dans la communauté du développement international, la définition OCDE/CAD est souvent citée : « mesure selon laquelle une activité ou un programme est évalué de façon fiable et crédible. » La note d’application précise que l’appréciation de l’évaluabilité suppose d’examiner à l’avance l’activité projetée afin de vérifier si ses objectifs sont définis de façon adéquate et si les résultats sont vérifiables.

Joseph Wholey (Urban Institute, 1974-1987), fondateur du concept

C’est Horst et ses collègues qui, en 1974, entreprirent d’identifier les causes profondes de l’échec des programmes et de l’incapacité de l’évaluation à satisfaire les besoins des parties prenantes. Ils recommandèrent alors la conduite d’un « Pre-assessment of Evaluability » permettant d’accroître la capacité d’utilisation des résultats de l’évaluation. C’est cette activité pré-évaluative qui fut plus tard dénommée « evaluability assessment » ou étude d’évaluabilité.

Selon Wholey (1987), l’évaluation de l’évaluabilité vise à répondre à quatre questions : les intentions et les objectifs de l’intervention sont-ils clairement présentés ? Les objectifs sont-ils plausibles à la lumière des connaissances disponibles et des moyens mobilisés ? Les conditions sont-elles réunies pour la collecte des données d’évaluation ? Quelle sera l’utilité des résultats d’évaluation pour les parties prenantes ?

Michael Scriven (Evaluation Thesaurus, 1991)

Pour Scriven, l’évaluabilité est analogue à l’entretien d’une nouvelle voiture et peut être considérée comme « le premier commandement en matière de responsabilité ». EvalForEarth

Une formulation métaphorique mais forte : avant de juger, il faut vérifier que les conditions du jugement sont réunies.

Guides et manuels

Rapports

Ce rapport de la Cour des comptes répond à une commande inédite et paradoxale : la loi « Climat et Résilience » de 2021 exigeait de la Cour qu’elle évalue annuellement l’application de ses propres mesures. Le verdict de l’institution prend la forme d’un constat d’impuissance qui laisse entrevoir un vide : l’État ne dispose ni des données, ni de la méthode, ni des outils pour évaluer correctement sa propre politique climatique

La Cour révèle que l’État légifère mais n’anticipe pas les moyens de vérifier si ses lois fonctionnent. La Cour souligne une « absence d’attention à la gestion des données » : alors que la loi s’empare du sujet de l’évaluation climatique, l’administration est incapable de fournir des données robustes et exploitables. Le document met en lumière une fracture entre les ambitions de l’État-stratège et la réalité du terrain. Alors que la loi confie aux collectivités (communes, régions) un rôle moteur dans la transition écologique (ZAN, zones à faibles émissions, rénovation), la Cour constate qu’à ce jour, « l’État n’est pas en capacité de mesurer l’impact en CO2 et le coût des mesures mises en œuvre à l’échelon territorial.

🔄 Le besoin en données doit être identifié dès la phase de conception des lois.

Le portail de l’évaluation des politiques publiques, initié par le Commissariat général du Plan est resté « en construction » de 2003 à 2021 avant de disparaitre définitivement. Au regard du constat de la cour des comptes ci-dessus, une occasion pour le moins ratée.