Evaluations ex-post

Les évaluations ex post sont réalisées plusieurs années après l’achèvement d’un projet, programme ou d’une politique publique afin de pouvoir en apprécier pleinement la portée, de manière rétrospective.

Présenter l’évaluation ex post comme partie intégrante de la boite à outils des évaluateurs, le type d’évaluation qui n’intervient que bien après la clôture d’un programme, fait partie du b. a.-ba des modules d’introduction à l’évaluation. Comme une évidence : s’intéresser aux effets à moyen et long terme.

Pourtant, la pratique fait qu’il est extrêmement rare d’en croiser sur le terrain. Hormis la famille bien spécifique des essais randomisés. De la même manière que les évaluations ex-ante, ne sont pas si courantes.

Si le fonctionnement en mode projet complexifie en effet une approche ex-post et sa mise en pratique (qui rédige les termes de référence s’il n’y a plus d’équipe projet ? Qui pour accueillir et orienter l’équipe d’évaluation s’il n’y a plus de présence physique sur place, etc.) – intégrer une ligne budgétaire 2 à 5 ans après la clôture de l’action semblerait à la portée de chaque bailleur de fonds.

Dans le cadre d’interventions publiques, le champ des potentiels est immense, relativement vierge et en attente d’une volonté politique.

Selon le lexique du Conseil Scientifique de l’Evaluation1, l’évaluation ex-post est une étude qui vise à tirer les enseignements rétrospectifs sur une politique publique parvenue à maturité et « routinisée ».

Combien de politiques publiques parvenues à maturité ? Combien d’évaluations ex-post disponibles, accessibles, recensées ou en cours d’élaboration ?

En bref 

Une évaluation ex post est une évaluation qui se déroule bien après la mise en œuvre d’une politique, d’un programme ou d’un projet. Bien que faisant partie des fondamentaux enseignés en évaluation, elle reste rare sur le terrain.

La plupart des financements publics fonctionnent en « mode projet » avec un début, une fin et une clôture budgétaire. Une fois le projet terminé et l’équipe dissoute, il n’y a plus de porteur institutionnel pour accueillir une évaluation 3 à 5 ans plus tard. Le défi d’allocation budgétaire se heurte à la rigidité des cycles budgétaires annuels ou pluriannuels qui peinent à « geler » des fonds pour une date lointaine. 

Politiquement sensible, une évaluation ex post juge les effets réels et durables d’une politique. Les résultats risquent de contredire les promesses initiales, ce qui explique potentiellement une certaine timidité à les déployer.

Pour aller plus loin
Guides
Articles
Evaluations

Le critère temporel de sélection ciblait des projets dont la convention de financement s’était terminée au cours de l’année précédente ou était sur le point de s’achever. Dans les faits, le panel évalué s’est avéré hétérogène en termes de temporalité : si le projet le plus ancien était clos depuis près de deux ans, d’autres projets évalués n’en étaient encore qu’à la moitié de leur phase de financement. Face à la faiblesse fréquente des systèmes de suivi interne et au manque d’indicateurs mesurés dans les cadres logiques, l’évaluation a adapté son analyse pour évaluer qualitativement les effets immédiats des interventions. 

Cette évaluation pilote teste une approche méthodologique mixte combinant analyses qualitatives et quantitatives sur quatre projets de coopération gouvernementale. Sur le plan méthodologique, le critère temporel de sélection ciblait des interventions achevées depuis plus de 4 ans. L’absence de données de référence initiales et la difficulté à remettre la main sur les informations d’époque ont compliqué l’exercice, obligeant l’équipe à reconstruire la situation de base en faisant appel à la mémoire des répondants (recall), ce qui a limité la portée des outils statistiques et imposé une grande prudence dans l’interprétation des liens de causalité .

Cette évaluation analyse les effets du PDRH déployé de 2007 à 2013. L’étude pilotée par les cabinets EPICES et ADE s’est appuyée sur des Diagrammes Logiques d’Impacts (DLI), trente-trois études de cas thématiques, des enquêtes téléphoniques ciblant à la fois des bénéficiaires et des non-bénéficiaires. Le décalage temporel a engendré diverses contraintes comme un potentiel désengagement de certains acteurs et une perte de mémoire institutionnelle suite à la mobilité des agents de l’État.

🔄 Une évaluation ex post constitue un processus long et complexe qui doit impérativement être pensé et conçu avant le lancement des programmes à évaluer.

Sur le plan méthodologique cette étude s’appuie sur la reconstitution de la logique d’intervention, complétée par des analyses documentaires, des entretiens avec les services gestionnaires, des focus groups et des enquêtes ciblées auprès des bénéficiaires et des acteurs locaux. Le manque de données de suivi, notamment pour évaluer précisément la création d’emplois ou la diversification non agricole, a compliqué la mesure exacte des effets propres du PDR. De nouveau, ce rapport souligne la nécessité d’intégrer des indicateurs de résultats et d’impact mesurables dès la conception et l’instruction des projets.

Cette évaluation menée en 2023 soit trois ans et demi après la clôture du programme Naatal Mbay de l’USAID (2015-2019), analyse la durabilité d’un modèle de financement intégré introduit pour lever l’obstacle majeur de l’accès au crédit dans la vallée du fleuve Sénégal. Ce mécanisme innovant s’appuyait sur l’utilisation du riz paddy comme garantie de prêt pour les groupes d’agriculteurs.

Plutôt que de réévaluer l’ensemble du projet, la méthodologie a ciblé quatre domaines précis qui présentaient un fort potentiel de changement systémique à la fin du programme. L’étude a examiné la « force » du changement pour vérifier si les pratiques s’étaient stabilisées, répandues ou essoufflées. Elle a également analysé la « profondeur » du changement afin d’évaluer l’institutionnalisation des nouvelles normes de prêt, l’évolution des réseaux d’acteurs et la résilience globale du système face aux perturbations climatiques ou économiques.

A venir

Publication initialement prévue pour décembre 2024 sur le site de l’IWEPS

La phase de conception des évaluations ex-post : cas d’étude

Élaboration de la méthodologie d’évaluation ex post du programme « Ville de Demain », Efficacity/Caisse des Dépôts, 2016-2017

En mars 2016, la Caisse des Dépôts a missionné Efficacity, institut de R&D pour la transition énergétique des villes, pour élaborer la méthodologie d’évaluation ex post du Programme d’Investissements d’Avenir (PIA) « Ville de demain ». La mission, conduite d’avril 2016 à juin 2017, a donné lieu à un rapport final en décembre 2017. Le programme, doté d’une enveloppe de 668 millions d’euros sur la période 2010-2020, cofinançait environ 500 actions innovantes dans une trentaine de territoires ÉcoCités (le périmètre exact varie selon les sources : 30 ÉcoCités selon Efficacity, 31 territoires selon la Banque des Territoires ; le nombre d’actions est compté à 450 dans la note de synthèse de 2017, puis à 572 sur l’Explorateur EcoCité en juillet 2018).

La méthodologie repose sur un système d’étiquetage souple qui caractérise chaque action selon sa nature, son degré d’innovation (approche TRL) et sa contribution aux objectifs de ville durable, en référence à la norme ISO 37 101. En fonction des étiquettes, des indicateurs spécifiques (par action) et territoriaux sont proposés, complétés par des ratios financiers et des questionnaires qualitatifs sur les facteurs de succès. L’évaluation opère à trois niveaux : la performance et la réplicabilité des actions financées ; leur inscription dans la stratégie territoriale de chaque ÉcoCité ; l’efficience globale du programme et son effet de levier. Point important : il s’agit d’un dispositif d’auto-évaluation par les porteurs d’actions et les référents territoriaux, accompagné au niveau national par le groupement Technopolis/I-Care.

La collecte des données s’appuie sur l’Explorateur EcoCité, une plateforme collaborative mise en ligne en juillet 2018 (soit postérieurement au rapport méthodologique), développée par Efficacity et Ipso Senso. La plateforme a depuis été réutilisée pour le programme « Territoires d’Innovation » (24 territoires, 600 projets). Un partenariat de R&D entre Efficacity et la Banque des Territoires, signé à l’automne 2017 pour trois ans puis prolongé sur 2020-2021, a permis des travaux d’analyse sur la gouvernance locale de l’évaluation, l’efficience et la réplicabilité des actions. Un rapport final a été remis en février 2021, suivi d’une note sur la réplicabilité en novembre 2021.

Avec le recul, quels apprentissages ?

Ce dispositif constitue un cas d’école intéressant, précisément parce qu’il n’est pas un cas idéal. La méthodologie d’évaluation n’a été commanditée qu’en 2016, soit six ans après le lancement du programme (2010) et un an après le conventionnement de la tranche 2 (2015). On construit donc l’instrument de mesure alors que la plupart des actions de la première tranche sont déjà bien avancées, voire achevées. Cette situation pose une question récurrente dans l’évaluation des programmes d’investissement public : que peut-on réellement mesurer ex post lorsque ni les indicateurs ni les valeurs de référence n’ont été définis au démarrage ? La note de synthèse d’Efficacity le reconnaît elle-même : certaines actions étaient « de véritables ruptures » pour lesquelles « il n’existe pas encore de manière de les évaluer ».

Le choix de l’auto-évaluation, s’il présente des avantages (appropriation par les acteurs, proximité avec le terrain), soulève également des interrogations classiques en évaluation : dans quelle mesure les porteurs de projets sont-ils en position d’évaluer objectivement les résultats de leurs propres actions ? L’accompagnement par un tiers (Technopolis/I-Care) et le suivi scientifique d’Efficacity atténuent-ils suffisamment ce biais, ou le dispositif reste-t-il fondamentalement déclaratif ?

Par ailleurs, la question de la consolidation effective reste ouverte. Le programme a été soutenu de 2010 à 2020, et le site officiel EcoCités indiquait encore récemment que « la plupart des innovations sont en cours d’évaluation » et que « d’autres sont encore en cours de réalisation ». On ne trouve pas, à ce jour, de publication d’une évaluation ex post globale du programme PIA Ville de demain, au sens d’un bilan consolidé de ses résultats et impacts. Les productions d’Efficacity (rapport 2021, note réplicabilité) relèvent davantage de l’analyse méthodologique et de la capitalisation que de l’évaluation d’impact à proprement parler. Est-ce que la méthodologie a produit les résultats qu’elle promettait ? Et si ce n’est pas le cas, est-ce un problème de méthode, de calendrier, de volonté politique, ou simplement la difficulté intrinsèque d’évaluer des innovations urbaines sur des cycles longs ?

Enfin, il est significatif que le programme successeur, les Démonstrateurs de la Ville durable (France 2030), ait intégré dès sa conception une stratégie d’évaluation et de réplication, avec une période d’incubation pouvant aller jusqu’à 36 mois. L’expérience du PIA Ville de demain a-t-elle servi de contre-exemple utile, ou la difficulté à boucler le cycle évaluatif est-elle structurelle dans ce type de programme ?

Sources

  1. Petit guide de l’évaluation des politiques publiques, La Documentation française, 1996 ↩︎

Date de 1ère diffusion : 2018
Date de dernière actualisation : 2025
Sébastien GALEA