En 2006, le rapport When will we ever learn ? Improving Lives through Impact evaluation jetait un pavé dans la mare : des milliards dépensés depuis quatre décennies dans le développement humain et pourtant rien de substantiel sur lequel s’accrocher afin de déterminer ce qui avait pu faire une différence ou non. Ce qui avait pu être utile. Ou pas.
Aujourd’hui, mesurer son impact est une requête récurrente de bailleurs de fonds et des finançeurs, de multiples cabinets se sont spécialisés dans l’évaluation d’un impact dit social. Pour autant, des organisations se penchent sur l’étude de cet impact sans même parfois disposer d’un basique système de suivi et évaluation. Répondre à la requête débute alors par la construction et mise à disposition d’outils de suivi et évaluation simples, en coordination et à destination des équipes de terrain.
Selon la définition du CAD (Comité d’aide au développement) de l’OCDE, la définition de l’impact demeure : « les effets positifs et négatifs, directs ou indirects, intentionnels ou non, induits par une intervention à l’appui du développement. »
Pour autant, les études de types aléatoires (randomized controlled trial ou RCT) se sont multipliées. Ces essais randomisés, menés sur plusieurs années avec de vastes échantillons, complexes et coûteux ne sont pas accessibles aux petites et moyennes structures, qui pourtant pilotent et exécutent une majorité d’actions de terrain. La pertinence de ce type de méthode s’apprécie surtout à l’échelle de politiques publiques, notamment en phase expérimentale.
Par ailleurs, dans le langage courant, l’impact renvoie à une répercussion immédiate : un impact de balle, un impact sur un pare-choc, une conversation qui marque dans la durée.
Ainsi le premier enjeu avant de débuter une évaluation d’impact sera de s’accorder sur la clarté et définition partagée du concept.
La formulation par la suite des questions évaluatives permettra d’orienter vers le choix de la méthode.
Dans le cadre de conduite de projets comme de politiques publiques, disposer d’un système de suivi et évaluation opérationnel dès la phase de montage permettra de détecter les effets naissants, positifs comme négatifs, intentionnels ou non, et ainsi de documenter l’action et la réorienter sur un temps court.
L’évaluation d’impact : en bref
L’évaluation d’impact cherche a mesurer l’ensemble des effets produits par une action, un projet ou une politique publique. Des conséquences positives comme négatives, directes comme indirectes, volontaires comme involontaires. Elaboré dès la phase de conception, le système de suivi et évaluation permet de collecter les effets naissants tout au long du déroulé de l’action et facilite son pilotage.
Pour aller plus loin
Sur ces enjeux terminologiques, voir :
- Conceptualizing the elements of research impact: towards semantic standards, Brian Belcher, Janet Halliwell, 2021
- Outcomes and Impacts of Development Interventions: Toward Conceptual Clarity, Brian Belcher, Markus Palenberg, American journal of Evaluation, 2018
Sur les choix méthodologiques :
- Évaluation d’impact, cartographie des usages, AFD, Quadrant, SDS Lab, 2022
- Sur le chemin de l’impact de l’éducation au développement et à la solidarité internationale, F3E, Educasol, 2014
- Introduction à l’évaluation d’impact, InterAction, Patricia Rogers, 2012
- Broadening the range of designs and methods for impact evaluations, report of a study commissioned by the Department for International Development DFID, Elliot Stern, Nicoletta Stame, John Mayne, Kim Forss, Rick Davies, Barbara Befani, April 2012
- L’évaluation d’impact, guide méthodologique, F3E, CIEDEL, 1999
Exemple d’évaluation d’impact basée sur des méthodes mixtes, à la portée des petites et moyennes structures :
- Orienter l’impact, Evaluation d’impact du programme Néo-Citoyen, EVAL, 2014
Exemples d’effets négatifs ou imprévus dans un projet ou programmes de développement – 63 appréciations ou témoignages. Ces témoignages ont été apportés par les participants à la formation « concevoir et mettre en place un système de suivi et évaluation » entre 2019 et 2023. Une question subsidiaire était : à quel point la mise en place d’un système de suivi et évaluation dès la phase d’écriture du projet aurait permis d’atténuer les effets négatifs ou de mieux prendre en charge l’imprévu.
Retour au méthodes
Etape 3 : sélection des méthodes de Suivi Evaluation
- Capitalisation d’expérience
- Enquêtes CAP
- Etude monographique
- Evaluations d’impact
- Essai Randomisé contrôlé
- Gestion Axée sur les Résultats
- Photovoice
- Recherche action
Date de première diffusion : 2017
Dernière actualisation : 2024
Sébastien Galéa