Il s’agit ici d’effectuer un état des lieux des dispositifs et outils de suivi et évaluation déjà existants au sein de la structure ou du projet.
Un travail de fouille archéologique des différentes initiatives de Suivi Evaluation prises au fil du temps, des bonnes résolutions adoptées puis abandonnées, des outils effectivement utilisés et des données réellement exploitées.
Identifier les différentes pièces déjà présentes d’un puzzle « Suivi Évaluation » que nous allons devoir démonter, pour mieux reconstruire et qui constituera les éléments clés de notre Système de Suivi et Evaluation (SSE).
Bien sûr, cet état des lieux du dispositif de SE va rapidement se confronter et faire écho à un état des lieux plus global illustrant notre compréhension de notre terrain et contexte d’intervention :
- Quelle collecte et analyse de données sur des facteurs sociaux, culturels, environnementaux, économiques ou politiques ?
- Quelle est notre compréhension du public bénéficiaire ou des usagers ?
- Quelle est la situation de départ et quels sont les enjeux auxquels l’action compte s’adresser ?
- Quelle est la justification de l’action au regard des besoins identifiés ?
- Au-delà de la situation de départ, quels sont les changements ou tendances en cours ? (par exemple, dans le cadre d’un programme d’accès à l’emploi, sommes-nous dans une phase de développement ou de récession économique, etc.)
- Quels sont les freins au changement ?
- Le projet se met en place dans un environnement mouvant, les dynamiques actuelles sont-elles positives ou négatives ?
Cet état des lieux permet ainsi de porter un regard sur les phases préparatrices à la mise en oeuvre et de reprendre éventuellement les étapes qui auraient été « brûlées ».
Ces étapes s’effectuent idéalement le plus tôt possible, au moment de la conception du projet, programme ou politique publique, mais également à tout moment si ces données de départ sont manquantes, peu fiables ou obsolètes.
Ces phases sont au nombre de 4 :
1. Diagnostic
Examen analytique d’une situation jugée critique ou complexe
Il s’agit de la collecte et analyse de données primaires et secondaires qui permettent d’éclairer une problématique, d’approfondir une analyse.
Des données statistiques bien sûr avec des informations chiffrées, des variables socio-démographiques, permettant d’appréhender un territoire ou une population, de renseigner sur l’ampleur d’une situation, d’un phénomène.
Exemple d’indicateurs :
➡ Prévalence de l’insuffisance pondérale chez les enfants de moins de 5 ans
➡ Taux d’accès aux services sociaux de base
➡ Taux de chômage
Mais également à travers des projections, cartographies, travaux de recherches universitaires, archives, etc.
Les méthodes et outils de collecte de données sont similaires à ceux que nous utiliserons ultérieurement pour le suivi et évaluation de la mise en oeuvre :
- veille documentaire/étude documentaire
- observation
- entretiens individuels
- focus group/groupes de paroles
- questionnaires
Bien sûr, indépendamment de complétude des données de départ, la richesse de l’analyse dépendra de la multiplicité et diversité des acteurs invités à prendre part à la réflexion.
L’origine du projet
Il est toujours intéressant de revenir, de retracer et parvenir à identifier l’élément déclencheur de la démarche, du projet, du programme, de la mesure.
Qui donne la première impulsion et pourquoi ? Une politique nationale ? Une association ? Un élu local ? Un collectif d’usagers d’un service public ? Quelles sont les motivations ou valeurs qui sous-tendent cette action ?
Considérer les « contextes pragmatiques »
Pour autant, selon Jean-Pierre Olivier de Sardan, ces savoirs ne renseignent pas sur « les jeux d’acteurs, les normes pratiques des fonctionnaires, les routines des services et des bureaux, les rapports de pouvoirs et d’influence, les attentes perceptions, frustrations et rumeurs, les clans, cliques et factions qui structurent la vie quotidienne des administrations et des populations avec lesquelles elles interagissent« , qualifiés de contextes pragmatiques : voir ici.
2. Modélisation de l’action
Il s’agit maintenant de matérialiser la réponse que nous souhaitons apporter à la problématique analysée lors de la phase de diagnostic.
Quelle est notre stratégie, notre postulat de base, notre vision ?
Comment coucher sur le papier dans un premier temps cette projection et les effets attendus à court, moyen et plus long terme ?
Sous forme de représentation graphique ou de narratif, d’arborescence ou de projection linéaire, du plus complexe au plus basique, une théorie du changement ou une chaine de résultat permettra d’illustrer votre projection.
Voici le format de modèle logique que nous suggérons d’utiliser.
Nous porterons une attention toute particulière aux interactions entre le contexte et la mise en oeuvre. Un programme est une greffe sur un terreau que nous ne maitrisons pas. Nous n’avons aucune idée à ce stade si la greffe va prendre ou non, ou encore quand et comment elle va prendre. Il peut sembler vain d’extrapoler des effets indirects lointains alors qu’une priorité sera de pouvoir capter les tout premiers effets, les effets émergents.
Ainsi, l’objet est de tester un premier niveau de cohérence entre les besoins identifiés et la réponse envisagée.
Voir également : les modélisations
3. Evaluation ex-ante
Selon la définition du CAD, l’évaluation ex-ante consiste en une appréciation globale de la pertinence, de la faisabilité et de la durabilité probable d’une action de développement avant que la décision de financement ne soit prise.
Il s’agit d’un regard extérieur sur votre modélisation.
Le diagnostic est-il suffisamment fourni ? Les dynamiques sociales, économiques, environnementales, politiques en cours ont-elles été suffisamment prises en compte ? La réponse envisagée correspond-elle aux valeurs, au savoir-faire, au mandat de l’institution qui porte l’action ? Quelle complémentarité avec les autres acteurs ? Quel type de résilience, de résistance au changement anticiper ? Les ressources sollicitées semblent-elles en adéquation avec les activités envisagées ? Les différents types de publics cibles ont-ils été considérés ? Des parties-prenantes clés auraient-elles été oubliées ? Les liens de causalité entre activités, effets à court, moyen et long terme sont-ils plausibles ? Une diversité de facteurs extérieurs risquant d’affecter l’action a-t-elle été considérée ?
Au final, la théorie d’action envisagée est-elle plausible déjà sur le papier et comment pourrait-elle être déjà ajustée à ce stade de conception ?
En anglais, le terme utilisé est parfois « appraisal » avec pour objet d’anticiper et d’ajuster le coût de l’intervention.
Dans la pratique, la proportion de structures qui se soumettent à cette démarche (c’est à dire qui réalisent formellement des évaluations ex-ante, dans un cadre contractuel ou non) demeure limitée.
Néanmoins, confronter son modèle logique, au gré de son élaboration, à l’appréciation des parties prenantes participe à l’objectif de l’évaluation ex-ante : détecter les conditions du changement et ajuster l’action en fonction des retours nés de cette concertation.
Voir également : évaluations ex-ante
4. Situation de départ/baseline
Idéalement, l’ensemble des étapes de conception du Système de Suivi et Evaluation devrait être réalisées parallèlement aux phases précédentes et aboutir notamment à des indicateurs permettant d’éclairer une situation de référence, c’est à dire votre point de départ.
- définir la valeur initiale des indicateurs
- obtenir des points de référence pour mesurer les variations
- une condition indispensable pour réaliser des évaluations « basées sur la preuve«
En anglais « baseline study », cette étape est communément dénommée en français « état de référence« , « situation de référence » ou encore « état initial ».
Récapitulons :
En réalité, dans de nombreuses structures et programmes, les 4 phases ne s’articulent pas de manière si spécifique. Au-delà d’étapes bien distinctes de diagnostic puis de situation de référence, la modélisation de la théorie d’action et la conception du SSE vont s’affiner progressivement au fil de la phase de conception du projet/programme/politique publique.
Voir également l’intégration du SE dans le cycle de projet.
Pour aller plus loin
- Grille d’autodiagnostic (télécharger)
- Grille d’autodiagnostic (questionnaire en ligne)
- Plan d’action étape 1
- Etape 2 : définir les champs du système de suivi et évaluation
Ressources externes
- Ten traps to avoid if aid programming is serious about engaging with context, Lessons from Afghanistan, Simon Levine and Adam Pain, SPARK, january 2024
- « Compter sur ses propres forces. » Face à la dépendance à l’aide, promouvoir les experts contextuels dans les politiques publiques en Afrique, Jean-Pierre Olivier de Sardan, Global Africa, mars 2022
Date de première diffusion : 2016
Dernière actualisation : février 2024