Etape 1 : état des lieux

Il s’agit ici d’effectuer un état des lieux des dispositifs et outils de suivi et évaluation déjà existants au sein de la structure ou du projet.

Un travail de fouille archéologique des différentes initiatives de Suivi Evaluation prises au fil du temps, des bonnes résolutions adoptées puis abandonnées, des outils effectivement utilisés et des données réellement exploitées.

Identifier les différentes pièces déjà présentes d’un puzzle « Suivi Évaluation » que nous allons devoir démonter, pour mieux reconstruire et qui constituera les éléments clés de notre Système de Suivi et Evaluation (SSE).

Quelles sont les pièces déjà existantes de votre SSE ? Certaines pièces sont probablement déjà existantes même si non labellisées SE : les processus de prises de décision liés au management, des fonctions SE au niveau de chaque profil de poste gérés par les RH, etc.

Bien sûr, cet état des lieux du dispositif de SE va rapidement se confronter et faire écho à un état des lieux plus global illustrant notre compréhension de notre terrain et contexte d’intervention :

  • Quelle collecte et analyse de données sur des facteurs sociaux, culturels, environnementaux, économiques ou politiques ?
  • Quelle est notre compréhension du public bénéficiaires ou des usagers ?
  • Quelle est la situation de départ et quels sont les enjeux auxquels l’action compte s’adresser ?
  • Quelle est la justification de l’action au regard des besoins identifiés ?
  • Au-delà d’une situation de départ, quels sont les changements déjà en cours ?
  • Quels sont les freins au changement (par exemple, dans le cadre d’un programme d’accès à l’emploi, sommes-nous  dans une phase de développement ou de récession économique, etc.) ?
  • Le projet se met en place dans un environnement mouvant, les dynamiques actuelles sont-elles positives ou négatives ?

Cet état des lieux permet ainsi de porter un regard sur les phases préparatrices à la  mise en oeuvre et de reprendre éventuellement les étapes qui auraient été « brûlées ».

Ces étapes s’effectuent idéalement le plus tôt possible, au moment de la conception mais également à tout moment si ces données de départ sont manquantes, peu fiables ou obsolètes.

Ces phases sont au nombre de 4 :

1. Diagnostic

Il s’agit de la collecte et analyse de données primaires et secondaires qui permettent d’éclairer une problématique.

Des données statistiques bien sûr avec des informations chiffrées, des variables socio-démographiques, permettant d’appréhender un territoire ou une population, de renseigner sur l’ampleur d’une situation, d’un phénomène.

Exemple d’indicateurs :
➡ Prévalence de l’insuffisance pondérale chez les enfants de moins de 5 ans
➡ Taux d’accès aux services sociaux de base
➡ Taux de chômage

Mais également à travers des projections, cartographies, travaux de recherches universitaires.

Les méthodes et outils de collecte de données sont similaires à ceux que nous utiliserons ultérieurement pour le suivi et évaluation de la mise en oeuvre :

  • étude documentaire
  • observation
  • entretiens individuels
  • groupes de paroles
  • questionnaires
L’origine du projet

Il est toujours intéressant de revenir, de retracer et parvenir à identifier l’élément déclencheur de la démarche, du projet, du programme, de la mesure.

Qui donne la première impulsion et pourquoi ? Une politique nationale ? Une association ? Un élu local ? Un collectif d’usagers d’un service public ? Quelles sont les motivations ou valeurs qui sous-tendent cette action ?

2. Modélisation de l’action

Il s’agit maintenant de matérialiser la réponse que nous souhaitons apporter à la problématique analysée lors de la phase de diagnostic.

Quelle est notre stratégie, notre postulat de base, notre vision ?

Comment coucher sur le papier dans un premier temps cette projection et les effets attendus à court, moyen et plus long terme ?

Sous forme de représentation graphique ou de narratif, d’arborescence ou de projection linéaire, du plus complexe au plus basique, une théorie du changement ou une chaine de résultat permettra d’illustrer votre projection.

Voici le format de modèle logique que nous suggérons d’utiliser.

Nous porterons une attention toute particulière aux interactions entre le contexte et la mise en oeuvre. Un programme est une greffe sur un terreau que nous ne maitrisons pas. Nous n’avons aucune idée à ce stade si la greffe va prendre ou non, ou encore quand et comment elle va prendre. Il peut sembler vain d’extrapoler des effets indirects lointains alors qu’une priorité sera de pouvoir capter les tout premiers effets, les effets émergents.

Ainsi, l’objet est de tester un premier niveau de cohérence entre les besoins identifiés et la réponse envisagée.

La formalisation d’une chaine logique permet de préciser et d’exposer notre vision du changement au moment de l’écriture du projet.  Elle sera également tout particulièrement utile au démarrage de l’action : quelle cohérence entre les besoins identifiés et la réponse apportée ?
3. Evaluation ex-ante

Selon la définition du CAD,  l’évaluation ex-ante consiste en une appréciation globale de la pertinence, de la faisabilité et de la durabilité probable d’une action de développement avant que la décision de financement ne soit prise. 

Il s’agit d’un regard extérieur sur votre modélisation.

Le diagnostic est-il suffisamment fourni ? Les dynamiques sociales, économiques, environnementales, politiques en cours ont-elles été suffisamment prises en compte ? La réponse envisagée correspond-elle aux valeurs, au savoir-faire, au mandat de l’institution qui porte l’action ? Quelle complémentarité avec les autres acteurs ? Quel type de résilience, de résistance au changement anticiper ? Les ressources sollicitées semblent-elles en adéquation avec les activités envisagées ? Les différents types de publics cibles ont-ils été considérés ? Des parties-prenantes clés auraient-elles été oubliées ? Les liens de causalité entre activités, effets à court, moyen et long terme sont-ils plausibles ? Une diversité de facteurs extérieurs risquant d’affecter l’action a-t-elle été considérée  ?

Au final, la théorie d’action envisagée est-elle plausible déjà sur le papier et comment pourrait-elle être déjà ajustée à ce stade de conception  ?

En anglais, le terme utilisé est parfois « appraisal » avec pour objet d’anticiper et d’ajuster le coût de l’intervention.

Dans la pratique, la proportion de structures qui se soumettent à cette démarche (c’est à dire qui réalisent formellement des évaluations ex-ante, dans un cadre contractuel ou non) demeure limitée.

Néanmoins, confronter son modèle logique, au gré de son élaboration, à l’appréciation des parties prenantes participe à l’objectif de l’évaluation ex-ante : détecter les conditions du changement et ajuster l’action en fonction des retours nés de cette concertation.

4. Situation de départ/baseline

Idéalement, l’ensemble des étapes de conception du Système de Suivi et Evaluation devrait être réalisé parallèlement aux phases précédentes et aboutir notamment à des indicateurs permettant d’éclairer une situation de référence, c’est à dire votre point de départ.

  • définir la valeur initiale des indicateurs
  • obtenir des points de référence pour mesurer les variations
  • une condition indispensable pour réaliser des évaluations « basées sur la preuve« 

En anglais « baseline study », cette étape est communément dénommée en français « état de référence« , « situation de référence » ou encore « état initial ».

Exemple de baseline USAID : une enquête démographique réalisée auprès de 7200 ménages avec un volet qualitatif (8 focus group et 45 entretiens individuels approfondis). Ce type d’étude approfondie demande évidement des moyens très conséquents.

Récapitulons :

Les 4 phases théoriques d’écriture de projet/programme. L’étape 1 : état des lieux consiste à porter un regard sur ces phases préliminaires à l’action afin de reprendre ou affiner au besoin les informations manquantes.

En réalité, dans de nombreuses structures et programmes, les 4 phases ne s’articulent pas de manière si spécifique. Au-delà d’étapes bien distinctes de diagnostic puis de situation de référence, la modélisation de la théorie d’action et la conception du SSE vont s’affiner progressivement au fil de l’écriture/formalisation du projet/programme/politique publique.

Si la phase de diagnostic et la réalisation de la baseline sont généralement bien distinctes, la modélisation de la théorie d’action et la conception du SSE se greffent sur le processus et s’affinent de manière continue.

Pour aller plus loin