Mix méthodologique : la voie rapide

Quel que soit le mix méthodologique utilisé, plusieurs constantes apparaissent dans le cadre d’une démarche HQSE.

Fast-track MEAL - voie rapide pour la mise en place d'un système de suivi et évaluation
Voie rapide pour un mix méthodologique dans la mise en place d’un Système de Suivi et Evaluation

1. Sélection d’indicateurs essentiels

Ces indicateurs chiffrés permettent d’éclairer l’ampleur, de proposer des repères. Que cela soit au niveau d’un diagnostic, d’une action, d’un projet, programme ou politique publique.

Ces points de repère peuvent se répartir de manière équilibré le long de votre modélisation (théorie du changementmodèle logique, ou basique chaine de résultats)

Par exemple :

  • Des indicateurs de ressources (par exemple budget annuel, nombre de salariés, etc.)
  • Des indicateurs d’activités (par exemple nombre de sessions de formation organisées)
  • Des indicateurs de réalisations (par exemple nombre de stagiaires ayant obtenu une certification)
  • Des indicateurs d’effets à court, moyen et long terme (par exemple proportion de stagiaires ayant restitué en interne au sein de leur organisateur suite à la formation, nombre de budgétisation de Systèmes de Suivi et Evaluation soumis à la direction pour financement, proportion d’organisations et institutions ayant formalisé un manuel de Suivi Evaluation dans les 6 mois suivant la participation à la formation, etc.)

Ces indicateurs quantitatifs renseignent avant tout les personnes extérieures à l’action, dans un enjeu de transparence, puisque les acteurs du projet baignent au quotidien dans ces données.

Si un indicateur tel que « nombre de jeunes accompagnés » est peu porteur de sens pour un éducateur qui rétorquera que 5% des jeunes les plus en difficulté mobilisent 95% de son énergie, l’indicateur demeure pertinent, à minima, pour un regard extérieur : toujours dans cette démarche d’appréhender l’ampleur du projet. Qu’une institution reçoive 30 ou 2000 jeunes est une dimension à part entière, certes basique mais incontournable, quelles que soient les autres composantes plus qualitatives qu’il faudra appréhender parallèlement.

Percevoir l’ampleur : basique, peut-être réducteur, mais incontournable.
Comprendre les valeurs d’une organisation à travers les indicateurs mis en avant

Ce type d’indicateurs essentiels est utilisé fréquemment par l’ensemble des institutions, par exemple dans les rapports annuels, sous divers intitulés : «  chiffres clés », « en bref », « repères », souvent sous forme d’infographies, plus ou moins attractives.

Ce jeu de données statistiques, constitue une base de départ pour saisir toute problématique. Au-delà de fournir un ordre de grandeur et une visibilité pour le citoyen sur une problématique d’intérêt général, elle éclaire sur ce qui fait sens pour les pilotes de l’institution.

Par exemple :

  • Que met en avant une ONG comme MSF ?
    Le nombre de consultations en ambulatoire ou le nombre de patients hospitalisés.
  • Que mettent en avant les sapeurs pompiers ?
    Le nombre d’interventions ventilées par nature et le nombre de victimes prises en charge.
  • Le Sénat ?
    Le nombre d’heures de séance, le nombre d’amendements déposés et adoptés.
  • etc.

Ce type d’indicateurs essentiels nous relie ainsi supposément avec le critère de cohérence interne de l’institution : son mandat, son coeur de métier, ses valeurs.

Ces indicateurs essentiels s’affichent dans tout rapport d’activité. Au-delà de renseigner sur l’ampleur, ils signalent ce qui fait sens pour la structure qui les affiche.
Suivre les changements d’indicateurs au fil du temps permet de reconsidérer ce qui fait sens et l’évolution de la société

Ce qui est valorisé par une structure (par exemple ici la participation a un évènement) reflète la cohérence interne et s’observe à travers prisme de son contexte et de son époque. Cette photo, aujourd’hui interpelle en premier lieu par le manque de parité avant de promouvoir un quelconque évènement. Ici, une conférence sur les systèmes de santé en 1986.

2. Faire émerger des domaines de changement

Quels sont les effets attendus de l’action ? Au-delà des produits, services, réalisations immédiates, en quoi l’action est-elle porteuse de changement ?

A l’inverse de critères du CAD, ces domaines de changement ne peuvent s’appliquer à tout projet et sont spécifiques à l’action. En ce sens, ils doivent être recueillis à travers une concertation afin que chaque acteur puisse s’exprimer sur sa vision du changement.

Exemples de domaines de changement dans un programme visant l’amélioration du climat scolaire :

  • Réduction des incivilités
  • Décloisonnement (par exemple participation des parents à la vie d’établissement)
  • Ouvrir le champ des possibles (par exemple confiance en soi/estime de soi)

Exemples de domaines de changement dans un programme de coordination des parcours de santé :

  • Accès aux soins (par exemple accès à une couverture sociale)
  • Inclusion (par exemple accès à l’accompagnement social)

3. Elaborer des échelles de progrès sur chaque domaine de changement

Toujours de manière participative il s’agit ici de matérialiser les différentes étapes (ou jalons) sur le chemin du changement.

Pour chaque étape, chaque acteur devra se positionner sur la cohérence ou l’agencement des jalons avec deux angles spécifiques :

  • Les conditions du passage d’une étape à une autre
  • La perception du changement dès qu’une étape est franchie

Ce qui demande divers temps de concertation : en amont de l’action afin d’obtenir une projection du changement souhaité et tout au long de l’action afin de collecter le ressenti des opérateurs après le franchissement de chaque jalon.

Par exemple, si une étape dans l’accès à l’accompagnement social est un premier RV de diagnostic avec une assistante sociale, une condition préliminaire sera de résoudre un éventuel problème de traduction et la présence d’un interprète. Ou encore, dans le cadre d’un retour à l’emploi, si une étape est une formation professionnelle, une condition préalable pourrait être solutionner une problématique de garde d’enfant.

La difficulté est souvent de présenter les étapes dans un ordre chronologique, de multiples éléments étant vecteurs de changement, intervenant dans un ordre aléatoire ou simultané.

La confrontation des points de vue est l’intérêt premier de cette démarche, et non d’élaborer des échelles réplicables et statiques.

Dans ce cadre, des échelles peuvent être élaboré avec uniquement la perception d’un niveau minimum et d’un niveau maximum. Pour plus d’exemples d’échelles, voir les indicateurs qualitatifs.

Autre exemple : ici le domaine de changement concerne l’implication des enseignants dans le programme.

4. Figure libre

La figure libre intervient dans le choix de la combinaison de méthodes utilisées (voir ici : sélection de méthodes).

Egalement, dans les modes de collecte de données : s’autoriser la capture de toute trace de l’action sous tout type de supports.

5. SED (Suivi et Evaluation Dynamique)

Le mix méthodologique utilisé doit être incorporé dans une perspective de Suivi et Evaluation Dynamique.

1. Au niveau de l’accès aux données

Les données doivent être accessibles autant que possible en temps réel afin de viser une meilleure réactivité et une utilisation rapide des informations issues du système.

2. Au niveau des processus décisionnels

L’éclairage ne doit pas porter sur l’action uniquement mais également retracer les cheminements préalables à la prise de décision, dans un enjeu d’amélioration de la gouvernance.

3. Au niveau de l’élaboration des outils de collecte

La conception des outils de collecte s’élabore à double sens avec une diffusion de l’information également. Les étapes et différentes balises des échelles de changement sont présentées aux usagers et parties prenantes afin de clarifier en amont les changements attendus et la vision de la structure. Les usagers et autres acteurs concernés ont ainsi la possibilité de signaler ce qui leur parait être des conditions préalables à tout changement et faire remonter leur perception dès qu’une étape ou un jalon est franchi.

4. Au niveau des supports de restitution

Les modes de restitution participent également à l’action à travers des supports didactiques et accessibles dans une démarche de sensibilisation et de renforcement des capacités.

Pour aller plus loin :

Etape 3 : sélection des méthodes
Mix méthodologique : la voie rapide
Les indicateurs quantitatifs
Les différents types d’indicateurs
La sélection des indicateurs
Les indicateurs qualitatifs
Plan d’action : étape 3 (1ère partie)
Plan d’action : étape 3 (2ème partie)