Quel que soit le mix méthodologique utilisé, plusieurs constantes apparaissent dans le cadre d’une démarche HQSE. Nous proposons ci-dessous une voie express pour consolider les premiers éléments d’un système de suivi et évaluation. Il s’agit de positionner de grands jalons dans une approche équilibrée : quantitative, qualitative et orientée vers l’apprentissage. Le schéma ci-dessous envisage ces jalons à partir du moment où une modélisation a déjà été réalisée.
1. Sélection d’indicateurs essentiels
Ces indicateurs chiffrés permettent d’éclairer l’ampleur, de proposer des repères. Que cela soit au niveau d’un diagnostic, d’une action, d’un projet, programme ou politique publique.
Ces points de repère peuvent se répartir de manière équilibré le long de votre modélisation (théorie du changement, modèle logique, ou basique chaine de résultats)
Par exemple :
- Des indicateurs de ressources (par exemple budget annuel, nombre de salariés, etc.)
- Des indicateurs d’activités (par exemple nombre de sessions de formation organisées)
- Des indicateurs de réalisations (par exemple nombre de stagiaires ayant obtenu une certification)
- Des indicateurs d’effets à court, moyen et long terme (par exemple proportion de stagiaires ayant restitué en interne au sein de leur organisateur suite à la formation, nombre de budgétisation de Systèmes de Suivi et Evaluation soumis à la direction pour financement, proportion d’organisations et institutions ayant formalisé un manuel de Suivi Evaluation dans les 6 mois suivant la participation à la formation, etc.)
Ces indicateurs quantitatifs renseignent avant tout les personnes extérieures à l’action, dans un enjeu de transparence, puisque les acteurs du projet baignent au quotidien dans ces données.
Si un indicateur tel que « nombre de jeunes accompagnés » est peu porteur de sens pour un éducateur qui rétorquera que 5% des jeunes les plus en difficulté mobilisent 95% de son énergie, l’indicateur demeure pertinent, à minima, pour un regard extérieur : toujours dans cette démarche d’appréhender l’ampleur du projet. Qu’une institution reçoive 30 ou 2000 jeunes est une dimension à part entière, certes basique mais incontournable, quelles que soient les autres composantes plus qualitatives qu’il faudra appréhender parallèlement.
Absence d’indicateurs essentiels : exemple
Comprendre les valeurs d’une organisation à travers les indicateurs mis en avant
Ce type d’indicateurs essentiels est utilisé fréquemment par l’ensemble des institutions, par exemple dans les rapports annuels, sous divers intitulés : « chiffres clés », « en bref », « repères », souvent sous forme d’infographies, plus ou moins attractives.
Ce jeu de données statistiques, constitue une base de départ pour saisir toute problématique. Au-delà de fournir un ordre de grandeur et une visibilité pour le citoyen sur une problématique d’intérêt général, elle éclaire sur ce qui fait sens pour les pilotes de l’institution.
Par exemple :
- Que met en avant une ONG comme MSF ?
Le nombre de consultations en ambulatoire ou le nombre de patients hospitalisés. - Que mettent en avant les sapeurs pompiers ?
Le nombre d’interventions ventilées par nature et le nombre de victimes prises en charge. - Le Sénat ?
Le nombre d’heures de séance, le nombre d’amendements déposés et adoptés. - etc.
Ce type d’indicateurs essentiels nous relie ainsi supposément avec lecritère de cohérence interne de l’institution : son mandat, son coeur de métier, ses valeurs.
Ces indicateurs essentiels s’affichent dans tout rapport d’activité. Au-delà de renseigner sur l’ampleur, ils signalent ce qui fait sens pour la structure qui les affiche.
Suivre les changements d’indicateurs au fil du temps permet de reconsidérer ce qui fait sens et l’évolution de la société
Ce qui est valorisé par une structure (par exemple ici la participation a un évènement ou une célébration) reflète la cohérence interne et s’observe à travers le prisme de son contexte et de son époque. Ces images, extraites de leur contexte, aujourd’hui interpellent en premier lieu par le manque de parité avant de promouvoir un quelconque évènement. Ci-dessus, une conférence sur les systèmes de santé datant de 1986.
Ainsi, si vous jetez un deuxième regard aux indicateurs essentiels déjà mis en avant par votre structure aujourd’hui, en quoi repose-t-ils sur des valeurs fondamentales, comment sont-ils susceptibles d’évoluer dans le temps ? Paraitre obsolète aux yeux des générations futures ?
A titre d’exemple cette affiche : « les informations de l’Institut National de la Statistique et des Etudes Economiques prouvent que le vin n’est pas responsable de l’alcoolisme ». Vraiment ?
2. Faire émerger des domaines de changement
Quels sont les effets attendus de l’action ? Au-delà des produits, services, réalisations immédiates, en quoi l’action est-elle porteuse de changement ?
A l’inverse de critères du CAD, ces domaines de changement ne peuvent s’appliquer à tout projet et sont spécifiques à l’action. En ce sens, ils doivent être recueillis à travers une concertation afin que chaque acteur puisse s’exprimer sur sa vision du changement.
Exemples de domaines de changement dans un programme visant l’amélioration du climat scolaire :
- Réduction des incivilités
- Décloisonnement (par exemple participation des parents à la vie d’établissement)
- Ouvrir le champ des possibles (par exemple confiance en soi/estime de soi)
- …
Exemples de domaines de changement dans un programme de coordination des parcours de santé :
- Accès aux soins (par exemple accès à une couverture sociale)
- Inclusion (par exemple accès à l’accompagnement social)
- …
3. Elaborer des échelles de progrès sur chaque domaine de changement
Toujours de manière participative il s’agit ici de matérialiser les différentes étapes (ou jalons) sur le chemin du changement.
Pour chaque étape, chaque acteur devra se positionner sur la cohérence ou l’agencement des jalons avec deux angles spécifiques :
- Les conditions du passage d’une étape à une autre
- La perception du changement dès qu’une étape est franchie
Ce qui demande divers temps de concertation : en amont de l’action afin d’obtenir une projection du changement souhaité et tout au long de l’action afin de collecter le ressenti des opérateurs après le franchissement de chaque jalon.
Par exemple, si une étape dans l’accès à l’accompagnement social est un premier RV de diagnostic avec une assistante sociale, une condition préliminaire sera de résoudre un éventuel problème de traduction et la présence d’un interprète. Ou encore, dans le cadre d’un retour à l’emploi, si une étape est une formation professionnelle, une condition préalable pourrait être solutionner une problématique de garde d’enfant.
La difficulté est souvent de présenter les étapes dans un ordre chronologique, de multiples éléments étant vecteurs de changement, intervenant dans un ordre aléatoire ou simultané.
La confrontation des points de vue est l’intérêt premier de cette démarche, et non d’élaborer des échelles réplicables et statiques.
Dans ce cadre, des échelles peuvent être élaboré avec uniquement la perception d’un niveau minimum et d’un niveau maximum. Pour plus d’exemples d’échelles, voir les indicateurs qualitatifs.
4. Figure libre
La figure libre intervient dans le choix de la combinaison de méthodes utilisées (voir sélection de méthodes).
Egalement, dans les modes de collecte de données : s’autoriser la capture de toute trace de l’action sous tout type de supports.
5. SED (Suivi et Evaluation Dynamique)
Le mix méthodologique utilisé doit être incorporé dans une perspective de Suivi et Evaluation Dynamique.
1. Au niveau de l’accès aux données
Les données doivent être accessibles autant que possible en temps réel afin de viser une meilleure réactivité et une utilisation rapide des informations issues du système.
2. Au niveau des processus décisionnels
L’éclairage ne doit pas porter sur l’action uniquement mais également retracer les cheminements préalables à la prise de décision, dans un enjeu d’amélioration de la gouvernance.
3. Au niveau de l’élaboration des outils de collecte
La conception des outils de collecte s’élabore à double sens avec une diffusion de l’information également. Les étapes et différentes balises des échelles de changement sont présentées aux usagers et parties prenantes afin de clarifier en amont les changements attendus et la vision de la structure. Les usagers et autres acteurs concernés ont ainsi la possibilité de signaler ce qui leur parait être des conditions préalables à tout changement et faire remonter leur perception dès qu’une étape ou un jalon est franchi.
4. Au niveau des supports de restitution
Les modes de restitution participent également à l’action à travers des supports didactiques et accessibles dans une démarche de sensibilisation et de renforcement des capacités.
Pour aller plus loin :
- Etape 3 : sélection des méthodes
- Mix méthodologique : la voie rapide
- Les indicateurs quantitatifs
- Les différents types d’indicateurs
- La sélection des indicateurs
- Les indicateurs qualitatifs
- Plan d’action : étape 3 (1ère partie)
- Plan d’action : étape 3 (2ème partie)
Date de première diffusion : 2018
Dernière actualisation : mai 2023