Les indicateurs qualitatifs

L’analyse qualitative précède la conception d’indicateurs qualitatifs.

L’appellation « indicateurs qualitatifs » n’appartient pas aux sciences sociales. L’expression apparait plutôt en réaction au « tout quantitatif » qui dérive de la Gestion Axée sur les Résultats ou de l’utilisation massive d’indicateurs quantitatifssimples” (nombre de personnes formées, nombre de kits distribués, etc.).

Tout d’abord, soigneusement sélectionnés, certains de ces indicateurs chiffrés peuvent nous renseigner sur un degré de qualité. Par exemple, le taux de rotation du personnel (turn over) et le taux d’absentéisme pourront donner un premier aperçu du climat en entreprise. La consommation des ménages par type de dépense pourra être une première grille d’analyse, clé de lecture, sur l’accès à la culture ou l’accès au logement, destinés à refléter, modestement, une certaine perception de la « qualité de vie ».

Les indicateurs dit qualitatifs concernent plus généralement des opinions, des perceptions du changement, des constats ou appréciations d’une situation.

Par définition, les données véhiculées par des indicateurs qualitatifs intègrent donc une part de subjectivité.

Le rôle de mètre étalon, d’unité de mesure de référence, de comparabilité inhérents aux indicateurs quantitatifs devient ici moins palpable. L’enjeu est le degré d’analyse de ces informations qualitatives pour en tirer des enseignements.

Les indicateurs quantitatifs ont pour objet de mesurer, avec un objectif de précision et d’exactitude, ce qui leur a été demandé de mesurer. Les indicateurs qualitatifs bénéficient d’un champ moins contraint : un taux de satisfaction conservera une part de subjectivité.

Attention à ne pas confondre indicateurs qualitatifs et « storytelling » (la « mise en récit »). Extraire une histoire de succès de son contexte pour mettre en valeur un projet dans un rapport d’activité n’est en rien de l’analyse qualitative mais une simple démarche de communication et d’auto-promotion. Une nette distinction entre les deux démarches sera indispensable pour générer un degré de confiance minimal dans le système de suivi et évaluation.

Les indicateurs quantitatifs et qualitatifs interagissent afin de détecter d’éventuelles incohérences. Par exemple :
– Taux de satisfaction : 100%
– Nombre de bénéficiaires : 3

« – Nous avons interrogé nos 3 participants… 100% pensent que le programme est fantastique !
– Qu’en est-il des 96 familles qui sont parties dès la première semaine ? »

QUESTIONNAIRES

Un simple questionnaire permettant de confronter les objectifs du programme et la perception des usagers pourra ainsi participer à l’analyse qualitative et la définition d’indicateurs qualitatifs.

Cela implique par ailleurs d’expliciter à travers l’élaboration du questionnaire quels sont les objectifs du programme et les valeurs/principes sous-tendant son action.

Exemple dans le cadre de la formation professionnelle : le stagiaire apprécie sa progression au regard des objectifs assignés à la session.

Echelles de progrès

L’utilisation d’échelles de progrès (échelles de changement,…) va aussi permettre un deuxième degré d’analyse en complément d’un indicateur simple (notamment les Indicateurs Objectivement Vérifiables) sollicités dans un cadre logique.

Dans l’exemple ci-dessous, le domaine de changement visé est la participation active des femmes dans les processus de prise de décision.

  • un indicateur quantitatif est le % de femmes dans les comités de pilotage
  • en complément, une échelle pourra être proposée pour apprécier la participation effective dans les processus de prise de décision
Certes subjective, cette échelle permet un second niveau de regard et introduit la question de manière récurrente auprès des partenaires, contribuant de fait à son propre objectif non seulement de représentation équitable des femmes dans les instances de décision mais également de participation effective. Cette démarche s’inscrit ainsi dans le SED (Suivi Evaluation Dynamique) visant l’interaction entre outils de SE et la contribution aux objectifs du programme.

Certaines méthodes, comme la cartographie des incidences, proposent ainsi de collectivement réfléchir aux différentes étapes (marqueurs de progrès) qui jalonnent le parcours vers une situation espérée.

Chaque acteur est sollicité pour proposer son propre chemin de changement vers un objectif partagé. Outcome Mapping Building Learning and Reflection into Development Programs, 2001.

L’échelle de participation de Sherry Arnstein, développée en 1969, permettait déjà d’apposer un regard qualitatif sur une démarche de participation citoyenne : non participation, coopération symbolique ou prises de décisions effectives ?

Echelle de la participation selon Sherry Arnstein (1969)

L’utilisation de jalons (étapes, marqueurs…)

La première échelle de progrès présentée ci-dessus (participation de femmes) ne comportait qu’un seuil minimum et un seuil maximum. Pour autant, il est intéressant d’essayer de construire des chemins de changement, d’anticiper à priori ou de retracer à posteriori les grandes étapes vers le domaine de changement souhaité.

Le binôme pré-conditions/perception. Quels sont les pré-requis pour franchir chaque jalon ? Une fois chaque jalon franchi, quelle est la perception de chaque partie prenante ?

Soumettre en atelier un premier niveau de graduation très basique comme présentés ci-dessous se relève instructif et permettra à terme de développer les échelles :

  • Chaque condition préalable au passage d’un jalon, s’inscrit comme autant de jalons supplémentaires
  • Tout retour/perception d’une partie prenante suite au passage d’un jalon s’inscrit comme élément évaluatif (en lien avec l’exemple ci-dessous : qu’est-ce qui a changé depuis la création de commission locale ?) à mettre en perspective avec le but initial (quelle contribution à la protection des ressources naturelles ?)

Exemple 1 : préservation des ressources naturelles

Projet Régional d’Investissement de la Résilience des Zones Côtières en Afrique de l’Ouest/Plan de Suivi Evaluation/Billong

Exemple 2 : participation des usagers

Dispositif de Promotion de la Santé/participation des usagers/Plan de SE/Goldwicht
De l’intérêt de formaliser un premier échelon négatif

Ci-dessous, un format qui se distingue par l’intégration d’un premier échelon reflétant une situation négative. En effet, beaucoup de projets/programmes considèrent comme premier niveau de résultat des produits tangibles. Cet éclairage sur le positif uniquement ou sur les effets espérés à terme ne reflètent pas l’atténuation de situations non désirées à très court terme ou la persistance de la situation problématique de départ.

Exemple 1 : domaine de changement visé => l’accès à l’eau

Non souhaitéCe qui est attenduCe qui est souhaitéCe qui serait idéal
1. Usage privatif des bassins/citernes construits

2. Manque d’entretien des bassins/citernes construits
3. Utilisation communautaire des bassins


4. Entretien régulier des bassins
5. Mise en place d’une gestion communautaire informelle6. Une gestion communautaire efficiente/pérenne : accès communautaire garanti, entretien et réparations, construction d’autres bassins dans la zone, intérêt des autorités locales (financement par les pouvoirs publics).
Exemple 1: gestion intégrée des bassins versants et agriculture durable pour une meilleure sécurité alimentaire et une meilleure résilience des populations des 6ème et 5ème sections rurales des Verrettes, Haïti/Plan de Suivi Evaluation/ML Tessier

Exemple 2 : domaine de changement visé => réduction des déchets dans les résidences de tourisme

Exemple 2 : réduction des déchets dans les résidences de tourisme

Exemple 3 : favoriser l’augmentation de l’usage du vélo auprès de la population

Exemple 3 : favoriser l’augmentation de l’usage du vélo auprès de la population, municipalité, plan de Suivi Evaluation, BVB

Conception de processus ou de protocoles

Ces échelles permettent aussi de concevoir des processus ou des protocoles. Ces processus/protocoles participent à la fonction de transparence du système de suivi évaluation en informant les diverses parties prenantes sur le degré d’avancement de l’action.

Dans l’exemple ci-dessous (recrutement d’un géomaticien au niveau d’une organisation internationale), un recrutement est en cours depuis des mois mais aucune partie prenante ne semble connaitre l’avancée de la situation ou le point de blocage. L’élaboration de l’échelle ci-dessous revêt aussi bien des enjeux opérationnels, par exemple en lien avec la qualité de l’intégration du nouveau collaborateur (formation, équipement, etc.) mais aussi de redevabilité en informant le comité de pilotage sur l’état d’avancement du recrutement. Dans cet exemple très pragmatique, l’annonce a bien été publiée mais encore aucun candidat n’a été reçu.

L’élaboration d’un protocole puis le partage avec les parties prenantes du point de blocage accompagne la fonction transparence du système de suivi évaluation au-delà de la prise de décision opérationnelle.

Parcours de comportement

Des échelles comparables ont également été développées dans le cadre de la pédagogie institutionnelle dans les années 1950. L’échelle n’est pas utilisée ici pour poser un diagnostic sur une situation mais sur un niveau de compétences.

Variante : pour chaque groupe de compétences validé, des responsabilités nouvelles sont attribuées aux élèves.

Exemple de parcours de comportement : éducation nouvelle.

Fernand Oury, fondateur de la pédagogie institutionnelle et des ceintures de comportement évoquées ci-dessus, s’était lui-même inspiré des grades du judo, dont le premier objet est de se fixer des limites, puis de délimiter des paliers successifs de progression technique. Progression technique mais aussi spirituelle : force de caractère, volonté, altruisme,…

A titre anecdotique, ce code couleur a été introduit dans les années 1920 dans une démarche d’occidentalisation : diffuser la pratique de la discipline à travers des résultats rapides et tangibles pour les judokas. La progression est beaucoup plus lente dans le système japonais : les ceintures blanches et marrons se conservent plusieurs années.

Les grades dans la pratique du judo (critères de maitrise technique, efficacité, engagement personnel,…) comme inspiration d’instruments de mesure qualitative : échelles de progrès, parcours de comportement.

Concevoir et mettre en place un SSE : suite

Les indicateurs quantitatifs
Les différents types d’indicateurs quantitatifs
La sélection des indicateurs quantitatifs
Les indicateurs qualitatifs