Les indicateurs qualitatifs

L’analyse qualitative précède la conception d’indicateurs qualitatifs.

La dénomination « indicateurs qualitatifs » n’appartient pas aux sciences sociales. L’expression apparait plutôt en réaction au « tout quantitatif » qui dérive de la Gestion Axée sur les Résultats ou de l’utilisation massive d’indicateurs quantitatifssimples” (nombre de personnes formées, nombre de kits distribués, etc.).

Les indicateurs dit qualitatifs concernent plus généralement des opinions, des perceptions du changement, des constats ou appréciations d’une situation.

Par définition, les données véhiculées par des indicateurs qualitatifs intègrent donc une part de subjectivité.

Le rôle de mètre étalon, d’unité de mesure de référence, de comparabilité inhérents aux indicateurs quantitatifs devient ici moins palpable. L’enjeu est le degré d’analyse de ces informations qualitatives pour en tirer des enseignements et aider la prise de décision.

Les indicateurs quantitatifs ont pour objet de mesurer, avec un objectif de précision et d’exactitude, ce qui leur a été demandé de mesurer. Les indicateurs qualitatifs bénéficient d’un champ moins contraint : un taux de satisfaction conservera sa part de subjectivité.

Soigneusement sélectionnés, certains indicateurs chiffrés peuvent nous renseigner sur un degré de qualité. Par exemple, le taux de rotation du personnel (turn over) et le taux d’absentéisme pourront donner un premier aperçu du climat en entreprise. La consommation des ménages par type de dépense pourra être une première grille d’analyse, clé de lecture, sur l’accès à la culture ou l’accès au logement, destinés à refléter, modestement, une certaine perception de la « qualité de vie ».

Certains cadres logiques reflètent ainsi l’effort d’incorporer des indicateurs visant à éclairer des aspects plus qualitatifs, au delà de la basique énumération des bénéficiaires :

  • Taux de parents estimant être mieux informés de l’évolution scolaire de leurs enfants
  • Pourcentage des jeunes qui déclarent avoir augmenté leurs revenus grâce à la mise en application des techniques acquises en cours de formation

Cet effort, même si maladroit (voir ici la sélection des indicateurs), constitue souvent une tâche ingrate et de dernier recours, dans des cadres logiques construits trop rapidement et sans concertation suffisante, où la logique d’intervention, censée expliciter et garantir la qualité du programme, n’est ni établie, ni partagée (voir ici les limites du cadre logique).

L’enjeu est donc de mettre en place un travail de fond, en amont, sur la sélection des critères d’évaluation. Au-delà des critères « tout-terrain » du CAD et spécifiques à notre action/projet/programme/mesure.

Exemple

Qu’est-ce qui fait sens pour un voyageur au moment d’organiser un voyage en train ? La ponctualité de la compagnie ferroviaire ? Le temps de trajet ? Le coût du billet ? Puis d’actualiser ces critères au fil du trajet en fonction des aléas du parcours. Qu’est-ce qui fait sens une fois le train démarré ? La tranquillité du wagon ? La convivialité des autres passagers ? L’humour du contrôleur ? Enfin, apprendre de l’expérience en ajoutant autant de critères additionnels suite au voyage et en fonction de nos propres contraintes : les temps de correspondance en fonction de notre trajet particulier, l’accès à une prise de courant en fonction de l’état de batterie de nos appareils, etc.


Le bon mix quantité-qualité

Les indicateurs quantitatifs et qualitatifs interagissent afin de détecter d’éventuelles incohérences. Par exemple :
– Taux de satisfaction : 100%
– Nombre de bénéficiaires : 3

« – Nous avons interrogé nos 3 participants… 100% pensent que le programme est fantastique !
– Qu’en est-il des 96 familles qui sont parties dès la première semaine ? »

Hors considérations terminologiques, l’objet est ainsi de multiplier les jeux d’indicateurs pour toujours avoir une approche combinant un volume (obtenir l’ampleur d’une action, d’un phénomène) et une appréciation de ce qui fait sens, ce qui nous ramène à l’étymologie de l’évaluation : « déterminer une valeur ».

Attention à ne pas confondre indicateurs qualitatifs et « storytelling » (la « mise en récit »). Extraire une histoire de succès de son contexte pour mettre en valeur un projet dans un rapport d’activité n’est en rien de l’analyse qualitative mais une simple démarche de communication et d’auto-promotion. Une nette distinction entre les deux démarches sera indispensable pour générer un degré de confiance minimal dans le système de suivi et évaluation.

Pour aller plus loin :
De l’usage des indicateurs qualitatifs en évaluation et en suivi de gestion dans l’administration publiques, The Canadian Journal of Program Evaluation, 2011

QUESTIONNAIRES

Un simple questionnaire permettant de confronter les objectifs du programme et la perception des usagers pourra ainsi participer à l’analyse qualitative et la définition d’indicateurs qualitatifs.

Cela implique par ailleurs d’expliciter à travers l’élaboration du questionnaire quels sont les objectifs du programme et les valeurs/principes sous-tendant son action.

Selon vous, à quel point cette formation a-t-elle eu une incidence sur votre capacité à mettre en place un système de suivi et évaluation ?
Exemple dans le cadre de la formation professionnelle : le stagiaire apprécie sa progression au regard des objectifs assignés à la session.

L’utilisation de questionnaires, afin de suivre la perception des usagers d’un service public, sur tout le cycle de projet devrait ainsi être systématique, notamment en phase de design de projet puis dès le démarrage des premières activités.

Au regard de l’effort mis sur les projets, programmes et politiques publiques visant un renforcement de capacités, l’élaboration et utilisation de référentiels de compétences précis devrait également figurer comme pré-requis.

En complément des questionnaires, l’élaboration en atelier d’échelles de progrès permet d’affiner la modélisation du projet, de détecter les pré-conditions au changement et les étapes clés sur lesquelles les questionnaires devront s’agréger afin de vérifier le bon déroulé de cette modélisation. L’utilisation d’échelles de progrès permet de formaliser puis affiner ces référentiels de compétences.

Echelles de progrès

L’utilisation d’échelles de progrès (échelles de changement,…) va aussi permettre un deuxième degré d’analyse en complément d’un indicateur simple (notamment les Indicateurs Objectivement Vérifiables) sollicités dans un cadre logique.

Dans l’exemple ci-dessous, le domaine de changement visé est la participation active des femmes dans les processus de prise de décision.

  • un indicateur quantitatif est le % de femmes dans les comités de pilotage
  • en complément, une échelle pourra être proposée pour apprécier la participation effective dans les processus de prise de décision
Echelle de progrès : participation active des femmes dans les processus de prise de décision
Certes subjective, cette échelle permet un second niveau de regard et introduit la question de manière récurrente auprès des partenaires, contribuant de fait à son propre objectif non seulement de représentation équitable des femmes dans les instances de décision mais également de participation effective. Cette démarche s’inscrit ainsi dans le SED (Suivi Evaluation Dynamique) visant l’interaction entre outils de SE et la contribution aux objectifs du programme.

Certaines méthodes, comme la cartographie des incidences, proposent ainsi de collectivement réfléchir aux différentes étapes (marqueurs de progrès) qui jalonnent le parcours vers une situation espérée.

Marqueurs de progrès : ce qui est attendu, ce qui est souhaité, ce qui serait idéal
Chaque acteur est sollicité pour proposer son propre chemin de changement vers un objectif partagé. Outcome Mapping Building Learning and Reflection into Development Programs, 2001.

L’échelle de participation de Sherry Arnstein, développée en 1969, permettait déjà d’apposer un regard qualitatif sur une démarche de participation citoyenne : non participation, coopération symbolique ou prises de décisions effectives ?

Echelle de participation citoyenne : de la manipulation au contrôle citoyen
Echelle de la participation selon Sherry Arnstein (1969)

L’utilisation de jalons (étapes, marqueurs…)

La première échelle de progrès présentée ci-dessus (participation de femmes) ne comportait qu’un seuil minimum et un seuil maximum. Pour autant, il est intéressant d’essayer de construire des chemins de changement, d’anticiper à priori ou de retracer à posteriori les grandes étapes vers le domaine de changement souhaité.

Echelle de progrès : quelles sont les conditions requises pour atteindre chaque étape, quelles sont les perceptions de chaque partie prenante une fois le jalon franchi ?
Le binôme pré-conditions/perception. Quels sont les pré-requis pour franchir chaque jalon ? Une fois chaque jalon franchi, quelle est la perception de chaque partie prenante ?

Soumettre en atelier un premier niveau de graduation très basique comme présentés ci-dessous se relève instructif et permettra à terme de développer les échelles :

  • Chaque condition préalable au passage d’un jalon, s’inscrit comme autant de jalons supplémentaires
  • Tout retour/perception d’une partie prenante suite au passage d’un jalon s’inscrit comme élément évaluatif (en lien avec l’exemple ci-dessous : qu’est-ce qui a changé depuis la création de commission locale ?) à mettre en perspective avec le but initial (quelle contribution à la protection des ressources naturelles ?)
Echelle de progrès : sensibilisation, connaissance, activation, ancrage
Exemple d’échelle visant un changement de comportement : tri des déchets, pollution numérique, utilisation de moustiquaire…
Echelles de progrès : exemples

Exemple 1 : préservation des ressources naturelles

Echelle de changement : préservation des ressources naturelles
Projet Régional d’Investissement de la Résilience des Zones Côtières en Afrique de l’Ouest/Plan de Suivi Evaluation/Billong

Exemple 2 : participation des usagers

Echelle de changement : participation des usagers à la mise en place d'un système de suivi et évaluation
Dispositif de Promotion de la Santé/participation des usagers/Plan de SE/Goldwicht
De l’intérêt de formaliser un premier échelon négatif

Ci-dessous, un format qui se distingue par l’intégration d’un premier échelon reflétant une situation négative. En effet, beaucoup de projets/programmes considèrent comme premier niveau de résultat des produits tangibles. Cet éclairage sur le positif uniquement ou sur les effets espérés à terme ne reflètent pas l’atténuation de situations non désirées à très court terme ou la persistance de la situation problématique de départ.

Exemple 3 : domaine de changement visé => l’accès à l’eau

Echelles de changement : à partir d'un échelon négatif
Exemple 3 : gestion intégrée des bassins versants et agriculture durable pour une meilleure sécurité alimentaire et une meilleure résilience des populations des 6ème et 5ème sections rurales des Verrettes, Haïti/Plan de Suivi Evaluation/ML Tessier

Exemple 4 : domaine de changement visé => réduction des déchets dans les résidences de tourisme

Echelle de changement : réduction des déchets dans les résidences de tourisme et politique de recyclage
Exemple 4 : réduction des déchets dans les résidences de tourisme

Exemple 5 : favoriser l’augmentation de l’usage du vélo auprès de la population

Echelle de changement : favoriser l'usage du vélo auprès de la population - octroi de primes vélo aux habitants
Exemple 5 : favoriser l’augmentation de l’usage du vélo auprès de la population, municipalité, plan de Suivi Evaluation, BVB

Conception de processus ou de protocoles

Ces échelles permettent aussi de concevoir des processus ou des protocoles. Ces processus/protocoles participent à la fonction de transparence du système de suivi évaluation en informant les diverses parties prenantes sur le degré d’avancement de l’action.

Dans l’exemple ci-dessous (recrutement d’un géomaticien au niveau d’une organisation internationale), un recrutement est en cours depuis des mois mais aucune partie prenante ne semble connaitre l’avancée de la situation ou le point de blocage. L’élaboration de l’échelle ci-dessous revêt aussi bien des enjeux opérationnels, par exemple en lien avec la qualité de l’intégration du nouveau collaborateur (formation, équipement, etc.) mais aussi de redevabilité en informant le comité de pilotage sur l’état d’avancement du recrutement. Dans cet exemple très pragmatique, l’annonce a bien été publiée mais encore aucun candidat n’a été reçu.

Protocole de recrutement : mais où est donc bloqué le processus ?
L’élaboration d’un protocole puis le partage avec les parties prenantes du point de blocage accompagne la fonction transparence du système de suivi évaluation au-delà de la prise de décision opérationnelle.

Parcours de comportement

Des échelles comparables ont également été développées dans le cadre de la pédagogie institutionnelle dans les années 1950. L’échelle n’est pas utilisée ici pour poser un diagnostic sur une situation mais sur un niveau de compétences.

Variante : pour chaque groupe de compétences validé, des responsabilités nouvelles sont attribuées aux élèves.

Parcours de comportement : éducation nouvelle
Exemple de parcours de comportement : éducation nouvelle.

Fernand Oury, fondateur de la pédagogie institutionnelle et des ceintures de comportement évoquées ci-dessus, s’était lui-même inspiré des grades du judo, dont le premier objet est de se fixer des limites, puis de délimiter des paliers successifs de progression technique. Progression technique mais aussi spirituelle : force de caractère, volonté, altruisme,…

A titre anecdotique, ce code couleur a été introduit dans les années 1920 dans une démarche d’occidentalisation : diffuser la pratique de la discipline à travers des résultats rapides et tangibles pour les judokas. La progression est beaucoup plus lente dans le système japonais : les ceintures blanches et marrons se conservent plusieurs années.

Domoaligato dosé à la machita
Les grades dans la pratique du judo (critères de maitrise technique, efficacité, engagement personnel,…) comme inspiration d’instruments de mesure qualitative : échelles de progrès, parcours de comportement.

Concevoir et mettre en place un SSE : suite

Les indicateurs quantitatifs
Les différents types d’indicateurs quantitatifs
La sélection des indicateurs quantitatifs
Les indicateurs qualitatifs