La dénomination « indicateurs qualitatifs » n’appartient pas aux sciences sociales.
L’expression apparait plutôt en réaction au « tout quantitatif » qui dérive de la Gestion Axée sur les Résultats ou de l’utilisation massive d’indicateurs quantitatifs « simples » (nombre de personnes formées, nombre de consultations effectuées, nombre de kits distribués, etc.).
Pour rappel, un indicateur « indique », révèle, informe, quantifie OU qualifie un critère. Un indicateur qualitatif consiste ainsi en toute donnée non chiffrée qui permette de porter une appréciation afin de qualifier un critère.
Les indicateurs dit qualitatifs intègrent des opinions, des perceptions du changement, des constats ou appréciations d’une situation.
L’analyse qualitative précède l’utilisation d’indicateurs qualitatifs.
Par nature, les données véhiculées par des indicateurs qualitatifs intègrent une part de subjectivité.
Le rôle de mètre étalon, d’unité de mesure de référence, de comparabilité inhérents aux indicateurs quantitatifs devient ici moins prégnant. L’enjeu majeur est le degré d’analyse de ces informations qualitatives pour en tirer des enseignements et appuyer la prise de décision.
Soigneusement sélectionnés, certains indicateurs chiffrés peuvent toutefois nous renseigner sur un degré de qualité. Par exemple, le taux de rotation du personnel (turn over) et le taux d’absentéisme pourront donner un premier aperçu du climat en entreprise. La consommation des ménages par type de dépense pourra être une première grille d’analyse, clé de lecture, sur l’accès à la culture ou l’accès au logement, susceptibles de refléter, si modestement soit-il, une certaine perception de la « qualité de vie ».
Un second enjeu est de mettre en place un travail de fond, en amont, sur la sélection des critères d’évaluation. Au-delà des critères « tout-terrain » du CAD et spécifiques à notre action/projet/programme/mesure.
Exemple : faire émerger des critères de sélection d’un service de transport ferroviaire
Qu’est-ce qui fait sens pour un voyageur au moment d’organiser un voyage en train ? La ponctualité de la compagnie ferroviaire ? Le temps de trajet ? Le coût du billet ? L’impact carbone ? La sécurité ? Puis d’actualiser ces critères au fil du trajet en fonction des aléas du parcours. Qu’est-ce qui fait sens une fois le train démarré ? La tranquillité de la rame ? La convivialité des autres passagers ? L’humour du contrôleur ? Enfin, apprendre de l’expérience en ajoutant autant de critères additionnels suite au voyage et en fonction de nos propres contraintes : les temps de correspondance en fonction de notre trajet particulier, l’accès à une prise de courant en fonction de l’état de batterie de nos appareils, etc.
Des approches multiples et variées
Puisque la notion d’indicateur qualitatif n’est pas extraite du registre des sciences sociales, une certaine confusion règne quant à leur définition et utilisation. Le critère se fond dans l’indicateur ou inversement. Des données quantitatives sont présentées comme indicateurs qualitatifs avec bon sens puisqu’elles envisagent de reflèter la qualité d’action…
Accordons-nous sur l’essentiel : le nécessaire équilibre entre quantité et qualité.
Egalement sur l’utilité de quantification du qualitatif (extraire des données mesurables des appréciations, perceptions, opinions…) et de qualification du quantitatif (que signifie 100000 demandeurs d’emploi accompagnés ? Est-ce beaucoup ? Est-ce suffisant ? Qu’entend-on précisément par accompagnés ? Un simple échange téléphonique ou 3 mois de formation intensive ? etc.)
Indicateurs qualitatifs et cadre logique
Les indicateurs objectivement vérifiables du cadre logique, comme tout indicateurs quantitatifs, ont pour objet de mesurer, avec un objectif de précision et d’exactitude, ce qui leur a été demandé de mesurer. Certains cadres logiques affichent néanmoins un effort manifeste d’incorporer des indicateurs visant à éclairer des aspects plus qualitatifs, au delà de la basique énumération des bénéficiaires :
- Taux de parents estimant être mieux informés de l’évolution scolaire de leurs enfants
- Pourcentage des jeunes qui déclarent avoir augmenté leurs revenus grâce à la mise en application des techniques acquises en cours de formation
Cet effort, même si maladroit (voir la sélection des indicateurs), constitue souvent une tâche ingrate et de dernier recours, dans des cadres logiques construits trop rapidement et sans concertation suffisante, où la logique d’intervention, ce narratif censé expliciter et garantir la qualité du programme, n’est ni établi, ni partagé avec les parties prenantes (voir les limites du cadre logique).
Les processus d’hybridation
Nous qualifierons ainsi d’hybrides des processus qui permettront de s’appuyer sur les fondations suivantes:
- une analyse qualitative systématique et le recueil des perceptions des usagers tout au long du cycle de projet
- l’élaboration d’un socle de standards de qualité, partagé et diffusé, à minima binaires et vérifiables
- la spécification des changements attendus
- l’anticipation et reconstitution d’échelles de progrès en actualisant les standards de qualité tout au long du cycle de projet
L’hybridation, quanti/quali, consistera ainsi à attribuer des notes ou des scores à chaque étape en agrégeant les standards de qualité.
Exemple de notation/score pour des indicateurs de qualité
Le bon mix quantité-qualité
Les indicateurs quantitatifs et qualitatifs interagissent afin de détecter d’éventuelles incohérences. Par exemple :
– Taux de satisfaction : 100%
– Nombre de bénéficiaires : 3
– Qu’en est-il des 96 familles qui sont parties dès la première semaine ? »
Hors considérations terminologiques, l’objet est ainsi de multiplier les jeux d’indicateurs pour toujours avoir une approche combinant un volume (obtenir l’ampleur d’une action, d’un phénomène) et une appréciation de ce qui fait sens, ce qui nous ramène à l’étymologie de l’évaluation : « déterminer une valeur ».
Attention à ne pas confondre indicateurs qualitatifs et « storytelling » (la « mise en récit »). Extraire une histoire de succès de son contexte pour mettre en valeur un projet dans un rapport d’activité n’est en rien de l’analyse qualitative mais une simple démarche de communication et d’auto-promotion. Une nette distinction entre les deux démarches sera indispensable pour générer un degré de confiance minimal dans le système de suivi et évaluation.
QUESTIONNAIRES
Un simple questionnaire permettant de confronter les objectifs du programme et la perception des usagers pourra ainsi participer à l’analyse qualitative et l’émergence d’indicateurs qualitatifs.
Cela implique par ailleurs d’expliciter à travers l’élaboration du questionnaire quels sont les objectifs du programme et les valeurs/principes sous-tendants son action.
L’utilisation de questionnaires, afin de suivre la perception des usagers d’un service public, sur tout le cycle de projet devrait ainsi être systématique, notamment en phase de design de projet puis dès le démarrage des premières activités.
Au regard de l’effort mis sur les projets, programmes et politiques publiques visant un renforcement de capacités, l’élaboration et utilisation de référentiels de compétences précis devrait également figurer comme pré-requis.
En complément des questionnaires, l’élaboration en atelier d’échelles de progrès permet d’affiner la modélisation du projet, de détecter les pré-conditions au changement et les étapes clés sur lesquelles les questionnaires devront s’agréger afin de vérifier le bon déroulé de cette modélisation. L’utilisation d’échelles de progrès permet de formaliser puis affiner ces référentiels de compétences.
Echelles de progrès
L’utilisation d’échelles de progrès (échelles de changement,…) va aussi permettre un deuxième degré d’analyse en complément d’un indicateur simple (notamment les Indicateurs Objectivement Vérifiables) sollicités dans un cadre logique.
Dans l’exemple ci-dessous, le domaine de changement visé est la participation active des femmes dans les processus de prise de décision.
- un indicateur quantitatif est le % de femmes dans les comités de pilotage
- en complément, une échelle pourra être proposée pour apprécier la participation effective dans les processus de prise de décision
Certaines méthodes, comme la cartographie des incidences, proposent ainsi de collectivement réfléchir aux différentes étapes (marqueurs de progrès) qui jalonnent le parcours vers une situation espérée.
L’échelle de participation de Sherry Arnstein, développée en 1969, permettait déjà d’apposer un regard qualitatif sur une démarche de participation citoyenne : non participation, coopération symbolique ou prises de décisions effectives ?
L’utilisation de jalons (étapes, marqueurs…)
La première échelle de progrès présentée ci-dessus (participation de femmes) ne comportait qu’un seuil minimum et un seuil maximum. Pour autant, il est intéressant d’essayer de construire des chemins de changement, d’anticiper à priori ou de retracer à posteriori les grandes étapes vers le domaine de changement souhaité.
Soumettre en atelier un premier niveau de graduation très basique comme présentés ci-dessous se relève instructif et permettra à terme de développer les échelles :
- Chaque condition préalable au passage d’un jalon, s’inscrit comme autant de jalons supplémentaires
- Tout retour/perception d’une partie prenante suite au passage d’un jalon s’inscrit comme élément évaluatif (en lien avec l’exemple ci-dessous : qu’est-ce qui a changé depuis la création de commission locale ?) à mettre en perspective avec le but initial (quelle contribution à la protection des ressources naturelles ?)
Echelles de progrès : exemples
Exemple 1 : préservation des ressources naturelles
Exemple 2 : participation des usagers
De l’intérêt de formaliser un premier échelon négatif
Ci-dessous, un format qui se distingue par l’intégration d’un premier échelon reflétant une situation négative. En effet, beaucoup de projets/programmes considèrent comme premier niveau de résultat des produits tangibles. Cet éclairage sur le positif uniquement ou sur les effets espérés à terme ne reflètent pas l’atténuation de situations non désirées à très court terme ou la persistance de la situation problématique de départ.
Exemple 3 : domaine de changement visé => l’accès à l’eau
Exemple 4 : domaine de changement visé => réduction des déchets dans les résidences de tourisme
Exemple 5 : favoriser l’augmentation de l’usage du vélo auprès de la population
Conception de processus ou de protocoles
Ces échelles permettent aussi de concevoir des processus ou des protocoles. Ces processus/protocoles participent à la fonction de transparence du système de suivi évaluation en informant les diverses parties prenantes sur le degré d’avancement de l’action.
Dans l’exemple ci-dessous (recrutement d’un géomaticien au niveau d’une organisation internationale), un recrutement est en cours depuis des mois mais aucune partie prenante ne semble connaitre l’avancée de la situation ou le point de blocage. L’élaboration de l’échelle ci-dessous revêt aussi bien des enjeux opérationnels, par exemple en lien avec la qualité de l’intégration du nouveau collaborateur (formation, équipement, etc.) mais aussi de redevabilité en informant le comité de pilotage sur l’état d’avancement du recrutement. Dans cet exemple très pragmatique, l’annonce a bien été publiée mais encore aucun candidat n’a été reçu.
Parcours de comportement
Des échelles comparables ont également été développées dans le cadre de la pédagogie institutionnelle dans les années 1950. L’échelle n’est pas utilisée ici pour poser un diagnostic sur une situation mais sur un niveau de compétences.
Variante : pour chaque groupe de compétences validé, des responsabilités nouvelles sont attribuées aux élèves.
Fernand Oury, fondateur de la pédagogie institutionnelle et des ceintures de comportement évoquées ci-dessus, s’était lui-même inspiré des grades du judo, dont le premier objet est de se fixer des limites, puis de délimiter des paliers successifs de progression technique. Progression technique mais aussi spirituelle : force de caractère, volonté, altruisme,…
A titre anecdotique, ce code couleur a été introduit dans les années 1920 dans une démarche d’occidentalisation : diffuser la pratique de la discipline à travers des résultats rapides et tangibles pour les judokas. La progression est beaucoup plus lente dans le système japonais : les ceintures blanches et marrons se conservent plusieurs années.
Pour aller plus loin :
- Indicators, INTRAC, Nigel Simister, 2017
- De l’usage des indicateurs qualitatifs en évaluation et en suivi de gestion dans l’administration publiques, The Canadian Journal of Program Evaluation, 2011
- Handbook on qualitative indicators, Office of Democracy and Governance, USAID, 2005
- Guide méthodologique, Elaboration concertée des indicateurs de la cohésion sociale, Conseil de l’Europe, Samuel Thirion, 2005
Concevoir et mettre en place un SSE : suite
- Les indicateurs quantitatifs
- Les différents types d’indicateurs quantitatifs
- La sélection des indicateurs quantitatifs
- Les indicateurs qualitatifs
- Etape 3 : sélection des méthodes
- Sommaire : les étapes de mise en place d’un système de suivi et évaluation
Date de première diffusion : 2020
Dernière actualisation : janvier 2023