Les indicateurs qualitatifs

La dénomination « indicateurs qualitatifs » n’appartient pas aux sciences sociales.

L’expression apparait plutôt en réaction au « tout quantitatif » qui dérive de la Gestion Axée sur les Résultats ou de l’utilisation massive d’indicateurs quantitatifs « simples » (nombre de personnes formées, nombre de consultations effectuées, nombre de kits distribués, etc.).

Pour rappel, un indicateur « indique », révèle, informe, quantifie OU qualifie un critère. Un indicateur qualitatif consiste ainsi en toute donnée non chiffrée qui permette de porter une appréciation afin de qualifier un critère.

Les indicateurs dit qualitatifs intègrent des opinions, des perceptions du changement, des constats ou appréciations d’une situation.

L’analyse qualitative précède l’utilisation d’indicateurs qualitatifs.

Par nature, les données véhiculées par des indicateurs qualitatifs intègrent une part de subjectivité.

Le rôle de mètre étalon, d’unité de mesure de référence, de comparabilité inhérents aux indicateurs quantitatifs devient ici moins prégnant. L’enjeu majeur est le degré d’analyse de ces informations qualitatives pour en tirer des enseignements et appuyer la prise de décision.

Soigneusement sélectionnés, certains indicateurs chiffrés peuvent toutefois nous renseigner sur un degré de qualité. Par exemple, le taux de rotation du personnel (turn over) et le taux d’absentéisme pourront donner un premier aperçu du climat en entreprise. La consommation des ménages par type de dépense pourra être une première grille d’analyse, clé de lecture, sur l’accès à la culture ou l’accès au logement, susceptibles de refléter, si modestement soit-il, une certaine perception de la « qualité de vie ».

Un second enjeu est de mettre en place un travail de fond, en amont, sur la sélection des critères d’évaluation. Dépasser les critères « tout-terrain » du CAD (le Comité d’Aide au Développement de l’OCDE, critères de référence dans les programmes de développement) et spécifiques à notre action/projet/programme/mesure. Pour que l’évaluation soit une réelle délibération sur les valeurs, les critères ne peuvent être prédéfinis.

Exemple : faire émerger des critères de sélection d’un service de transport ferroviaire

Qu’est-ce qui fait sens pour les voyageurs au moment d’organiser un voyage en train ? La ponctualité de la compagnie ferroviaire ? Le temps de trajet ? Le coût du billet ? L’impact carbone ? La sécurité ? Puis d’actualiser ces critères au fil du trajet en fonction des aléas du parcours. Qu’est-ce qui fait sens une fois le train démarré ? La tranquillité de la rame ? La convivialité des autres passagers ? L’humour ou la jovialité du contrôleur ? Enfin, apprendre de l’expérience en ajoutant autant de critères additionnels suite au voyage et en fonction de nos propres contraintes : les temps de correspondance en fonction de notre trajet particulier, l’accès à une prise de courant en fonction de l’état de batterie de nos appareils, etc.

Des approches multiples et variées

Puisque la notion d’indicateur qualitatif n’est pas extraite du registre des sciences sociales, une certaine confusion règne quant à leur définition et utilisation. Le critère se fond dans l’indicateur ou inversement. Des données quantitatives sont présentées comme indicateurs qualitatifs avec bon sens puisqu’elles envisagent de reflèter la qualité d’action…

Accordons-nous sur l’essentiel : le nécessaire équilibre entre quantité et qualité.

Egalement sur l’utilité de quantification du qualitatif (extraire des données mesurables des appréciations, perceptions, opinions…) et de qualification du quantitatif (que signifie 100000 demandeurs d’emploi accompagnés ? Est-ce beaucoup ? Est-ce suffisant ? Qu’entend-on précisément par accompagnés ? Un simple échange téléphonique ou 3 mois de formation intensive ? etc.)

Indicateurs qualitatifs et cadre logique

Les indicateurs objectivement vérifiables du cadre logique, comme tout indicateurs quantitatifs, ont pour objet de mesurer, avec un objectif de précision et d’exactitude, ce qui leur a été demandé de mesurer. Certains cadres logiques affichent néanmoins un effort manifeste d’incorporer des indicateurs visant à éclairer des aspects plus qualitatifs, au delà de la basique énumération des bénéficiaires :

  • Taux de parents estimant être mieux informés de l’évolution scolaire de leurs enfants
  • Pourcentage des jeunes qui déclarent avoir augmenté leurs revenus grâce à la mise en application des techniques acquises en cours de formation

Cet effort, même si maladroit (voir la sélection des indicateurs), constitue souvent une tâche ingrate et de dernier recours, dans des cadres logiques construits trop rapidement et sans concertation suffisante, où la logique d’intervention, ce narratif censé expliciter et garantir la qualité du programme, n’est ni établi, ni partagé avec les parties prenantes (voir les limites du cadre logique).

Les processus d’hybridation

Nous qualifierons ainsi d’hybrides des processus qui permettront de s’appuyer sur les fondations suivantes:

  • une analyse qualitative systématique, déployée tout au long du cycle de projet, relatives aux diverses perceptions des usagers et de leur évolution
  • l’élaboration d’un socle de critères de qualité, partagé et diffusé, à minima binaires et vérifiables
  • la spécification des changements attendus
  • l’anticipation et reconstitution d’échelles de progrès en actualisant ces critères de qualité tout au long du cycle de projet
Par exemple, pour la mise en place d’un système de suivi évaluation au sein d’une institution, un critère de qualité sera de disposer d’une politique ou d’une stratégie de suivi évaluation. Il s’agit d’un critère parmi un nombre restreint composant le socle. A minima, le critère est binaire (la stratégie de SE existe ou non) et vérifiable : le document peut être consulté.

L’hybridation, quanti/quali, consistera ainsi à attribuer des notes ou des scores à chaque étape en agrégeant les standards de qualité.

Exemple de notation/score pour des indicateurs de qualité
Le procédé peut être décliné pour chaque critère en une dizaine d’indicateurs. A chaque indicateur correspond une réalisation (ici un manuel, une charte, une formation,..) ce qui facilite l’élaboration ultérieure de plans d’action ou d’échelles de progrès.
Le bon mix quantité-qualité

Les indicateurs quantitatifs et qualitatifs interagissent afin de détecter d’éventuelles incohérences. Par exemple :
– Taux de satisfaction : 100%
– Nombre de bénéficiaires : 3

« – Nous avons interrogé nos 3 participants… 100% pensent que le programme est fantastique !
– Qu’en est-il des 96 familles qui sont parties dès la première semaine ? »

Hors considérations terminologiques, l’objet est ainsi de multiplier les jeux d’indicateurs pour toujours avoir une approche combinant un volume (obtenir l’ampleur d’une action, d’un phénomène) et une appréciation de ce qui fait sens, ce qui nous ramène à l’étymologie de l’évaluation : « déterminer une valeur ».

Attention à ne pas confondre indicateurs qualitatifs et « storytelling » (la « mise en récit »). Extraire une histoire de succès de son contexte pour mettre en valeur un projet dans un rapport d’activité n’est en rien de l’analyse qualitative mais une simple démarche de communication et d’auto-promotion. Voir également : évaluation versus communication. Une nette distinction entre les deux démarches sera indispensable pour générer un degré de confiance minimal dans le système de suivi et évaluation.

QUESTIONNAIRES

Un simple questionnaire permettant de confronter les objectifs du programme et la perception des usagers pourra ainsi participer à l’analyse qualitative et l’émergence d’indicateurs qualitatifs.

Cela implique par ailleurs d’expliciter à travers l’élaboration du questionnaire quels sont les objectifs du programme et les valeurs/principes sous-tendants son action.

Selon vous, à quel point cette formation a-t-elle eu une incidence sur votre capacité à mettre en place un système de suivi et évaluation ?
Exemple dans le cadre de la formation professionnelle : le stagiaire apprécie sa progression au regard des objectifs assignés à la session.

L’utilisation de questionnaires, afin de suivre la perception des usagers d’un service public, sur tout le cycle de projet devrait ainsi être systématique, notamment en phase de design de projet puis dès le démarrage des premières activités.

Au regard de l’effort mis sur les projets, programmes et politiques publiques visant un renforcement de capacités, l’élaboration et utilisation de référentiels de compétences précis devrait également figurer comme pré-requis.

En complément des questionnaires, l’élaboration en atelier d’échelles de changement permet d’affiner la modélisation du projet, de détecter les pré-conditions au changement et les étapes clés sur lesquelles les questionnaires devront s’agréger afin de vérifier le bon déroulé de cette modélisation. L’utilisation d’échelles de progrès permet de formaliser puis affiner ces référentiels de compétences.

Pour aller plus loin :

Concevoir et mettre en place un SSE : suite

Date de première diffusion : 2020
Dernière actualisation : juin 2023