La sélection des indicateurs

Grand concours international d’acronymes

Vous êtes peut-être déjà familier de l’acronyme S.M.A.R.T ? Ou de ses multiples déclinaisons : S.M.A.R.T.E.R, S.P.I.C.E.D., C.R.E.A.M., C.L.E.A.R. (voir plus bas) ?

L’acronyme S.M.A.R.T. (Spécifique, Mesurable, Attribuable, Réaliste, Temporel) a été pensé avec pour objet initial la sélection, non pas d’indicateurs mais d’objectifs, ceci afin de déterminer puis de mesurer une performance attendue. Par extension, cet acronyme a par la suite été utilisé de manière courante dans le secteur de l’évaluation pour la sélection d’indicateurs également.

Trouver de bons indicateurs, peut se révéler, en fonction du type d’intervention, extrêmement complexe. C’est pourquoi l’utilisation de l’acronyme S.M.A.R.T. et autres facilitateurs mémo-techniques ne vous aidera pas à trouver de bons indicateurs mais surtout dans un premier temps à écarter les mauvais indicateurs.

Sélection d’indicateurs : conseils préliminaires

Tout d’abord ci-dessous quelques conseils préliminaires pour la sélection d’indicateurs. Nous reviendrons ensuite aux différentes astuces mnémotechniques et acronymes permettant de faciliter cette sélection.

1. Des indicateurs devraient être mixtes

C’est-à-dire quantitatifs (des nombres, des quantités, des montants) mais également qualitatifs (des opinions, des perceptions, des témoignages, des récits).

2. Compréhensibles par les usagers/bénéficiaires

Même si les données pourront être, dans un second temps, intégrées, exploitées et agrégées via des modes de calculs sophistiqués, les données sollicitées auprès des usagers devraient rester accessibles et compréhensibles pour les répondants comme pour les enquêteurs.

Chaque répondant devrait être en mesure de comprendre à quoi est destiné l’utilisation des données qu’il fournit (non seulement dans quel but le répondant/usager est sollicité mais également pouvoir interpréter le sens de chaque question et l’exploitation qui sera faite des données).


3. Sélectionnés de manière participative

Les indicateurs devraient ainsi pouvoir refléter une diversité de points d’intérêt et non pas uniquement celui des concepteurs du Système de Suivi et Evaluation (SSE). Ou plus précisément la conception d’un SSE intègre la participation des usagers et parties prenantes dans la sélection des indicateurs.

4. Un indicateur ne peut être utilisé et interprété seul

Une batterie d’indicateurs est nécessaire afin de pouvoir se compléter et se nuancer.  

Par exemple, l’indicateur « taux de réussite au baccalauréat » reste souvent interprété comme indicateur unique afin de refléter la qualité d’un établissement.

Pour autant, d’autres indicateurs sont nécessaires pour nuancer ou compléter cet éclairage, par exemple :

  • taux de stabilité (% d’élèves inscrits en seconde à l’année n-3 qui obtiennent leur baccalauréat dans l’établissement à l’année n)
  • frais de scolarité
  • etc.

5. Trop d’information tue l’information

Il est courant dans les cadres logiques de trouver une bonne centaine d’indicateurs. Même si la complexité d’un programme pourrait justifier ce nombre élevé, il reste qu’il semble difficile, d’un simple point de vue cognitif, de garder présent à l’esprit un tel nombre de constantes et de pouvoir les apprécier.

C’est pourquoi nous préconisons la sélection et extraction d’indicateurs essentiels, afin de conserver une vision certes partielle mais stratégique.

Si, par exemple, la dimension d’un pare-brise est une donnée incontournable pour un constructeur au moment de la conception d’un véhicule, elle n’a pas de valeur ajoutée à être intégrée sur le tableau de bord du pilote de ce même véhicule. Le cadre logique, malheureusement, ne permet pas de hiérarchiser l’intérêt ou la valeur des indicateurs à différents moments du cycle de projet.

Également, chaque indicateur s’accompagne d’un travail de collecte et d’analyse de données souvent insuffisamment pris en compte en amont et les porteurs de projet se trouvent noyés dans une abondance de données d’intérêt second.

Mieux vaut bien sûr un nombre réduit d’indicateurs dont les données sont fiables qu’une multitude d’indicateurs incertains.

A gauche, les tableaux de bord des participants à l’issue de la formation « concevoir et mettre en place un SSE », très ambitieux et pleins de bonne volonté. A droite, lorsque nous les revoyons 6 mois plus tard…

6. Un indicateur doit être sensible

Il doit pouvoir refléter les variations. Tel un radar sur le bord de la route, celui-ci doit pouvoir se déclencher en deçà ou au-dessus d’un certain seuil afin d’engendrer une action, une réorientation, une prise de décision… Voir ici les seuils de déclenchement.

7. Un indicateur doit être testé

Il est très difficile de débuter un programme avec immédiatement avec le bon set d’indicateurs. Une période test devra ainsi être envisagée. Les données sont-elles accessibles comme nous l’avions envisagé ? Les données sont-elles utilisées ?

Par contre, une fois sélectionnés, l’enjeu est de conserver ces indicateurs sur la durée afin d’observer des tendances, progressions, évolutions, variations…

Des critères de sélections des indicateurs à adapter en fonction de la temporalité

Les critères proposés dans les acronymes, SMART, CREAM, SPICED et autres dénominations folkloriques vont maintenant nous être utiles. Je vous propose de les décliner ci-dessous, non pas de manière mnémotechnique en formulant un nouveau mot « concept » (un indicateur doit être M.IR.A.B.E.L.LE., P.O.M.M.E/B.A.N.A.N.E, etc.) mais par ordre chronologique, dans le cycle de vie d’un programme.

I. Sélection des indicateurs en phase de conception

Ou à tout moment si l’action ne bénéficie pas encore à minima d’un jeu d’indicateurs essentiels.

SPECIFIQUE

Préciser ce qui devra être mesuré de manière aussi spécifique que possible. Par exemple, dans le cadre d’un programme de microfinance qui réalise d’une part du prêt à la création d’entreprise et d’autre part de l’accompagnement des porteurs de projets, des indicateurs différents devront être établis sur chaque volet de l’activité : micro-crédit et accompagnement.

MESURABLE

Des données qualitatives viendront parallèlement nous informer sur le caractère subjectif de toute chose. C’est pourquoi, dans un premier temps, nous allons chercher à nous appuyer sur tout élément factuel et mesurable.

Le volume de déchets généré au niveau d’une commune, le nombre de diplômés du baccalauréat dans un établissement scolaire, la proportion de femmes au parlement sont, par exemple, des éléments qui devraient pouvoir être mesurés de manière factuelle.

ACCESSIBLE

Anticiper l’effort requis ou le degré de difficulté pour obtenir les données souhaitées. Ceci en terme :

  • de coût (le budget nécéssaire à la collecte de la donnée est-elle compatible avec le budget disponible ?)
  • de disponibilité des données (s’agit-il de données sensibles ou confidentielles ?)
PERTINENT

En quoi les données souhaitées présentent-elles un intérêt ? Quelle plus-value par rapport aux autres indicateurs déjà pré-sélectionnés ?

DEFINI DANS LE TEMPS

Dans sa définition, un indicateur doit systématiquement être relié à une période temporelle. Un taux d’absentéisme, oui mais en quelle année ?

Le nombre de personnes formées ? Oui, mais s’agit-il du nombre de personnes formées par mois, par trimestre, par an ? Bref, attribuer à chaque indicateur à période temporelle est tout d’abord une simple et bonne habitude à prendre.

C’est néanmoins également un enjeu stratégique. A quel moment aura-t-on besoin de l’information ? A quel moment est attendue une prise de décision appuyée sur cette donnée précise ?

SELECTIONNÉ DE FAÇON PARTICIPATIVE

L’exercice participatif de sélection des indicateurs permet à chaque partie-prenante d’exprimer ce qui fait sens de son point de vue et d’anticiper ou mettre à jour d’éventuels désaccords sur le sens même de l’action.

Egalement de faire remonter aux concepteurs du programme certaines facettes importantes aux yeux d’autres acteurs qu’eux-même n’avaient pas la possibilité de détecter.

COMPARABLE et AGREGEABLE

Quelles sont dans les actions déjà portées par notre structure les indicateurs qui pourraient être exploités ? En quoi avons-nous besoin de comparer des données et quels indicateurs communs pourraient être envisagés ?

Quelles données sont agrégeables ?

 » Des données agrégeables sont celles qui peuvent s’additionner, se compiler, se réunir. »

Par exemple nous pourrons comptabiliser le nombre de participants aux diverses sessions d’une même formation. Mais comment comptabiliser des participants dont la durée de formation était différente ? Par exemple, une ONG pourrait-elle agréger le nombre de jeunes ayant suivi une formation professionnelle de 6 mois avec, données issues d’un autre programme, le nombre de producteurs ayant suivi une journée de formation sur la prévention des risques professionnels des pesticides ? Il faut tout simplement pouvoir comparer ce qui est comparable.

II. Suivi de la sélection des indicateurs en phase opérationnelle

Après une première phase de collecte de données, une deuxième analyse ou phase de sélection pourra être effectuée au regard des critères préalablement exposés. L’interêt ici est d’apporter des mesures correctrices dans la collecte d’information (outils de collecte, fréquence de collecte, formation des enquêteurs…) ou dans la définition ou mode de calcul de l’indicateur. Voire à ce stade de remplacer ou éliminer certains indicateurs manifestement inappropriés.

SIMPLICITÉ

Est-ce que les outils de collecte de données permettant l’exploitation des indicateurs sont suffisamment simples et explicites pour être interprétés sans biais par les enquêteurs comme par les répondants ?

ACCESSIBILITÉ

La collecte de données se déroule-t-elle comme prévue ? Les données sont-elles aussi accessibles que prévu ? Le coût de collecte et la durée de collecte correspondent-il à nos anticipations ?

TEMPORALITÉ

Les données sont-elles disponibles au moment où nous l’avions envisagé ? Sinon comment réaménager le calendrier de collecte ?

Par exemple, dans un programme de distribution de semences, quelle est la période anticipée de récolte ? En quoi la fréquence de reporting du programme (rapports mensuel, trimestriel, semestriel, etc.) devra-t-il être calé sur cette spécificité ? En quoi les fréquences de reporting de chaque programme devrait être basé sur ce type de spécificité qui lui sont propres ?

III. Suivi de la sélection des indicateurs après un premier cycle d’utilisation

Le point de focus est ici l’utilisation des données. Comme nous le verrons dans la 5ème étape de mise en place d’un SSE, l’exploitation des données mérite son propre jeu d’indicateur. Quel est le circuit de diffusion de l’information et qui utilise ces indicateurs ? A quelles fins ? Des seuils ont-ils été déclenchés et des mesures correctrices mises en place ? Quels sont les données qui nous semblent manquantes à ce stade ?

La fiabilité des données

En résumé, comme évoqué plus haut, le critère le plus important et à conserver en permanence en ligne de mire est celui de la fiabilité des données. Cette fiabilité repose notamment sur une combinaison d’autres critères abordés ci-dessus :

  • Accessibilité : est-ce que le difficile accès à l’information risque de biaiser les données ou d’amoindrir la qualité des données recueillies ?
  • Simplicité : est-ce que la complexité des données recueillies, du cheminement de l’information ou du mode de calcul risque d’interférer sur la qualité des données ?

Mais également des critères suivants :

  • Responsabilité/attribuabilité : est-il possible, pour chaque indicateur formulé, d’identifier la personne en charge de la collecte de cette donnée ?
  • Traçabilité : est-ce que la source de chaque donnée collectée peut être identifiée ?
  • Possibilités de recoupement : existe-t-il des moyens de vérification des données à travers des recoupement (cross-checking) et diversification des sources ?

Les critères liés à la gestion de la performance

Les critères listés ci-dessous, extraits des acronymes précédemment cités, appartiennent à un autre registre : la gestion de la performance. Ils sont ainsi utilisés pour établir des cibles ou graduer des objectifs :

  • Atteignable
  • Ambitieux
  • Acceptable
  • Réalisable
  • Réaliste
  • Récompensé
  • Pragmatique, orienté vers l’action
  • Habilitant
  • Motivant
  • Excitant
  • Ethique
  • Partagé

Le point de focus est ici tout à fait distinct. La sélection d’indicateurs préconisée tout au long de cette page analyse les changements de conditions de vie de l’usager. Distinctement, les critères ci-dessus scrutent la motivation des équipes qui portent le projet.

Bien sûr, les deux sont intimement mêlés puisque les effets du programme seront en partie lié à la dynamique impulsée par l’équipe chargée du programme.

Pour aller plus loin avec les acronymes

From S.M.A.R.T. indicators to CREAM and SPICED, par Dennis Bours, 2014
SPICE UP your evaluation indicators, par Anne Murray Brown, 2016

Pour aller plus loin

Les indicateurs quantitatifs
Les différents types d’indicateurs
Tableau de suivi des indicateurs
Les indicateurs qualitatifs

Les formats de reporting
Tableau de suivi des indicateurs


Concevoir un Système de Suivi et Evaluation
Etape 3 : sélection des méthodes