La sélection des indicateurs

Grand concours international d’acronyme

Vous êtes peut-être déjà familier de l’acronyme SMART ou de ses multiples déclinaisons (SMARTER, SPICED, CREAM, CLEAR, voir plus bas).

L’acronyme SMART a été conçu avec pour objet initial la sélection non pas d’indicateurs mais d’objectifs, afin de déterminer puis de mesurer une performance attendue. Par extension, il a par la suite été utilisé de manière courante dans le secteur de l’évaluation pour la sélection d’indicateurs.

Trouver de bons indicateurs, peut se révéler, en fonction du type d’intervention, extrêmement complexe. C’est pourquoi l’utilisation de l’acronyme SMART et autres facilitateurs mémo-techniques ne vous aidera pas à trouver de bons indicateurs mais surtout dans un premier temps à écarter les mauvais indicateurs.

Sélection d’indicateurs : conseils préliminaires

Tout d’abord ci-dessous quelques conseils préliminaires pour la sélection d’indicateurs. Nous reviendrons ensuite aux différentes astuces mnémotechniques et acronymes permettant de faciliter cette sélection.

1. Des indicateurs devraient être mixtes

C’est-à-dire quantitatifs (des nombres, des quantités, des montants) mais également et nous les aborderons par la suite qualitatifs (des opinions, des perceptions, des témoignages, des récits)

2. Compréhensibles par les usagers/bénéficiaires

Même si les données pourront être, dans un second temps, intégrées, exploitées et agrégées via des modes de calculs sophistiqués, les données sollicitées auprès des usagers devraient restées accèsibles et compréhensibles pour les répondants comme pour les enquêteurs.

Chaque répondant devrait être en mesure de comprendre à quoi est destiné l’utilisation des données qu’il fournit (non seulement dans quel but le répondant/usager est sollicité mais également pouvoir interpréter le sens de chaque question et l’exploitation qui sera faite des données).


3. Sélectionnés de manière participative

Les indicateurs devraient ainsi pouvoir refléter une diversité de points d’intérêt et non pas uniquement celui des concepteurs du système.

4. Un indicateur ne peut être utilisé et interprété seul.

Une batterie d’indicateurs est nécessaire afin de pouvoir se compléter et se nuancer.  

Par exemple, l’indicateur « taux de réussite au baccalauréat » reste souvent interprété comme indicateur unique afin de refléter la qualité d’un établissement.

Pour autant, d’autres indicateurs sont nécessaires pour nuancer ou compléter cet éclairage, par exemple :

  • taux de stabilité (% d’élèves inscrits en seconde à l’année -3 qui obtiennent leur baccalauréat dans l’établissement à l’année n)
  • frais de scolarité

5. Trop d’information tue l’information

Il est courant dans les cadres logiques de trouver une bonne centaine d’indicateurs. Même si la complexité d’un programme pourrait justifier ce nombre élevé, il reste qu’il semble difficile, d’un simple point de vue cognitif, de garder présent à l’esprit un tel nombre de constantes.

C’est pourquoi nous préconisons la sélection et extraction d’indicateurs essentiels, afin de conserver une vision certes partielle mais stratégique. Si, par exemple, la dimension d’un pare-brise est une donnée incontournable pour un constructeur au moment de la conception d’un véhicule, elle n’a pas de valeur ajoutée à être intégrée sur le tableau de bord. Le cadre logique, malheureusement, ne permet pas de hiérarchiser l’intérêt ou la valeur des indicateurs.

Également, chaque indicateur s’accompagne d’un travail de collecte et d’analyse de données souvent insuffisamment pris en compte en amont et les porteurs de projet se trouvent noyés dans une abondance de données inutiles.

Mieux vaut bien sûr un nombre réduit d’indicateurs dont les données sont fiables qu’une multitude d’indicateurs incertains.

A gauche, les tableaux de bord des participants à l’issue de la formation « concevoir et mettre en place un SSE », très ambitieux et pleins de bonne volonté. A droite, lorsque nous les revoyons 6 mois plus tard…

6. Un indicateur doit être sensible

Il doit pouvoir refléter les variations. Tel un radar sur le bord de la route, celui-ci doit pouvoir se déclencher en deçà ou au-dessus d’un certain seuil afin d’engendrer une action, une réorientation, une prise de décision…

7. Un indicateur doit être testé

Il est très difficile de débuter un programme avec immédiatement avec le bon set d’indicateurs. Une période test devra ainsi être envisagée. Les données sont-elles accessibles comme nous l’avions envisagé ? Les données sont-elles utilisées ?

Par contre, une fois sélectionnés, l’enjeu est de conserver ces indicateurs sur la durée afin d’observer des tendances, progressions, évolutions, variations…