Concevoir un Système de Suivi et Evaluation

Un Système de Suivi et Evaluation est forcément conçu sur mesure. Il n’existe pas de modèle type. Il est le résultat de décisions stratégiques, arbitrages et compromis. Comme souvent en évaluation, l’exercice de conception du système est aussi riche en apprentissage que le résultat fini et l’usage qui sera fait du système établi.

Les outils du tailleur : un système de suivi et évaluation est conçu sur mesure.
Un système de suivi et évaluation systématiquement conçu sur mesure.

Quelles sont les fonctions d’un système de suivi et évaluation ?

Le système a trois fonctions principales :

  • une boussole pour le projet, le programme, ou la structure : un instrument d’orientation afin de connaître notre direction
  • un gouvernail : un dispositif de pilotage permettant de ré-orienter l’action
  • une courroie de transmission : une dynamique permettant à chaque acteur d’interagir sur le sens de l’action
Boussole, gouvernail et courroie de transmission : les 3 fonctions du système de suivi et évaluation
Les fonctions d’un système de suivi et évaluation : boussole, gouvernail et courroie de transmission.

Quelle différence entre un système et un dispositif de suivi et évaluation ?

Dans le vocabulaire quotidien des projets et organisations, la nuance est très fine et les deux sont souvent utilisés de manière interchangeable : le SSE décrivant au même titre qu’un dispositif l’ensemble des pratiques et des outils de suivi et évaluation au sein d’un projet, programme ou institution.

En réalité, elle est fondamentale en ce qui concerne la compréhension de ce qu’est l’évaluation :

  • un système comporte des interactions, des causalités non linéaires
  • un système est global et le tout est plus que la somme des parties (contrairement à un dispositif compris comme une simple trousse à outils)
  • le système intègre une notion de complexité à différents niveaux :
    – l’incertitude de l’environnement (contrairement à un dispositif pouvant prétendre être sans faille)
    – l’impossibilité d’identifier et de maitriser tous les éléments et relations en jeu

Un système se définit dans une approche globale, holistique, de l’institution et son environnement mais aussi de l’usager.

L’approche est ainsi plus modeste et considère la part d’aléatoire à tout projet porté par des homo sapiens. Le système considère ses liens et interactions avec d’autres départements et fonctions (management, audit, communication, etc.) ce qui n’est pas forcément le cas d’un dispositif qui peut être appréhendé de manière isolé.

Quelle différence entre un Système de Suivi et Evaluation et un Plan de Suivi Evaluation ?

De la même manière, l’incorporation d’organes ou cellules spécifiques dédiés à l’évaluation dans les institutions reste relativement récente et chaque structure pourra se prévaloir de nuances qui lui sont propres.

Le plan de Suivi Evaluation est le volet opérationnel. Il renseigne sur les processus de collecte, de traitement et d’analyse de données, spécifiant les responsabilités des différents acteurs. Son but est d’organiser les flux d’informations, présenter les outils et logiciels utilisés, le contrôle qualité, les mesures de protection des données, les formations et processus de montée en compétences sur les outils de SE. Décliner les moyens humains, techniques et financiers mobilisés afin de démontrer l’utilité de la fonction évaluation et les fonctionnalités du SSE. Egalement, démontrer les possibilités effectives de prises de décision opérationnelles ou stratégiques à travers la visualisation des processus de prise de décision. Enfin, présenter l’organisation de la fonction apprentissage ou le lien explicite entre évaluation et apprentissage.

Le plan de SE est un document technique, plutôt à vocation interne et est une composante à part entière du Système de SE

Le Système de Suivi Evaluation a un champ bien plus large.

Tout d’abord le SSE expose les normes et standards, le code éthique et de déontologie sur lequel il se fonde à travers une charte ou politique d’évaluation.

Ensuite, le SSE précise et délimite les cadres contractuels et juridiques de la fonction évaluation. Par exemple, dans le cadre d’un financement extérieur, toutes les obligations légales en termes d’évaluation, de financement de l’évaluation ou les modalités de sélection de l’équipe d’évaluation externe.

Le système intègre la présentation de son cadre de gouvernance : les modalités de prise de décision et les mécanismes assurant l’opérationnalité de la fonction support comme l’indépendance de la fonction redevabilité.

Les systèmes interagissent et sont constitués de multiples parties interconnectées qui s’influencent mutuellement. Ainsi le Système de Suivi Evaluation va intégrer dans son cadre de gouvernance et opérationnel les interactions avec les Systèmes de Suivi Evaluation de ses partenaires ainsi que leurs synergies.

Le SSE considère la nécessaire interaction et coordinations entre les différents acteurs de l’évaluation (unités, départements, cellules, etc.), de références et approche commune dans le cadre de différents mandats liés à une même démarche d’intérêt général.

L’élaboration d’études de base ou l’agrégation d’indicateurs n’est pas recherchée à un niveau institutionnel uniquement mais systématiquement global. L’analyse des parties prenantes reflète la constellation des opérateurs de l’évaluation (unités, départements, cellules,…) en interne comme en externe et l’organisation de leurs synergies.

Au-delà d’une série de mesures, de pratiques, de processus, le système embrasse les incertitudes de l’évolution des contextes dans lequel il s’intègre. Dans son rôle de courroie de transmission, il évalue dans quelle mesure le plan de SE est effectif et permet d’atteindre le bon interlocuteur au bon moment et avec une information utile, utilisable et utilisée.

Le plan de suivi évaluation est intégré au système de suivi évaluation
Le plan de Suivi Evaluation est intégré au système de Suivi Evaluation.

Puisque certaines composantes du SSE comme la charte de suivi évaluation ou le manuel de suivi évaluation n’ont pas vocation a être répliquées pour chaque projet, il serait tentant de considérer que le plan de SE s’applique aux projets et programmes alors que le Système de SE couvre l’organisation/institution dans son ensemble.

Mais ce n’est pas le cas : chaque projet ou programme a besoin de s’ancrer dans l’écosystème SE des partenaires existants, de se confronter à sa propre utilité, de planifier, de suivre et d’évaluer une analyse critique propre ou externe. Des Systèmes de SE se déclinent donc au niveau de mesures, projets, programmes ou organisations.

La démarche HQSE permet de respecter différentes étapes et impératifs dans la mise en place d’un SSE tout en tenant compte des limites et résistances à un SSE mal compris ou mal configuré.

Pour aller plus loin

Article connexe : Mettre en place un SSE pour un portefeuille de projets
A télécharger : Plan d’action à compléter pour la mise en place d’un Système de Suivi et Evaluation