Concevoir un système de suivi évaluation

Un système de suivi évaluation sur mesure

Un Système de Suivi et Evaluation est forcément conçu sur mesure. Il n’existe pas de modèle type. Il est le résultat de décisions stratégiques, arbitrages et compromis. Comme souvent en évaluation, l’exercice de conception du système est aussi riche en apprentissage que le résultat fini et l’usage qui sera fait du système établi.

Les outils du tailleur : un système de suivi et évaluation est conçu sur mesure.
Un système de suivi et évaluation systématiquement conçu sur mesure.

Quel est le rôle d’un système de suivi et évaluation ?

Le système de suivi évaluation sert trois fonctions principales :

  • une boussole pour le projet, le programme, ou la structure : un instrument d’orientation afin de connaître notre direction
  • un gouvernail : un dispositif de pilotage permettant de ré-orienter l’action
  • une courroie de transmission : une dynamique permettant à chaque acteur d’interagir sur le sens de l’action
Boussole, gouvernail et courroie de transmission : les 3 fonctions du système de suivi et évaluation
Les fonctions d’un système de suivi et évaluation : boussole, gouvernail et courroie de transmission.

Quelle différence entre un système et un dispositif de suivi et évaluation ?

Dans le vocabulaire quotidien des projets et organisations, la nuance est très fine et les deux sont souvent utilisés de manière interchangeable : le SSE décrivant au même titre qu’un dispositif l’ensemble des pratiques et des outils de suivi et évaluation au sein d’un projet, programme ou institution.

En réalité, elle est fondamentale en ce qui concerne la compréhension de ce qu’est l’évaluation :

  • un système comporte des interactions, des causalités non linéaires
  • un système est global et le tout est plus que la somme des parties (contrairement à un dispositif compris comme une simple trousse à outils)
  • le système intègre une notion de complexité à différents niveaux :
    – l’incertitude de l’environnement (contrairement à un dispositif pouvant prétendre être sans faille)
    – l’impossibilité d’identifier et de maitriser tous les éléments et relations en jeu

Un système se définit dans une approche globale, holistique, de l’institution et son environnement mais aussi de l’usager.

L’approche est ainsi plus modeste et considère la part d’aléatoire à tout projet porté par des homo sapiens. Le système considère ses liens et interactions avec d’autres départements et fonctions (management, audit, communication, etc.) ce qui n’est pas forcément le cas d’un dispositif qui peut être appréhendé de manière isolé.

Quelle différence entre un Système de Suivi et Evaluation et un Plan de Suivi Evaluation ?

De la même manière, l’incorporation d’organes ou cellules spécifiques dédiés à l’évaluation dans les institutions reste relativement récente et chaque structure pourra se prévaloir de nuances qui lui sont propres.

Le plan de Suivi Evaluation est le volet opérationnel. Il renseigne sur les processus de collecte, de traitement et d’analyse de données, spécifiant les responsabilités des différents acteurs. Son but est d’organiser les flux d’informations, présenter les outils et logiciels utilisés, le contrôle qualité, les mesures de protection des données, les formations et processus de montée en compétences sur les outils de SE. Décliner les moyens humains, techniques et financiers mobilisés afin de démontrer l’utilité de la fonction évaluation et les fonctionnalités du SSE. Egalement, démontrer les possibilités effectives de prises de décision opérationnelles ou stratégiques à travers la visualisation des processus de prise de décision. Enfin, présenter l’organisation de la fonction apprentissage ou le lien explicite entre évaluation et apprentissage.

Le plan de SE est un document technique, plutôt à vocation interne et est une composante à part entière du Système de Suivi Evaluation.

Le Système de Suivi Evaluation a un champ bien plus large.

Tout d’abord le SSE expose les principes, normes et standards, le code éthique et de déontologie sur lequel il se fonde à travers une charte ou politique d’évaluation.

Ensuite, le SSE précise et délimite les cadres contractuels et juridiques de la fonction évaluation. Par exemple, dans le cadre d’un financement extérieur, toutes les obligations légales en termes d’évaluation, de financement de l’évaluation ou les modalités de sélection de l’équipe d’évaluation externe.

Le système intègre la présentation de son cadre de gouvernance : les modalités de prise de décision et les mécanismes assurant l’opérationnalité de la fonction support comme l’indépendance de la fonction redevabilité.

Les systèmes interagissent et sont constitués de multiples parties interconnectées qui s’influencent mutuellement. Ainsi le Système de Suivi Evaluation va intégrer dans son cadre de gouvernance et opérationnel les interactions avec les Systèmes de Suivi Evaluation de ses partenaires ainsi que leurs synergies.

Le SSE considère la nécessaire interaction et coordinations entre les différents acteurs de l’évaluation (unités, départements, cellules, etc.), de références et approche commune dans le cadre de différents mandats liés à une même démarche d’intérêt général.

L’élaboration d’études de base ou l’agrégation d’indicateurs n’est pas recherchée à un niveau institutionnel uniquement mais systématiquement global. L’analyse des parties prenantes reflète la constellation des opérateurs de l’évaluation (unités, départements, cellules,…) en interne comme en externe et l’organisation de leurs synergies.

Au-delà d’une série de mesures, de pratiques, de processus, le système embrasse les incertitudes de l’évolution des contextes dans lequel il s’intègre. Dans son rôle de courroie de transmission, il évalue dans quelle mesure le plan de SE est effectif et permet d’atteindre le bon interlocuteur au bon moment et avec une information utile, utilisable et utilisée.

Le plan de suivi évaluation est intégré au système de suivi évaluation
Le plan de Suivi Evaluation est intégré au système de Suivi Evaluation.

Puisque certaines composantes du SSE comme la charte de suivi évaluation ou le manuel de suivi évaluation n’ont pas vocation à être répliquées pour chaque projet, il serait tentant de considérer que le plan de SE s’applique aux projets et programmes alors que le Système de SE couvre l’organisation/institution dans son ensemble.

Mais ce n’est pas le cas : chaque projet ou programme a besoin de s’ancrer dans l’écosystème SE des partenaires existants, de se confronter à sa propre utilité, de planifier, de suivre et d’évaluer une analyse critique propre ou externe. Des Systèmes de SE se déclinent donc au niveau de mesures, projets, programmes ou organisations.

Quels sont les « livrables » d’un système de suivi et évaluation ?

Puisque les systèmes sont encore souvent conçus par des consultants extérieurs, nous conserverons ici le terme de livrables pour décrire les composantes d’un SSE. « Livrable » dans le sens de produit fini, qui indique qu’un jalon à été franchi. Dans le langage de la consultance, la possibilité de facturation. 

Ci-dessous des éléments tangibles qui composeront le système à l’intérieur duquel s’intègre le plan de suivi évaluation. 

Bien sûr, la liste n’est pas exhaustive, la frontière entre plan et système n’est pas définitive et chaque composante est en interaction permanente. Par exemple le plan de formation au système de suivi évaluation se nourrit et se construit sur la formation au plan de suivi évaluation et inversement, voire s’inscrivent dans le quotidien d’une organisation sous la forme d’une même et unique formation…

Enfin, chaque composante peut être développée séparément et faire l’objet d’un document spécifique, par exemple un document de présentation de la gouvernance de l’évaluation, mais être réunies au sein d’une synthèse plus globale du système de suivi et évaluation. Le tout conçu pour être adaptable, évolutif et sur-mesure à l’exception des considérations éthiques et déontologiques.

Les composantes varient encore en fonction de l’ampleur de l’institution qui porte le SSE : élaborer son propre code éthique sera potentiellement trop contraignant pour une ONG de taille réduite mais indispensable à l’échelle d’un ministère, etc.

Les livrables d’un système de suivi et évaluation.
Livrable s’entend ici dans son sens classique de produit, de service, de jalon achevé. De rouage essentiel, sans lequel le mécanisme est dysfonctionnel. D’élément de charpente, ossature de toute construction. Par « gouvernance de l’évaluation » s’entend ainsi la matérialisation d’un produit phare du SSE : par exemple le document de présentation institutionnelle de la gouvernance, validé par le comité de direction et conseil d’administration.

La démarche HQSE permet de respecter différentes étapes et impératifs dans la mise en place d’un SSE tout en tenant compte des limites et résistances à un SSE mal compris ou mal configuré.

Néanmoins, avant d’entreprendre les étapes pragmatiques de mise en place d’un système de suivi évaluation, il est primordial de s’intéresser à la notion même de système :

Pour aller plus loin

Introduction


Article connexe : Mettre en place un SSE pour un portefeuille de projets
A télécharger : Plan d’action à compléter pour la mise en place d’un Système de Suivi et Evaluation


Date de première diffusion : septembre 2020
Dernière actualisation : juillet 202
3