Les différents types de systèmes de suivi et évaluation

Nous nous inspirons de la typologie des systèmes établie par Jacques Lesourne (voir ici). Puisque toute action (projet, programme, politique publique,…) possède déjà des éléments pouvant s’apparenter à un dispositif ou système de suivi évaluation (des outils de collecte, des indicateurs, des instances de pilotage, de redevabilité, d’apprentissage,…) l’objectif est de permettre d’identifier parmi les systèmes présentés ci-dessous, celui qui s’applique dans votre organisation, projet, programme. Par exemple en tant chargé de projet, responsable de programme ou responsable suivi évaluation. Ou encore en tant que citoyen ou usager : quel format de système de suivi et évaluation pour les politiques publiques qui façonnent votre quotidien (accès au soin, accès à l’éducation, accès à l’emploi, accès au logement, etc.) ?

Le système à états

Le plus basique. Comme tout système, il fait intervenir un processus de transformation, une succession d’entrées en une succession de sorties

Exemples d’entrées dans un système de Suivi et Evaluation : 

Le statut de recommandations est particulier car il s’agit à la fois d’entrées et de sorties. Une recommandation peut être émise à n’importe quel stade du cycle de projet par toute partie prenante. Chaque recommandation est exposée, discutée et intègre un parcours dans le système : s’agrège à d’autres recommandations, est consolidée ou amendée en fonction des contributions, retours et autres retroactions des parties prenantes.

Exemples de sorties/produits : rapport de SE trimestriel, rapport de SE semestriel, diagnostic, étude de base, évaluation ex-ante, évaluation intermédiaire, évaluation finale, évaluation ex-post,…

Son « état » sera ainsi considéré comme fonctionnel si les données sont bien incorporées à l’entrée (par exemple en terme de validation du contrôle qualité) et effectivement transformées en sorties/produits (validation méthodologique des évaluations, restitution auprès des parties prenantes, respect des délais, etc.).

La spécificité des systèmes à états est que ceux-ci sont contrôlés de l’extérieur.

Le nombre ou le type d’évaluation, la fréquence et les formats de reporting, la sélection des indicateurs, ne sont pas des prérogatives de l’équipe en charge de mettre en place le projet. Ce type de système n’est jamais totalement fermé, cependant en fonction de l’organisation effective d’espaces de concertation et de possibilités de réflexion collective, une limite inhérente à ce type de système est d’être configuré comme un simple instrument de contrôle. 

Le système à but

Chaque niveau de système intègre les fonctionnalités du niveau précédent. Le système à but traite ainsi des entrées et des sorties comme dans le système présenté ci-dessus, le système à états. 

Dans le système à but, nous ajoutons une soupape de sécurité. Même si le système fonctionne, dans le sens où il produit des entrées et des sorties, à quel point est-il relié à la finalité du projet ou du programme qu’il soutient ?

Pour reprendre l’exemple du système électrique, le système à états pourra constater qu’une ampoule reste éteinte malgré l’activation de l’interrupteur. Il y a bien une entrée (input, le courant électrique) mais pas de sortie (output, l’ampoule reste éteinte). Le système à but permet d’interroger et de systématiser la connexion avec un objectif de plus haut niveau. Dans cet exemple basique, rappeler que l’objet initial du sytème est bien d’apporter l’éclairage de la pièce au-delà du simple fait d’allumer une ampoule. A partir du constat que la pièce reste dans la pénombre, engager une réflexion sur les causes et les mesures correctrices. 

Le système auto-piloté

Le système est élaboré par les équipes en charge de l’action. Son pilotage est également interne ce qui permet une meilleure réactivité aux mutations de l’environnement grâce à une capacité de régulation plus immédiate.  

Cependant, cette capacité de régulation se limite actuellement dans de nombreux systèmes à la capacité de combler les écarts par rapports à des objectifs pré-déterminés (traiter les boucles de rétroactions négatives). Générer des effets amplificateurs demandera souvent d’adapter des objectifs de rang supérieur, c’est à dire envisager la possibilité de réviser une stratégie. 

Le système à apprentissage

Ce type de système ajoute à la transmission de données et à l’amélioration du pilotage mentionnés dans les systèmes précédents, la vocation d’apprentissage effectif.

L’apprentissage n’est alors plus une simple invocation, dépourvue de mise en application concrète. Souvent en cause, la charge excessive du reporting, laissant peu de ressources disponibles pour les autres volets et notamment la montée en puissance de l’apprentissage.

Les modalités de prise de décision s’affinent et s’améliorent en fonction de l’expérience, non pas d’un passé lointain, mais de l’expérience qui est en train d’être vécue. Il s’agit de mettre en valeur et d’exposer les nécessaires tâtonnements initiaux, l’apprentissage par l’erreur. 

Cela nécessite cependant une mise en phase préalable avec les organes en charge de la communication. Une posture d’auto-promotion et auto-satisfaction permanente est difficilement compatible avec la transparence et humilité nécessaire à l’exposition de ses manquements ou de ses ratés. 

Pour rappel, erreur, du latin Errare signifie « aller à l’aventure », tout projet doit ainsi demeurer une aventure, à défaut, il ne mériterait d’être engagé ou vécu. 

Le système organisationnel

Il s’agit ici d’envisager le niveau d’intégration le plus élevé au sein d’une même entité. Par exemple une institution ou organisation : un ministère, une collectivité locale, une ONG…

Les données vont ainsi être consolidées en premier lieu au niveau d’une unité, d’un pôle, d’une direction, d’un département… Ou encore, au niveau d’une zone géographique ou d’un secteur thématique. 

Pour autant, il devra toujours s’agir d’une démarche ascendante. Pour rappel, les systèmes sont conçus et pilotés par les équipes opérationnelles. La consolidation débute ainsi par la détection de dénominateurs communs et l’homogénéisation des modes de calculs d’indicateurs ressemblants.

Cette homogénéisation s’effectue en priorisant l’accompagnement aux équipes opérationnelles. Des compromis doivent être trouvés et des arbitrages en fonction de l’utilité, de l’utilisation envisagée et des dates limites d’utilisation des données. 

C’est au niveau du système organisationnel que l’apprentissage prend une tout autre dimension. La capitalisation d’expérience consistera ainsi à « transformer les savoirs en connaissances partageables ». Extraire de chaque projet, programme, expérience, une substance de connaissances afin d’alimenter la structure globale dans sa finalité. Dans le temps et dans l’espace : chaque cycle d’un projet alimente l’orientation des prochains cycles pour l’ensemble des projets œuvrant dans la même dynamique. 

A cette échelle, l’apprentissage nécessite une impulsion de départ conséquente avec des moyens correspondants et une volonté institutionnelle forte afin d’insuffler une culture de l’apprentissage par l’erreur. A minima une animation de l’apprentissage avec un ou plusieurs postes dédiés, un lieu de partage et d’échange, physique et virtuel, une technologie appropriée, des process et un plan de mise en application. 

A ce niveau, l’intérêt est de distinguer ce qui relève de l’homéostasie (les processus de régulation ayant permis de réduire les écarts à la norme) et ce qui relève de l’émergence (l’apparition de nouveaux effets multiplicateurs).

Les systèmes intégrés 

Les systèmes intégrés sont les plus complexes et illustrent les interactions entre les différents systèmes de suivi et évaluation au sein d’entités multiples. Que cela soit la multitude de parties prenantes unies autour d’un même projet à l’échelon local ou encore un ensemble de gouvernements mobilisés autour d’une même politique publique (l’accès à l’eau, lutte contre le terrorisme,…) à un échelon global.

Lorsque l’analyse systémique est appliquée à des systèmes intégrés, c’est la finalité des systèmes politiques, économiques et sociaux qui est interrogée. Les civilisations ou choix de société. L’émergence des critères qui font sens pour chaque acteur. En ce sens, les dispositifs d’évaluation basés sur la performance uniquement se réduisent à des outils de management. Dans le cadre de contextes incandescents, comme le déclenchement d’un conflit armé ou l’adaptation au changement climatique, ils se relèvent non seulement inopérants mais freins ou carcans potentiels à une mise à jour de la finalité des organisations.

Pour évoluer, ce type de système se base sur des outils de construction de concensus, encore trop peu représentés dans les manuels ou pratiques actuels d’évaluation. 

Récapitulons :
L’enchâssement des différents types de système de suivi évaluation
Tableau récapitulatif
Systèmes intégrésLes systèmes des différentes organisations sont connectés et circonscrivent des politiques publiques à l’échelon local ou global.
Système organisationnelLes systèmes des projets et programmes sont considérés comme autant de sous-systèmes et s’intègrent au niveau d’un système opérationnel au niveau de l’organisation ou institution qui le porte. Les apprentissages sont mutualisés et agrégés au niveau de l’organisation.
Système à apprentissageLe système comporte une composante apprentissage opérationnelle et effective.
Système autopilotéLe système est conçu et piloté par les opérationnels en charge de l’action.
Système à butLe système relie et confronte systématiquement les données produites aux objectifs de rang supérieur de l’action, projet, programme, mesures auquel le système est relié.
Système à étatsLe système est opérationnel ou dysfonctionnel dans le sens où il collecte ou non des données, produit ou non des rapports de suivi, des évaluations, etc.

Quel type de système de suivi évaluation dans votre structure ?

Télécharger la grille d’autodiagnostic ci-dessous afin de considérer quel type de système est en place dans votre organisation :

AUTODIAGNOSTIC

Pour aller plus loin :

Qu’est-ce qu’un SSE ?
Les différents types de SSE

Concevoir un système de suivi et évaluation
Les phases principales de mise en place d’un SSE