Nous nous inspirons de la typologie des systèmes établie par Jacques Lesourne (voir ici).
Puisque toute action (projet, programme, politique publique,…) possède déjà des éléments ou mécanismes, si minimes soient-ils, pouvant s’apparenter à un dispositif ou système de suivi évaluation (des outils de collecte, des indicateurs, des instances de pilotage, de redevabilité, d’apprentissage,…), l’objectif est de permettre d’identifier parmi les systèmes présentés ci-dessous, celui en application dans votre organisation, projet, programme, ou en tout cas celui qui s’en approche le plus.
Par exemple à titre professionnel en tant que chargé de projet, responsable de programme ou responsable suivi évaluation. Ou encore à titre de simple citoyen ou usager : quel système ou quel type de système de suivi et évaluation pour les politiques publiques qui façonnent notre quotidien (accès aux soins, accès à l’éducation, accès à l’emploi, accès au logement, accès à l’énergie, etc.) ?
Le système à états
Le plus basique. Comme tout système, il fait intervenir un processus de transformation, une succession d’entrées (inputs) en une succession de sorties (outputs).
➡ Exemples d’entrées dans un système de Suivi et Evaluation :
- des données quantitatives et qualitatives obtenues via des recherches documentaires, de l’observation, des entretiens, des questionnaires, etc.
- des recommandations
Le statut des recommandations est particulier car il s’agit à la fois d’entrées et de sorties. Une recommandation peut être émise à n’importe quel stade du cycle de projet par toute partie prenante. Chaque recommandation est exposée, discutée et intègre un parcours dans le système : s’agrège à d’autres recommandations, est consolidée ou amendée en fonction des contributions, retours et autres retroactions des parties prenantes.
➡ Exemples de sorties/produits : diagnostic, étude de base, évaluation ex-ante, rapport de Suivi Evaluation (trimestriel, semestriel,…), évaluation intermédiaire, évaluation finale, évaluation ex-post,…
L’état du système sera ainsi considéré comme fonctionnel si les données sont bien incorporées à l’entrée (par exemple en terme de validation du contrôle qualité) et effectivement transformées en sorties/produits (validation méthodologique des évaluations, restitution auprès des parties prenantes, calendrier de suivi des recommandations, respect des délais, etc.).
La spécificité des systèmes à états consiste dans le fait que ceux-ci soient contrôlés de l’extérieur.
Le nombre ou le type d’évaluations, la fréquence et les formats de reporting, la formulation et sélection des indicateurs, ne sont pas des prérogatives de l’équipe en charge de mettre en place le projet dans lequel s’insère ce système.
Ce type de système n’est bien sûr jamais totalement fermé, c’est à dire totalement subis, cependant en fonction de l’organisation effective d’espaces de concertation et de possibilités de réflexion collective, une limite inhérente aux systèmes à état est d’être configurés et utilisés comme de simples instruments de contrôle.
Le système à but
Chaque niveau de système intègre les fonctionnalités du niveau précédent. Le système à but traite ainsi des entrées et des sorties comme dans le système précédent, le système à états.
Dans le système à but, nous ajoutons une soupape de sécurité. Même si le système fonctionne, dans le sens où il affiche bien des entrées et des sorties, à quel point est-il relié à la finalité du projet ou du programme auquel il s’incorpore ?
Pour reprendre l’exemple du système électrique, le système précédent pourra constater qu’une ampoule demeure éteinte malgré l’activation de l’interrupteur. Il y a bien une entrée (input, le courant électrique) mais pas de sortie (output, l’ampoule reste éteinte). Le système à but permet quand à lui et à pour spécificité d’interroger la connexion systématique avec un objectif de plus haut niveau. Dans cet exemple basique, rappeler qu’au delà du simple fait d’installer un système fonctionnel qui permette d’allumer l’ampoule, l’objet initial est bien d’apporter l’éclairage. A partir du constat que la pièce reste dans la pénombre, engager une réflexion sur les causes et les mesures correctrices.
Le système auto-piloté
Le système est dorénavant conçu et élaboré par les équipes en charge de l’action. Son pilotage est également internalisé afin de générer une meilleure réactivité aux mutations de l’environnement et une capacité de régulation plus immédiate.
Cependant, cette autonomie de régulation se limite actuellement dans de nombreux systèmes à la capacité de combler les écarts en fonction d’objectifs pré-déterminés (traiter les boucles de rétroactions négatives). Générer des effets amplificateurs demandera souvent d’adapter des objectifs de rang supérieur, c’est à dire envisager la possibilité de réviser une stratégie.
Le système à apprentissage
Ce type de système ajoute à la transformation des données, à la confrontation systématique d’un objectif de plus haut niveau, à l’appropriation de la conception du SSE mentionnés dans les systèmes précédents, la vocation d’apprentissage effectif.
L’apprentissage n’est alors plus une simple invocation, dépourvue de mise en application concrète. Souvent en cause en terme de limites, la charge excessive du reporting, laissant peu de ressources disponibles pour les autres volets et notamment la montée en puissance de l’apprentissage.
Les modalités de prise de décision s’affinent et s’améliorent en fonction de l’expérience, non pas d’un passé lointain, mais de l’expérience qui est en train d’être vécue. Il s’agit de mettre en valeur et d’exposer les nécessaires tâtonnements initiaux, l’apprentissage par l’erreur.
Cela nécessite cependant une mise en phase préalable avec les organes en charge de la communication. Une posture d’auto-promotion et auto-satisfaction permanente est difficilement compatible avec la transparence et humilité nécessaire à l’exposition de ses manquements ou de ses ratés. Voir évaluation versus communication.
Pour rappel, erreur, du latin Errare signifie « aller à l’aventure », tout projet doit ainsi demeurer une aventure, à défaut, il ne mériterait d’être engagé ou vécu.
Le système organisationnel
Il s’agit ici d’envisager le niveau d’intégration le plus élevé au sein d’une même entité. L’intégration d’un système ou niveau d’une institution ou organisation : par exemple un ministère, une collectivité locale, une ONG…
Les données vont ainsi être consolidées en premier lieu au niveau d’une unité, d’un pôle, d’une direction, d’un département… Ou encore, au niveau d’une zone géographique ou d’un secteur thématique.
Pour autant, il devra toujours s’agir d’une démarche ascendante. Pour rappel, les systèmes sont conçus et pilotés par les équipes opérationnelles. La consolidation débute ainsi par la détection de dénominateurs communs et l’homogénéisation des modes de calculs d’indicateurs ressemblants.
Cette homogénéisation s’effectue à travers un accompagnement aux équipes opérationnelles. Des compromis doivent être trouvés et des arbitrages en fonction de l’utilité, de l’utilisation envisagée et des dates limites d’utilisation des données.
C’est au niveau du système organisationnel que l’apprentissage prend une tout autre dimension. La capitalisation d’expérience consistera ainsi à « transformer les savoirs en connaissances partageables ». Extraire de chaque projet, programme, expérience, une substance de connaissances afin d’alimenter la structure globale dans sa finalité. Dans le temps et dans l’espace : chaque cycle d’un projet alimente l’orientation des prochains cycles pour l’ensemble des projets œuvrant dans la même dynamique.
A cette échelle, l’apprentissage nécessite une impulsion de départ conséquente avec des moyens correspondants et une volonté institutionnelle forte afin d’insuffler une culture de l’apprentissage par l’erreur. A minima une animation de l’apprentissage avec un ou plusieurs postes dédiés, un lieu de partage et d’échange, physique et virtuel, une technologie appropriée, des process et un plan de mise en application.
A ce niveau, l’intérêt est de distinguer ce qui relève de l’homéostasie (les processus de régulation ayant permis de réduire les écarts à la norme) et ce qui relève de l’émergence (l’apparition de nouveaux effets multiplicateurs).
Les systèmes intégrés
Les systèmes intégrés sont les plus complexes et illustrent les interactions entre les différents systèmes de suivi et évaluation au sein d’entités multiples. Que cela soit la multitude de parties prenantes unies autour d’un même projet à l’échelon local ou encore un ensemble de gouvernements mobilisés autour d’une même politique publique (l’accès à l’eau, lutte contre le terrorisme,…) à un échelon global.
Lorsque l’analyse systémique est appliquée à des systèmes intégrés, c’est la finalité des systèmes politiques, économiques et sociaux qui est interrogée. Les civilisations ou choix de société. L’émergence des critères qui font sens pour chaque acteur. En ce sens, les dispositifs d’évaluation basés sur la performance uniquement se réduisent à des outils de management. Dans le cadre de contextes incandescents, comme le déclenchement d’un conflit armé ou l’adaptation au changement climatique, ils se relèvent non seulement inopérants mais freins ou carcans potentiels à une mise à jour de la finalité des organisations.
Pour évoluer, ce type de système se base sur des outils de construction de concensus, encore trop peu représentés dans les manuels ou pratiques actuels d’évaluation.
Récapitulons :
L’enchâssement des différents types de système de suivi évaluation
Tableau récapitulatif
| Systèmes intégrés | Les systèmes des différentes organisations sont connectés et circonscrivent des politiques publiques à l’échelon local ou global. |
| Système organisationnel | Les systèmes des projets et programmes sont considérés comme autant de sous-systèmes et s’intègrent au niveau d’un système opérationnel au niveau de l’organisation ou institution qui le porte. Les apprentissages sont mutualisés et agrégés au niveau de l’organisation. |
| Système à apprentissage | Le système comporte une composante apprentissage opérationnelle et effective. |
| Système autopiloté | Le système est conçu et piloté par les opérationnels en charge de l’action. |
| Système à but | Le système relie et confronte systématiquement les données produites aux objectifs de rang supérieur de l’action, projet, programme, mesures auquel le système est relié. |
| Système à états | Le système est opérationnel ou dysfonctionnel dans le sens où il collecte ou non des données, produit ou non des rapports de suivi, des évaluations, etc. |
Quel type de système de suivi évaluation dans votre structure ?
Télécharger la grille d’autodiagnostic ci-dessous afin de considérer quel type de système est en place dans votre organisation :
Pour aller plus loin :
- Qu’est-ce qu’un SSE ?
- Les différents types de SSE
- Les dysfonctions de systèmes de suivi évaluation
Date de première diffusion : juillet 22