Un Système de Suivi Evaluation (SSE) est l’ensemble des composantes en interaction permettant d’orienter un projet, programme ou institution en fonction de sa finalité, en adéquation avec ses valeurs et incorporé à son mode de gouvernance.
A travers cette définition, le SSE n’est pas un simple processus d’aide à la décision à destination des décideurs. Il agit comme un dispositif d’accompagnement, intégré à l’objet même de l’institution, dans une double responsabilité de transparence et d’apprentissage.
Des notions de systémique pour appréhender la mise en place d’un système
Abordons tout d’abord certains concepts de systémique au risque de paraitre ésotérique. Encore un peu de patience, nous reviendrons à un stade ultérieur aux méthodes, indicateurs, techniques de recueil de données, contrôle qualité, recommandations et autres considérations plus tangibles qui font le suc des professionnels de l’évaluation.
Pourquoi revenir sur les fondamentaux de la systémique avant d’aborder les étapes de mise en place d’un système de suivi et évaluation ?
Tout simplement car dans un système de suivi évaluation comme dans tout système, un seul composant est manquant ou défectueux, une seule connexion est intermittente ou défaillante et c’est l’ensemble du système qui risque de se révéler dysfonctionnel.
Ainsi à travers cette approche, l’objectif est de pouvoir détecter immédiatement les points de dysfonction afin de mieux pouvoir les traiter.
Tout d’abord, introduisons deux 2 concepts clés de la systémique :
- Homéostasie : le processus de régulation par lequel un organisme maintient différentes constantes, c’est à dire la capacité de résister au changement et de conserver un état d’équilibre.
- Téléologie : l’étude des finalités, nécessaire pour comprendre toute organisation à partir de son objet ou de sa raison d’être.
En liant les deux, nous considérerons ainsi au coeur du SSE la gouvernance du système, sa capacité d’autorégulation au regard de sa finalité. C’est à dire une réflexion sur la finalité de chaque institution combinée à sa capacité d’adaptation pour répondre à cette finalité. Soit en faisant évoluer le mandat au regard des mutations de l’environnement, soit en récréant les conditions d’un retour à l’équilibre.
Si nous ajoutons la définition de l’évaluation en tant que délibération sur les valeurs, nous obtenons un triptyque ou chaque levier mérite d’être activé. Néanmoins, seule l’institution, à travers son mode de gouvernance sera légitime pour rendre opérationnel chacun de ces piliers. En ce sens, les équipes de SE ne se substituent en aucun cas à la direction d’une institution mais garantissent, tout au long de la chaine hiérarchique, un rappel systématique à la finalité et aux valeurs initiales de l’institution qui porte le système.
Explorons maintenant notre SSE en fonction des principes de l’analyse systémique :
La globalité
Un SSE est plus qu’une succession d’outils, de tableaux de bords, d’indicateurs, de graphiques ou de rapports. C’est l’apport du système à la finalité du projet, du programme ou de la politique qui doit être apprécié et suivi. Quelles sont les propriétés nouvelles engendrées par le SSE ? Quelles sont les tendances ? Quel espace pour la créativité ? Ou encore sur l’angle du climat, est-ce que le SSE permet l’anticipation progressive des chocs climatiques sur le déroulé de l’action ? Globalement il s’agit de créer les conditions de l’émergence de nouveaux comportements.
Les interactions
Est-ce que les interactions entre les composantes du système sont toujours pensées dans un cadre de réciprocité ? Par exemple un retour équilibré entre le reporting auprès de bailleurs de fonds et celui auprès des bénéficiaires. Est-ce que les recommandations émises par toutes les parties prenantes sont réceptionnées et considérées ? Susceptibles de recevoir une appréciation ou un retour ? Ou encore, à quel point les effets du projet sur le plan environnemental sont analysés et compensés ?
La complexité
Les programmes de développement ou politiques publiques sont multi-acteurs, incertains par définition dans leurs stratégies et s’inscrivent dans des environnements fluctuants. Parfois des zones de conflits ou des terrains politiques volatiles. A quel point la complexité de l’intervention est anticipée et analysée ? A quel point les incertitudes de l’environnement sont intégrées à la démarche et notamment des forums et espaces de discussion pour aborder des scénarios non linéaires de réponses apportées ? Est-ce que cette complexité est explicitée dans sa forme la plus simple possible pour l’ensemble des acteurs concernés, même les plus éloignés ?
L’organisation
L’organisation interroge l’assemblage des composantes du SSE. Comment les différents acteurs du SSE ont-ils été positionnés ? S’agit-il d’une organisation hiérarchique (voir le positionnement du SE dans l’organigramme) ? Ou encore, une organisation sous forme d’arborescence avec des sous-systèmes ? Quelle est la gouvernance de cette organisation, quelles en sont les règles de régulation ? A l’inverse est-ce qu’un degré de désorganisation, de désordre pourrait être caractérisé ?
Récapitulons :
Les concepts de la systémique appliqués à un système de suivi et évaluation
Aspects structurels
Le périmètre du système (limites)
Le périmètre du système de suivi évaluation peut être un projet, un programme, une institution, une mesure ou une politique publique. Ou encore à une échelle nationale ou supranationale, voir par exemple l’institutionnalisation de l’évaluation dans un système démocratique.
Il est intéressant d’introduire ici la notion d’arborescence et la possibilité de décomposer des systèmes en sous-systèmes.
Par exemple, le périmètre du SSE d’un programme inclut l’ensemble des SSE des projets qui le compose, considérés comme autant de sous-systèmes. Pour autant, chaque projet dispose d’objectifs qui lui sont propres et donc se dote d’un SSE spécifique et sur mesure. Il faut viser l’intégration des sous-systèmes en système mais ne pas s’y conformer. Le SSE d’une politique publique ne saurait se réduire au cumul des SSE sur les mesures mises en oeuvre, puisque la stratégie découle en partie de la pertinence de la combinaison des mesures sélectionnées.
Pour nous aider à circonscrire le périmètre d’un SSE, nous devrions toujours considérer l’objectif de plus haut niveau du projet, programme, politique publique dans lequel il s’insère.
Les éléments constitutifs (composants)
Nous avons vu que les composants d’un système peuvent être homogènes ou hétérogènes. Nous distinguerons ici l’organisation des ressources humaines, c’est à dire le positionnement du SE dans l’organigramme (les pièces sur l’échiquier) des textes constitutifs (les règles du jeu).
Néanmoins, à l’inverse des échecs, les conditions de départ ne sont pas les mêmes pour tous et chaque système devra ainsi être paramètré, avec un niveau d’exigence minimal et critère principal la fonctionnalité du système.
Exemples de moyens humains :
- département ou unité d’évaluation indépendante
- département ou unité de suivi évaluation (soutien et accompagnement des programmes et des équipes opérationnelles)
- responsable suivi évaluation apprentissage
- chargé-es de suivi évaluation apprentissage
- enquêteurs, chargé-es de collecte données
- …
Chaque composante étant déclinable en sous-composantes, par exemple au sein du département SE, des profils techniques de statisticiens, de sociologues, de cartographes, des experts thématiques, etc.
Voir les métiers de l’évaluation
Exemples de textes constitutifs :
- charte de suivi évaluation
- politique de suivi évaluation
- manuel de suivi évaluation
- cadre contractuel et juridique
- le cadre de gouvernance du SSE
- …
Voir la gouvernance de l’évaluation
Ces textes ont pour objet de définir à minima :
- des principes directeurs, normes et standards
- un code éthique et déontologique
- les pratiques et techniques
- l’environnement légal et administratif (par exemple des évaluations obligatoires par décret ou fixées dans le cadre de la relation contractuel avec un bailleur de fonds)
Le réseau
Le réseau du système de suivi et évaluation est conçu afin de permettre la circulation des flux : des données, des informations et de la connaissance.
L’architecture de ce réseau sera explicité à minima dans le format de rapportage et de manière plus large dans le manuel de SE : comment, c’est à dire par quel biais l’information circulera. Par exemple entre des bénéficiaires et une ONG ? Entre un établissement public et son ministère de tutelle ? Entre un responsable SE au niveau d’un programme et la cellule SE chargée de l’accompagner ?
Ce réseau est multiple et peut être configuré grâce à un logiciel spécifique de SE ou l’ensemble des voies alternatives de communication : mail, applications de gestion de projets, messageries instantanés, réseaux sociaux…
Pour des enjeux commerciaux, nous ne référençons pas ici les logiciels et applications SE disponibles.
Quelques considérations néanmoins :
- la multiplicité de réseaux parallèles et possibilités offertes pour transmettre une information (une douzaine d’options pour contacter un même interlocuteur entre les messageries, les applications,…) peut se révéler contreproductive. D’une part le risque d’utiliser un vecteur qui n’est pas ou plus consulté et d’autre part un délai potentiellement plus long lorsqu’il faut rechercher l’information initiale : quel avait été le vecteur de communication ?
- la localisation des serveurs : dans une démarche de souveraineté numérique, le transfert de données confidentielles ou de données personnelles hors du pays de mise en oeuvre est une question sensible et insuffisamment prise en compte.
Attention à ne pas sacrifier les connexions informelles !
Dans une tendance d’accélération du travail à distance, que cela soit pour des raisons sanitaires ou de décarbonation, il convient de mettre en valeur la nécessité de tisser dans le réseau des liens informels.
A titre de comparaison, le célèbre FIKA, la pause café suédoise, réunion informelle et conviviale entre collaborateurs, tenue deux fois par jour. Cette pause est considérée comme un état d’esprit, reflétant la culture organisationnelle et condition préalable pour un bon esprit d’équipe.
A distance, il convient ainsi d’ouvrir de nouvelles formes ou modes de communication. Très basique, cela peut-être des temps informels en amont ou en aval des réunions (visioconférences) officielles.
Dans leurs rôles de modérateurs, les réunions focalisées sur l’apprentissage (voir séminaires SEA) menées par les référents SE (quels sont les réussites et les échecs du projet ? comment aurions-nous pu faire autrement ? comment pourrions-nous faire mieux la prochaine fois ?) sont une opportunité de libérer la parole et de croiser les regards entre les différentes fonctions au sein d’une équipe.
Les réservoirs
Il s’agit ici, pour la phase de conception du SSE, d’anticiper le stockage et la localisation de toutes les données du SE. Les enjeux sont aussi bien techniques (sélections des outils, des serveurs, volume des données…) que juridiques et sécuritaires (RGPD, protection des données personnelles, habilitations, confidentialité,…).
Par réservoir, nous entendons donc tout support d’information susceptible de recueillir des données qui alimentent la fonction d’orientation du projet en fonction de son but.
A titre de contre-exemple, une communauté mécontente d’un programme dont la parole n’aura pas été entendue (à travers un mécanisme de gestion des plaintes ou autre dispositif SE) constitue également un potentiel réservoir, c’est à dire une source de donnée, dans ce cas précis non-exploitée.
Les réservoirs traditionnels :
- diagnostics, études de base
- bases de données
- tableaux de bords
- tableaux de suivi des indicateurs
- rapports mensuels, annuels, de fin de programme…
- évaluations ex-ante, intermédiaire, finale, ex-post
- capitalisations d’expérience
- centres de ressources
- communautés de pratiques
- …
Bien sûr, même si le terme n’est pas très poétique, il faut penser les sources d’informations en temps que réservoir « humain ». Lors de rotation du personnel, c’est toute une partie de la mémoire d’une expérience qui quitte le navire. L’apprentissage et les méthodes orientées sur la capitalisation d’expérience nous permettront d’anticiper au mieux ces enjeux.
La visualisation des réservoirs sur le réseau nous permet ainsi de localiser l’information et en cas de blocage ou de rétention volontaire ou involontaire d’information, quelles valves activer pour libérer les flux. Il s’agit alors de l’aspect fonctionnel.
Récapitulons :
Penser le système de suivi évaluation en terme de structure
Aspects fonctionnels
Une fois l’architecture du système esquissée, nous allons pouvoir établir son mode de fonctionnement.
Les flux
Qu’est-ce qui circule entre les différentes composantes du SSE ?
Nous avons vu précédemment que le SSE joue un rôle de courroie de distribution et son intégration se réalise de manière horizontale et verticale dans une organisation. Si ce n’était pas encore le cas (par exemple aucune fonction évaluation formellement définie et attachée au comité de pilotage d’un programme) alors nous considérerons les flux entre toutes parties prenantes du programme et pas uniquement entre les éléments constitutifs (la coordination des unités SE sur l’ensemble d’un organigramme). C’est à dire qu’une fois le système opérationnel, les unités SE sont chargées de la circulation des données et de la fluidité de la circulation de ces informations auprès de l’ensemble des acteurs.
Nous distinguerons trois principaux types de flux :
- des données quantitatives
- des données qualitatives
- des recommandations
Le saviez-vous ?
Un feedback, n’est pas à l’origine un simple retour d’expérience. Le terme est apparu lors d’essais pour la mise au point de missiles à tête chercheuse. Le retour d’expérience prend ainsi en considération le déplacement de la cible d’origine et la correction nécessaire de l’objectif visé en fonction du positionnement le plus récent de la cible.
Des centres de décisions
Les centres décisionnels doivent tout d’abord être identifiés, tâche relativement aisée dans le cadre d’un fonctionnement hiérarchique. Les modalités de prise de décision doivent cependant être clairement explicitées, pour un fonctionnement plus ou moins participatif et tel qu’envisagé par les instances de gouvernance.
Rappelons qu’un centre décisionnel doit toujours installer et comporter une voie de recours. Afin qu’il puisse être fait appel d’un arbitrage dans un cadre prévu par les instances de gouvernance et sur base des textes constitutifs (charte SE, règlement interne, etc.).
Ajoutons que l’émission de retours d’expériences et de recommandations est de la responsabilité de chaque acteur du système. La responsabilité des centres de décision inclut ainsi de traiter et d’organiser les retours vers les émetteurs. Ainsi, conserver une trace des orientations émises, considérées ou non, tout au long du déroulé de l’action.
L’analyse systémique nous permet de détecter les centres de décisions informels, notamment les blocages dans les mises en application. Par exemple, si une recommandation validée n’est pas mise en oeuvre, il est intéressant de comprendre quelles prises de décision ont abouties sur une inaction, quel a été le jeu d’acteurs qui a engendré l’immobilisme, quel que soit le cadre hiérarchique.
Enfin, les centres de décisions ont pour objet d’influer sur le débit des flux : données quantitatives et qualitatives, émission de recommandations. Cela signifie tout simplement prioriser certaines questions évaluatives en fonction des enjeux ou introduire de nouvelles questions évaluatives au fil du déroulé de l’action. Le SSE évolue dans le temps et ce sont les centres décisionnels qui demeurent en responsabilité de faire évoluer le besoin de données en fonction de l’évolution des contextes.
Les délais de réponse
Même si la la diversité des contextes et des enjeux ne permettent aucunement de fixer des délais types, il convient de rappeler que les délais de réponses sont un axe de considération central qui va influer sur la qualité du SSE. Cet axe est à considérer en terme d’équilibre (voir démarche HQSE).
Trop rapide, il pourra s’agir d’une réponse arbitraire, basée sur un socle de données insuffisant, une participation limitée, un choix d’alternatives restreint.
Trop lent, le système ne joue plus son rôle. Le non-traitement ou non-considération de données clés ou recommandations dans un délai court contribue tout d’abord à une production de données et de recommandations obsolètes au niveau de l’action en question. Dans le cadre d’un programme pilote, cette lenteur risque de se propager et limiter l’ensemble de l’apprentissage organisationnel.
Des délais hors-normes, en ne prenant pas en compte tout d’abord des signaux faibles puis des alarmes répétées ne permettent pas les ajustements nécessaires dans le temps de l’action. Ce qui va affecter progressivement la finalité même du système et la possibilité de détecter des écarts par rapport au mandat de la structure qui porte l’action.
Ces délais affectent la crédibilité d’une structure et génère un manque de confiance qui pourra également créer des blocages dans les centres de décisions formels ou informels évoqués ci-dessus.
Le SSE est au service de la finalité d’un programme et doit veiller à ne pas ralentir les opérations comme considération première. Ainsi, des délais de réponses élevés liés à une surcharge des équipes opérationnelles est à considérer comme un positionnement inadéquat du SSE, pesant trop fortement sur la direction ou le management et une autonomie insuffisante de la fonction SE.
A l’inverse, ces absences de réponses sont à considérer dans le cadre général de la gestion des ressources humaines d’une structure. Des délais hors-normes ne sont pas une option et sont symptomatiques d’un cadre de fonctionnement plus global d’une institution. Le lien entre unités évaluation et encadrement est ainsi à consolider et fortifier en permanence. Parallèlement, des délais hors-normes devraient alerter sur une potentielle marginalisation des services de suivi et évaluation et éclairer les instances de gouvernances au plus haut niveau sur la possibilité effective de redevabilité et d’apprentissage.
En bref, les délais de réponse éclairent sur la réactivité d’un système de suivi évaluation. Cette réactivité est au coeur du système afin d’approcher ou appuyer la prise de décision en temps réel.
Les boucles de rétroaction
La considération des boucles de rétroaction est l’élément le plus central dans la conception d’un SSE.
Littéralement, une rétroaction est un effet en retour.
Toute action va générer un effet. Même une absence d’effet est notable et est un effet en soi. On parlera de « boucle » pour illustrer ce cycle continu. Organisé ou non. Volontaire ou non.
Au fondement du système de suivi et évaluation est l’organisation de ce cycle.
La rétroaction ainsi est le processus par lequel les effets d’une action sont utilisés comme source (inputs) pour orienter les opérations à venir.
Nous distinguerons ici 2 types de feedbacks : positif et négatif. Attention, les termes ont été galvaudés et ne contiennent aucun jugement de valeur : un feedback positif n’est pas une simple appréciation positive ni un feedback négatif une simple expression d’insatisfaction.
Boucle de rétroaction négative :
Ce type de boucle de rétroaction est compensatrice ou correctrice au regard d’une norme ou d’un objectif pré-établi. L’exemple type est le capteur au bord de la route indiquant à chaque automobiliste sa vitesse. Le conducteur va ainsi réguler en ajustant sa pression sur l’accélérateur, réduire sa vitesse s’il dépasse la limite (action correctrice) ou encore l’augmenter s’il circulait trop lentement (action compensatrice). L’information issue de cette boucle de rétroaction lui permet de connaitre sa marge de manoeuvre. Un indicateur qui alimente cette boucle est la vitesse en km/heure.
Dans un organisme de formation, l’ouverture d’une nouvelle session pourra avoir différents effets. Par exemple, si le nombre de participants par session est de 8 à 12 (norme définie par l’organisme), alors la boucle de rétroaction servira à orienter la prise de décision : annuler une session avec 7 inscrits uniquement ? Dédoubler une session avec 15 inscrits ? Un indicateur qui alimente la boucle est le nombre d’inscrits.
Autre exemple, un délai pour l’octroi d’une subvention, si le délai indiqué aux ONG qui postulent est de 6 mois, alors quels seraient les différents scénarios afin de réduire la durée du mécanisme de financement si ce délai de 6 mois était dépassé ? L’indicateur qui alimente la boucle est le délai entre le dépôt de la demande de financement et le versement effectif de la subvention.
Ce type de boucle de rétroaction est ainsi nécessaire et alimente le tableau de bord, afin qu’un projet ou programme puisse se piloter en fonction de ces objectifs. Ce qui est important ici n’est pas la justesse de l’objectif mais le contrôle des écarts. Être en mesure de détecter le plus tôt possible un écart afin d’apporter des mesures correctrices.
Boucle de rétroaction positive :
Une boucle de rétroaction positive est amplificatrice. L’effet renforce l’action initiale si bien qu’une même action à venir provoquera un effet encore plus important.
Les boucles de rétroaction positive revêtent ainsi une dimension stratégique, elles doivent être recherchées à l’origine, détectées puis reproduites afin de maximiser l’effet recherché.
Par exemple, une formation de formateurs en SE permettra de passer de 30 personnes formées par an dans un organisme à 400 la deuxième année.
Ou encore, demander à un projet subventionné de produire son propre système de suivi évaluation permettra à l’organisme de répliquer la démarche, si nécessaire, en interne afin d’introduire des systèmes de SE au niveau des programmes ou à l’échelle de l’ensemble de l’organisation.
Ce type de feedback amplificateur se considère également dans le sens inverse et doit être détecté afin d’être évité avant qu’il ne devienne hors de contrôle et atteigne un point de non-retour.
Une organisation ayant une communication positive même sur des projets dysfonctionnels pourra être affectée par un déficit de crédibilité, dès que la parole des usagers sera remontée. A terme, sans correction, l’effet amplificateur pourrait jeter le discrédit sur l’ensemble des projets et programmes portés par l’organisation.
Autre exemple concernant le climat : le réchauffement provoque une sécheresse qui favorise les feux de forêts, les feux de forêts à leur tour amplifient l’élévation des températures, favorisant l’émergence de nouveaux feux de forêts.
Récapitulons :
Penser le système de suivi évaluation en terme de fonctionnement
Pour aller plus loin :
- Les différents types de systèmes de suivi et évaluation
- Les dysfonctions de systèmes de suivi évaluation
Date de première diffusion : juillet 22
Date de dernière actualisation : janvier 23