Traditionnellement, les supports de suivi et évaluation se sont présentés sous forme de rapports écrits. Tableurs pour présenter les tableaux de suivi des indicateurs et traitements de texte pour les différents formats de rapportage et évaluation externes sous forme de rapports.
Rapports écrits : quelques incontournables
- inclure une note de synthèse (executive summary)
Nombreux sont les rapports, d’évaluation ou autres, qui dépassent la centaine de pages, sans compter les annexes. Les opérationnels à qui sont destinés ces rapports ont cependant des contraintes de temps. La note de synthèse, qui devrait ne pas dépasser 2 pages, est un simple résumé du rapport, en toute tête de document où les auteurs devront extraire les points saillants.
Mieux encore est de s’accorder en amont sur le volume de données ou un nombre de mots maximal. Lorsque le nombre de jours alloués est très contraint, mieux vaut équilibrer la balance jours de terrain/jours d’écriture de rapport en favorisant le format qui permettra la meilleure appropriation et utilisation des données.
- utiliser un langage clair et accessible, éviter le jargon
Si l’évaluation consiste à faire remonter et partager l’ensemble des voix, notamment la voix des sans-voix, alors le vocabulaire choisi devrait être simple et direct, accessible et allégé au mieux de toute la terminologie de gestion de projet.
Un glossaire permet de s’accorder sur les termes. En cas de confusion ou d’incompréhensions respectives sur des termes utilisés en lien avec la pratique de l’évaluation (par exemple différentes interprétations de la définition d’impact), s’accorder devient une urgence et un langage clair et accessible encourage à revenir à l’essentiel.
- inclure les limites du processus d’évaluation
Dans un effort de transparence, le rapport devra faire apparaitre toute problématique technique ou méthodologique ayant pu entrainer des biais ou affecter la qualité des données. Mais encore, faire remonter les problématiques opérationnelles les plus pragmatiques, en lien avec un changement de contexte ou un évènement inattendu : des interlocuteurs indisponibles pour raison de santé ou de congé, des zones inaccessibles pour cause d’inondation ou d’insécurité, etc.
A des fins de Suivi Evaluation Dynamique, le rapport s’autorise à introduire à tout moment non pas des conclusions définitives mais des signaux faibles sur toute limite (déficience, restriction) perçue à ce stade. Des plus opérationnelles, par exemple revoir le nombre de jours envisagés ou le format de la mission d’évaluation si des parties prenantes n’ont pu être consultées, aux plus stratégiques, par exemple une nécessaire reformulation des questions évaluatives au fur et à mesure que des problématiques nouvelles se dessinent.
La visualisation de données
La dataviz est un ensemble de techniques permettant l’extraction et la mise en forme graphique de données à des fins de partage, de favoriser la compréhension et de vulgarisation.
En complément de l’écrit, produire des supports visuels, facilement et rapidement accessibles et assimilables.
Se pose ici en premier lieu la question de la multiplicité des compétences requises : statistique, codage, mise en page, sens de la synthèse, design et inventivité.
Un juste équilibre entre technicité et créativité.
C’est à dire le risque, en prétendant que les techniques de visualisation de données sont à la portée de tous, de freiner des opérationnels sur des fonctions de gestion et d’encadrement, s’évertuant de rendre plus esthétiques que nécessaire leurs camemberts en 3D. Ou encore l’enjeu d’intégrer en tant que fonction support ces multiples compétences au sein des équipes chargées du suivi, de l’évaluation et de l’apprentissage.
Les différents formats
Le basique jeu de couleur
Très simple à utiliser, un simple code couleur (par exemple vert = satisfaisant, orange = moyen, rouge = insatisfaisant) peut s’utiliser comme support de discussion dans un atelier et pour mettre en évidence des résultats de manière visuelle. Un plus grand nombre de couleurs, comme dans le nutriscore ou l’étiquette énergie, permettent de nuancer un critère : valeur nutritionnelle, efficacité énergétique, etc.
Exemple 1 : l’appréciation d’un critère
Exemple 2 : visualiser l’atteinte d’un résultat
Exemple 3 : visualiser des tendances
Exemple 4 : attribuer un score
Ces formats de visualisation illustrés ci-dessus sous forme de jeu de couleurs, le plus souvent binaire (like/dislike), feux tricolores ou au nuancier limité, très simples d’accès et à compréhension immédiate se sont beaucoup développés et fréquemment intégrés dans les canevas de reporting, notamment en entreprise. Ceux-ci ne restent que des supports de visualisation et devraient être appréciés au regard de la chaine de conception du SSE qui a précédé. Outil stratégique d’aide à la décision ou contrôle de la performance ?
L’infographie
L’infographie, en tant que technique de conception visuelle est classée comme art graphique. Comment et à quel moment mettre cette technique à disposition de votre action ?
- en phase de diagnostic afin d’éclairer le contexte d’intervention
- en phase opérationnelle afin visualiser des parcours ou des process
- en phase de clôture afin de visualiser des résultats et des effets
- confronter le diagnostic de départ à la situation actuelle
Ainsi, à chaque étape du cycle de projet, disposer de ressources et compétences en infographie pourra se révéler nécessaire et utile.
Exemple 1 : soigner les graphismes
Exemple 2 : un souffle artistique
Exemple 3 : illustrer des parcours
Se mettre à la place de l’usager
Avez-vous déjà effectué une longue queue à un guichet administratif pour qu’une fois arrivé votre tour, l’agent soit contraint d’expliciter pour la énième fois un processus ? Une simple infographie affichée dans la salle d’attente aurait permis de visualiser une démarche, en terme de délai ou de pièces justificatives à fournir à chaque étape. L’autre écueil étant à l’opposé, ne plus avoir accès à un guichet, un contact humain, pour gérer les cas particuliers. Aucun interlocuteur. Le processus fait alors autorité, au détriment de la mission de service public.
Si le process de l’exemple 3 est visuellement irréprochable et rempli son rôle de vulgarisateur, la procédure effective qu’il illustre devrait l’être également afin de ne pas donner une impression de fausse facilité. Ne pas se transformer pour l’usager en parcours du combattant.
Dans cet exemple, en tant qu’usager potentiel, plusieurs étapes interrogent.
Etape 1 : choisir un organisme de service. Oui, mais sur quels critères ? Quels sont les enjeux de choisir un organisme plutôt qu’un autre ? Il s’agit ici d’entreprendre la rénovation de sa maison, la démarche n’est pas anodine.
Etape 5 : faites une demande et recevez votre subvention. La demande de versement se réalise après avoir rénové sa maison. Mais alors, si un critère d’éligibilité a été mal interprété, quel risque de voir la subvention invalidée alors que celle-ci était l’élément même qui a déclenché la démarche initiale ?
Mobiliser un panel témoin d’usagers permettra de faire remonter les questions à chaque étape du process et si nécéssaire de revoir l’intégralité du process. Centrale est la question de la confiance : se laisser prendre en charge d’étape en étape par l’institution qui porte l’action, ne pas interférer dans le processus pour ne pas le ralentir ? Ou à l’inverse essayer de le comprendre pour anticiper d’éventuels dysfonctionnements ?
Ainsi produire une infographie ne devrait pas être considéré comme une compétence à mobiliser en toute fin de cycle. Celle-ci participe à illustrer les processus dès la phase de conception afin de confronter les mécanismes attendus à la compréhension des usagers et ce à des fins d’amélioration.
Un enjeu de redevabilité
L’infographie ci-dessous illustre le processus d’attribution de subventions du fond vert pour le climat. Chaque étape est précisée en nombre de jours ce qui permet à chaque porteur de projet d’ajuster son propre chronogramme. Ce processus, une fois diffusé et partagé par le fond, se transforme en engagement. Une structure bénéficiaire comme les instances de gouvernance pourraient interroger ou saisir l’administration du fond si les délais annoncés n’étaient pas respectés. Par ailleurs, en délayant les données, en choisissant d’illustrer un aspect plutôt qu’un autre, l’infographie dévoile ce qui fait sens pour le fond, ses critères de qualité. Par exemple ici :
– le délai d’instruction en nombre de jours (la rapidité de traitement de la demande de subvention)
– les modalités de dialogue (la possibilité d’échanges et d’interactions avec le comité de sélection des projets)
Exemple 4 : illustrer un processus d’attribution des fonds : un enjeu de redevabilité
D’infinies fonctionnalités
Les infographies ne sont plus statiques. L’intégration de plateformes spécialisées en SE pousse l’analyste de données à ne plus être qu’un maillon de la chaine, certes central, afin de développer de nouvelles fonctionnalités :
- des animations
- une navigation par filtre (par âge, par quartier, par montant…)
- la création de rapports
- une recherche textuelle
- l’actualisation en temps réel
- …
Exemple 5 : base de données des évaluations de l’OIT
Exemple 6 : fiches des députés/Assemblée Nationale
La géomatique
Le numérique et l’informatique ont permis de donner une impulsion sans précédent à la gestion des données à référence spatiale.
La géomatique, contraction de géographie et informatique, est ainsi l’ensemble de technologies se nourrissant les unes des autres permettant de collecter, analyser et de diffuser des données géographiques.
Le géomaticien croise ces différentes sciences et techniques : photogrammétrie, télédétection, topométrie, images satellites ou aériennes, etc. Et ajuste de manière incessante de part l’évolution technologique mais aussi afin de ne pas se noyer dans la masse de données.
Le système d’information géographique (SIG) est l’interface utilisateur, le logiciel qui permettra d’associer gestion de base de données, dessin vectoriel et traitement de l’image afin de traiter les requêtes.
Les champs d’application sont multiples et immenses, par exemple :
- surveillance des risques d’inondation
- suivi des feux de forêt
- aménagement du territoire
- surveillance épidémiologique
- distribution de la biodiversité animale et végétale
- …
Dans le champs de l’évaluation, la géomatique est donc une composante essentielle et insuffisamment exploitée.
La question qui se pose ainsi dans toute démarche d’évaluation est :
- disposons-nous déjà des données géolocalisées? Lesquelles ?
- quelle exploitation et utilisation de ces données géolocalisées ?
- quelles nouvelles données seraient géolocalisables et utiles à notre système de suivi évaluation ?
- la collecte de ces nouvelles données géolocalisées entraine-elle des enjeux éthiques ?
Exemple 7 : données ouvertes de l’observatoire hydrologique ImaGeau
Cartographie
La cartographie est un ensemble de techniques ayant pour objet l’élaboration de cartes ou de plans. De la collecte à la représentation des données.
S’il n’est pas évident de représenter des objectifs ou des valeurs institutionnelles sur une carte géographique, une représentation spatiale permettra néanmoins d’identifier et d’afficher divers éléments tangibles comme des biens, des services, des ressources naturelles et de les relier à des bassins de populations. Ou encore illustrer des mouvements de populations et l’accès à des services en fonction des flux. Par exemple pour le soutien des enfants et des jeunes sur les routes migratoires.
Exemple 8 : localisation des espaces/camps de réfugiés
Exemple 9 : localisation des projets culturels, sociaux et environnementaux financés par la NEF
Exemple 10 : partage de territoire des gangs, centre de San Salvador
Liens d’intérêt :
Photographie
L’utilisation d’images en photographie permet de documenter l’avancée d’une action. L’incontournable avant/après. Ou encore produire un historique permettant de retracer chaque étape d’une l’intervention. Bien sûr certains projets sont plus visuels et se laissent plus facilement photographiés. Et c’est là tout l’enjeu, entamer une réflexion en amont sur chaque élément visuel à immortaliser qui pourra aider l’analyse de l’action. Par exemple, pour un programme de renforcement de capacité, à quel moment l’apprentissage va permettre de s’intégrer à une action, projet ou politique publique qui s’ancre dans le réel et devient à terme tangible ? Que cela soit dans le domaine de la santé, de l’éducation, de l’environnement, de la sécurité… à quel moment la connaissance s’utilise, se formalise ou se visualise ?
Se détacher de l’image comme simple illustration uniquement. Ainsi l’image participe au système de suivi évaluation, s’intègre au process. Par exemple, au moment d’organiser la prise de vue, chaque acteur va s’interroger sur les critères ou indicateurs que laisse percevoir l’image, comme chacun au photomaton vérifie sa coiffure ou son col. La photographie se convertit en outil de suivi puis un fois révélée sert de support pour l’échange et le dialogue. La visualisation d’un process permet encore aux parties prenantes de se projeter et de visualiser un résultat fini.
La photographie peut être envisagée comme méthode d’évaluation à part entière, comme photovoice, pour permettre aux usagers d’immortaliser eux-même ce qui fait sens.
Enfin, dans le cadre du SED, la photographie participe à l’action : en exposant des dysfonctionnements, des constats, qui sensibilise l’usager et provoque l’engagement. L’évaluateur photographe devra ainsi s’imposer la même rigueur de neutralité ou d’impartialité dans la sélection des clichés que lors de la rédaction d’un narratif ou la sélection de données.
Art
Il est recommandé à tout projet, programme, politique publique d’inclure une ligne budgétaire pour les commandes artistiques. Peintures, sculptures, dessins permettrons de documenter l’action et surtout d’obtenir un regard extérieur et artistique sur le sujet de société auquel le projet se confronte. Les oeuvres pourront être exposées dans les locaux de l’institution qui porte l’action mais encore sur les lieux de mise en oeuvre afin de favoriser l’échange et le débat. L’implication d’artistes locaux favorise la visibilité du projet et permet l’émergence ou le soutien à la culture locale. Enfin les oeuvres perdurent et se pose la question de la pérennité : une fois le projet clôturé, à qui les oeuvres devraient-elles revenir ? En cas de transfert à une collectivité locale, la passation revêt un aspect symbolique : transfert des oeuvres mais pas uniquement, transfert de la finalité, transfert de l’expérience acquise.
Humour
L’humour enfin peut-être un moyen d’aborder de manière plus légère des sujets sensibles. De faire sourire avant d’ouvrir des sujets de fonds. Bien sûr s’entourer en premier lieu des compétences à bord, des capacités d’auto-dérision de l’équipe. En terme de dessins, nous pourrons recommander Rash Brax sur la thématique de l’humanitaire, Freshspectrum sur l’évaluation, Marc Roesch sur la recherche, etc.
Bien sûr, tout l’intérêt réside dans le mélange des genres : insérer une pointe d’humour dans la légende d’une carte, une touche artistique dans une infographie, mixer données de géolocalisation et images de changement… C’est à dire considérer ces supports comme parties intégrantes de l’action, à vocation de favoriser l’analyse et la réflexion et non à simple caractère illustratif. S’il est commun de considérer que l’on peut tout faire dire à un chiffre, que si les données sont manipulées, elles sont donc manipulables, les possibilités de déviation des interprétations s’amenuisent en multipliant les angles et les supports. Ou à l’inverse favorisent la confrontation des points de vues. Même si cela reste un facteur important, il ne s’agit pas juste de rendre les données appétissantes, comestibles et digestibles pour les utilisateurs. Il s’agit également en croisant les techniques de restitution de croiser les sources de données correspondantes, les modes d’analyse et les interprétations.
Pour aller plus loin
Les formats et supports de restitution
Evaluation versus communication
Restitution, droit de réponse, divulgation publique
Les recommandations
Eclairer les processus de prise de décision
Date de première diffusion : 2020
Dernière actualisation : octobre 2023