Formats et supports de restitution

Traditionnellement, les supports de suivi et évaluation se sont présentés sous forme de rapports écrits. Tableurs pour présenter les tableaux de suivi des indicateurs et traitement de texte pour les différents formats de rapportage et évaluation externes sous forme de rapports.

Rapports écrits : quelques incontournables

  • inclure une note de synthèse (executive summary)

Nombreux sont les rapports, d’évaluation ou autres, qui dépassent la centaine de pages, sans compter les annexes. Les opérationnels à qui sont destinés ces rapports ont cependant des contraintes de temps. La note de synthèse, qui devrait ne pas dépasser 2 pages, est un simple résumé du rapport, en toute tête de document où les auteurs devront extraire les points saillants.

Mieux encore est de s’accorder en amont sur le volume de données ou un nombre de mots maximal. Lorsque le nombre de jours alloués est très contraint, mieux vaut équilibrer la balance jours de terrain /jours d’écriture de rapport en favorisant le format qui permettra la meilleure appropriation et utilisation des données.

  • utiliser un langage clair et accessible, éviter le jargon

Si l’évaluation consiste à faire remonter et partager l’ensemble des voix, notamment la voix des sans-voix, alors le vocabulaire choisi devrait être simple et direct, accessible et ôté de toute la terminologie de gestion de projet.

Un glossaire permet de s’accorder sur les termes. En cas de confusion ou d’incompréhensions respectives sur des termes utilisés en lien avec la pratique de l’évaluation (par exemple différentes interprétations de la définition d’impact) s’accorder devient une urgence et un langage clair et accessible encourage à revenir à l’essentiel.

  • inclure les limites du processus d’évaluation

Dans un effort de transparence, le rapport devra faire apparaitre toute problématique technique ou méthodologique ayant pu entrainer des biais ou affecter la qualité des données. Mais encore, faire remonter les problématiques opérationnelles les plus pragmatiques, en lien avec un changement de contexte ou un évènement inattendu : des interlocuteurs indisponibles pour raison de santé ou de congé, des zones inaccessibles pour cause d’inondation ou d’insécurité, etc.

A des fins de Suivi Evaluation Dynamique, le rapport s’autorise à introduire à tout moment non pas des conclusions définitives mais des signaux faibles sur toute limite (déficience, restriction) perçue à ce stade. Des plus opérationnelles, par exemple revoir le nombre de jours ou le format de la mission d’évaluation si des parties prenantes n’ont pu être consultées, aux plus stratégiques, par exemple une nécessaire reformulation des questions évaluatives au fur et à mesure que des problématiques nouvelles se dessinent.

La visualisation de données

La dataviz est un ensemble de techniques permettant l’extraction et la mise en forme graphique de données à des fins de partage, de favoriser la compréhension et de vulgarisation.

En complément de l’écrit, produire des supports visuels, facilement et rapidement accessibles et assimilables. 

Se pose ici en premier lieu la question de la multiplicité des compétences requises : statistique, codage, mise en page, sens de la synthèse, design et inventivité. 

Un juste équilibre entre technicité et créativité. 

C’est à dire le risque, en prétendant que les techniques de visualisation de données sont à la portée de tous, de freiner des opérationnels sur des fonctions de gestion et d’encadrement, s’évertuant de rendre plus esthétiques que nécessaire leurs camemberts en 3D. Ou encore l’enjeu d’intégrer en tant que fonction support ces multiples compétences au sein des équipes chargées du suivi, de l’évaluation et de l’apprentissage. 

Un même jeu de données : 25 visualisations différentes

Les différents formats

Le basique jeu de couleur

Très simple à utiliser, un simple code couleur (par exemple vert = satisfaisant, orange = moyen, rouge = insatisfaisant) peut s’utiliser comme support de discussion dans un atelier et pour mettre en évidence des résultats de manière visuelle. Un plus grand nombre de couleurs, comme dans le nutriscore ou l’étiquette énergie, permettent de nuancer un critère : valeur nutritionnelle, efficacité énergétique, etc.

Exemple 1 : l’appréciation d’un critère

Exemple 1. Dans cette évaluation, une appréciation sous forme de « feu de signalisation » est portée pour chaque critère. Il peut s’agir d’un score basé sur un système de point en fonction de sous-critères, ou d’une appréciation globale, comme base de discussion.

Exemple 2 : visualiser l’atteinte d’un résultat

Exemple 2. Dans cette évaluation, le code couleur permet simplement d’identifier en un seul coup d’oeil les résultats atteints, partiellement atteints ou non-atteints.

Exemple 3 : visualiser des tendances

Exemple 3. Extrait du rapport de mise en oeuvre de l’agenda 2030 pour la Suisse. Au-delà de l’atteinte des cibles sont illustrées également les tendances : en hausse, en baisse au stable.

Exemple 4 : attribuer un score

Exemple 4. Dans ce benchmark de la vigilance climatique des multinationales (Notre affaire à tous, 2022), une notation de 1 à 100 est attribuée aux entreprises selon 3 axes (identification des risques climatiques, prévention des atteintes graves liées au climat et intégration des informations climatiques dans le plan de vigilance).


Ces formats de visualisation illustrés ci-dessus sous forme de jeu de couleurs, le plus souvent binaire (like/dislike), feux tricolores ou au nuancier limité, très simples d’accès et à compréhension immédiate se sont beaucoup développés et fréquemment intégrés dans les canevas de reporting, notamment en entreprise. Ceux-ci ne restent que des supports de visualisation et devraient être appréciés au regard de la chaine de conception du SSE qui a précédé. Outil stratégique d’aide à la décision ou contrôle de la performance ?

L’infographie

L’infographie, en tant que technique de conception visuelle est classée comme art graphique. Comment et à quel moment mettre cette technique à disposition de votre action ?

  • en phase de diagnostic afin d’éclairer le contexte d’intervention
  • en phase opérationnelle afin visualiser des parcours ou des process
  • en phase de clôture afin de visualiser des résultats et des effets
  • confronter le diagnostic de départ à la situation actuelle

Ainsi, à chaque étape du cycle de projet, disposer de ressources et compétences en infographie pourra se révéler nécessaire et utile.

Exemple 1 : soigner les graphismes

Exemple 1. Cette cartographie de presse, au graphisme remarquable, fournit des données brutes à partir de 3 indicateurs : le nombre d’ascensions réussies, le nombre de morts et l’altitude des sommets. Il en est conclu que les sommets les plus hauts ne sont pas les plus dangereux. Ce qui est relatif puisque le K2, deuxième sommet le plus élevé serait bien également second en terme de dangerosité.

Exemple 2 : un souffle artistique

Exemple 2. Cette infographie, extrêmement visuelle, présente l’évolution de la concentration de CO2 dans l’atmosphère ainsi que l’émission issue des combustibles fossiles. Attention cependant à ce que la recherche de design ne se fasse pas au détriment de la compréhension du graphique.

Exemple 3 : illustrer des parcours

Exemple 3. Parcours de rénovation pour des maisons plus vertes. Rénover une maison pour améliorer son efficacité énergétique n’est pas une mince affaire. Visualiser chaque étape permettra à l’usager d’anticiper. L’infographie devra cependant être accompagnée de descriptifs détaillés pour chaque étape.
Se mettre à la place de l’usager

Avez-vous déjà effectué une longue queue à un guichet administratif pour qu’une fois arrivé votre tour, l’agent soit contraint d’expliciter pour la énième fois un processus ? Une simple infographie affichée dans la salle d’attente aurait permis de visualiser une démarche, en terme de délai ou de pièces justificatives à fournir à chaque étape. L’autre écueil étant à l’opposé, ne plus avoir accès à un guichet, un contact humain, pour gérer les cas particuliers. Aucun interlocuteur. Le processus fait alors autorité, au détriment de la mission de service public.

Si le process de l’exemple 3 est visuellement irréprochable et rempli son rôle de vulgarisateur, la procédure effective qu’il illustre devrait l’être également afin de ne pas donner une impression de fausse facilité. Ne pas se transformer pour l’usager en parcours du combattant.

Dans cet exemple, en tant qu’usager potentiel, plusieurs étapes interrogent.

  • Etape 1 : choisir un organisme de service. Oui, mais sur quels critères ? Quels sont les enjeux de choisir un organisme plutôt qu’un autre ? Il s’agit ici d’entreprendre la rénovation de sa maison, la démarche n’est pas anodine.
  • Etape 5 : faites une demande et recevez votre subvention. La demande de versement se réalise après avoir rénové sa maison. Mais alors, si un critère d’éligibilité a été mal interprété, quel risque de voir la subvention invalidée alors que celle-ci était l’élément même qui a déclenché la démarche initiale ?

Mobiliser un panel témoin d’usagers permettra de faire remonter les questions à chaque étape du process et si nécéssaire de revoir l’intégralité du process. Centrale est la question de la confiance : se laisser prendre en charge d’étape en étape par l’institution qui porte l’action, ne pas interférer dans le processus pour ne pas le ralentir ? Ou à l’inverse essayer de le comprendre pour anticiper d’éventuels dysfonctionnements ?

Ainsi produire une infographie ne devrait pas être considéré comme une compétence à mobiliser en toute fin de cycle. Celle-ci participe à illustrer les processus dès la phase de conception afin de confronter les mécanismes attendus à la compréhension des usagers et ce à des fins d’amélioration.

Un enjeu de redevabilité

L’infographie ci-dessous illustre le processus d’attribution de subventions du fond vert pour le climat. Chaque étape est précisée en nombre de jours ce qui permet à chaque porteur de projet d’ajuster son propre chronogramme. Ce processus, une fois diffusé et partagé par le fond, se transforme en engagement. Une structure bénéficiaire comme les instances de gouvernance pourraient interroger ou saisir l’administration du fond si les délais annoncés n’étaient pas respectés. Par ailleurs, en délayant les données, en choisissant d’illustrer un aspect plutôt qu’un autre, l’infographie dévoile ce qui fait sens pour le fond, ses critères de qualité. Par exemple ici :
– le délai d’instruction en nombre de jours (la rapidité de traitement de la demande de subvention)
– les modalités de dialogue (la possibilité d’échanges et d’interactions avec le comité de sélection des projets)

Exemple 4 : illustrer un processus d’attribution des fonds : un enjeu de redevabilité

Exemple 4. Le processus de demande de subvention du Green Climate Fund.
D’infinies fonctionnalités

Les infographies ne sont plus statiques. L’intégration de plateformes spécialisées en SE pousse l’analyste de données à ne plus être qu’un maillon de la chaine, certes central, afin de développer de nouvelles fonctionnalités :

  • des animations
  • une navigation par filtre (par âge, par quartier, par montant…) 
  • la création de rapports
  • une recherche textuelle
  • l’actualisation en temps réel

Exemple 5 : base de données des évaluations de l’OIT

La base de données des évaluations de l’Organisation Internationale du Travail permet une recherche par date, par thématique, par zone géographique ou encore par mots clés tout en offrant une ergonomie agréable.

Exemple 6 : fiches des députés/Assemblée Nationale

Cette infographie animée, sur le site de l’assemblée nationale, permet d’identifier son député en fonction de sa circonscription puis accéder à une fiche récapitulative avec les dates de mandat, l’actualité, les propositions de loi ou encore l’adresse email du député.

La géomatique

Le numérique et l’informatique ont permis de donner une impulsion sans précédent à la gestion des données à référence spatiale.

La géomatique, contraction de géographie et informatique, est ainsi l’ensemble de technologies se nourrissant les unes des autres permettant de collecter, analyser et de diffuser des données géographiques. 

Le géomaticien croise ces différentes sciences et techniques : photogrammétrie, télédétection, topométrie, images satellites ou aériennes, etc. Et ajuste de manière incessante de part l’évolution technologique mais aussi afin de ne pas se noyer dans la masse de données.

Le système d’information géographique (SIG) est l’interface utilisateur, le logiciel qui permettra d’associer gestion de base de données, dessin vectoriel et traitement de l’image afin de traiter les requêtes. 

Les champs d’application sont multiples et immenses, par exemple :

  • surveillance des risques d’inondation
  • suivi des feux de forêt
  • aménagement du territoire
  • surveillance épidémiologique
  • distribution de la biodiversité animale et végétale

Dans le champs de l’évaluation, la géomatique est donc une composante essentielle et insuffisamment exploitée. 

La question qui se pose ainsi dans toute démarche d’évaluation est : 

  • disposons-nous déjà des données géolocalisées? Lesquelles ? 
  • quelle exploitation et utilisation de ces données géolocalisées ? 
  • quelles nouvelles données seraient géolocalisables et utiles à notre système de suivi évaluation ?
  • la collecte de ces nouvelles données géolocalisées entraine-elle des enjeux éthiques ? 

Exemple 7 : données ouvertes de l’observatoire hydrologique ImaGeau

Observatoire hydrologique ImaGeau avec des données ouvertes : améliorer les dispositifs de surveillance des territoires. Issue du CNRS Géosciences de Montpellier, ImaGeau a été rachetée par le groupe SAUR.

Cartographie

La cartographie est un ensemble de techniques ayant pour objet l’élaboration de cartes ou de plans. De la collecte à la représentation des données. 

S’il n’est pas évident de représenter des objectifs ou des valeurs institutionnelles sur une carte géographique, une représentation spatiale permettra néanmoins d’identifier et d’afficher divers éléments tangibles comme des biens, des services, des ressources naturelles et de les relier à des bassins de populations. Ou encore illustrer des mouvements de populations et l’accès à des services en fonction des flux. Par exemple pour le soutien des enfants et des jeunes sur les routes migratoires.

Exemple 8 : localisation des espaces/camps de réfugiés

Carte d’un camp de réfugiés UNHCR. Cette représentation permet en un coup d’oeil de visualiser la répartition des services sur le site, l’emplacement des différents partenaires ainsi que les dimensions de la zone.

Exemple 9 : localisation des projets culturels, sociaux et environnementaux financés par la NEF

Carte des projets financés par la NEF (coopérative bancaire). Cette carte interactive permet aux clients ou futurs clients de détecter les projets à vocation culturelle, sociaux ou écologiques financés près de chez eux. Et aux porteurs de projets de se mettre en réseaux.

Exemple 10 : partage de territoire des gangs, centre de San Salvador

Lutte contre la criminalité organisée. Présence des gangs dans le centre historique de San Salvador.

Photographie

L’utilisation d’images en photographie permet de documenter l’avancée d’une action. L’incontournable avant/après. Ou encore produire un historique permettant de retracer chaque étape d’une l’intervention. Bien sûr certains projets sont plus visuels et se laissent plus facilement photographiés. Et c’est là tout l’enjeu, entamer une réflexion en amont sur chaque élément visuel à immortaliser qui pourra aider l’analyse de l’action. Par exemple, pour un programme de renforcement de capacité, à quel moment l’apprentissage va permettre de s’intégrer à une action, projet ou politique publique qui s’ancre dans le réel et devient à terme tangible ? Que cela soit dans le domaine de la santé, de l’éducation, de l’environnement, de la sécurité… à quel moment la  connaissance s’utilise, se formalise ou se visualise ?

Se détacher de l’image comme simple illustration uniquement. Ainsi l’image participe au système de suivi évaluation, s’intègre au process. Par exemple, au moment d’organiser la prise de vue, chaque acteur va s’interroger sur les critères ou indicateurs que laisse percevoir l’image, comme chacun au photomaton vérifie sa coiffure ou son col. La photographie se convertit en outil de suivi puis un fois révélée sert de support pour l’échange et le dialogue. La visualisation d’un process permet encore aux parties prenantes de se projeter et de visualiser un résultat fini. 

La photographie peut être envisagée comme méthode d’évaluation à part entière, comme photovoice, pour permettre aux usagers d’immortaliser eux-même ce qui fait sens. 

Enfin, dans le cadre du SED, la photographie participe à l’action : en exposant des dysfonctionnements, des constats, qui sensibilise l’usager et provoque l’engagement. L’évaluateur photographe devra ainsi s’imposer la même rigueur de neutralité ou d’impartialité dans la sélection des clichés que lors de la rédaction d’un narratif ou la sélection de données. 

Typhon au Japon. Avant et après la première phase de nettoyage.

Collecte et traitement des déchets plastiques.

Art

Il est recommandé à tout projet, programme, politique publique d’inclure une ligne budgétaire pour les commandes artistiques. Peintures, sculptures, dessins permettrons de documenter l’action et surtout d’obtenir un regard extérieur et artistique sur le sujet de société auquel le projet se confronte. Les oeuvres pourront être exposées dans les locaux de l’institution qui porte l’action mais encore sur les lieux de mise en oeuvre afin de favoriser l’échange et le débat. L’implication d’artistes locaux favorise la visibilité du projet et permet l’émergence ou le soutien à la culture locale. Enfin les oeuvres perdurent et se pose la question de la pérennité : une fois le projet clôturé, à qui les oeuvres devraient-elles revenir ? En cas de transfert à une collectivité locale, la passation revêt un aspect symbolique : transfert des oeuvres mais pas uniquement, transfert de la finalité, transfert de l’expérience acquise.

« Keep you coins, I want change », Banksy

Daniel Garcia

Humour

L’humour enfin peut-être un moyen d’aborder de manière plus légère des sujets sensibles. De faire sourire avant d’ouvrir des sujets de fonds. Bien sûr s’entourer en premier lieu des compétences à bord, des capacités d’auto-dérision de l’équipe. En terme de dessins, nous pourrons recommander Rash Brax sur la thématique de l’humanitaire ou Freshspectrum sur l’évaluation.

L’industrie humanitaire – Rash Brax
« – Nous n’avons aucune idée de ce que tu racontes. – Faites-moi confiance, c’est scientifique ». Freshspectrum

Bien sûr, tout l’intérêt réside dans le mélange des genres : insérer une pointe d’humour dans la légende d’une carte, une touche artistique dans une infographie, mixer données de géolocalisation et images de changement… C’est à dire considérer ces supports comme partie intégrante de l’action, à vocation de favoriser l’analyse et la réflexion et non à simple caractère illustratif. S’il est commun de considérer que l’on peut tout faire dire à un chiffre, que si les données sont manipulées, elles sont donc manipulables, les possibilités de déviation des interprétation s’amenuisent en multipliant les supports. Ou à l’inverse favorisent la confrontation des points de vues. Même si cela reste un facteur important, il ne s’agit pas juste de rendre les données appétissantes, comestibles et digestibles pour les utilisateurs. Il s’agit également en croisant les techniques de restitution de croiser les sources de données correspondantes et les modes d’analyse. 


Etape 5 : planification de l’utilisation des résultats

Concevoir un système de suivi et évaluation