Tout le monde a la référence de ce film des années 90 ? Bill Murray se retrouve condamné à revivre la même journée, éternellement.
En bas de cette page « CC EVAL 2010-2025 ». Quinze ans donc à lire et compiler des ouvrages, des guides et des manuels de suivi évaluation.
Avec l’aide de l’IA générative, c’est maintenant le moment de croiser ces publications.
Les recommandations se suivent et se ressemblent :
- la conception du système de suivi et évaluation, c’est en amont de la mise en œuvre
- les usagers participent à cette conception et tout particulièrement à la sélection des critères d’évaluation
- les séminaires SEA réguliers permettent de faire vivre la participation et la consultation, de réorienter l’action, d’alimenter la mémoire institutionnelle afin de ne pas refaire éternellement les mêmes erreurs
- la pérennité/durabilité est le point faible des projets et programmes, attention à l’intégrer dès la phase d’écriture
Parallèlement, nos formations et accompagnements à la mise en place de systèmes de suivi et évaluation s’enchainent, sur des dizaines de projets et programmes souvent déjà en phase opérationnelle. Les problématiques se suivent et se ressemblent :
- le système n’a pas été formalisé au démarrage
- les usagers n’ont été ni inclus ni consultés dans la sélection des critères sur lesquels repose le système
- une insuffisance d’échanges réguliers et ouverts, le SE souvent réduit à une séquence brève pendant les comités de pilotage
- des cycles de projets trop courts pour en observer les effets
- des évalutions finales uniquement, contractuelles
- une relation qui se termine dès le rapport validé
- des équipes d’évaluation composées par des consultants externes qui ne sont jamais invités à partager entre eux : sur quelle base ainsi d’accorder ou comparer ?
- …
Ces constats pourraient être plus présents dans les guides et manuels d’évaluation. Une occasion de tout remettre à plat, d’admettre ses erreurs, de sortir des incantations. Ces manuels n’ont probablement été effleurés que par des aficionados déjà dans des dynamiques transparentes et participatives. Les inscrits aux formations en évaluations sont également déjà des convaincus. Les participants déclarent souvent être venus chercher des outils, mais les difficultés ou les blocages premiers sont rarement d’ordre méthodologique. Peaufiner la méthodologie est la cerise sur le gâteau lorsque tous les autres paramètres sont dégagés pour permettre une mise en application effective du système (voir un environnement propice à l’évaluation : quels leviers ?).
Mais encore, l’image d’en-tête de ce site, la même depuis 2010, représente des archives qui s’empilent et qui ne sont jamais consultées…
Heureusement, même si l’on fait souvent remonter l’origine de la discipline évaluative aux années 1960, Lev Semionovitch Vygotsky1 aurait pu nous donner quelques tuyaux dès 1933.
Par exemple en s’intéressant aux motivations culturelles et aux valeurs qui ont présidé à la conception du programme, et à la manière dont ces motivations influencent les processus d’apprentissage et de développement qu’il vise à soutenir. Analyser la cohérence entre les objectifs déclarés, les outils socioculturels mis en œuvre et les résultats observés en termes de transformation des capacités cognitives et sociales des participants.
Selon Vygotski, le développement d’un individu est inséparable de sa culture et de ses interactions sociales. Tout programme est une création culturelle. Il n’est pas neutre. Il est conçu par des personnes qui ont une certaine vision du monde, de la réussite, de l’apprentissage. Ces valeurs sont le « code source » invisible du programme. Il s’agit alors d’identifier la culture de l’organisation qui a créé le programme. De détecter ou de confronter des incohérences fondamentales entre les pratiques culturelles et les mécanismes de mises en oeuvre.
Une préconisation serait ainsi de renverser complètement la vapeur. De pousser des expérimentations où tout le poids et les moyens dédiés à l’évaluation seraient déployés en phase de montage et dans l’évaluation des processus plutôt que des résultats. Et comparer avec les dizaines de systèmes dysfonctionnels dont nous disposons déjà.
- Le Langage et la pensée, Lev Semionovitch Vygotsky, 1933 ↩︎