Par Sébastien Galéa. Date de diffusion : décembre 2022
A l’origine, EVAL avait pour vocation de devenir un centre de ressources physique en évaluation.
Un espace ressources avec des ouvrages, articles, guides, évaluations thématiques,… Un espace de formation. Et un espace d’échanges. Echanges techniques entre professionnels ou professionnels en devenir, mais aussi de convivialité, de discussion : où le lien pourrait être fait, par exemple entre évaluations et transformation de la vie publique, évaluation et pratiques artistiques, évaluation et choix de sociétés…
Naivement, je pensais que le premier élu croisé allait s’emparer du dossier. « Impulser la transparence et l’apprentissage dans des actions d’intérêt général ? Ah mais quelle bonne idée, nous n’y avions pas encore pensé ! ». L’offre, en ce qui concerne la formation tout au moins, était relativement limitée, il aurait suffit de la faire vivre, d’une minime volonté politique, d’un simple coup de pouce pour l’aider à se structurer.
Du coté de la demande par contre, cela a été un raz de marée. En 2013, il fallait dédoubler les sessions pour accueillir l’ensemble des inscrits. De sensibilisation courte et gratuite pour les acteurs associatifs, la formation « projets solidaires : concevoir un système de suivi évaluation » a progressivement été proposée sur 1 journée, puis 3 et enfin 5 journées avec un intitulé plus générique : « concevoir et mettre en place un système de suivi et évaluation ».
La spécificité était de travailler sur cas réels : en sous-groupes, les participants sélectionnaient parmi leurs propres projets un sur lequel esquisser un système. Nous partions souvent de rien, au mieux d’éventuelles évaluations externes de loin en loin.
C’était une très belle période, le mélange des profils était fantastique, des cadres territoriaux, des consultant.e.s, des chargé.es de programmes, des étudiant.e.s en master de développement ou d’évaluation venant justement chercher un apport pratique… De très beaux souvenirs : un système de suivi évaluation sur un programme de formation professionnelle en Afghanistan sort de son ornière et se matérialise en temps réel grâce à un groupe de travail diversifié qui s’en empare à bras le corps. Ou encore, une participante profite des pauses pour commander des gilets par balle à destination de journalistes syriens… Une chargée de programme, les larmes aux yeux, a l’occasion pour la première fois de rendre compte de son quotidien à ses propres collègues, l’enfer d’un programme au caractère inextricable dont elle est chargée…
A Parakou, en pleine formation, nous partons dans des villages pour tester les outils conçus en cour de session. Puis un témoignage : « Je pensais que l’évaluation était chasse-gardée du département évaluation, je me suis rendue compte que c’est l’affaire de tous ».
Bien sûr, la mayonnaise ne prend pas toujours : un participant d’une institution internationale n’accepte aucune remise en question de son programme par sa co-équipière du jour, ressortissante d’un des pays où intervient l’institution et ancienne usagère du service en question. Ou encore des déceptions : des fonctionnaires internationaux, dont les montants des per diem (le défraiement du séjour à Paris) dépassent de loin le coût de la formation et s’autorisent des absences pour convenance personnelle.
Enfin, les difficultés d’organisation : en 2018, à la veille de la formation, quatre participants n’avaient pas encore reçu leur visa… Quand bien même, pour l’un d’entre eux, la formation avait été financée sur fonds européens : les vols et frais d’hébergement sont perdus…
A la même période débutait cette même formation « concevoir et mettre en place un système de suivi et évaluation » au format E-learning. A distance, le programme de 5 jours s’étirait dorénavant sur 3 à 6 mois. Ce qui n’étaient en présentiel que des simples exercices de groupe, sous formes de jeux de rôle, accompagnés par le formateur et dans la bonne humeur, se transformaient en E-learning en « livrables » à remettre au fil de la session. Chaque participant potentiellement seul-e, face à son écran. La charge de travail est immense, notamment pour des participants déjà absorbés par des fonctions très exigentes. J’ai une immense admiration pour les participants ayant rendu leurs travaux en temps et en heure, comme s’il s’agissait d’une simple promenade de santé. Mais également pour ceux qui, malgré les obstacles et les retards ont réussi à aller jusqu’au bout.
Mais encore, chacun à créé des outils spécifiques à son projet, à son coeur de métier, des supports qui ont été capitalisés à destinations des sessions ultérieures. Cette formation a finalement été co-construite et je tiens à les remercier profondément.
Parmi les participants, la proportion de professionnels de l’évaluation a considérablement évoluée (responsable SE, MEAL, MEL,…) pour représenter maintenant plus de la majorité des profils. Parallèlement, des institutions inscrivent l’ensemble de leurs cadres à cette session, sans culture préalable de l’évaluation et subissent parfois un choc thermique…
L’enjeu est ainsi de proposer des parcours individualisés en fonction des acquis et des besoins.
S’il fallait en douter, l’expérience en faveur de l’évaluation « embedded » (en bref, des systèmes écrits et pilotés au coeur même des programmes dans lesquels ils s’inscrivent) est concluante, les systèmes proposés sont fins, sur mesures et au plus prêt des réalités de terrain. Ils participent par ailleurs, à diffuser et imprégner le renforcement des capacités nationales d’évaluation.
Cette interaction constante avec des passionnés et autres « evaluation nerds » a néanmoins constitué un biais qui permettra d’appréhender le chapitre suivant.
Et là, c’est le drame
En 2020, j’intègre, en tant que consultant individuel, à titre d’expert MEAL, un programme d’adaptation et d’atténuation du changement climatique, doté de plusieurs dizaines de millions d’euros, sur la zone Caraïbes. Un fonds de subventions.
Le potentiel est fantastique, et toutes les étoiles semblent alignées pour que le système de suivi évaluation puisse jouer son rôle de courroie de distribution et alimenter aussi bien le programme mais aussi contribuer à l’apprentissage de la multitude d’initiatives en gestation sur les volets biodiversités ou lutte contre les dérèglements climatiques.
Seule ombre au tableau, l’experte MEAL en poste sur la première année du programme a démissionné.
Dès les premières semaines, des dysfonctionnements, l’impression de courir comme un poulet sans tête, et surtout pas d’espaces de partage, d’échange, de concertation ou ébaucher une vision commune avec les pays partenaires. Vingt mois avant de formaliser la réunion du premier comité de pilotage. Des responsables nationaux qui en arrivent à verbaliser formellement la demande de pouvoir communiquer entre eux quant bien même l’intégration régionale est au fondement du programme.
Au final, l’opérateur de mise en oeuvre aura mis 3 ans pour attribuer une première subvention.
Ou encore, il se sera écoulé 7 années entre la décision de financement du bailleur de fond et le décaissement de cette première subvention. [C’est à dire à date du simple transfert bancaire, les bénéficiaires, par exemple des ONG de protection marine, auront bien sûr par la suite besoin de leur propre délai de mise en place…]
Un constat amer au regard de l’urgence climatique. Notamment car des vents contraires soufflent. Au moment où nous nous engluions à essayer d’injecter quelques projets au niveau régional, une seule ile de la zone bénéficiait de l’agrandissement de son terminal pétrolier sur financement privé à hauteur de 100 millions d’euros.
Après 18 mois d’engagement et dans une présentation écrite du système de suivi et évaluation j’ai alors émis un certain nombre de préconisations : la première était la nécessité de s’interroger sur les process afin de les accélérer. Et donc de se mettre autour d’une table pour comprendre où cela bloquait.
En guise de réponse, il a été demandé qui m’avait habilité à émettre des recommandations. Aucune de ces orientations n’a ensuite été partagée ou discutée.
J’ai alors remonté toute la chaine hiérarchique de l’institution en commençant par l’instance de gouvernance de l’évaluation pour évoquer des arbitrages contraires à la politique de suivi évaluation de l’institution, notamment sur le plan des normes et standards de l’évaluation.
Parallèlement, j’avais proposé à l’institution de transposer cette expérience en cas pratique à disposition de l’ensemble des projets en gestation en lien avec la réponse au changement climatique.
Après plus d’une vingtaine de relances, un simple debriefing n’a toujours pas eu lieu.
J’en tire ici différents constats :
Au coeur de l’opérationnel, quelques heures avant la rupture, j’avais la tête dans les outils de suivi évaluation, par exemple la sélection d’un logiciel MEAL. Pourtant, les outils sont insignifiants sans une éthique non seulement affichée mais dotée de mécanismes institutionnels effectifs et de possibilités de saisines.
Dans le cas contraire, les projets et programmes se transforment en autant de fiefs et de seigneuries.
Le MEAL a besoin de travailler en collaboration forte avec les ressources humaines afin d’accoucher de systèmes de valeurs. Si ce n’est pas le cas, les critères du CAD ne sont exploitées que comme outils de mesure de la performance, simples moyens de contrôle.
Des valeurs comme la solidarité, la bienveillance, l’altruisme demandent à être aussi réhabilitées.
Que penser de ce schéma où un bailleur de fond contracte un opérateur de mise en oeuvre pour attribuer des subventions à des organisations, dont pour beaucoup la mise en oeuvre passera de nouveau par de l’expertise externe ou une nouvelle sous-traitance… Tout un écosystème.
Pour citer Emma Haziza : « on voit la chaine de ceux qui se servent ».
Malgré l’extrême compétences des chargé.es de projets dévoués et mobilisés, comment expliquer de tels délais ? Bien sûr, béaba de la gestion de projet, au fil des mois, d’autant plus en situation de crise, les besoins émis par les partenaires ne sont plus les mêmes… mais encore leur avons nous fait perdre du temps à renseigner puis modifier nos propres templates en fonction de contraintes qui nous sont propres. Quelles étaient-elles ?
S’agit-il de difficultés récurrentes à tout fonds de subvention, lourdeurs administratives, cadres logiques hors-sols, etc., ou faudrait-il explorer des traces ou volontés intentionnelles de provoquer des retards ? Si l’institution de mise en oeuvre ne se saisit pas de ce cas d’école, comment expliquer que le bailleur de fond se satisfasse de tels délais : business as usual ?
« Si tu veux aller vite, marche seul, mais si tu veux aller loin, marchons ensemble »
Pour revenir à EVAL, j’ai souhaité marché vite pour répondre à une demande qui était là, mais souvent marché seul. Mais encore car il n’est pas aisé de mobiliser du bénévolat sur la thématique de l’évaluation. Sans doute aussi car une évaluation basée sur les performances n’est que peu en phase avec les attentes d’un bénévolat qui s’inscrit dans une recherche de sens, de convivialité, d’altruisme…
Aussi, l’évaluation est un secteur d’activité, et lorsqu’il est mobilisé, de belles expériences fleurissent. Mais encore faut-il qu’il soit mobilisé. Ou pire, lorsqu’il est mobilisé, il y a déjà un biais, des commanditaires déjà imprégnés d’une culture de la transparence ou de l’apprentissage.
L’enjeu demeure d’institutionnaliser l’évaluation. Rien de nouveau ici, Bernard Perret par exemple évoquait déjà notre capacité à mettre en place de nouvelles formes de gouvernance.
Mais encore, agir sur la traçabilité des prises de décisions. Ou encore, la capacité d’une organisation (une institution, un corps,…) à générer une pensée critique.
Dans un combat frontal, chacun se retranche sur ses positions, il faut accompagner l’évaluation de mécanismes de fabrique du consensus. Proposer de nouvelles options. Explorer l’apprentissage. L’intégrer à la formation professionnelle, tout au long de la vie.
Parallèlement, la probité et l’intégrité doivent être interogées, intégrées aux chaines de valeurs par des mécanismes fonctionnels et opérationnels.
Prendre conscience que les modèles préconçus de critères propagent une soumission à des manières de penser et de conduire les actions, quand bien même le point de départ devrait être la délibération sur les valeurs.
Les formations en évaluation foisonnent dorénavant. Imprégnées d’une doxa que j’ai moi-même contribué à relayer.
Il faudra dorénavant mettre en valeur encore plus qu’auparavant les approches alternatives. Dans un collectif qui se disloque, dessiner des dynamiques comme un ciment destiné à la stabilité de notre vivre ensemble en contribuant à faire émerger des systèmes de valeur.