Les contre-principes d’évaluation

Disclaimer. L’article ci-dessous est purement et tristement sarcastique. Il s’agit d’un simple contre-pied aux principes directeurs de l’évaluation. Par facilité, une simple inversion des principes du CAD, agrémenté de retours d’expérience. D’expériences douloureuses de la pratique de l’évaluation, qui ne font que rarement surface. Comme toujours, détecter les dysfonctionnements et envisager que, si un seul principe est balayé, c’est l’ensemble du système qui se trouve potentiellement sans objet. Au coeur de la réflexion : quelles protocoles, quelle réactivité, quelles instances mandatées pour apprécier et réagir à un écart aux principes ? 

Opacité

Les résultats de l’évaluation seront systématiquement étouffés, tant en interne qu’en externe pour en garantir la plus totale opacité. 

Les recommandations, si elles n’ont pu être dissimulées font systématiquement l’objet d’une absence de réponse. En aucun cas, elles ne pourront être financées ou suivies.

Dépendance

Des cabinets de consultants seront mis en concurrence ou short-listés. Leurs rémunérations et la reconduite de leurs contrats sont laissés à la discrétion des commanditaires afin de garantir les moyens de pression et encourager l’éloquence des prestataires sur la qualité du projet. Les profils de chercheurs institutionnels sont moins compatibles avec le principe de dépendance.

Les éventuels conflits d’intérêts n’ont pas d’intérêt absolu à être examinés. 

Incompétence

Des compétences spécifiques dans le domaine d’action sont superflues pour le consultant. Des notions de base en complaisance (niveau 3 ou plus) sont requises.

La capacité à digérer des couleuvres est une aptitude appréciée. Ainsi qu’une certaine aisance à évoluer dans les paniers de crabe. Un bon appétit et palais fin nécessitera de s’enraciner quand la soupe est bonne.

En cas de promotion d’un responsable de programme, un procès en incompétence pourra être ouvert, uniquement une fois le départ du responsable effectif.

La méthodologie est proposée en fonction des compétences de la personne qui rédige les ToR. En cas d’absence de compétences, la méthodologie est proposée en fonction des compétences de la personne qui rédige les ToR.

Survoler les critère du CAD en pensant qu’ils sont au nombre de 5 est toléré jusqu’en 2030. Les critères utilisés sont copiés et collés en termes clairs.

Plagiat : oublier d’effacer le nom de l’ONG qui a rédigé la version originale des ToR afin de le remplacer par le sigle de sa propre institution est convenu dans la limite d’une mention par page. 

Il est autorisé de compiler dans les indicateurs des activités encore en cours et des résultats finalisés afin de donner fière allure à une action.

Inutilité

L’évaluation devra intervenir beaucoup trop tard dans la vie du projet afin d’en maximiser l’inutilité. 

Inclure des résumés exécutifs est prohibé. Les longs rapports permettent de diluer l’information, notamment lorsqu’ils ne sont pas lus. Par ailleurs, ces rapports doivent être tenus les plus formels possibles afin de favoriser le siphonnement de la majorité des ressources budgétaires lors des phases d’écriture.

L’utilisation d’un jargon MEAL et de termes sophistiqués garantissent une meilleure non-appropriation. Un langage stéréotypé et élogieux est convenu. 

Le nombre de journées d’évaluation alloué doit rester suffisamment inconséquent pour permettre un travail frénétique du consultant tout en recherchant un apprentissage superficiel pour l’institution. 

Un travail en silo est nécessaire afin d’empêcher les constatations, conclusions et recommandations qui permettraient de tirer des enseignements pour de futures conceptions et mises en œuvre.

Considérer des ressources et compétences insufflées en évaluation de programmes comme leviers de  développement des capacités des systèmes nationaux d’évaluation est strictement interdit et passible d’un regard d’incompréhension.

Exclusion, isolement et marginalisation

Les parties prenantes sont exclues dès que possible du processus d’évaluation avec l’impossibilité de contribuer à la conception de l’évaluation, y compris l’identification des problèmes à aborder et des questions à poser.

En cas de force majeure, un minimum de parties prenantes seront consultées et invitées à contribuer. En aucun cas des usagers ou des bénéficiaires. Tenir cependant un double discours est encouragé. Vanter les éloges de la concertation, du partenariat est considéré comme une bonne pratique.

Les questions d’évaluation ne pourront en aucune mesure considérer des aspect stratégiques. Le périmètre d’analyse autorisé étant strictement limité à la performance des prestataires chargés de la mise en place des activités auprès des usagers. En cas de financements en cascade, uniquement l’ultime maillon sera considéré (par exemple l’agent de santé dans un centre de soin). Ce périmètre prédéfini ne pourra être révisé à aucun moment. Seule, la suspension du financement du prestataire est appliquée en cas de cible initiale non-atteinte.

Les supports d’évaluation ne dévoileront AUCUNE limite du processus d’évaluation, de méthodologie ou de fiabilité des données.

Les parties prenantes ont l’interdiction d’avoir accès ou de formuler des commentaires sur la version provisoire du rapport. Les voix contradictoires seront dissimulées.

Les modifications apportées de manière imprévue au calendrier n’entrent pas dans le périmètre de l’évaluation.

La parole ne devra pas circuler librement. Les travaux collaboratifs sont annulés ou reportés afin de favoriser la rétention d’information. 

Capacité de nuisance (do some harm) et perte de confiance dans les institutions

Des vidéos promotionnelles qui subliment l’image de programmes en gestation sont encouragées afin de raviver les espoirs des populations enthousiastes sur l’efficacité de l’aide. Toute incertitude est à laisser en dehors du champ des processus évaluatifs.

Les sources d’information n’ont pas vocation à être communiquées. Si la levée de l’anonymat est susceptible de mettre la source en danger, des dérogations pourront être accordées.

Le contexte d’intervention doit scrupuleusement être ignoré. Seul le résultat compte, sur base des données préalablement manipulées.

Les critères d’identification et de sélection des bénéficiaires sont inutiles d’être précisés, l’appellation  générique « les plus vulnérables » sera consacrée. Les bénéficiaires indirects (experts et professionnels du programme) n’ont pas vocation à être identifiés à ce stade mais pourront se manifester au renouvellement de leur contrat ou de choisir leur prochaine destination.

Les ressources affectées à l’évaluation seront inadéquates, en termes de fonds, de personnel et de compétences, afin de garantir que les objectifs de l’évaluation soient efficacement intenables.

Quand ils conçoivent et mènent une évaluation, les évaluateurs tiennent compte du rôle social des consultants, de leur âge et de l’heure du petit-déjeuner.

La politique d’évaluation devra être appuyée avec parcimonie par la direction et les organes de gouvernance afin de ne pas interférer avec la créativité des baronnies locales. 

Avant tout et en premier lieu, l’évaluation sera considérée comme une pratique facultative et programmée les soirs, week-ends et jours fériés. 

Pour aller plus loin