Evaluation des programmes d’aide au développement

Ci-dessous une sélection d’articles, revues, dossiers en lien avec l’évaluation de projets et de programmes de développement, le choix des critères et les politiques développées par l’industrie de l’aide.

Articles

La question de la durabilité apparaît comme un problème majeur dans la qualité des projets de développement. Or, c’est la durabilité qui détermine l’impact réel de l’aide : à quoi sert de financer des infrastructures, de renforcer ou de réformer des institutions, si les résultats ne sont pas durables, si les infrastructures sont sous-utilisées et leur maintenance est non assurée, et si les changements organisationnels ne durent que le temps de la perfusion externe de ressources liée au projet ?

Dans le champ de la solidarité internationale et de la coopération décentralisée, nombreux sont les acteurs qui visent à orienter ou contribuer au « changement social ». S’ils convergent pour reconnaître que le changement social ne se décrète pas, pas plus qu’il ne se programme ou ne se contrôle, tous ne partagent pas pour autant une même vision du changement social souhaité. Comment ce changement social est-il en pratique défini par les acteurs qui contribuent à l’accompagner ? Comment l’évaluation peut-elle capturer les changements que des interventions exogènes de développement soutiennent ? Le second séminaire conjoint F3E-AFD visait à répondre à ces questions. Ces actes rassemblent leur contribution respective et les termes du débat engagé lors de ce second séminaire F3E-AFD (vidéo disponible ici). 

Janvier 2016, coordination Emilie Aberlen, Florent Bedecarrats, Charlotte Boisteau

Le dossier explore l’action publique en Afrique, particulièrement dans les pays sous régime d’aide. L’aide internationale, bien qu’orientée vers le développement, peut complexifier la gouvernance et affaiblir la souveraineté des États en les rendant dépendants et en imposant des cadres normatifs. L’expression « donor-driven ownership » est un euphémisme qui masque une asymétrie de pouvoir où les « propriétaires » des politiques sont en réalité les bailleurs de fonds. Néanmoins, les modèles importés ne s’appliquent pas mécaniquement et sont souvent « subvertis » ou réinterprétés par les acteurs locaux pour s’adapter à leurs réalités et intérêts. Au lieu de se limiter à l’analyse des effets sur le terrain, il est complémentaire d’investiguer « en amont » la manière dont les problèmes sont « mis sur agenda » et les solutions « fabriquées » par les acteurs, avec leurs jeux de pouvoir et leurs arguments. L’évaluation devrait se concentrer sur l’élucidation des processus de fabrique des politiques.

➡  Une idée clé : les « écarts à la norme » et les « pratiques illégales » ou « extrajudiciaires » ne sont pas toujours des dysfonctionnements à corriger, mais peuvent être des « arrangements informels productifs » ou même des « stratégies locales de construction de l’État » pour maintenir l’ordre et fournir des services que les politiques formelles ne peuvent pas assurer.

Ce volume présente les actes du premier séminaire sur l’évaluation organisé conjointement par l’AFD et le F3E, le 15 octobre 2012. Cette rencontre visait à dresser un état des lieux des pratiques et des enjeux de l’évaluation dans le contexte en évolution de l’efficacité du développement. Dans ce cadre renouvelé, le rôle de l’évaluation en tant que vecteur d’efficacité s’impose autant qu’il interpelle : qu’entendons-nous aujourd’hui par évaluation? Quels objectifs viser en priorités ? Quelles innovations au service des démarches d’évaluation ?

Ce numéro de la Revue Tiers Monde est issu du colloque « La mesure du développement. Comment science et politique se conjuguent » organisé par le Gemdev début février 2012 au siège de l’Unesco à Paris. Deux questions seront prioritairement instruites par les textes de ce numéro. Comment produit-on des données ? Quels en sont les usages politiques ? Le traitement simultané de ces deux questions fait apparaître l’articulation entre les modalités de production des données et leur utilisation, voire leur instrumentalisation.

Apprentissage

Ce document est un guide pratique pour animer un atelier de « leçons apprises » après un projet. Sans un processus formalisé, les leçons importantes sont souvent perdues. Le guide suggère que les organisations ont une mémoire institutionnelle faible et tendent à répéter les mêmes erreurs. L’accent mis sur les « conséquences imprévues » et ce qu’on ferait « différemment » est une reconnaissance que les projets ne se déroulent jamais parfaitement comme prévu et qu’admettre l’échec est une condition de l’apprentissage.

Ce guide propose une méthode structurée pour que les organisations, notamment The Nature Conservancy, tirent des enseignements de leurs projets. Il s’agit de combattre l’amnésie organisationnelle pour systématiser l’amélioration continue et le management adaptatif. Avec des processus simple mais systématiques et intégrés, par exemple, le chef de projet rencontre le personnel tous les 3 à 6 mois pour identifier et discuter des principales leçons clés. La collecte d’information se structure autour de quatre questions fondamentales : Qu’est-ce qui a bien fonctionné ? Qu’est-ce qui n’a pas bien fonctionné ? Que feriez-vous différemment ? Quelles recommandations feriez-vous aux autres ? Ce guide s’inscrit dans l’idéologie managériale de la Gestion de la Connaissance (Knowledge Management) et de l’Amélioration Continue (Kaizen).

Les enseignements présentés dans les rapports d’évaluation sont de qualité variable et d’utilité limitée. Trop souvent ce sont des platitudes nées d’un besoin de souligner son engagement dans la société du savoir ou tout simplement pour satisfaire aux exigences de l’exercice d’évaluation. Même lorsque la qualité des enseignements est indéniable, ceux-ci sont rarement véhiculés et communiqués de façon constructive aux interlocuteurs concernés. Afin d’améliorer la qualité de ses enseignements, de favoriser leur utilisation et leur dissémination, un cadre thématique d’enseignements tirés de l’évaluation est présenté dans cette étude. Ce cadre est a utiliser dans un contexte interactif de «face à face» avec les chargés de projets/programmes afin de s’assurer que les enseignements soient effectivement acquis.  

Pour aller plus loin : voir toute la section dédiée à l’apprentissage

Approches participatives

L’attention est portée sur le « comment-on-travaille-ensemble » plutôt que sur le « qu’est-ce-qu’on-a-réalisé? ». Avec l’auto-évaluation participative : Ce sont les acteurs du projet qui mènent eux-mêmes leur évaluation , en définissant leurs propres critères de succès. L’évaluation est une activité continue qui s’intègre au déroulement du projet, créant une boucle d’apprentissage permanent. Le sous-entendu est que la demande de « données probantes » par les ministères ignore la richesse et la complexité des processus de changement social, qui sont lents et difficiles à quantifier. Le guide adopte une position forte et engagée : il affirme que la seule évaluation cohérente pour le développement communautaire est celle qui en épouse les principes fondamentaux, soit la participation et l’empowerment.

Ce guide est un cadre pratique pour les approches participatives en développement. Il redéfinit les relations entre les parties prenantes en promouvant la propriété partagée des décisions et l’autonomisation des communautés locales, par opposition aux méthodes descendantes.  Il met en avant les « Baselines Participatives » pour établir une compréhension commune de la manière dont les changements seront mesurés dès le début. Le guide expose une critique des structures de pouvoir existantes dans le domaine du développement, où les agences externes détiennent souvent le contrôle.

Elaborer des termes de références

Le Termes de Référence (TdR) ou mandat est le document qui définit le cadre d’une évaluation. Il précise le contexte du projet, les objectifs, les questions clés et les méthodologies à appliquer. Il décrit la composition et l’expertise requise de l’équipe, ainsi que le calendrier des activités. Les livrables attendus, comme le rapport final, présentations ou autres support sont clairement listés. Enfin, le TdR clarifie les rôles, les responsabilités de gestion et les aspects financiers et logistiques.

Pour aller plus loin : les termes de références

Théorie du changement

Cet ouvrage collectif rassemble les réflexions critiques de près de trente experts de l’évaluation et de la programmation.  L’ouvrage acte le passage d’un modèle linéaire, souvent conçu par des experts externes, à une approche constructiviste où la ToC est un objet social, co-construit, politique et évolutif, qui sert à naviguer l’incertitude plutôt qu’à la prédire. Les auteurs offrent une critique potentielle e l’instrumentalisation des Théories du Changement, souvent réduites à des exercices de justification pour les bailleurs de fonds (« logframe on steroids »). Beaucoup d’organisations préfèrent présenter leur action comme purement technique et apolitique. Rendre visibles les intérêts, les biais et les compromis politiques serait vu comme un risque, alors que l’ouvrage suggère que c’est une condition de la rigueur et de l’éthique.

Pour aller plus loin : théorie du changement

Utilité de l’évaluation

Ce document du Département de l’évaluation des opérations de la Banque mondiale présente huit études de cas d’évaluations. L’utilité d’une évaluation ne dépend pas seulement de sa rigueur méthodologique, mais de sa capacité à influencer les décisions. Le rapport compare le coût de l’évaluation aux bénéfices économiques et sociaux qu’elle a générés, la présentant comme un investissement et non comme une simple dépense. L’apport principal du guide est son écart par rapport aux points de vue méthodologiques pour se concentrer sur une seule question : l’utilité. Ce rapport s’inscrit dans le courant de la « bonne gouvernance » promu par les institutions de développement internationales dans les années 1990 et 2000. Son idéologie est celle du néo-institutionnalisme, qui considère que des institutions efficaces, transparentes et redevables sont la clé du développement économique.

L’évaluation en images


Un initiative originale avec un recours à l’image pour documenter, analyser et évaluer un projet. L’originalité des évaluations filmées réside dans leur capacité à capturer et à transmettre des dimensions humaines et contextuelles souvent absentes des rapports écrits. Avec un potentiel de diffusion beaucoup plus vaste. En ce sens, ils participent potentiellement à l’action en répliquant les éventuels messages de sensibilisation. Cette initiative illustre en quoi journalisme et évaluation peuvent se confondre : sélection de l’angle et des questions évaluatives, sélection des répondants, sélection du format et des moyens de diffusion, etc.

  • Evaluation filmée Prey Nup – Construire contre les marées
    La vidéo « Construire contre les marées » retrace une décennie d’intervention en faveur de la réhabilitation des polders de Prey Nup au Cambodge. Un film de Eric Mounier, Studio K, AFD, 2009
  • Projet Eau à Soweto – 2005-2010 – Evaluation filmée
    Le programme « Gcin’amanzi » (« conservation de l’eau » en zoulou) à Soweto était un important projets dans le domaine de l’eau. Le film documentaire qui relate l’histoire de ce projet se fonde sur les principaux critères évaluatifs utilisés par la communauté des bailleurs. Un film de Eric Mounier, production Studio K, AFD, 2011
L’évaluation expliquée aux enfants
  • Eva the Evaluator – Roger Miranda, Birgit Stadler – Learningham Press, 2009

Ce livre a pour ambition de démystifier le concept de l’évaluation en le rendant accessible à un jeune public. L’histoire met en scène une jeune fille curieuse, Eva, et son père, qui est évaluateur de profession. À travers un dialogue simple et des situations concrètes, le père explique à sa fille en quoi consiste son travail.

évaluation, EVAL, www.eval.fr
Autres ressources en évaluation dans le secteur du développement

Date de première diffusion : 2010
Dernière actualisation : 2025