Catégorie : Ressources

Le monde du développement, des conflits d’intérêt à tous les niveaux

Valéry Ridde et Jean-Pierre Olivier de Sardan, « The Development World: Conflicts of Interest at All Levels », Revue internationale des études du développement, 249 | 2022, mis en ligne le 02 septembre 2022

Dans cet article, Valéry Ridde et Jean-Pierre Olivier de Sardan proposent une définition inclusive du conflit d’intérêt.

Le conflit d’intérêt intervient lorsqu’un acteur engagé à n’importe quel degré d’ingénierie de projet, humanitaire ou de développement, estime nécessaire d’afficher des opinions qui contredisent ses perceptions ou ses connaissances, de retenir des critiques ou d’ignorer les problèmes rencontrés par l’intervention. 

Ainsi, une surdité aux critiques émises par d’autres acteurs ou une auto-censure de ses propres critiques. Toute critique ouverte pouvant ainsi mettre en péril la position de chacun et chacune dans l’industrie du développement. Un univers ou l’auto-congratulation, l’auto-régulation, la parole élogieuse, la promotion des interventions et l’utilisation d’un langage stéréotypé est la norme.

Les enjeux sont divers : obtenir ou renouveler un financement, la crainte de ternir son image, « ne pas nuire » à sa carrière ou à son compte en banque.

Pour les consultants, la pression implicite des contractants de ne plus avoir recours à des profils estimés trop critiques. Une certaine connivence entre bailleurs et consultants, dans des espaces de temps de toute façon trop restreints pour des évaluations de qualité et coincés en tant que prestataire par des termes de référence qui imposent ce qui doit être étudié et comment. Sortir du cadre implique s’exposer à ce que le rapport ne soit pas « validé » et de fait non-payé. 

Les ONG et agences de mise en oeuvre, en tant que sous-traitantes, mises sur le renouvellement d’un contrat, voir jouent leur propre survie sur l’atteinte des résultats préalablement fixés au moment de la contractualisation du « partenariat ».

De la même manière, les services publics, exigus, sont enclins à dissimuler les échecs, montrer qu’ils sont bon élèves, que les activités prévues ont été menées de manière efficiente, quelle qu’en soit la qualité, afin d’engendrer ou renouveler l’appui. Par ailleurs, « à cheval donné, on ne regarde pas les dents ». 

Cette posture du bon élève se décline des échelons territoriaux jusqu’aux populations bénéficiaires, gommant les aspérités des arènes politiques locales, elles mêmes susceptibles d’accélérer ou de contraindre la réussite des initiatives. Peu importe l’issue, des narratifs idylliques sont attendus et produits pour les partenaires étrangers.

Bien sûr des exceptions existent, des expériences positives fleurissent, certains acteurs jouent selon les règles, sans censure, ni auto-censure. 

En conclusion, Valéry Ridde et Jean-Pierre Olivier de Sardan proposent diverses pistes :

  • orienter la recherche vers la compréhension et la documentation des conflits d’intérêt, explorer les exceptions positives
  • convaincre, argumenter, former : de la nécessité de regarder la réalité en face, sortir de l’obsession des résultats positifs, instaurer notamment une culture de diagnostic rigoureux
  • attendre des bailleurs, lesquels maitrisent les règles du jeu, d’impulser des mécanismes qui engendrent des évaluations réellement indépendantes, avec des méthodes mixtes, avec plus de poids pour les méthodes qualitatives
  • la publication et le libre-accès aux évaluations de manière systématique, incluant un droit de réponse et la transparence du débat
  • un fond pour la recherche piloté par un comité d’experts indépendants qui sélectionnerait les propositions de recherche (abondé par exemple à hauteur de 10% des montants engagés)

Ces propositions visent à stimuler un débat actuellement absent sur le rôle que devrait avoir les institutions de développement pour générer des analyses indépendantes, rigoureuses et sans complaisance.

Pour contribuer, modestement, à ce débat, nous mettons à disposition cet espace et sollicitons vos réactions. Les conflits d’intérêt, la norme ou l’exception ? Merci par avance de vos retours d’expérience.

L’évaluation en contexte de développement, enjeux, approches et pratiques

L’évaluation en contexte de développement – enjeux, approches et pratiques, sous la direction de Linda Rey, Jean-Serge Quesnel et Vénétia Sauvain, ENAP, 2022

Le manuel se présente comme destiné aux personnes souhaitant s’initier à l’évaluation de programmes. Saut dans le grand bain pour les débutants, il permettra surtout aux initiés une approche réflexive et actualisée sur leurs pratiques. Suivant le fil d’une démarche évaluative, il donne la parole à une sélection de praticiens et praticiennes, ce qui laissera par ailleurs l’opportunité à chacun de suivre des auteurs en fonction de ses centres d’intérêt. Dans son dernier chapitre, le manuel réuni les points de vue des premiers coordonnateur et présidents du Réseau Francophone d’Evaluation. L’ouvrage se circonscrit plus particulièrement au contexte du développement et de la coopération. Un deuxième tome permettrait de s’extraire de la logique de coopération, considérer l’avance des praticiens et praticiennes du développement dans la discipline afin d’offrir une référence plus globale en termes d’évaluation de politiques publiques et interroger les pratiques des pays hors du champs de l’aide. Enfin, l’ouvrage est disponible en ligne.

Les limites du cadre logique

Les limites intrinsèques

1. Rationalité, linéarité et causalité
Logique de causalité du cadre logique
Une logique de causalité : si A produit B et B produit C alors A devrait produire C. Extrait du manuel de référence du cadre logique.

Le cadre logique se fonde sur des principes de causalité, de linéarité et de rationalité. Pour autant, si l’Homo sapiens était rationnel, la planète serait une oasis de prospérité, sans nécessité de programmes de développement et donc de cadre logique…

La rationalité est limitée par la subjectivité, notre perception de la réalité influencée par nos principes, valeurs, dogmes ;  par notre culture et éducation, nos orientations psychologiques et humeurs du moment…

Cette rationalité est par ailleurs limitée par notre champ de vision, ce qui nous apparait comme un manque de rationalité est souvent lié à un simple déficit d’information. Nous jugeons irrationnels des comportements dont nous ne comprenons pas les motivations.

Egalement l’apparente irrationalité peut émerger d’une distorsion entre intérêts individuels et intérêts collectifs. Une fois les intérêts individuels soulevés, l’explication des comportements se clarifie…

Selon René Descartes, père spirituel de la rationalité. : « Pour atteindre la vérité, il faut une fois dans la vie se défaire de toutes les opinions que l’on a reçues, et reconstruire de nouveau le système de ses connaissances.« 

Un portrait de René Descartes : père spirituel de la rationalité. " Pour atteindre la vérité, il faut une fois dans la vie se défaire de toutes les opinions que l'on a reçues, et reconstruire de nouveau le système de ses connaissances."
René Descartes : père spirituel de la rationalité.  » Pour atteindre la vérité, il faut une fois dans la vie se défaire de toutes les opinions que l’on a reçues, et reconstruire de nouveau le système de ses connaissances. »

Le principe de linéarité est de la même manière tout relatif.

Planification vs réalité
Le principe de linéarité induit par le cadre logique.
Atteinte des résultats

Divers chercheurs en sciences sociales vont remettre en cause ces « présupposés positivistes » :

« Si les gentils acteurs d’un projet se voient attribuer certains moyens, qu’ils utiliseront frugalement et dont ils rendront fidèlement compte, ils mettront en œuvre des activités utiles et nécessaires, qui permettront d’atteindre des objectifs vérifiables et bénéfiques, au service d’une juste cause, sauf si de méchants acteurs extérieurs ne font pas ce qu’ils ont promis de faire. »

Planification, gestion et politique dans l’aide au développement : le cadre logique, outil et miroir des développeurs – François Giovalucchi et Jean-Pierre Olivier de Sardan -Revue Tiers Monde, 2009

« le développement n’est pas mû par une logique cartésienne de cause à effet, mais par une dynamique chaotique de simultanéité »

Pierre Jacquet, « À la poursuite des Objectifs du millénaire », Option Finance, janvier 2005

« … vision technique et dépolitisée, sans références aux arènes locales, aux dynamiques en cours, aux jeux d’acteurs existants.»

«…il suffirait de dérouler mécaniquement les actions prévues pour obtenir les résultats attendus oubliant qu’une intervention induit des interactions permanentes entre les espaces locaux et l’intervention. »

Analyser, suivre et évaluer sa contribution au changement social , Philippe Lavigne Delville, séminaire AFD-F3E, 2014

Cette théorie de la causalité est également remise en cause par la théorie de la double causalité : l’avenir peut-il influencer le passé ? Mais quittons la métaphysique pour revenir à des éléments plus pragmatiques…

2. La simplification à outrance

Incorporer la substance d’une, trois ou cinq années de programme dans une matrice de 4 sur 4 est en soi une performance. Même si le rédacteur du cadre logique possède une connaissance extrêmement poussée du contexte, le degré de finesse et de précision qui pourra être transmis à travers les cases de l’outil ne sera que limité. Le cadre logique est forcément réducteur de la complexité d’une situation et de la tentative de réponse apportée.

Par ailleurs, seul le concepteur du cadre en possède toute la substance, lui ou elle seul.e en maitrise les nuances et les sous-entendus, les omissions de ce qui est considéré comme implicite afin de ne pas déborder du format tableur et, par souci de lisibilité, d’en équilibrer chaque case.

Pour autant la lecture de ce concentré de projet est complexe, chaque élément demande concentration et réflexion et il n’est probablement pas plus rapide de lire en profondeur un cadre logique sur 3 pages qu’un narratif de projet sur 30 ou 50.

Réponses aux critiques sur le cadre logique

Quelles que soient les critiques envers l’outil et son mode d’utilisation, force est de constater que Léon J. Rosenberg et Lawrence D. Posner (voir les prémices du cadre logique) étaient des visionnaires. A travers l’outil, les deux consultants entrevoyaient les fondations d’un système de suivi et d’évaluation pour l’agence de coopération américaine, alors même qu’aucune institution n’avait encore formalisé ce type de système.

Aussi, diverses approches méthodologiques postérieures au cadre logique étaient déjà dans le champ de vision de Rosenberg et Posner, par exemple :

La capitalisation d’expérience :

La justification première de l’investissement sollicité pour diffuser le cadre logique dans l’agence est ce que nous appelons communément aujourd’hui la capitalisation d’expérience.

Est-ce que la mise en place de nos préconisations* mérite l’investissement ? Cette question rhétorique en appelle une autre : quelle est la valeur de sauvegarder l’expérience de 20 années de développement ?

*la préconisation évoquée est l’adoption officielle et diffusion du cadre logique au sein d’USAID pour un montant d’environ 500 000$ en 1969

– Project evaluation and the project appraisal reporting system, 1969

La cartographie des incidences (outcome mapping) :

L’extrait ci-dessous illustre de manière troublante les fondements de la méthode de la cartographie des incidences, construite par opposition au cadre logique.

Par exemple, si l’objectif spécifique est d’augmenter la production de riz de 50% et que les résultats attendus sont (1) la construction de canaux d’irrigation (2) la distribution de semences à haut rendement et que le projet assume qu’il y aura suffisamment d’engrais sur le marché à un prix raisonnable et que les producteurs auront accès à des crédits – le projet pourrait avoir a influencer les producteurs et distributeurs d’engrais et les institutions bancaires malgré que celui-ci n’ai aucune autorité sur eux. Le responsable de programme peut le faire en partageant ses objectifs avec les parties prenantes. Avec le cadre logique, il peut présenter ses objectifs spécifiques, les réalisations attendues, et les hypothèses critiques pour le succès du projet. Il peut aussi présenter l’objectif global afin qu’ils puissent se rendre compte en quoi ils contribuent à une entreprise importante. Finalement, il peut partager avec eux les hypothèses du projet pour que chacun puisse visualiser son rôle permettant d’aider le responsable de projet à accomplir sa tâche.

The logical framework : a manager’s guide to a scientific approach to design and evaluation, Practical Concepts Incorporated, November 1979

Par ailleurs, certaines critiques comme l’absence de concertation ou la rigidité du cadre logique sont à relativiser car celles-ci avaient été anticipées considérées par Rosenberg et Postner :

Absence de concertation

Le processus d’élaboration du cadre est à faire de manière collaborative. Cela demande la participation de toutes les parties prenantes : les équipes de programmation, les équipes cadres, les gestionnaires de projets, les expertises techniques, les techniciens et fréquemment les experts en évaluation.

The logical framework : a manager’s guide to a scientific approach to design and evaluation, Practical Concepts Incorporated, November 1979

Rigidité

« The art of planning et replanning »

Le rapproche de rigidité du cadre logique quand bien même ces auteurs élevait la planification et re-planification au rang d’un art.

Austérité et conformisme

Bien sûr la diffusion de la méthode à travers les années et les institutions a débouché sur un niveau élevé de conformisme et de soucis de conformité. De nombreux projets font office de « copier/coller » et une peur de l’innovation afin de ne pas « sortir du cadre ». Pour autant, le mode de fonctionnement des auteurs était rafraichissant et atypique :

Un formateur se souvient : c’était un environnement des plus stimulants car la philosophie de Léon était d’embaucher des gens issus de parcours divers, de les projeter dans un domaine dans lequel il n’étaient pas experts, et de voir quel type de créativité pouvait émerger… avec pour objet… « la génération d’un flot d’idées plutôt qu’une application d’un savoir préconçu »

Il est toujours intéressant afin de saisir une méthode ou en cas d’incompréhension théorique, de revenir systématiquement à sa source. Peter Drucker, père fondateur de la Gestion Axée sur les Résultats et donc inspirateur de l’approche du cadre logique indiquait : « les résultats sont obtenus en exploitant des opportunités, et non et résolvant des problèmes ».

Alors même que la conception du cadre logique débute par un arbre à problèmes !

“Results are gained by exploiting opportunities, they are not gained by solving problems.” Peter Drucker

Et pour conclure ce tour d’horizon, une devise Shadok :

Cadre logique : s'il n'y a pas de solution, c'est qu'il n'y a pas de problème (devise Shadok)

Question :

Selon vous, quelles sont les limites du cadre logique ? Comment pourrait-il être remplacé ?

Répondre au questionnaire cadre logique

Pour aller plus loin :
Approches critiques du cadre logique
Le cadre logique
  1. L’analyse des parties prenantes
  2. L’analyse des problèmes
  3. L’analyse des objectifs
  4. L’analyse des stratégies

Date de première diffusion : octobre 2019

Urgence

Mesure de l’impact et redevabilité en situation de secours d’urgence, « Guide suffisamment bon », 2008

Le Projet a été créé pour traiter les lacunes dans la réponse internationale aux secours d’urgence. Son objectif consiste à améliorer la rapidité, la qualité et l’efficacité avec laquelle la communauté humanitaire sauve des vies, améliore le bienêtre et protège les droits des femmes, des hommes et des enfants affectés par l’urgence.

Appréhender la différence entre corrélation et causalité en évaluation de projet

Corrélation


La corrélation est un concept purement statistique qui indique l’existence d’une relation ou d’une association entre deux variables. Lorsque deux variables sont corrélées, cela signifie que les changements observés dans l’une sont liés, de manière systématique, aux changements observés dans l’autre.

On distingue trois types de corrélation :

  • La corrélation positive : Les deux variables évoluent dans la même direction. Si l’une augmente, l’autre a tendance à augmenter également. Un exemple classique est la corrélation positive entre la hausse des températures estivales et l’augmentation des ventes de crèmes glacées
  • La corrélation négative : Les deux variables évoluent en directions opposées. Si l’une augmente, l’autre a tendance à diminuer. Avec la hausse de températures estivales, la baisse de la vente des appareils à raclette. 
  • La corrélation nulle : Il n’existe aucune relation statistique apparente entre les deux variables. Le temps d’écran pour les ados et la vente de pamplemousse dans l’arctique. 

Etudier la corrélation est une première étape d’analyse. Par exemple, est-ce que la construction de pistes cyclables augmente l’usage de la bicyclette ? 

Comme exposé par le statisticien Edward Tufte, « la corrélation n’est pas synonyme de causalité, mais c’est certainement un indice« . Elle signale une relation à investiguer, mais ne dit rien sur la nature de cette relation.

Causalité

La causalité est un concept plus fort et plus exigeant. Elle signifie qu’un changement dans une variable, la cause, provoque directement un changement dans une autre variable, l’effet. Il s’agit d’une relation de cause à effet où l’une des variables influence directement l’autre. Cette notion, fondamentale pour la science moderne, a été formulée de manière concise par Galilée : « La cause est ce qui est tel que, lorsqu’elle est posée, l’effet s’ensuit ; lorsqu’elle est ôtée, l’effet est ôté ».

La distinction conceptuelle est fondamentale : la causalité implique toujours une corrélation, mais une corrélation n’implique jamais nécessairement une causalité. Si un projet cause réellement une amélioration, on observera une corrélation entre la mise en œuvre du projet et l’amélioration. Cependant, l’observation de cette corrélation seule ne suffit pas à prouver le lien de causalité.

Dans le cadre de l’évaluation de projet, on peut se demander si la construction de pistes cyclables incite les gens à faire du vélo, ou si les municipalités construisent des pistes cyclables en réponse à une demande croissante de cyclistes déjà existants. La relation peut également être bidirectionnelle, chaque variable influençant l’autre dans une boucle de rétroaction.

Exemple : pistes cyclables et commerces de proximité

L’observation (la corrélation) :

Les politiques de promotion des mobilités douces, et en particulier du vélo, connaissent un essor sans précédent. Les collectivités investissent dans la construction d’infrastructures dédiées, comme les pistes cyclables sécurisées. Les données de comptage montrent presque systématiquement une augmentation de la fréquentation cycliste dans les zones où de tels aménagements sont réalisés.

Dans un territoire donné, les élus décident d’investir dans la création et la sécurisation de pistes cyclables sur une période de cinq ans. 

En analysant les données économiques de la même période, on observe que dans les rues où de nouvelles pistes cyclables ont été aménagées, le chiffre d’affaires des commerces de proximité (boulangeries, kebabs, supérettes,…) a augmenté.

Ici, nous avons une corrélation positive :

  • Variable A : le nombre de kilomètres de pistes cyclables.
  • Variable B : le chiffre d’affaires des commerces locaux.

Lorsque la variable A augmente, la variable B a tendance à augmenter aussi. Les deux variables évoluent ensemble.

L’analyse : pourquoi ce n’est (peut-être) pas si simple

La conclusion hâtive serait de dire : « L’installation de pistes cyclables provoque une augmentation de l’activité commerciale. » C’est une hypothèse plausible (les cyclistes s’arrêtent plus facilement que les automobilistes pour un achat rapide, ils ont plus soifs, ils réinvestissent le temps gagné et l’argent économisé dans un café crème avec croissant sur une terrasse moins polluée qu’avant, etc.).

Cependant, la corrélation seule ne le prouve pas. D’autres facteurs pourraient expliquer cette tendance. Par exemple :

corrélation et causalité : chercher l'ensemble des facteurs
D’autres facteurs cherchent à expliquer cette tendance.

  1. Une politique globale de réaménagement : les pistes cyclables ont souvent été installées dans le cadre d’un projet plus large de réaménagement du quartier (trottoirs élargis, plantation d’arbres, limitation de la vitesse). C’est peut-être l’amélioration générale du cadre de vie qui a attiré plus de monde, et non uniquement les pistes cyclables.
  2. Un changement démographique (facteur caché) : Le quartier est peut-être devenu plus attractif pour de jeunes familles ou des ménages au pouvoir d’achat plus élevé, qui à la fois utilisent plus le vélo ET consomment plus dans les commerces locaux. Le changement de population serait alors la vraie cause.
de la corrélation à la causalité - débusquer les facteurs cachés
Le facteur caché


3. Une tendance de fond : Il y a peut-être une tendance générale, dans tout le pays, à un retour en grâce des commerces de proximité, indépendamment des aménagements cyclables.


En conclusion, la corrélation entre les pistes cyclables et la vitalité commerciale est un signal intéressant pour les urbanistes, les chargés de développement des territoires ou les élus. Mais pour prouver la causalité, il faudrait une évaluation plus poussée comparant ces rues avec des rues similaires n’ayant pas eu de pistes cyclables, afin d’isoler l’effet propre de l’aménagement.

Abuser du randomisé ?

Néanmoins, ces évaluations de type randomisées auraient pour objet d’éclairer la prise de décisions des élus pour leur politique d’aménagement. Dans la pratique, voir l’exemple d’une évaluation de fin de projet ci-dessous qui n’arrive que pour constater des problématiques opérationnelles. 

Analyser et atténuer les points de blocage en utilisant par exemple comme support de discussion la théorie du changement aurait permis d’amplifier les effets à défaut de pouvoir les circonscrire pour les mesurer.

Un projet de mobilité douce ne réside pas seulement dans le produit final (les kilomètres de pistes peintes au sol), mais dans la transformation des processus de planification et de concertation qui y ont mené. La question n’est pas seulement « Les pistes cyclables ont-elles été livrées ? », mais « Comment leur tracé a-t-il été décidé et mis en œuvre ? ». L’effet causal de la démarche pourrait être d’avoir rendu le processus de planification plus inclusif en intégrant les associations d’usagers cyclistes et les commerçants dès l’amont, ou encore plus rigoureux en se basant sur des données fines de comptage cycliste et de sécurité perçue, ou d’avoir créé de nouveaux réseaux de collaboration pérennes entre les services municipaux (urbanisme, voirie, espaces verts).

Une opinion : 

Les évaluations randomisés sont longues, complexes et donc couteuses. Dès lors qu’une corrélation forte est établie (même sous forme de convention sociale et non scientifiquement, par exemple « un ado est sera plus épanoui dehors à faire du vélo que toute la journée derrière un écran » ), l’enjeu est de multiplier les actions pour un rechercher un effet cocktail : par exemple pistes cyclables + atelier de remise en état de vieilles bicyclettes + permis vélo dans les écoles.

Mais une priorité serait de s’attaquer aux dysfonctionnements de mise en oeuvre opérationnelle qui sont récurrents, programme après programme : validations en silos, délais de décaissement anormalement longs, complexité administrative, déconnexion avec les utilisateurs finaux, projet en cycle court et unique,… 

Les retards opérationnels sont les symptômes d’une gouvernance ou d’un management défaillant sur différentes échelles (ou sur l’articulation de ces échelles – communes, départements, régions, états, UE, associations d’usagers, etc.)

Pour aller plus loin

Une explication en vidéo :

Ouvrages de référence en évaluation

Une bibliographie collaborative
Des ouvrages qui s'échangent d'une session de formation à la suivante. Ouvrages de référence en évaluation ou oeuvre littéraire.
Les ouvrages recommandés par d’anciens participants sont proposées aux nouveaux participants.

Lors du démarrage de la formation-action « concevoir et mettre en place un SSE », nous demandons aux participants quel est leur ouvrage de référence en suivi et évaluation. Celui en évidence sur leur table de chevet. Nous offrons alors les ressources préconisées aux participants de la session suivante, qui ont la possibilité de se mettre en contact avec leur « parrain ». Souvent, les participants restent pantois et n’ont pas forcément une référence en tête. Nous ouvrons alors le champs, à des ouvrages spécialisés ou techniques, des romans, des recueils de photos. A tel point qu’entre 2 sessions, nous reprenons partiellement la main en réintégrant partiellement les ouvrages spécialisés en évaluation… Au-delà d’offrir un souvenir qui fasse sens et de créer du lien entre participants de différentes sessions, avec des stagiaires issus de 17 nationalités, l’idée était également de pouvoir découvrir des publications qui n’auraient pas été détectés par nos radars.

Ci-dessous la liste des ouvrages recommandés à ce jour :

En lien direct avec l’évaluation :

  • L’évaluation des politiques publiques, Bernard Perret, 2001
  • Abc de l’évaluation évolutive, Jamie A.A. Gamble, 2008
  • Fact Fullness : Ten Reasons We’re Wrong About the World and Why Things Are Better Than You Think, Hans Rosling, 2008
  • L’évaluation des politiques publiques : le développement d’une nouvelle culture, Patrice Braconnier,Guy Cauquil, 2010
  • Agir pour le changement : guide méthodologique pour accompagner des processus de changement « complexe » : analyser, planifier, suivre et évaluer, F3E, Bruno de Reviers, Hédia Hadja-Castro, 2014

En lien, disons… plus indirect avec l’évaluation : 

  • Le savant et le politique, Max Weber, 1919
  • Gouverneurs de la rosée, Jacques Roumain, 1944
  • Questions de sociologie, Pierre Bourdieu, 1981
  • La faillite du développement en Afrique et dans le tiers monde, Samir Amine, 1989
  • Repenser l’inégalité, Amartya Sen, 2000
  • L’invention de la pauvreté, Tancrède Voituriez, Grasset, 2013
  • Pour une écologie de l’attention, Yves Citton, 2014
  • Repenser la pauvreté, Abhijit v. Banerjee, Esther Duflo, 2014
  • Americanah, Chimamanda Ngozi Adichi, Gallimard 2015
  • Petit Pays, Gaël Faye, 2016
  • L’économie symbiotique, Isabelle Delannoy, 2017

En bref : les participants aux formation à l’évaluation n’ont pas toujours un ouvrage de référence à proposer. Nous leur demandons d’en choisir un parmi la sélection d’ouvrage de la précédente promotion. Puis vient leur tour de faire un choix pour la suivante. Guide, manuel, ouvrage mais aussi photographies, livres ou BD. En l’espace d’une année nous avions déjà constitué une véritable bibliographie collaborative et ouvert nos œillères à de multiples champs hors évaluation.

Ressources en évaluation

Programme d’appui à la gestion de la thématique migratoire, ENABEL, Maroc, de l’étude de base aux rapports d’activité

En juin 2018, nous relayions ici l’appel à manifestation d’intérêt d’ENABEL pour la réalisation d’une étude de base. Nous proposons ici de mettre en perspective ce premier pas de l’évaluation avec deux rapports d’activité ultérieurs parus en 2018 et 2020.

Le programme Amuddu, doté d’un budget de 4 600 000 euros se déroule du 15 mars 2018 au 14 mars 2023 dans les régions de Rabat-Salé-Kénitra et Casablanca-Settat. En partenariat avec le Ministère délégué chargé des Marocains Résidant à l’Étranger (MDCMRE), l’Entraide Nationale et l’ANAPEC , son objectif spécifique est d’améliorer l’employabilité des migrantes et migrants au Maroc. Pour ce faire, il vise à faciliter leur accès aux dispositifs de formation professionnelle et d’accompagnement à l’emploi, tout en dynamisant la coordination entre les structures d’aide. L’impact plus global attendu est de mieux assurer l’intégration des migrants et la gestion des flux migratoires dans le pays

Etude de base (2018)

Dans le cadre du Programme d’Appui à la Gestion de la Thématique Migratoire, l’Agence Belge de Développement «Enabel Maroc » a procédé à une mise en concurrence pour le choix d’un (des) consultants (s) pour la réalisation d’une étude de Base du système de suivi et d’évaluation, intégrant l’approche genre, pour le programme d’appui à la gestion de la thématique migratoire. Consulter la proposition initiale

Rapport annuel (2018)

Rapport de résultat 2018 pour l’intervention Amuddu

Le rapport de 2018 dépeint une année de démarrage ambitieuse mais semée d’embûches. Une phase de mise en place, centrée sur la co-construction d’un cadre de suivi solide avec les partenaires. Cependant, le très faible taux de décaissement budgétaire (6% du total) et les retards dans les activités trahissent des difficultés opérationnelles majeures. Le rapport révèle notamment un blocage avec un partenaire clé, l’Entraide Nationale (EN), suite à des changements internes , forçant le projet à envisager une réorientation stratégique quasi immédiate des subventions. En réponse, l’équipe a mis l’accent sur la formalisation des processus et la recherche de synergies pour surmonter cette instabilité. Ce document illustre donc moins des résultats de terrain que le combat d’une équipe projet pour jeter des fondations dans un environnement institutionnel complexe et changeant, tout en intégrant dès le départ une analyse de genre approfondie.

Rapport annuel (2020)

Rapport de Résultats 2020 pour l’intervention Amuddu

En 2020, le projet a permis d’inscrire 253 migrants à des formations professionnelles et d’octroyer 136 bourses d’études. Sur le plan de l’emploi, il a accompagné 253 initiatives d’auto-emploi et a enregistré l’inscription de 245 migrants auprès des services de l’ANAPEC. Ces efforts ont mené à l’insertion professionnelle concrète de 15 personnes, dont 5 via le dispositif des « contrats aidés ».

Au-delà des données chiffrés, le document révèle une navigation constante à travers d’importantes lourdeurs administratives, qui ont nécessité de réorienter des fonds prévus pour des institutions publiques vers des ONG plus flexibles. Une avancée a été l’approche des « agents communautaires », des médiateurs issus des communautés migrantes qui ont créé un lien de confiance avec les services publics. Un succès qui contraste fortement avec les risques externes majeurs, comme les difficultés liées au renouvellement des cartes de séjour, qui menacent la durabilité des efforts d’intégration. Le projet a dû faire preuve d’une grande agilité, notamment face à la crise du COVID-19, en adaptant ses activités et en renforçant la digitalisation. La performance budgétaire, avec un taux de décaissement total de 37% évoque des retards dans l’exécution, notamment pour les activités d’accompagnement à l’emploi. Une synergie est activement recherchée avec d’autres programmes, notamment MBI et DEPOMI.

Ces documents nous permettent d’extraire des indicateurs clés du projet :

Exemples d’indicateurs de contexte (État des lieux avant/pendant le projet)
  1. Taux de chômage national en 2020 : Le taux est passé de 9,1% à 10,5%.
  2. Part de l’emploi informel au Maroc : Constitue environ 80% de l’emploi total.
  3. Taux de chômage des femmes en 2020 : Atteint 14,3%.
  4. Nombre de migrants inscrits à l’Entraide Nationale (2017-2018) : 401 migrants.
  5. Nombre de réfugiés et demandeurs d’asile au Maroc (Septembre 2020) : 11 960 personnes
Exemples d’indicateurs de départ du Programme (Valeur de base = 0)
  1. Nombre de migrant(e)s financés ayant créé une initiative d’auto-emploi viable un an après : la valeur de base était de 0.
  2. Nombre de femmes migrantes orientées vers des filières techniques : la valeur de base était de 0.
  3. Nombre de migrant(e)s bénéficiant de la mesure « contrats d’insertions » : la valeur de base était de 0.
  4. Disponibilité d’un plan de renforcement de capacités pour le Comité Programme 3 : La valeur de base était « Non, 0% du plan mis en œuvre ».
  5. Nombre de migrant(e)s accueillis à l’Entraide Nationale et référés à l’ANAPEC : La valeur de base était de 0.
Exemple de recommandations

Renforcer l’Agilité Opérationnelle en Priorisant des Partenariats Flexibles Les rapports, notamment celui de 2018, montrent que le programme a fait face à d’importantes lenteurs et blocages en raison de changements de direction et de la rigidité administrative de certains partenaires publics. La décision de réorienter les subventions initialement prévues pour une institution publique vers une ONG a été une mesure corrective cruciale. Il est donc recommandé de systématiser cette approche en privilégiant, pour les décaissements financiers et la mise en œuvre d’actions de terrain, des partenariats avec des acteurs de la société civile (OSC) et des ONG.

Exemples de précédents en lien avec la recommandation

Confronté régulièrement à la rigidité administrative et aux faibles capacités de gestion de certains partenaires étatiques, le Fonds Mondial de lutte contre le sida, la tuberculose et le paludisme utilise délibérément la flexibilité de son modèle. Il n’hésite pas à réorienter ses subventions vers des organisations de la société civile (OSC) désignées comme « Récipiendaires Principaux ». Cette approche n’est pas une simple mesure corrective, mais une stratégie de mitigation des risques inscrite dans son mode opératoire, permettant d’assurer une exécution budgétaire efficace et de garantir la continuité des programmes de santé vitaux là où les canaux publics sont défaillants.

Dans le domaine de l’aide humanitaire, notamment dans des contextes de crise comme en Syrie ou au Yémen, le contournement des institutions publiques est une pratique courante. Face à des blocages politiques ou à l’incapacité des gouvernements à opérer sur tout le territoire, les agences de l’ONU et les bailleurs de fonds internationaux financent directement un réseau d’ONG locales et internationales. Cette priorisation des partenariats non-gouvernementaux permet de déployer l’aide rapidement, de manière neutre et d’atteindre les populations les plus vulnérables, transformant la recommandation en une procédure opérationnelle standard pour une agilité maximale.

Enfin, au sein des grands projets de développement financés par des institutions comme la Banque Mondiale, cette même logique s’applique lors des restructurations de projet. Lorsqu’un programme prend du retard à cause de l’inertie d’une agence gouvernementale, les « revues à mi-parcours » sont souvent l’occasion de réallouer les fonds et les responsabilités. Les composantes bloquées sont alors confiées à des entités plus agiles, telles que des agences fiduciaires privées ou des fédérations d’OSC, afin de débloquer les décaissements et de relancer la mise en œuvre pour atteindre les objectifs de développement initialement fixés.

Conclusion

La mesure du succès d’un programme ne réside pas seulement dans l’atteinte de ses indicateurs finaux, mais dans l’intelligence stratégique avec laquelle il a navigué son environnement. La capacité à travailler avec les structures officielles pour les renforcer tout en cultivant la capacité de les contourner via des partenaires plus souples lorsque nécessaire est une habileté essentielle et peu contrôlable. C’est le cœur d’une gestion de projet adaptative.

Cette « agilité partenariale » est un capital immatériel. Les cadres de résultats et les rapports officiels sont conçus pour la redevabilité linéaire : nous avons financé X pour obtenir Y. Ils sont mal à l’aise avec la « réalité complexe » qui consiste à dire : « Nous avons atteint Y parce que nous avons su habilement passer du partenaire A au partenaire B, gérer des relations politiques sensibles et nous adapter à des blocages imprévus ». Documenter officiellement cette manœuvre peut être perçu comme un aveu que le plan initial était trop risqué ou que le partenaire public était peu fiable ou motivé, ce qui est diplomatiquement délicat.

L’agilité et l’intelligence relationnelle des équipes sur le terrain ne sont pas des « plans B » ou des « bricolages », mais la compétence stratégique numéro un. Il faudrait compléter les indicateurs de résultats (le quoi) par des indicateurs de processus et d’adaptation (le comment). Evaluer la « qualité de la stratégie de partenariat » ou documenter les « pivots stratégiques réussis ». Les rapports et les évaluations devraient inclure une section « Apprentissage et Adaptation Stratégique » honnête et sans fard où les équipes peuvent documenter, sans comment elles ont navigué la complexité. La connaissance tacite des gestionnaires intègre la mémoire institutionnelle et devient un capital pour toute l’organisation.

Boite à outils – évaluation de projets culturels

The Evaluation Journey – A Toolkit for Cultural Operators, Dagna Gmitrowicz and Marie Le Sourd, European Network of Cultural Centres, march 2018

Ce manuel propose une approche accessible, participative et pragmatique de l’évaluation destinée aux acteurs culturels, en particulier ceux disposant de peu de ressources. Il vise à démystifier l’évaluation en la présentant comme un processus d’apprentissage collectif et d’amélioration continue, impliquant activement les parties prenantes et les communautés. À travers des conseils méthodologiques, des outils pratiques et des exemples concrets, le guide accompagne les opérateurs à chaque étape de l’évaluation, afin de renforcer la pertinence, la légitimité et l’impact de leurs actions culturelles, tout en valorisant l’échange et l’adaptabilité aux contextes locaux.

La métaphore du voyage comme cadre conceptuel

L’ensemble du manuel est structuré autour de la métaphore du voyage (« The Evaluation Journey »). Cette approche est unique car elle présente l’évaluation non pas comme une tâche administrative finale, mais comme un processus continu, un parcours d’apprentissage. On ne parle pas de « check-list » mais de « préparer sa valise » (« pack your evaluation suitcase ») et d’embarquer des compagnons de route (« Whom to embark on your journey? »).

Face à une pression croissante de devoir justifier leur financement et de prouver leur « valeur ajoutée », les opérateurs risquent de s’enfermer dans des logiques de reporting quantitatif qui échouent à capturer la richesse et la complexité de leurs apports sociaux, humains ou artistiques. L’enjeu principal est donc de se réapproprier l’évaluation pour la transformer d’une contrainte externe en un puissant levier de développement stratégique et de reconnaissance mutuelle.

Les opérateurs sont encouragés à définir eux-mêmes ce qui a de la valeur dans leur travail. L’objectif est de construire ses propres référentiels qui ne soient pas uniquement basés sur des considérations économiques.

Le manuel propose des approches qui capturent mieux la subjectivité et l’inattendu :

  • L’Auto-ethnographie : Cette méthode, peu commune en évaluation de projet, utilise le récit à la première personne et l’expérience personnelle comme un prisme pour la recherche. Elle valorise ce que les méthodes objectives omettent : « le subjectif, l’individuel, l’intrinsèque, l’émotionnel »

  • Le « Free Style » : Le manuel encourage explicitement les utilisateurs à développer leur propre méthodologie (« Develop your own methodology »). C’est une invitation directe à l’innovation et à l’adaptation, reconnaissant qu’il n’existe pas une seule bonne façon d’évaluer.

  • « The Way of Council » : Une méthode de dialogue et d’écoute empathique en cercle, qui utilise un « bâton de parole » (« talking piece ») pour assurer que chaque personne soit entendue sans être interrompue

  • Le « Jardin Public/du Projet » (« Public/Project Garden ») : Un outil de visualisation où les participants sont invités à représenter les objectifs d’un projet comme des graines plantées dans un jardin imaginaire, puis à dessiner leur évolution au fil du temps.

  • « Ma Place dans l’Univers » (« My Place in the Universe ») : Un outil pour recueillir des retours sur les émotions après un événement. Les participants choisissent une petite figurine et la placent sur une carte représentant différents lieux symboliques (une maison, une ville imaginaire) pour exprimer où ils aimeraient être à cet instant.

  • Interventions en Espace Public : Le guide suggère de sortir l’évaluation des salles de réunion en utilisant un stand de marché (« Market Stand ») ou un « mur d’expression » peint avec de la peinture à tableau noir pour que les passants puissent laisser des commentaires.

Une idée clé « Nous ne donnons pas LA réponse à l’évaluation car il n’y en a pas. Nous suggérons plutôt une série d’approches et d’idées pour rendre l’évaluation plus accessible, pertinente, participative et, pourquoi pas, agréable ! »

évaluation de la culture
Toolkit for cultural operators

Introduction à l’évaluation à travers un extrait de film : Margin Call

Sensibilisation à l’évaluation par Stanley Tucci et Paul Bettany. « The bridge » : Extrait du film Margin Call, 2011.

Dans le thriller financier « Margin Call« , qui dissèque les premières heures de la crise de 2008, une scène se détache par son humanité. Eric Dale, un cadre sur le point d’être licencié, se confie à un collègues. Il oppose la finance abstraite et destructrice à son ancien métier d’ingénieur en utilisant la métaphore d’un pont qu’il a construit. Il calcule une dizaine d’indicateurs qui illustrent le temps gagné ou les détours évités par les usagers grâce à ce pont. Eric Dale semble souligner la différence entre créer une valeur tangible pour une communauté et la manipulation de chiffres boursiers qui peuvent anéantir des vies.

Ce petit exercice est amusant car Eric Dale calcule de tête des chiffres vertigineux, qui démontre sa capacité hors norme pour le calcul mental et donc son côté surdoué, son potentiel inexploité à s’investir dans des projets d’utilité publique, une carrière potentiellement passée à côté de son destin. Mais aussi, le personnage nous donne une parfaite démonstration de l’exercice de sélection et de l’usage d’indicateurs.

Mais la réponse de Will Emerson (« Ne te prends pas trop la tête avec tout ça, d’accord ? Certaines personnes aiment prendre le chemin le plus long pour rentrer« ) est tout autant sidérante et liée à la pratique de l’évaluation : chacun voit midi à sa porte, et les critères sur lesquelles reposent l’analyse divergent selon les groupes, caractères, moment de vie, etc.

Mais encore, le titre du film est lui-même un indicateur : l’appel de marge est une alerte, un signal d’alarme, du courtier ne laissant pas d’autre choix que de renflouer le compte ou de liquider les positions. Voir également les seuils de déclenchement.

Dialogues

Personnage : Eric Dale, joué par Stanley Tucci

« Sais-tu que j’ai construit un pont, une fois ? J’étais ingénieur de formation.

Il allait de Dilles Bottom, dans l’Ohio, à Moundsville, en Virginie-Occidentale. Il enjambait la rivière Ohio sur plus de 270 mètres. Douze mille personnes l’empruntaient chaque jour. Et il réduisait le trajet de 56 kilomètres entre Wheeling et New Martinsville.

Ça fait un total de 1 360 000 kilomètres de conduite économisés par jour. Ou 40 millions de kilomètres par mois. Et 490 millions de kilomètres par an. D’économisés.

J’ai terminé ce projet en 1986, il y a vingt-deux ans. Donc, sur toute la durée de vie de ce pont, cela fait 10 milliards 798 millions de kilomètres qui n’ont pas eu besoin d’être parcourus. Disons, à une moyenne de 80 km/h. Ça nous donne… 134 millions d’heures. Soit 5 millions 590 mille jours.

Ce petit pont a fait économiser aux gens de ces communautés un total de 1 531 années de leur vie, à ne pas être gâchées dans une putain de voiture. Mille cinq cent trente et une années. »

Personnage : Will Emerson joué par Paul Bettany

« Hé, Eric ? Ne te prends pas trop la tête avec tout ça, d’accord ? Certaines personnes aiment prendre le chemin le plus long pour rentrer. Qui peut savoir, putain ? »

Communications monitoring, evaluating and learning toolkit, ODI

January 2018, Caroline Cassidy, Louise Ball

Ce guide pratique ODI propose un cadre pour le suivi, l’évaluation et l’apprentissage (SEA) des actions de communication, destiné aux ONG, think tanks et universités. Le document s’ancre spécifiquement dans le secteur des think tanks et des ONG qui cherchent à influencer les politiques publiques (« policy influence »).

Le message central est que le SEA en communication ne doit pas être une corvée complexe, mais un outil d’apprentissage stratégique. Il faut lier systématiquement les actions de communication à des objectifs clairs , définir des publics cibles précis et aller au-delà des « vanity metrics » (indicateurs de vanité). Ce guide est ainsi une tentative de simplifier et de démystifier le SEA pour les praticiens de la communication. Le guide propose des questions et des indicateurs concrets pour évaluer des aspects qualitatifs souvent jugés « difficiles à mesurer ».

Le document semble s’adresser à des organisations qui, jusqu’à présent, ont soit négligé l’évaluation de leur communication, soit se sont senties dépassées par sa complexité. En proposant des outils et des indicateurs spécifiques pour chaque canal (site web, événements, réseaux sociaux, etc.) , ce guide permet aux équipes de mettre en place des systèmes de suivi pragmatiques, même avec des ressources limitées. Pour une vision plus exhaustive, il est nécessaire de combiner des outils quantitatifs (Google Analytics, statistiques des réseaux sociaux) avec des approches qualitatives (enquêtes, retours informels, études de cas).
Il ne faut pas se limiter à mesurer qui on a atteint (la portée), mais aussi évaluer la qualité et l’utilité perçues par l’audience, ainsi que l’appropriation et l’usage des informations.

Quelques exemples d’indicateurs :

  • le nombre de participants à un événement ou le taux d’abandon
  • le temps moyen passé sur une page web pour évaluer l’interaction.
  • le pourcentage d’utilisateurs qui rapportent avoir acquis de nouvelles connaissances suite à la lecture d’une publication.

Il y a aussi une critique implicite d’une culture du chiffre pour le chiffre, suggérant que la pression pour « prouver » l’impact conduit souvent à mesurer les choses les plus faciles plutôt que les plus pertinentes.

La véritable mesure de l’influence ne réside pas dans la popularité d’un contenu, mais dans la manière dont le public cible se l’approprie, l’adapte et l’utilise pour ses propres besoins, indiquant une réelle pertinence et un début d’impact.