C’est la question que s’est posé Théophile Courtier dans cette courte note où il présente et décrypte les programmes des 12 candidats en matière d’évaluation des politiques publiques. Une lecture incontournable à quelques jours des élections présidentielles.
Nouveautés
Avis Macbook Pro 13″ 2020
Heureux processeur d’un MacBook Pro Retina 13 pouces, mi-2014, celui-ci commençait néanmoins à présenter quelques signes de faiblesse : quelques lenteurs lorsque, typiquement, 70 onglets étaient ouverts simultanément sur le navigateur, sans compter quelques dizaines de fichiers texte de tous types : word, excel, PDF,… Rien de bien gourmand, cependant. Il fallait alors prendre le temps de tout fermer pour repartir de plus belle. Même pour le montage vidéo, il tenait toujours à peu près la route.
J’ai néanmoins passé le pas précipitamment (beaucoup plus de d’habitude où je passe des heures sur les forums et autres sites spécialisés à peser le pour et contre) en jetant mon dévolu sur le MacBook Pro 2020 (13 pouces, deux ports Thunderbolt 3). L’entrée de gamme, comme toujours, pour la modique somme de 1499€. Mais rien à voir, ouh làlà, selon le vendeur celui-ci possède « 4 cœurs« . Évidemment, moi, je n’en doute pas, après 5 ans, mon Macbook Pro Retina est une antiquité. A moi, les joies de la vitesse !
Bah non, en fait. Que de déceptions. Je regrette éminemment cet achat, voici pourquoi :
- Clavier : sur le 2014, la course de frappe était juste parfaite ! Certes, j’ai échappé au clavier papillon et après quelques jours on y pense plus vraiment, le clavier fonctionne, ce n’est pas le problème, mais suffit de se remettre par hasard sur le Macbook 2014 pour retrouver un certain plaisir de frappe.
- Design : le 2020 fait un peu trop joujou, voir bijou, un peu plus fin, il donne une sensation de fragilité
- Connectique et mobilité : là où avant je me déplaçais avec 2 éléments (le macbook et son chargeur), il m’en faut maintenant 5 ou 6 (adaptateur USB, adaptateur RJ45, adaptateur HDMI, câble de charge USB‑C, l’adaptateur secteur… le tout sans oublier le Macbook)
- Chargeur : fini le petit voyant qui indiquait la fin de la charge, fini la connexion aimantée qui évite que le portable tombe par terre lorsque l’on se prend le pied dans les câbles…
- Touchbar : non seulement totalement inutile mais également ne rend plus possible des fonctions basiques et simples comme l’ajustement du volume par simple pression d’une touche « plus » ou « moins » – il faut maintenant une pression prolongée pour faire apparaitre un curseur.
Et enfin le plus embêtant : il se met parfois à ventiler bruyamment. Rien de dramatique mais encore une fois un problème que je n’avais pas avec la génération précédente.
Donc si on résume : je n’ai pas la sensation d’avoir gagné en puissance. Par contre d’avoir perdu sur tout le reste, pour la modique somme de 1499€.
Caractéristiques :
MacBook Pro (13 pouces, 2020, deux ports Thunderbolt 3)
Processeur 1,4 GHz Intel Core i5 quatre cœurs
Mémoire : 8 Go 2133 MHz LPDDR3
Les limites du cadre logique
Les limites intrinsèques
1. Rationalité, linéarité et causalité
Le cadre logique se fonde sur des principes de causalité, de linéarité et de rationalité. Pour autant, si l’Homo sapiens était rationnel, la planète serait une oasis de prospérité, sans nécessité de programmes de développement et donc de cadre logique…
La rationalité est limitée par la subjectivité, notre perception de la réalité influencée par nos principes, valeurs, dogmes ; par notre culture et éducation, nos orientations psychologiques et humeurs du moment…
Cette rationalité est par ailleurs limitée par notre champ de vision, ce qui nous apparait comme un manque de rationalité est souvent lié à un simple déficit d’information. Nous jugeons irrationnels des comportements dont nous ne comprenons pas les motivations.
Egalement l’apparente irrationalité peut émerger d’une distorsion entre intérêts individuels et intérêts collectifs. Une fois les intérêts individuels soulevés, l’explication des comportements se clarifie…
Selon René Descartes, père spirituel de la rationalité. : « Pour atteindre la vérité, il faut une fois dans la vie se défaire de toutes les opinions que l’on a reçues, et reconstruire de nouveau le système de ses connaissances.«
Le principe de linéarité est de la même manière tout relatif.
Divers chercheurs en sciences sociales vont remettre en cause ces « présupposés positivistes » :
« Si les gentils acteurs d’un projet se voient attribuer certains moyens, qu’ils utiliseront frugalement et dont ils rendront fidèlement compte, ils mettront en œuvre des activités utiles et nécessaires, qui permettront d’atteindre des objectifs vérifiables et bénéfiques, au service d’une juste cause, sauf si de méchants acteurs extérieurs ne font pas ce qu’ils ont promis de faire. »
Planification, gestion et politique dans l’aide au développement : le cadre logique, outil et miroir des développeurs – François Giovalucchi et Jean-Pierre Olivier de Sardan -Revue Tiers Monde, 2009
« le développement n’est pas mû par une logique cartésienne de cause à effet, mais par une dynamique chaotique de simultanéité »
Pierre Jacquet, « À la poursuite des Objectifs du millénaire », Option Finance, janvier 2005
« … vision technique et dépolitisée, sans références aux arènes locales, aux dynamiques en cours, aux jeux d’acteurs existants.»
«…il suffirait de dérouler mécaniquement les actions prévues pour obtenir les résultats attendus oubliant qu’une intervention induit des interactions permanentes entre les espaces locaux et l’intervention. »
Analyser, suivre et évaluer sa contribution au changement social , Philippe Lavigne Delville, séminaire AFD-F3E, 2014
Cette théorie de la causalité est également remise en cause par la théorie de la double causalité : l’avenir peut-il influencer le passé ? Mais quittons la métaphysique pour revenir à des éléments plus pragmatiques…
2. La simplification à outrance
Incorporer la substance d’une, trois ou cinq années de programme dans une matrice de 4 sur 4 est en soi une performance. Même si le rédacteur du cadre logique possède une connaissance extrêmement poussée du contexte, le degré de finesse et de précision qui pourra être transmis à travers les cases de l’outil ne sera que limité. Le cadre logique est forcément réducteur de la complexité d’une situation et de la tentative de réponse apportée.
Par ailleurs, seul le concepteur du cadre en possède toute la substance, lui ou elle seul.e en maitrise les nuances et les sous-entendus, les omissions de ce qui est considéré comme implicite afin de ne pas déborder du format tableur et, par souci de lisibilité, d’en équilibrer chaque case.
Pour autant la lecture de ce concentré de projet est complexe, chaque élément demande concentration et réflexion et il n’est probablement pas plus rapide de lire en profondeur un cadre logique sur 3 pages qu’un narratif de projet sur 30 ou 50.
Réponses aux critiques sur le cadre logique
Quelles que soient les critiques envers l’outil et son mode d’utilisation, force est de constater que Léon J. Rosenberg et Lawrence D. Posner (voir les prémices du cadre logique) étaient des visionnaires. A travers l’outil, les deux consultants entrevoyaient les fondations d’un système de suivi et d’évaluation pour l’agence de coopération américaine, alors même qu’aucune institution n’avait encore formalisé ce type de système.
Aussi, diverses approches méthodologiques postérieures au cadre logique étaient déjà dans le champ de vision de Rosenberg et Posner, par exemple :
La capitalisation d’expérience :
La justification première de l’investissement sollicité pour diffuser le cadre logique dans l’agence est ce que nous appelons communément aujourd’hui la capitalisation d’expérience.
Est-ce que la mise en place de nos préconisations* mérite l’investissement ? Cette question rhétorique en appelle une autre : quelle est la valeur de sauvegarder l’expérience de 20 années de développement ?
*la préconisation évoquée est l’adoption officielle et diffusion du cadre logique au sein d’USAID pour un montant d’environ 500 000$ en 1969
– Project evaluation and the project appraisal reporting system, 1969
La cartographie des incidences (outcome mapping) :
L’extrait ci-dessous illustre de manière troublante les fondements de la méthode de la cartographie des incidences, construite par opposition au cadre logique.
Par exemple, si l’objectif spécifique est d’augmenter la production de riz de 50% et que les résultats attendus sont (1) la construction de canaux d’irrigation (2) la distribution de semences à haut rendement et que le projet assume qu’il y aura suffisamment d’engrais sur le marché à un prix raisonnable et que les producteurs auront accès à des crédits – le projet pourrait avoir a influencer les producteurs et distributeurs d’engrais et les institutions bancaires malgré que celui-ci n’ai aucune autorité sur eux. Le responsable de programme peut le faire en partageant ses objectifs avec les parties prenantes. Avec le cadre logique, il peut présenter ses objectifs spécifiques, les réalisations attendues, et les hypothèses critiques pour le succès du projet. Il peut aussi présenter l’objectif global afin qu’ils puissent se rendre compte en quoi ils contribuent à une entreprise importante. Finalement, il peut partager avec eux les hypothèses du projet pour que chacun puisse visualiser son rôle permettant d’aider le responsable de projet à accomplir sa tâche.
The logical framework : a manager’s guide to a scientific approach to design and evaluation, Practical Concepts Incorporated, November 1979
Par ailleurs, certaines critiques comme l’absence de concertation ou la rigidité du cadre logique sont à relativiser car celles-ci avaient été anticipées considérées par Rosenberg et Postner :
Absence de concertation
Le processus d’élaboration du cadre est à faire de manière collaborative. Cela demande la participation de toutes les parties prenantes : les équipes de programmation, les équipes cadres, les gestionnaires de projets, les expertises techniques, les techniciens et fréquemment les experts en évaluation.
The logical framework : a manager’s guide to a scientific approach to design and evaluation, Practical Concepts Incorporated, November 1979
Rigidité
« The art of planning et replanning »
Le rapproche de rigidité du cadre logique quand bien même ces auteurs élevait la planification et re-planification au rang d’un art.
Austérité et conformisme
Bien sûr la diffusion de la méthode à travers les années et les institutions a débouché sur un niveau élevé de conformisme et de soucis de conformité. De nombreux projets font office de « copier/coller » et une peur de l’innovation afin de ne pas « sortir du cadre ». Pour autant, le mode de fonctionnement des auteurs était rafraichissant et atypique :
Un formateur se souvient : c’était un environnement des plus stimulants car la philosophie de Léon était d’embaucher des gens issus de parcours divers, de les projeter dans un domaine dans lequel il n’étaient pas experts, et de voir quel type de créativité pouvait émerger… avec pour objet… « la génération d’un flot d’idées plutôt qu’une application d’un savoir préconçu »
Il est toujours intéressant afin de saisir une méthode ou en cas d’incompréhension théorique, de revenir systématiquement à sa source. Peter Drucker, père fondateur de la Gestion Axée sur les Résultats et donc inspirateur de l’approche du cadre logique indiquait : « les résultats sont obtenus en exploitant des opportunités, et non et résolvant des problèmes ».
Alors même que la conception du cadre logique débute par un arbre à problèmes !
“Results are gained by exploiting opportunities, they are not gained by solving problems.” Peter Drucker
Et pour conclure ce tour d’horizon, une devise Shadok :
Question :
Selon vous, quelles sont les limites du cadre logique ? Comment pourrait-il être remplacé ?
Pour aller plus loin :
Approches critiques du cadre logique
- Planification, gestion et politique dans l’aide au développement : le cadre logique, outil et miroir des développeurs: François GIOVALUCCHI et Jean-Pierre Olivier de Sardan, Revue Tiers Monde, 2009/2 – n° 198, pages 383 à 406d
- The neutrality and formality of conflict : strategies, transformation and sights of the logical framework in Sarvodaya, Renuka Cheryl Fernando, thesis, The London School of Economics and Political Science, march 2015
- The use and abuse of the logical framework approach, SIDA, Oliver Bakewell, Anne Garbutt, 2005
- Cycle des projets, cadre logique et efficacité des interventions de développement, Christian Castellanet, GRET, 2003
- Gestion du cycle de projet : carences et aléas du cadre logique, Des Gasper, Le Courrier, n°173, 1999
- Design methods and tools: considerations on the revised Logframe presented in the EC PRAG, Massimo Rossi, décembre 2015
Le cadre logique
- L’analyse des parties prenantes
- L’analyse des problèmes
- L’analyse des objectifs
- L’analyse des stratégies
Date de première diffusion : octobre 2019
Sommaire : les étapes de mise en place d’un Système de suivi et évaluation
Introduction
- Qu’est-ce qu’un système de suivi évaluation ?
- Les différents types de systèmes de suivi évaluation
- Les dysfonctions de systèmes de suivi évaluation
- La triple peine en suivi évaluation
- Un environnement propice à l’évaluation
- Un environnement propice à l’évaluation : quels leviers ?
- Les fonctions d’un SSE
- Le positionnement du SE dans un organigramme
- Le suivi évaluation dans le cycle de projet
- Le tableau de bord prospectif
- Glossaire : principes, normes, standards d’évaluation
- Glossaire : éthique, déontologie, intégrité
- Ethique, déontologie, intégrité : quels mécanismes et outils ?
Les phases principales de mise en place d’un Système de Suivi et Evaluation
Les 5 étapes de mise en place d’un SSE
➡ Plan d’action (google doc)
Ce canevas constitue une feuille de route et permet d’avancer étape par étape sur la matérialisation du plan d’action.
Etape 1 : état des lieux
Etape 2 : définir les champs du système
- Formulation des questions évaluatives
➡ en fonction de critères d’évaluation - Utilisation d’un tableau de bord prospectif
➡ en fonction de la théorie d’action - Plan d’action : étape 2
- Les termes de références
Etape 3 : sélection de méthodes
- Mix méthodologique : la voie rapide
- Les indicateurs quantitatifs
- Les différents types d’indicateurs
- La sélection des indicateurs
- Les indicateurs qualitatifs
- Plan d’action : étape 3 (1ère partie)
- Plan d’action : étape 3 (2ème partie)
Etape 4 : planifier la collecte d’information et et le traitement des données
➡ Tableaux de suivi des indicateurs
➡ Seuil de déclenchement
➡ Suivi des activités
Techniques de recueil et outils de collecte :
➡ veille documentaire et sources d’information
➡ observation
➡ entretiens
➡ focus group
➡ enquête par questionnaires
- Qualité des données
- Biais et points de vigilance
- La protection des données personnelles
- Plateformes de suivi, évaluation, apprentissage
Etape 5 : planification de l’utilisation des résultats
- Les formats et supports de restitution
- Evaluation versus communication
- Restitution, droit de réponse, divulgation publique
- Les recommandations
- Eclairer les processus de prise de décision
Ces pages ont été progressivement développées et actualisées entre 2019 et 2025.
Urgence
Pragmatisme des outils et des attentes en suivi évaluation dans le programmes d’urgence humanitaire
Une mise en avant de ce guide, pas tout à fait récent (2008) mais qui prend à contre-pied une multitude de guides et de manuels de suivi évaluation basés sur la Gestion Axée sur les Résultats : le good enough guide (traduit par suffisamment bon).
- Mesure de l’impact et redevabilité en situation de secours d’urgence, « Guide suffisamment bon », 2008
Ce guide, issu du Emergency Capacity Building Project (ECB) et basé sur les contributions de plusieurs grandes ONG, propose une approche pragmatique, dite « suffisamment bonne », pour la mesure de l’impact et la redevabilité dans les contextes d’urgence humanitaire. Destiné principalement aux responsables de projets sur le terrain, il vise à intégrer ces pratiques dans leur travail quotidien, même lorsque le temps, les ressources ou le savoir-faire sont limités. Le guide souligne l’importance cruciale d’impliquer les populations affectées (femmes, hommes, enfants) à toutes les étapes : évaluation des besoins, planification, mise en œuvre et jugement de l’intervention. Il insiste sur la nécessité de fournir des informations claires aux bénéficiaires, d’établir une communication et un feedback à double sens, et de mesurer les changements réels intervenus dans la vie des personnes grâce au projet. Plutôt que des méthodes complexes, il préconise des outils simples, rapides et sûrs, adaptés au contexte, tels que l’établissement de profils communautaires, l’identification des changements souhaités par les populations, le suivi participatif et la mise en place de mécanismes de plaintes.
Ce projet a été créé pour traiter les lacunes dans la réponse internationale aux secours d’urgence. Son objectif consiste à améliorer la rapidité, la qualité et l’efficacité avec laquelle la communauté humanitaire sauve des vies, améliore le bien-être et protège les droits des femmes, des hommes et des enfants affectés par l’urgence.
Une idée clé : substituer à l’idéal paralysant de la perfection la poursuite d’un objectif réaliste et satisfaisant.
« Pendant des années, les ONG ont promis (aux bénéficiaires) d’être redevables à leur égard, de rechercher leurs opinions et de les mettre au cœur de la planification, de la mise en œuvre et du jugement de notre réponse à leur situation d’urgence. En pratique, c’est une promesse qui s’est avérée difficile à tenir. Une conjonction de facteurs comprenant le manque de savoir-faire, de temps ou de personnel et la situation elle-même font trop souvent de la mesure de l’impact et de la redevabilité des zones interdites durant la réponse à la situation d’urgence.«
Voir également :
Appréhender la différence entre corrélation et causalité en évaluation de projet
Corrélation
La corrélation est un concept purement statistique qui indique l’existence d’une relation ou d’une association entre deux variables. Lorsque deux variables sont corrélées, cela signifie que les changements observés dans l’une sont liés, de manière systématique, aux changements observés dans l’autre.
On distingue trois types de corrélation :
- La corrélation positive : les deux variables évoluent dans la même direction. Si l’une augmente, l’autre a tendance à augmenter également. Un exemple classique est la corrélation positive entre la hausse des températures estivales et l’augmentation des ventes de crèmes glacées
- La corrélation négative : les deux variables évoluent en directions opposées. Si l’une augmente, l’autre a tendance à diminuer. Avec la hausse de températures estivales, la baisse de la vente des appareils à raclette.
- La corrélation nulle : il n’existe aucune relation statistique apparente entre les deux variables. Le temps d’écran pour les ados et la vente de pamplemousse dans l’Arctique.
En évaluation, étudier une corrélation est une première phase d’analyse. Par exemple, est-ce que la construction de pistes cyclables augmente l’usage de la bicyclette ?
Comme exposé par le statisticien Edward Tufte, « la corrélation n’est pas synonyme de causalité, mais c’est certainement un indice« . Elle signale une relation à investiguer, mais ne dit rien sur la nature de cette relation.
Causalité
La causalité est un concept plus fort et plus exigeant. Elle signifie qu’un changement dans une variable, la cause, provoque directement un changement dans une autre variable, l’effet. Il s’agit donc d’une relation de cause à effet où l’une des variables influence directement l’autre. Cette notion, fondamentale pour la science moderne, a été formulée de manière concise par Galilée : « La cause est ce qui est tel que, lorsqu’elle est posée, l’effet s’ensuit ; lorsqu’elle est ôtée, l’effet est ôté« .
La distinction conceptuelle est fondamentale : la causalité implique toujours une corrélation, mais une corrélation n’implique jamais nécessairement une causalité. Si un projet cause réellement une amélioration, on observera une corrélation entre la mise en œuvre du projet et l’amélioration. Cependant, l’observation de cette corrélation seule ne suffit pas à prouver le lien de causalité.
Dans le cadre de l’évaluation de projet, on peut se demander si la construction de pistes cyclables incite les gens à faire du vélo, ou si les municipalités construisent des pistes cyclables en réponse à une demande croissante de cyclistes déjà existants. La relation peut également être bidirectionnelle, chaque variable influençant l’autre dans une boucle de rétroaction.
Corrélation n’est pas causalité
Exemple : pistes cyclables et commerces de proximité
Poursuivons sur ce même exemple lié aux mobilités douces.
- L’observation (la corrélation) :
Les politiques de promotion des mobilités douces, et en particulier du vélo, connaissent un essor sans précédent. Les collectivités investissent dans la construction d’infrastructures dédiées, comme les pistes cyclables sécurisées. Les données de comptage montrent presque systématiquement une augmentation de la fréquentation cycliste dans les zones où de tels aménagements sont réalisés.
Dans un territoire donné, les élus décident d’investir dans la création et la sécurisation de pistes cyclables sur une période de cinq ans.
En analysant les données économiques de la même période, on observe que dans les rues où de nouvelles pistes cyclables ont été aménagées, le chiffre d’affaires des commerces de proximité (boulangeries, kebabs, supérettes,…) a augmenté.
Ici, nous avons une corrélation positive :
- Variable A : le nombre de kilomètres de pistes cyclables.
- Variable B : le chiffre d’affaires des commerces locaux.
Lorsque la variable A augmente, la variable B a tendance à augmenter aussi. Les deux variables évoluent ensemble.
L’analyse : pourquoi ce n’est (peut-être) pas si simple
La conclusion hâtive serait de dire : « L’installation de pistes cyclables provoque une augmentation de l’activité commerciale. » C’est une hypothèse plausible (les cyclistes s’arrêtent plus facilement que les automobilistes pour un achat rapide, ils ont plus soifs, ils réinvestissent le temps gagné et l’argent économisé dans un café crème avec croissant sur une terrasse moins polluée qu’avant, etc.).
Cependant, la corrélation seule ne le prouve pas. D’autres facteurs pourraient expliquer cette tendance. Par exemple :
- Une politique globale de réaménagement : les pistes cyclables ont souvent été installées dans le cadre d’un projet plus large de réaménagement du quartier (trottoirs élargis, plantation d’arbres, limitation de la vitesse). C’est peut-être l’amélioration générale du cadre de vie qui a attiré plus de monde, et non uniquement les pistes cyclables.
- Un changement démographique (facteur caché) : Le quartier est peut-être devenu plus attractif pour de jeunes familles ou des ménages au pouvoir d’achat plus élevé, qui à la fois utilisent plus le vélo ET consomment plus dans les commerces locaux. Le changement de population serait alors la vraie cause.
3. Une tendance de fond : il y a peut-être une tendance générale, dans tout le pays, à un retour en grâce des commerces de proximité, indépendamment des aménagements cyclables.
En conclusion, la corrélation entre les pistes cyclables et la vitalité commerciale est un signal intéressant pour les urbanistes, les chargés de développement des territoires ou les élus. Mais pour prouver la causalité, il faudrait une évaluation plus poussée comparant ces rues avec des rues similaires n’ayant pas eu de pistes cyclables, afin d’isoler l’effet propre de l’aménagement.
Abuser du randomisé ?
Néanmoins, ces évaluations de type randomisées (voir Randomized Controlled Trial) auraient pour objet d’éclairer la prise de décisions des élus pour leur politique d’aménagement. Dans la pratique, voir ci-dessous l’exemple de l’évaluation de fin du projet Autrement qui n’arrive que pour constater des problématiques opérationnelles.
Analyser et atténuer les points de blocage en utilisant par exemple, comme support de discussion, la théorie du changement aurait permis d’amplifier les effets, à défaut de pouvoir les circonscrire pour les mesurer.
Un projet de mobilité douce ne réside pas seulement dans le produit final (les kilomètres de pistes peintes au sol), mais dans la transformation des processus de planification et de concertation qui y ont mené. La question n’est pas seulement « Les pistes cyclables ont-elles été livrées ? », mais « Comment leur tracé a-t-il été décidé et mis en œuvre ? ». L’effet causal de la démarche pourrait être d’avoir rendu le processus de planification plus inclusif en intégrant les associations d’usagers cyclistes et les commerçants dès l’amont, ou plus rigoureux en se basant sur des données fines de comptage cycliste et de sécurité perçue, ou encore d’avoir créé de nouveaux réseaux de collaboration pérennes entre les services municipaux (urbanisme, voirie, espaces verts).
Une opinion :
Les évaluations randomisés sont longues, complexes et donc couteuses. Dès lors qu’une corrélation forte est établie (même sous forme de convention sociale et non scientifiquement, par exemple « un ado est sera plus épanoui dehors à faire du vélo que toute la journée derrière un écran » ), l’enjeu est de multiplier les actions pour un rechercher un effet cocktail, par exemple : la construction de pistes cyclables plus l’organisation d’atelier de remise en état de vieilles bicyclettes plus initiation et permis vélo dans les écoles.
Mais une priorité serait de s’attaquer aux dysfonctionnements de mise en oeuvre opérationnelle qui sont récurrents, programme après programme : validations en silos, délais de décaissement anormalement longs, complexité administrative, déconnexion avec les utilisateurs finaux, projet en cycle court et unique,…
Les retards opérationnels sont les symptômes d’une gouvernance ou d’un management défaillant sur différentes échelles (ou sur l’articulation de ces échelles – communes, départements, régions, états, UE, associations d’usagers, etc.).
Pour aller plus loin
- Projet de coopération décentralisé Autrement : promouvoir les mobilités douces et la participation citoyenne
- Evaluation d’impact
Une explication en vidéo :
Ouvrages de référence en évaluation
Une bibliographie collaborative
Lors du démarrage de la formation-action « concevoir et mettre en place un SSE », nous demandons aux participants quel est leur ouvrage de référence en suivi et évaluation. Celui en évidence sur leur table de chevet. Nous offrons alors les ressources préconisées aux participants de la session suivante, qui ont la possibilité de se mettre en contact avec leur « parrain ». Souvent, les participants restent pantois et n’ont pas forcément une référence en tête. Nous ouvrons alors le champs, à des ouvrages spécialisés ou techniques, des romans, des recueils de photos. A tel point qu’entre 2 sessions, nous reprenons partiellement la main en réintégrant partiellement les ouvrages spécialisés en évaluation… Au-delà d’offrir un souvenir qui fasse sens et de créer du lien entre participants de différentes sessions, avec des stagiaires issus de 17 nationalités, l’idée était également de pouvoir découvrir des publications qui n’auraient pas été détectés par nos radars.
Ci-dessous la liste des ouvrages recommandés à ce jour :
En lien direct avec l’évaluation :
- L’évaluation des politiques publiques, Bernard Perret, 2001
- Abc de l’évaluation évolutive, Jamie A.A. Gamble, 2008
- Fact Fullness : Ten Reasons We’re Wrong About the World and Why Things Are Better Than You Think, Hans Rosling, 2008
- The road to Result : designing and conducting effective development evaluations, Linda Morra Imas, Ray Rist, 2009
- L’évaluation des politiques publiques : le développement d’une nouvelle culture, Patrice Braconnier,Guy Cauquil, 2010
- Trousse à outils du suivi et de l’évaluation de la participation des enfants, Claire O’Kane, Save The Children, 2014
- Agir pour le changement : guide méthodologique pour accompagner des processus de changement « complexe » : analyser, planifier, suivre et évaluer, F3E, Bruno de Reviers, Hédia Hadja-Castro, 2014
En lien, disons… plus indirect avec l’évaluation :
- Le savant et le politique, Max Weber, 1919
- Gouverneurs de la rosée, Jacques Roumain, 1944
- Questions de sociologie, Pierre Bourdieu, 1981
- La faillite du développement en Afrique et dans le tiers monde, Samir Amine, 1989
- Repenser l’inégalité, Amartya Sen, 2000
- L’invention de la pauvreté, Tancrède Voituriez, Grasset, 2013
- Qui a dit que nous avions besoin de vous ? Récits de coopération internationale, Jacques Claessens, 2013
- Pour une écologie de l’attention, Yves Citton, 2014
- Repenser la pauvreté, Abhijit v. Banerjee, Esther Duflo, 2014
- Americanah, Chimamanda Ngozi Adichi, Gallimard 2015
- Petit Pays, Gaël Faye, 2016
- Entreprenante Afrique, Jean-Michel Severino, Jérémy Hajdenberg, 2016
- L’économie symbiotique, Isabelle Delannoy, 2017
En bref : les participants aux formation à l’évaluation n’ont pas toujours un ouvrage de référence à proposer. Nous leur demandons d’en choisir un parmi la sélection d’ouvrage de la précédente promotion. Puis vient leur tour de faire un choix pour la suivante. Guide, manuel, ouvrage mais aussi photographies, livres ou BD. En l’espace d’une année nous avions déjà constitué une véritable bibliographie collaborative et ouvert nos œillères à de multiples champs hors évaluation.
Ressources en évaluation
Quatrième conférence Évaluation des politiques publiques
Jeudi 13 décembre 2018, organisée par l’AFSE et la direction générale du Trésor
Pour cette quatrième édition, les organisateurs (le Trésor, l’AFSE, la Banque de France) poursuivent leur positionnent de l’évaluation quantitative et causale comme un outil incontournable pour éclairer le débat public et guider la décision politique en France. Le choix des thèmes et des institutions démontre un focus délibéré sur des problématiques concrètes françaises ou transposables, traitées avec des méthodes économétriques de pointe. La quasi-totalité des papiers cherche à répondre à une question de type causal : « Quel est l’effet de la politique X sur le résultat Y ? »la quasi-totalité des papiers cherche à répondre à une question de type causal : « Quel est l’effet de la politique X sur le résultat Y ? ». Ces études qui utilisent des méthodes quasi-expérimentales (doubles différences, variables instrumentales, etc.) pour isoler un lien de cause à effet.
1. Appel à communications
Conçue comme un lieu de rencontre entre membres de l’administration économique et économistes académiques, cette conférence annuelle a pour objectif de rassembler des contributions sur l’analyse et l’évaluation quantitatives des politiques publiques afin de contribuer à l’identification des politiques efficaces, d’offrir des éléments de comparaison internationale et de discuter des méthodes les plus récentes.
Rédigées en français ou en anglais, les contributions peuvent porter sur divers domaines des politiques publiques tels que la fiscalité, l’emploi, les politiques sociales, l’éducation, la santé, l’environnement ou encore l’innovation. Les analyses d’ordre méthodologique sont également bienvenues.
Les auteurs de contributions présentées à cette conférence sont invités à les soumettre à la revue Économie et Prévision.
Les soumissions (sous forme d’articles entièrement rédigés) étaient à envoyer à afsetresor@afse.fr avant le 17 septembre 2018.
Le comité de programme porte une attention particulière aux politiques françaises ou transposables à la France.
Comité de programme :
Agnès Bénassy-Quéré, Université Paris 1, Antoine Bozio, EHESS, PSE et Institut des Politiques Publiques, Martine Carré-Tallon, Université Paris-Dauphine, Claude Diebolt, CNRS, BETA et Université de Strasbourg, Brigitte Dormont, Université Paris-Dauphine, Anne Épaulard, Commissariat Gal à la stratégie et à la prospective – Université Paris-Dauphine, Michel Houdebine, Direction Générale du Trésor, Rémy Lecat, Banque de France, Fabrice Lenglart, France Stratégie, Claire Loupias, Direction Générale du Trésor, Selma Mahfouz, Direction de l’animation de la recherche, des études et des statistiques, Vincent Marcus, Commissariat Général au Développement Durable, Guy de Monchy, Association Française de Science Économique, Jean-Eudes Moncomble, Conseil Français de l’Énergie, Katheline Schubert, PSE, Université Paris 1, Jean-Luc Tavernier, Institut national de la statistique et des études économiques, Xavier Timbeau, Observatoire Français des Conjonctures Économiques
2. Conférence évaluation des politique publique
Les contributions sélectionnées et présentées le 13 décembre 2018 :
Session 1 – Emploi
- The Public Sector Wage Gap: New Evidence from Panel Administrative Data – Olivier Bargain (Université de Bordeaux), Audrey Etienne (Université d’Aix-Marseille), Blaise Melly (Université de Bern)
- Labor Market Consequences of Selective Immigration Policy: Analysis of a French Reform – Sara Signorelli (Paris School of Economics)
- Gender Quotas in Hiring Committees: a Boon or a Bane for Women? – Pierre Deschamps (Sciences Po)
La conclusion de cette étude est profondément contre-intuitive et a créé un véritable débat. En analysant la loi française de 2015 imposant un quota de 40% de femmes dans les comités de sélection universitaires, l’auteur montre que cette réforme, pensée pour aider les femmes, a en réalité significativement diminué leurs chances d’être recrutées. L’auteur suggère l’existence de mécanismes complexes et inattendus, comme un effet de « backlash » (réaction négative) de la part des hommes, ou un effet de « licence morale » (les hommes se sentiraient autorisés à être plus sévères après avoir respecté la « bonne action » d’instaurer le quota). Cet article, qui a depuis été publié dans la prestigieuse revue Management Science, est un « fait polémique » car il met en lumière l’échec potentiel d’une politique publique bien intentionnée. Il oblige à repenser la manière de concevoir les politiques de parité, en montrant que la simple ingénierie des chiffres peut avoir des conséquences inverses à celles désirées si les biais comportementaux ne sont pas pris en compte.
- When Short-Time Work Works – Pierre Cahuc (Sciences Po), Francis Kramarz (CREST), Sandra Nevoux (Banque de France)
Présenté en 2018, ce papier analysait l’efficacité du chômage partiel durant la crise de 2008. Il a fourni des arguments solides montrant que le dispositif de chômage partiel était efficace pour sauver des emplois dans les entreprises frappées par un choc temporaire mais violent.
Note de contexte
Note de contexte
Moins de deux ans plus tard, la crise du COVID-19 éclatait, faisant du dispositif de chômage partiel l’outil principal de sauvetage de l’emploi en Europe. Cet article a été abondamment cité dans les notes de conjoncture (Banque de France, Dares) et les analyses qui ont accompagné la mise en place de l’activité partielle à une échelle inédite en 2020. L’étude a donc servi de base analytique cruciale pour comprendre et justifier l’utilisation massive du « quoi qu’il en coûte ».
Postérieurement à l’article et dans le contexte COVID, les auteurs se sont accordés à dire que l’utilisation massive et non ciblée du chômage partiel était justifiée et indispensable au tout début de la crise (mars-avril 2020). Face à un choc d’une violence inouïe et à l’incertitude radicale, l’objectif était d’éviter un effondrement économique et social. À ce moment-là, la vitesse et l’ampleur de la réponse primaient sur le ciblage. Il s’agissait d’une mesure de « gel » de l’économie. Cependant, les auteurs ont très vite alerté sur les dangers de prolonger un tel dispositif de manière indifférenciée. Dès juillet 2020, soit très tôt dans la crise, Pierre Cahuc publiait une tribune intitulée « Les dégâts collatéraux du chômage partiel ». Si le dispositif est maintenu trop longtemps sans conditions, il engendre des effets pervers, comme des « entreprises zombies », creusant une dette qu’il faudrait bien rembourser.
Session 2 – Innovation et financement des entreprises
- The Evaluation of the Italian “Start-up Act” – Timothy DeStefano (OCDE), Francesco Manaresi (Banque d’Italie), Carlo Menon (OCDE), Pietro Santoleri (École supérieure Sant’Anna), Giovanni Soggia (Banque d’Italie)
- Assessing the impacts of the French competitiveness clusters policy on SMEs’ innovation and economic performance – Modou Mar (Université Grenoble Alpes)
- Lower bank capital requirements as a policy tool to support credit to SMEs: evidence from a policy experiment – Michel Dietsch (Université de Strasbourg), Henri Fraisse (ACPR), Mathias Lé (EconomiX, CNRS), Sandrine Lecarpentier (Université Paris-Nanterre)
- Real effects of central bank collateral policy – Louis-Marie Harpedanne de Belleville (Paris School of Economics, Banque de France)
Session 3 – Environnement
- Competitive Permit Storage and Market Design: An Application to the EU-ETS – Simon Quemin (Université Paris Dauphine) & Raphaël Trotignon
La recherche de Simon Quemin et Raphaël Trotignon analyse l’efficacité de la Réserve de Stabilité du Marché (MSR), un mécanisme mis en place pour corriger le surplus de quotas sur le marché carbone européen (EU-ETS). À l’aide d’un modèle économique qui simule le comportement des entreprises, les auteurs montrent que si la MSR a bien réussi son objectif de réduire l’offre et donc de faire remonter les prix du carbone, sa capacité à stabiliser le marché face à des chocs économiques est plus limitée et asymétrique. L’étude conclut que le design de cet outil interagit de manière complexe avec les stratégies de stockage de quotas des entreprises, rendant son efficacité très dépendante du comportement des acteurs du marché.
Conception d’un système de suivi pour le programme GLTN (UN-HABITAT)
Le programme Global Land Tool Network (GLTN) recherche un consultant pour la conception d’un système de suivi : voir ici
Le Global Land Tool Network (GLTN)
Le Réseau mondial d’outils fonciers (GLTN) est une alliance de partenaires qui contribue à la lutte contre la pauvreté par le biais de réformes agraires et de la sécurité des droits fonciers. Plutôt que de voir la propriété en termes binaires (formel/informel, légal/illégal), le GLTN reconnaît un large éventail de droits fonciers légitimes, qu’ils soient documentés ou non, individuels ou collectifs. La pleine propriété n’est qu’une option parmi d’autres, et la forme la plus appropriée dépend du contexte local.
Le réseau adopte une approche « favorable aux pauvres » et se concentre sur les plus vulnérables, notamment les femmes, les jeunes et les communautés autochtones. L’objectif est de garantir que les réformes foncières ne laissent personne de côté. Le GLTN n’est pas une entité monolithique, mais une « alliance dynamique » de plus de 75 partenaires. Cette diversité (ONG, universités, agences gouvernementales, organisations de la société civile) est vue comme une force. Le secrétariat du GLTN ne met pas directement en œuvre les projets sur le terrain. Son rôle est de développer les outils, de faciliter, de suivre et de renforcer les capacités. La mise en œuvre est assurée par les partenaires au niveau national.
Les défis
Le défi principal est l’ampleur de l’insécurité foncière. Plus de 70 % de la population mondiale n’a pas de droits fonciers officiellement reconnus. Dans de nombreux pays en développement, ce chiffre dépasse 90 %. Cette insécurité est un moteur de pauvreté, d’instabilité sociale et de dégradation environnementale. Les approches traditionnelles de l’administration des terres sont souvent trop coûteuses, lentes et complexes pour répondre aux besoins des populations pauvres et vulnérables.
Coordination et gouvernance du réseau
Avec un réseau en pleine expansion, assurer une gouvernance efficace, inclusive et responsable est un défi majeur, il existe également un risque de duplication des efforts avec d’autres acteurs du secteur foncier, ce qui oblige le GLTN à démontrer clairement un « avantage comparatif ».
Développement d’Outils Pratiques : le cœur de l’approche du GLTN est la création d’une « boîte à outils » contenant des méthodes pratiques et innovantes pour résoudre les problèmes fonciers. Ces outils sont conçus pour être flexibles, abordables, adaptables au contexte et utilisables en combinaison.
Renforcement des Capacités : le développement des capacités est intégré à tous les aspects du travail du GLTN. Il ne s’agit pas seulement de former des individus, mais aussi de renforcer les institutions gouvernementales, les communautés et la société civile pour qu’elles puissent utiliser les outils de manière autonome.
Approche Multi-Niveaux : le GLTN travaille simultanément aux niveaux mondial (influencer les politiques comme les ODD), régional, national et local. Une bonne pratique essentielle est de créer des boucles de rétroaction, où les expériences de terrain au niveau national informent et influencent les programmes mondiaux.
Les enjeux du systèmes de suivi évaluation du GLTN
Plutôt que de simplement mesurer ses propres actions, le GLTN se positionne comme un architecte des normes mondiales en la matière. En pilotant l’Initiative mondiale d’indicateurs fonciers (GLII) et en s’alignant sur les Objectifs de Développement Durable (ODD), le réseau ne se contente pas de suivre les règles, il contribue à les écrire.
L’insistance à mesurer non seulement la documentation légale mais aussi la perception de la sécurité est une approche stratégique : elle permet de révéler les décalages entre les lois et la réalité vécue par les populations, créant ainsi un levier pour inciter à des réformes plus profondes et plus humaines.
L’Initiative Mondiale d’Indicateurs Fonciers (GLII) est la manifestation la plus directe du système de suivi du GLTN. Conçue en 2012, cette initiative est aujourd’hui pleinement opérationnelle et constitue le cœur du mécanisme de suivi du GLTN. Le site du GLTN héberge une section dédiée qui présente ce « cadre commun pour suivre les progrès sur les questions foncières » et liste les documents de travail, les indicateurs clés et les rapports d’événements qui en découlent.
Programme d’appui à la gestion de la thématique migratoire, ENABEL, Maroc, de l’étude de base aux rapports d’activité
En juin 2018, nous relayions ici l’appel à manifestation d’intérêt d’ENABEL pour la réalisation d’une étude de base. Nous proposons ici de mettre en perspective ce premier pas de l’évaluation avec deux rapports d’activité ultérieurs parus en 2018 et 2020.
Le programme Amuddu, doté d’un budget de 4 600 000 euros se déroule du 15 mars 2018 au 14 mars 2023 dans les régions de Rabat-Salé-Kénitra et Casablanca-Settat. En partenariat avec le Ministère délégué chargé des Marocains Résidant à l’Étranger (MDCMRE), l’Entraide Nationale et l’ANAPEC , son objectif spécifique est d’améliorer l’employabilité des migrantes et migrants au Maroc. Pour ce faire, il vise à faciliter leur accès aux dispositifs de formation professionnelle et d’accompagnement à l’emploi, tout en dynamisant la coordination entre les structures d’aide. L’impact plus global attendu est de mieux assurer l’intégration des migrants et la gestion des flux migratoires dans le pays
Etude de base (2018)
Dans le cadre du Programme d’Appui à la Gestion de la Thématique Migratoire, l’Agence Belge de Développement «Enabel Maroc » a procédé à une mise en concurrence pour le choix d’un (des) consultants (s) pour la réalisation d’une étude de Base du système de suivi et d’évaluation, intégrant l’approche genre, pour le programme d’appui à la gestion de la thématique migratoire. Consulter la proposition initiale
Rapport annuel (2018)
Rapport de résultat 2018 pour l’intervention Amuddu
Le rapport de 2018 dépeint une année de démarrage ambitieuse mais semée d’embûches. Une phase de mise en place, centrée sur la co-construction d’un cadre de suivi solide avec les partenaires. Cependant, le très faible taux de décaissement budgétaire (6% du total) et les retards dans les activités trahissent des difficultés opérationnelles majeures. Le rapport révèle notamment un blocage avec un partenaire clé, l’Entraide Nationale (EN), suite à des changements internes , forçant le projet à envisager une réorientation stratégique quasi immédiate des subventions. En réponse, l’équipe a mis l’accent sur la formalisation des processus et la recherche de synergies pour surmonter cette instabilité. Ce document illustre donc moins des résultats de terrain que le combat d’une équipe projet pour jeter des fondations dans un environnement institutionnel complexe et changeant, tout en intégrant dès le départ une analyse de genre approfondie.
Rapport annuel (2020)
Rapport de Résultats 2020 pour l’intervention Amuddu
En 2020, le projet a permis d’inscrire 253 migrants à des formations professionnelles et d’octroyer 136 bourses d’études. Sur le plan de l’emploi, il a accompagné 253 initiatives d’auto-emploi et a enregistré l’inscription de 245 migrants auprès des services de l’ANAPEC. Ces efforts ont mené à l’insertion professionnelle concrète de 15 personnes, dont 5 via le dispositif des « contrats aidés ».
Au-delà des données chiffrés, le document révèle une navigation constante à travers d’importantes lourdeurs administratives, qui ont nécessité de réorienter des fonds prévus pour des institutions publiques vers des ONG plus flexibles. Une avancée a été l’approche des « agents communautaires », des médiateurs issus des communautés migrantes qui ont créé un lien de confiance avec les services publics. Un succès qui contraste fortement avec les risques externes majeurs, comme les difficultés liées au renouvellement des cartes de séjour, qui menacent la durabilité des efforts d’intégration. Le projet a dû faire preuve d’une grande agilité, notamment face à la crise du COVID-19, en adaptant ses activités et en renforçant la digitalisation. La performance budgétaire, avec un taux de décaissement total de 37% évoque des retards dans l’exécution, notamment pour les activités d’accompagnement à l’emploi. Une synergie est activement recherchée avec d’autres programmes, notamment MBI et DEPOMI.
Ces documents nous permettent d’extraire des indicateurs clés du projet :
Exemples d’indicateurs de contexte (État des lieux avant/pendant le projet)
- Taux de chômage national en 2020 : Le taux est passé de 9,1% à 10,5%.
- Part de l’emploi informel au Maroc : Constitue environ 80% de l’emploi total.
- Taux de chômage des femmes en 2020 : Atteint 14,3%.
- Nombre de migrants inscrits à l’Entraide Nationale (2017-2018) : 401 migrants.
- Nombre de réfugiés et demandeurs d’asile au Maroc (Septembre 2020) : 11 960 personnes
Exemples d’indicateurs de départ du Programme (Valeur de base = 0)
- Nombre de migrant(e)s financés ayant créé une initiative d’auto-emploi viable un an après : la valeur de base était de 0.
- Nombre de femmes migrantes orientées vers des filières techniques : la valeur de base était de 0.
- Nombre de migrant(e)s bénéficiant de la mesure « contrats d’insertions » : la valeur de base était de 0.
- Disponibilité d’un plan de renforcement de capacités pour le Comité Programme 3 : La valeur de base était « Non, 0% du plan mis en œuvre ».
- Nombre de migrant(e)s accueillis à l’Entraide Nationale et référés à l’ANAPEC : La valeur de base était de 0.
Exemple de recommandations
Renforcer l’Agilité Opérationnelle en Priorisant des Partenariats Flexibles Les rapports, notamment celui de 2018, montrent que le programme a fait face à d’importantes lenteurs et blocages en raison de changements de direction et de la rigidité administrative de certains partenaires publics. La décision de réorienter les subventions initialement prévues pour une institution publique vers une ONG a été une mesure corrective cruciale. Il est donc recommandé de systématiser cette approche en privilégiant, pour les décaissements financiers et la mise en œuvre d’actions de terrain, des partenariats avec des acteurs de la société civile (OSC) et des ONG.
Exemples de précédents en lien avec la recommandation
Confronté régulièrement à la rigidité administrative et aux faibles capacités de gestion de certains partenaires étatiques, le Fonds Mondial de lutte contre le sida, la tuberculose et le paludisme utilise délibérément la flexibilité de son modèle. Il n’hésite pas à réorienter ses subventions vers des organisations de la société civile (OSC) désignées comme « Récipiendaires Principaux ». Cette approche n’est pas une simple mesure corrective, mais une stratégie de mitigation des risques inscrite dans son mode opératoire, permettant d’assurer une exécution budgétaire efficace et de garantir la continuité des programmes de santé vitaux là où les canaux publics sont défaillants.
Dans le domaine de l’aide humanitaire, notamment dans des contextes de crise comme en Syrie ou au Yémen, le contournement des institutions publiques est une pratique courante. Face à des blocages politiques ou à l’incapacité des gouvernements à opérer sur tout le territoire, les agences de l’ONU et les bailleurs de fonds internationaux financent directement un réseau d’ONG locales et internationales. Cette priorisation des partenariats non-gouvernementaux permet de déployer l’aide rapidement, de manière neutre et d’atteindre les populations les plus vulnérables, transformant la recommandation en une procédure opérationnelle standard pour une agilité maximale.
Enfin, au sein des grands projets de développement financés par des institutions comme la Banque Mondiale, cette même logique s’applique lors des restructurations de projet. Lorsqu’un programme prend du retard à cause de l’inertie d’une agence gouvernementale, les « revues à mi-parcours » sont souvent l’occasion de réallouer les fonds et les responsabilités. Les composantes bloquées sont alors confiées à des entités plus agiles, telles que des agences fiduciaires privées ou des fédérations d’OSC, afin de débloquer les décaissements et de relancer la mise en œuvre pour atteindre les objectifs de développement initialement fixés.
Conclusion
La mesure du succès d’un programme ne réside pas seulement dans l’atteinte de ses indicateurs finaux, mais dans l’intelligence stratégique avec laquelle il a navigué son environnement. La capacité à travailler avec les structures officielles pour les renforcer tout en cultivant la capacité de les contourner via des partenaires plus souples lorsque nécessaire est une habileté essentielle et peu contrôlable. C’est le cœur d’une gestion de projet adaptative.
Cette « agilité partenariale » est un capital immatériel. Les cadres de résultats et les rapports officiels sont conçus pour la redevabilité linéaire : nous avons financé X pour obtenir Y. Ils sont mal à l’aise avec la « réalité complexe » qui consiste à dire : « Nous avons atteint Y parce que nous avons su habilement passer du partenaire A au partenaire B, gérer des relations politiques sensibles et nous adapter à des blocages imprévus ». Documenter officiellement cette manœuvre peut être perçu comme un aveu que le plan initial était trop risqué ou que le partenaire public était peu fiable ou motivé, ce qui est diplomatiquement délicat.
L’agilité et l’intelligence relationnelle des équipes sur le terrain ne sont pas des « plans B » ou des « bricolages », mais la compétence stratégique numéro un. Il faudrait compléter les indicateurs de résultats (le quoi) par des indicateurs de processus et d’adaptation (le comment). Evaluer la « qualité de la stratégie de partenariat » ou documenter les « pivots stratégiques réussis ». Les rapports et les évaluations devraient inclure une section « Apprentissage et Adaptation Stratégique » honnête et sans fard où les équipes peuvent documenter, sans comment elles ont navigué la complexité. La connaissance tacite des gestionnaires intègre la mémoire institutionnelle et devient un capital pour toute l’organisation.