Nouveautés

Quatrième conférence Évaluation des politiques publiques

Jeudi 13 décembre 2018, organisée par l’AFSE et la direction générale du Trésor

Pour cette quatrième édition, les organisateurs (le Trésor, l’AFSE, la Banque de France) poursuivent leur positionnent de l’évaluation quantitative et causale comme un outil incontournable pour éclairer le débat public et guider la décision politique en France. Le choix des thèmes et des institutions démontre un focus délibéré sur des problématiques concrètes françaises ou transposables, traitées avec des méthodes économétriques de pointe. La quasi-totalité des papiers cherche à répondre à une question de type causal : « Quel est l’effet de la politique X sur le résultat Y ? »la quasi-totalité des papiers cherche à répondre à une question de type causal : « Quel est l’effet de la politique X sur le résultat Y ? ». Ces études qui utilisent des méthodes quasi-expérimentales (doubles différences, variables instrumentales, etc.) pour isoler un lien de cause à effet.

1. Appel à communications

Conçue comme un lieu de rencontre entre membres de l’administration économique et économistes académiques, cette conférence annuelle a pour objectif de rassembler des contributions sur l’analyse et l’évaluation quantitatives des politiques publiques afin de contribuer à l’identification des politiques efficaces, d’offrir des éléments de comparaison internationale et de discuter des méthodes les plus récentes.

Rédigées en français ou en anglais, les contributions peuvent porter sur divers domaines des politiques publiques tels que la fiscalité, l’emploi, les politiques sociales, l’éducation, la santé, l’environnement ou encore l’innovation. Les analyses d’ordre méthodologique sont également bienvenues.

Les auteurs de contributions présentées à cette conférence sont invités à les soumettre à la revue Économie et Prévision.

Les soumissions (sous forme d’articles entièrement rédigés) étaient à envoyer à afsetresor@afse.fr avant le 17 septembre 2018.

Le comité de programme porte une attention particulière aux politiques françaises ou transposables à la France.

Plus d’informations

Comité de programme :

Agnès Bénassy-Quéré, Université Paris 1, Antoine Bozio, EHESS, PSE et Institut des Politiques Publiques, Martine Carré-Tallon, Université Paris-Dauphine, Claude Diebolt, CNRS, BETA et Université de Strasbourg, Brigitte Dormont, Université Paris-Dauphine, Anne Épaulard, Commissariat Gal à la stratégie et à la prospective – Université Paris-Dauphine, Michel Houdebine, Direction Générale du Trésor, Rémy Lecat, Banque de France, Fabrice Lenglart, France Stratégie, Claire Loupias, Direction Générale du Trésor, Selma Mahfouz, Direction de l’animation de la recherche, des études et des statistiques, Vincent Marcus, Commissariat Général au Développement Durable, Guy de Monchy, Association Française de Science Économique, Jean-Eudes Moncomble, Conseil Français de l’Énergie, Katheline Schubert, PSE, Université Paris 1, Jean-Luc Tavernier, Institut national de la statistique et des études économiques, Xavier Timbeau, Observatoire Français des Conjonctures Économiques

2. Conférence évaluation des politique publique

Les contributions sélectionnées et présentées le 13 décembre 2018 :

Session 1 – Emploi

  • The Public Sector Wage Gap: New Evidence from Panel Administrative Data – Olivier Bargain (Université de Bordeaux), Audrey Etienne (Université d’Aix-Marseille), Blaise Melly (Université de Bern)
  • Labor Market Consequences of Selective Immigration Policy: Analysis of a French Reform – Sara Signorelli (Paris School of Economics)
  • Gender Quotas in Hiring Committees: a Boon or a Bane for Women? – Pierre Deschamps (Sciences Po)

La conclusion de cette étude est profondément contre-intuitive et a créé un véritable débat. En analysant la loi française de 2015 imposant un quota de 40% de femmes dans les comités de sélection universitaires, l’auteur montre que cette réforme, pensée pour aider les femmes, a en réalité significativement diminué leurs chances d’être recrutées. L’auteur suggère l’existence de mécanismes complexes et inattendus, comme un effet de « backlash » (réaction négative) de la part des hommes, ou un effet de « licence morale » (les hommes se sentiraient autorisés à être plus sévères après avoir respecté la « bonne action » d’instaurer le quota). Cet article, qui a depuis été publié dans la prestigieuse revue Management Science, est un « fait polémique » car il met en lumière l’échec potentiel d’une politique publique bien intentionnée. Il oblige à repenser la manière de concevoir les politiques de parité, en montrant que la simple ingénierie des chiffres peut avoir des conséquences inverses à celles désirées si les biais comportementaux ne sont pas pris en compte.

  • When Short-Time Work Works – Pierre Cahuc (Sciences Po), Francis Kramarz (CREST), Sandra Nevoux (Banque de France)

Présenté en 2018, ce papier analysait l’efficacité du chômage partiel durant la crise de 2008. Il a fourni des arguments solides montrant que le dispositif de chômage partiel était efficace pour sauver des emplois dans les entreprises frappées par un choc temporaire mais violent.

Note de contexte

Note de contexte

Moins de deux ans plus tard, la crise du COVID-19 éclatait, faisant du dispositif de chômage partiel l’outil principal de sauvetage de l’emploi en Europe. Cet article a été abondamment cité dans les notes de conjoncture (Banque de France, Dares) et les analyses qui ont accompagné la mise en place de l’activité partielle à une échelle inédite en 2020. L’étude a donc servi de base analytique cruciale pour comprendre et justifier l’utilisation massive du « quoi qu’il en coûte ».

Postérieurement à l’article et dans le contexte COVID, les auteurs se sont accordés à dire que l’utilisation massive et non ciblée du chômage partiel était justifiée et indispensable au tout début de la crise (mars-avril 2020). Face à un choc d’une violence inouïe et à l’incertitude radicale, l’objectif était d’éviter un effondrement économique et social. À ce moment-là, la vitesse et l’ampleur de la réponse primaient sur le ciblage. Il s’agissait d’une mesure de « gel » de l’économie. Cependant, les auteurs ont très vite alerté sur les dangers de prolonger un tel dispositif de manière indifférenciée. Dès juillet 2020, soit très tôt dans la crise, Pierre Cahuc publiait une tribune intitulée « Les dégâts collatéraux du chômage partiel ». Si le dispositif est maintenu trop longtemps sans conditions, il engendre des effets pervers, comme des « entreprises zombies », creusant une dette qu’il faudrait bien rembourser.

Session 2 – Innovation et financement des entreprises

  • The Evaluation of the Italian “Start-up Act” – Timothy DeStefano (OCDE), Francesco Manaresi (Banque d’Italie), Carlo Menon (OCDE), Pietro Santoleri (École supérieure Sant’Anna), Giovanni Soggia (Banque d’Italie)
  • Assessing the impacts of the French competitiveness clusters policy on SMEs’ innovation and economic performance – Modou Mar (Université Grenoble Alpes)
  • Lower bank capital requirements as a policy tool to support credit to SMEs: evidence from a policy experiment – Michel Dietsch (Université de Strasbourg), Henri Fraisse (ACPR), Mathias Lé (EconomiX, CNRS), Sandrine Lecarpentier (Université Paris-Nanterre)
  • Real effects of central bank collateral policy – Louis-Marie Harpedanne de Belleville (Paris School of Economics, Banque de France)

Session 3 – Environnement

  • Competitive Permit Storage and Market Design: An Application to the EU-ETS – Simon Quemin (Université Paris Dauphine) & Raphaël Trotignon

La recherche de Simon Quemin et Raphaël Trotignon analyse l’efficacité de la Réserve de Stabilité du Marché (MSR), un mécanisme mis en place pour corriger le surplus de quotas sur le marché carbone européen (EU-ETS). À l’aide d’un modèle économique qui simule le comportement des entreprises, les auteurs montrent que si la MSR a bien réussi son objectif de réduire l’offre et donc de faire remonter les prix du carbone, sa capacité à stabiliser le marché face à des chocs économiques est plus limitée et asymétrique. L’étude conclut que le design de cet outil interagit de manière complexe avec les stratégies de stockage de quotas des entreprises, rendant son efficacité très dépendante du comportement des acteurs du marché.

Conception d’un système de suivi pour le programme GLTN (UN-HABITAT)

Le programme Global Land Tool Network (GLTN) recherche un consultant pour la conception d’un système de suivi : voir ici

Le Global Land Tool Network (GLTN)

Le Réseau mondial d’outils fonciers (GLTN) est une alliance de partenaires qui contribue à la lutte contre la pauvreté par le biais de réformes agraires et de la sécurité des droits fonciers. Plutôt que de voir la propriété en termes binaires (formel/informel, légal/illégal), le GLTN reconnaît un large éventail de droits fonciers légitimes, qu’ils soient documentés ou non, individuels ou collectifs. La pleine propriété n’est qu’une option parmi d’autres, et la forme la plus appropriée dépend du contexte local.

Le réseau adopte une approche « favorable aux pauvres » et se concentre sur les plus vulnérables, notamment les femmes, les jeunes et les communautés autochtones. L’objectif est de garantir que les réformes foncières ne laissent personne de côté. Le GLTN n’est pas une entité monolithique, mais une « alliance dynamique » de plus de 75 partenaires. Cette diversité (ONG, universités, agences gouvernementales, organisations de la société civile) est vue comme une force. Le secrétariat du GLTN ne met pas directement en œuvre les projets sur le terrain. Son rôle est de développer les outils, de faciliter, de suivre et de renforcer les capacités. La mise en œuvre est assurée par les partenaires au niveau national.

Les défis

Le défi principal est l’ampleur de l’insécurité foncière. Plus de 70 % de la population mondiale n’a pas de droits fonciers officiellement reconnus. Dans de nombreux pays en développement, ce chiffre dépasse 90 %. Cette insécurité est un moteur de pauvreté, d’instabilité sociale et de dégradation environnementale. Les approches traditionnelles de l’administration des terres sont souvent trop coûteuses, lentes et complexes pour répondre aux besoins des populations pauvres et vulnérables.

Coordination et gouvernance du réseau

Avec un réseau en pleine expansion, assurer une gouvernance efficace, inclusive et responsable est un défi majeur, il existe également un risque de duplication des efforts avec d’autres acteurs du secteur foncier, ce qui oblige le GLTN à démontrer clairement un « avantage comparatif ».

Développement d’Outils Pratiques : le cœur de l’approche du GLTN est la création d’une « boîte à outils » contenant des méthodes pratiques et innovantes pour résoudre les problèmes fonciers. Ces outils sont conçus pour être flexibles, abordables, adaptables au contexte et utilisables en combinaison.

Renforcement des Capacités : le développement des capacités est intégré à tous les aspects du travail du GLTN. Il ne s’agit pas seulement de former des individus, mais aussi de renforcer les institutions gouvernementales, les communautés et la société civile pour qu’elles puissent utiliser les outils de manière autonome.

Approche Multi-Niveaux : le GLTN travaille simultanément aux niveaux mondial (influencer les politiques comme les ODD), régional, national et local. Une bonne pratique essentielle est de créer des boucles de rétroaction, où les expériences de terrain au niveau national informent et influencent les programmes mondiaux.

Les enjeux du systèmes de suivi évaluation du GLTN

Plutôt que de simplement mesurer ses propres actions, le GLTN se positionne comme un architecte des normes mondiales en la matière. En pilotant l’Initiative mondiale d’indicateurs fonciers (GLII) et en s’alignant sur les Objectifs de Développement Durable (ODD), le réseau ne se contente pas de suivre les règles, il contribue à les écrire.

L’insistance à mesurer non seulement la documentation légale mais aussi la perception de la sécurité est une approche stratégique : elle permet de révéler les décalages entre les lois et la réalité vécue par les populations, créant ainsi un levier pour inciter à des réformes plus profondes et plus humaines.

L’Initiative Mondiale d’Indicateurs Fonciers (GLII) est la manifestation la plus directe du système de suivi du GLTN. Conçue en 2012, cette initiative est aujourd’hui pleinement opérationnelle et constitue le cœur du mécanisme de suivi du GLTN. Le site du GLTN héberge une section dédiée qui présente ce « cadre commun pour suivre les progrès sur les questions foncières » et liste les documents de travail, les indicateurs clés et les rapports d’événements qui en découlent.

STRATÉGIE DU RÉSEAU MONDIAL D’OUTILS FONCIERS POUR 2018-2030
STRATÉGIE DU RÉSEAU MONDIAL D’OUTILS FONCIERS POUR 2018-2030

Programme d’appui à la gestion de la thématique migratoire, ENABEL, Maroc, de l’étude de base aux rapports d’activité

En juin 2018, nous relayions ici l’appel à manifestation d’intérêt d’ENABEL pour la réalisation d’une étude de base. Nous proposons ici de mettre en perspective ce premier pas de l’évaluation avec deux rapports d’activité ultérieurs parus en 2018 et 2020.

Le programme Amuddu, doté d’un budget de 4 600 000 euros se déroule du 15 mars 2018 au 14 mars 2023 dans les régions de Rabat-Salé-Kénitra et Casablanca-Settat. En partenariat avec le Ministère délégué chargé des Marocains Résidant à l’Étranger (MDCMRE), l’Entraide Nationale et l’ANAPEC , son objectif spécifique est d’améliorer l’employabilité des migrantes et migrants au Maroc. Pour ce faire, il vise à faciliter leur accès aux dispositifs de formation professionnelle et d’accompagnement à l’emploi, tout en dynamisant la coordination entre les structures d’aide. L’impact plus global attendu est de mieux assurer l’intégration des migrants et la gestion des flux migratoires dans le pays

Etude de base (2018)

Dans le cadre du Programme d’Appui à la Gestion de la Thématique Migratoire, l’Agence Belge de Développement «Enabel Maroc » a procédé à une mise en concurrence pour le choix d’un (des) consultants (s) pour la réalisation d’une étude de Base du système de suivi et d’évaluation, intégrant l’approche genre, pour le programme d’appui à la gestion de la thématique migratoire. Consulter la proposition initiale

Rapport annuel (2018)

Rapport de résultat 2018 pour l’intervention Amuddu

Le rapport de 2018 dépeint une année de démarrage ambitieuse mais semée d’embûches. Une phase de mise en place, centrée sur la co-construction d’un cadre de suivi solide avec les partenaires. Cependant, le très faible taux de décaissement budgétaire (6% du total) et les retards dans les activités trahissent des difficultés opérationnelles majeures. Le rapport révèle notamment un blocage avec un partenaire clé, l’Entraide Nationale (EN), suite à des changements internes , forçant le projet à envisager une réorientation stratégique quasi immédiate des subventions. En réponse, l’équipe a mis l’accent sur la formalisation des processus et la recherche de synergies pour surmonter cette instabilité. Ce document illustre donc moins des résultats de terrain que le combat d’une équipe projet pour jeter des fondations dans un environnement institutionnel complexe et changeant, tout en intégrant dès le départ une analyse de genre approfondie.

Rapport annuel (2020)

Rapport de Résultats 2020 pour l’intervention Amuddu

En 2020, le projet a permis d’inscrire 253 migrants à des formations professionnelles et d’octroyer 136 bourses d’études. Sur le plan de l’emploi, il a accompagné 253 initiatives d’auto-emploi et a enregistré l’inscription de 245 migrants auprès des services de l’ANAPEC. Ces efforts ont mené à l’insertion professionnelle concrète de 15 personnes, dont 5 via le dispositif des « contrats aidés ».

Au-delà des données chiffrés, le document révèle une navigation constante à travers d’importantes lourdeurs administratives, qui ont nécessité de réorienter des fonds prévus pour des institutions publiques vers des ONG plus flexibles. Une avancée a été l’approche des « agents communautaires », des médiateurs issus des communautés migrantes qui ont créé un lien de confiance avec les services publics. Un succès qui contraste fortement avec les risques externes majeurs, comme les difficultés liées au renouvellement des cartes de séjour, qui menacent la durabilité des efforts d’intégration. Le projet a dû faire preuve d’une grande agilité, notamment face à la crise du COVID-19, en adaptant ses activités et en renforçant la digitalisation. La performance budgétaire, avec un taux de décaissement total de 37% évoque des retards dans l’exécution, notamment pour les activités d’accompagnement à l’emploi. Une synergie est activement recherchée avec d’autres programmes, notamment MBI et DEPOMI.

Ces documents nous permettent d’extraire des indicateurs clés du projet :

Exemples d’indicateurs de contexte (État des lieux avant/pendant le projet)
  1. Taux de chômage national en 2020 : Le taux est passé de 9,1% à 10,5%.
  2. Part de l’emploi informel au Maroc : Constitue environ 80% de l’emploi total.
  3. Taux de chômage des femmes en 2020 : Atteint 14,3%.
  4. Nombre de migrants inscrits à l’Entraide Nationale (2017-2018) : 401 migrants.
  5. Nombre de réfugiés et demandeurs d’asile au Maroc (Septembre 2020) : 11 960 personnes
Exemples d’indicateurs de départ du Programme (Valeur de base = 0)
  1. Nombre de migrant(e)s financés ayant créé une initiative d’auto-emploi viable un an après : la valeur de base était de 0.
  2. Nombre de femmes migrantes orientées vers des filières techniques : la valeur de base était de 0.
  3. Nombre de migrant(e)s bénéficiant de la mesure « contrats d’insertions » : la valeur de base était de 0.
  4. Disponibilité d’un plan de renforcement de capacités pour le Comité Programme 3 : La valeur de base était « Non, 0% du plan mis en œuvre ».
  5. Nombre de migrant(e)s accueillis à l’Entraide Nationale et référés à l’ANAPEC : La valeur de base était de 0.
Exemple de recommandations

Renforcer l’Agilité Opérationnelle en Priorisant des Partenariats Flexibles Les rapports, notamment celui de 2018, montrent que le programme a fait face à d’importantes lenteurs et blocages en raison de changements de direction et de la rigidité administrative de certains partenaires publics. La décision de réorienter les subventions initialement prévues pour une institution publique vers une ONG a été une mesure corrective cruciale. Il est donc recommandé de systématiser cette approche en privilégiant, pour les décaissements financiers et la mise en œuvre d’actions de terrain, des partenariats avec des acteurs de la société civile (OSC) et des ONG.

Exemples de précédents en lien avec la recommandation

Confronté régulièrement à la rigidité administrative et aux faibles capacités de gestion de certains partenaires étatiques, le Fonds Mondial de lutte contre le sida, la tuberculose et le paludisme utilise délibérément la flexibilité de son modèle. Il n’hésite pas à réorienter ses subventions vers des organisations de la société civile (OSC) désignées comme « Récipiendaires Principaux ». Cette approche n’est pas une simple mesure corrective, mais une stratégie de mitigation des risques inscrite dans son mode opératoire, permettant d’assurer une exécution budgétaire efficace et de garantir la continuité des programmes de santé vitaux là où les canaux publics sont défaillants.

Dans le domaine de l’aide humanitaire, notamment dans des contextes de crise comme en Syrie ou au Yémen, le contournement des institutions publiques est une pratique courante. Face à des blocages politiques ou à l’incapacité des gouvernements à opérer sur tout le territoire, les agences de l’ONU et les bailleurs de fonds internationaux financent directement un réseau d’ONG locales et internationales. Cette priorisation des partenariats non-gouvernementaux permet de déployer l’aide rapidement, de manière neutre et d’atteindre les populations les plus vulnérables, transformant la recommandation en une procédure opérationnelle standard pour une agilité maximale.

Enfin, au sein des grands projets de développement financés par des institutions comme la Banque Mondiale, cette même logique s’applique lors des restructurations de projet. Lorsqu’un programme prend du retard à cause de l’inertie d’une agence gouvernementale, les « revues à mi-parcours » sont souvent l’occasion de réallouer les fonds et les responsabilités. Les composantes bloquées sont alors confiées à des entités plus agiles, telles que des agences fiduciaires privées ou des fédérations d’OSC, afin de débloquer les décaissements et de relancer la mise en œuvre pour atteindre les objectifs de développement initialement fixés.

Conclusion

La mesure du succès d’un programme ne réside pas seulement dans l’atteinte de ses indicateurs finaux, mais dans l’intelligence stratégique avec laquelle il a navigué son environnement. La capacité à travailler avec les structures officielles pour les renforcer tout en cultivant la capacité de les contourner via des partenaires plus souples lorsque nécessaire est une habileté essentielle et peu contrôlable. C’est le cœur d’une gestion de projet adaptative.

Cette « agilité partenariale » est un capital immatériel. Les cadres de résultats et les rapports officiels sont conçus pour la redevabilité linéaire : nous avons financé X pour obtenir Y. Ils sont mal à l’aise avec la « réalité complexe » qui consiste à dire : « Nous avons atteint Y parce que nous avons su habilement passer du partenaire A au partenaire B, gérer des relations politiques sensibles et nous adapter à des blocages imprévus ». Documenter officiellement cette manœuvre peut être perçu comme un aveu que le plan initial était trop risqué ou que le partenaire public était peu fiable ou motivé, ce qui est diplomatiquement délicat.

L’agilité et l’intelligence relationnelle des équipes sur le terrain ne sont pas des « plans B » ou des « bricolages », mais la compétence stratégique numéro un. Il faudrait compléter les indicateurs de résultats (le quoi) par des indicateurs de processus et d’adaptation (le comment). Evaluer la « qualité de la stratégie de partenariat » ou documenter les « pivots stratégiques réussis ». Les rapports et les évaluations devraient inclure une section « Apprentissage et Adaptation Stratégique » honnête et sans fard où les équipes peuvent documenter, sans comment elles ont navigué la complexité. La connaissance tacite des gestionnaires intègre la mémoire institutionnelle et devient un capital pour toute l’organisation.

Évaluation transversale des projets « Adolescent.e.s et Jeunes Filles » Initiative 5%

Appel d’offre

L’Initiative 5%, contribution indirecte de la France au Fonds mondial de lutte contre le SIDA, la tuberculose et le paludisme, lance un appel d’offres pour la réalisation d’une évaluation transversale de sept projets de son Canal 2 portant sur la thématique « Adolescent.e.s et Jeunes Filles ».

Pour obtenir les modalités complètes de soumission des candidatures, les termes de référence de l’appel d’offres, les cadres logiques des projets concernés et le modèle de contrat sont disponibles ici.

La date limite pour la remise des offres est fixée au 21 mai 2018.

Boite à outils – évaluation de projets culturels

The Evaluation Journey – A Toolkit for Cultural Operators, Dagna Gmitrowicz and Marie Le Sourd, European Network of Cultural Centres, march 2018

Ce manuel propose une approche accessible, participative et pragmatique de l’évaluation destinée aux acteurs culturels, en particulier ceux disposant de peu de ressources. Il vise à démystifier l’évaluation en la présentant comme un processus d’apprentissage collectif et d’amélioration continue, impliquant activement les parties prenantes et les communautés. À travers des conseils méthodologiques, des outils pratiques et des exemples concrets, le guide accompagne les opérateurs à chaque étape de l’évaluation, afin de renforcer la pertinence, la légitimité et l’impact de leurs actions culturelles, tout en valorisant l’échange et l’adaptabilité aux contextes locaux.

La métaphore du voyage comme cadre conceptuel

L’ensemble du manuel est structuré autour de la métaphore du voyage (« The Evaluation Journey »). Cette approche est unique car elle présente l’évaluation non pas comme une tâche administrative finale, mais comme un processus continu, un parcours d’apprentissage. On ne parle pas de « check-list » mais de « préparer sa valise » (« pack your evaluation suitcase ») et d’embarquer des compagnons de route (« Whom to embark on your journey? »).

Face à une pression croissante de devoir justifier leur financement et de prouver leur « valeur ajoutée », les opérateurs risquent de s’enfermer dans des logiques de reporting quantitatif qui échouent à capturer la richesse et la complexité de leurs apports sociaux, humains ou artistiques. L’enjeu principal est donc de se réapproprier l’évaluation pour la transformer d’une contrainte externe en un puissant levier de développement stratégique et de reconnaissance mutuelle.

Les opérateurs sont encouragés à définir eux-mêmes ce qui a de la valeur dans leur travail. L’objectif est de construire ses propres référentiels qui ne soient pas uniquement basés sur des considérations économiques.

Le manuel propose des approches qui capturent mieux la subjectivité et l’inattendu :

  • L’Auto-ethnographie : Cette méthode, peu commune en évaluation de projet, utilise le récit à la première personne et l’expérience personnelle comme un prisme pour la recherche. Elle valorise ce que les méthodes objectives omettent : « le subjectif, l’individuel, l’intrinsèque, l’émotionnel »

  • Le « Free Style » : Le manuel encourage explicitement les utilisateurs à développer leur propre méthodologie (« Develop your own methodology »). C’est une invitation directe à l’innovation et à l’adaptation, reconnaissant qu’il n’existe pas une seule bonne façon d’évaluer.

  • « The Way of Council » : Une méthode de dialogue et d’écoute empathique en cercle, qui utilise un « bâton de parole » (« talking piece ») pour assurer que chaque personne soit entendue sans être interrompue

  • Le « Jardin Public/du Projet » (« Public/Project Garden ») : Un outil de visualisation où les participants sont invités à représenter les objectifs d’un projet comme des graines plantées dans un jardin imaginaire, puis à dessiner leur évolution au fil du temps.

  • « Ma Place dans l’Univers » (« My Place in the Universe ») : Un outil pour recueillir des retours sur les émotions après un événement. Les participants choisissent une petite figurine et la placent sur une carte représentant différents lieux symboliques (une maison, une ville imaginaire) pour exprimer où ils aimeraient être à cet instant.

  • Interventions en Espace Public : Le guide suggère de sortir l’évaluation des salles de réunion en utilisant un stand de marché (« Market Stand ») ou un « mur d’expression » peint avec de la peinture à tableau noir pour que les passants puissent laisser des commentaires.

Une idée clé « Nous ne donnons pas LA réponse à l’évaluation car il n’y en a pas. Nous suggérons plutôt une série d’approches et d’idées pour rendre l’évaluation plus accessible, pertinente, participative et, pourquoi pas, agréable ! »

évaluation de la culture
Toolkit for cultural operators

Data for Development festival

21-23 mars 2018, Bristol, Grande Bretagne

Inaugural in-person gathering of the Global Partnership for Sustainable Development Data’s partner network.

Un festival organisé par le Partenariat mondial pour les données sur le développement durable (en anglais : Global Partnership for Sustainable Development Data, ou GPSDD).

Le Partenariat a été lancé le 28 septembre 2015 lors de l’Assemblée générale des Nations Unies, au moment même de l’adoption des Objectifs de Développement Durable (ODD). Il a été créé pour répondre au besoin urgent de mobiliser la « révolution des données » afin de suivre et d’accélérer les progrès vers la réalisation des ODD. Le secrétariat du Partenariat mondial pour les données sur le développement durable est hébergé par la Fondation des Nations Unies (United Nations Foundation). Son équipe est répartie dans le monde entier, son siège administratif principal se trouve à Washington D.C., États-Unis.

Ce festival avait pour vocation de servi de catalyseur pour des acteurs de tout secteur (gouvernements, société civile, secteur privé, universités) travaillant avec des données de développement. La question n’était plus pourquoi les données sont importantes, mais comment les utiliser efficacement pour résoudre des problèmes réels et atteindre les Objectifs de Développement Durable (ODD). Pour suivre les progrès des ODD, il manque une quantité considérable de données, en particulier sur les populations les plus marginalisées. L’initiative « Data for Now » s’attaque ainsi à l’un des problèmes les plus critiques du développement : le manque de données à jour.

Les enjeux résident dans l’innovation : explorer comment de nouvelles sources de données (données satellitaires, mobiles, issues des réseaux sociaux) peuvent compléter les statistiques officielles. Mais également dans l’amélioration de la qualité, s’assurer que les données collectées sont fiables et à jour. Enfin, qu’elles sont effectivement utilisées par les décideurs pour améliorer les politiques publiques.

La multiplication des données soulève des risques importants, une considération est de s’assurer que cette révolution se fasse de manière responsable. Les discussions portent sur  protection des droits, comment garantir le droit à la vie privée, la sécurité des données personnelles et le consentement des individus ? Ou encore sur l’inclusion : comment s’assurer que les communautés aient leur mot à dire sur la manière dont les données les concernant sont utilisées ?

Parmi les initiatives à suivre, nouvelles plateformes, outils et tableaux de bord :

  • African Regional Data Cube : Un nouvel outil qui exploite les technologies d’observation de la Terre et des satellites pour aider à résoudre des problèmes tels que la sécurité alimentaire et l’accès à l’eau. Il a été développé par le Comité sur les satellites d’observation de la Terre (CEOS) en partenariat avec le GPSDD, le Group on Earth Observations, le Bureau du Vice-président du Kenya, Amazon Web Services et l’Université de Strathmore au Kenya. Voir Digital Earth Africa (DE Africa)
  • Plateforme de reporting open-source sur les ODD : Le Data Science Campus de l’Office of National Statistics (ONS) du Royaume-Uni a développé un outil gratuit que d’autres pays sont encouragés à utiliser pour rendre compte des progrès sur les Objectifs de Développement Durable (ODD). Voir Open SDG
  • Plateforme bêta de Datavized et « There’s Something in the Air » : Lancement d’une plateforme bêta et d’une expérience de visualisation de données en réalité virtuelle (VR) sur la pollution de l’air.
  • Tableau de bord LNOB de l’Open Institute pour le plaidoyer : Au Kenya, l’Open Institute collecte des données désagrégées au niveau local et les met à disposition sur un tableau de bord pour faciliter leur utilisation par la communauté à des fins de plaidoyer.
  • Portail mondial des données sur la migration : Une collaboration au sein du système des Nations Unies visant à rassembler les sources de données clés sur la migration internationale pour en faciliter l’accès et la compréhension.

Voir également :

data for development festival evaluation

Eastern Evaluation Research Society Annual Conference 

29 avril-1 mai 2018 -Galloway, New Jersey

Eastern Evaluation Research Society Annual Conference (41ème anniversaire !) – Equity, Ethics, and Evidence

Cette conférence a mis en lumière la nécessité pour les évaluateurs de jouer un rôle plus actif dans la promotion de la justice sociale. L’enjeu n’était plus de savoir si l’évaluation devait tenir compte de l’équité, mais comment l’intégrer de manière fondamentale. Cela implique de dépasser la simple analyse de données, aller au-delà de la désagrégation des données par catégoriespour utiliser l’évaluation comme un outil permettant d’identifier et de remettre en question les inégalités structurelles.

La conférence engage une réflexion sur une éthique de l’évaluation qui soit proactive et axée sur la justice. Parmi les questions clés :

  • Qui détient le pouvoir dans le processus d’évaluation ? À qui appartiennent les données et, au final, le récit de l’évaluation ?
  • Quelle est la responsabilité de l’évaluateur envers les communautés, au-delà du principe de « ne pas nuire » ? Comment s’assurer que l’évaluation leur bénéficie directement ?

Enfin, élargir la définition des « preuves », questionner ce qui est considéré comme une « preuve » valide et crédible en évaluation. Il s’agissait de plaider pour la reconnaissance des récits, des témoignages et des savoirs communautaires comme des formes de preuves aussi légitimes que les données quantitatives ou les essais contrôlés randomisés. L’objectif n’est pas seulement de collecter des preuves, mais de les utiliser stratégiquement pour plaider en faveur de politiques et de programmes plus équitables.

la conférence de l’EERS 2018 a marqué un appel à une évaluation plus engagée, où l’équité et l’éthique ne sont pas des considérations secondaires, mais les fondements mêmes qui déterminent la manière dont les preuves sont définies, et utilisées pour le changement social.

EERS evaluation

Introduction à l’évaluation à travers un extrait de film : Margin Call

Sensibilisation à l’évaluation par Stanley Tucci et Paul Bettany. « The bridge » : Extrait du film Margin Call, 2011.

Dans le thriller financier « Margin Call« , qui dissèque les premières heures de la crise de 2008, une scène se détache par son humanité. Eric Dale, un cadre sur le point d’être licencié, se confie à un collègues. Il oppose la finance abstraite et destructrice à son ancien métier d’ingénieur en utilisant la métaphore d’un pont qu’il a construit. Il calcule une dizaine d’indicateurs qui illustrent le temps gagné ou les détours évités par les usagers grâce à ce pont. Eric Dale semble souligner la différence entre créer une valeur tangible pour une communauté et la manipulation de chiffres boursiers qui peuvent anéantir des vies.

Ce petit exercice est amusant car Eric Dale calcule de tête des chiffres vertigineux, qui démontre sa capacité hors norme pour le calcul mental et donc son côté surdoué, son potentiel inexploité à s’investir dans des projets d’utilité publique, une carrière potentiellement passée à côté de son destin. Mais aussi, le personnage nous donne une parfaite démonstration de l’exercice de sélection et de l’usage d’indicateurs.

Mais la réponse de Will Emerson (« Ne te prends pas trop la tête avec tout ça, d’accord ? Certaines personnes aiment prendre le chemin le plus long pour rentrer« ) est tout autant sidérante et liée à la pratique de l’évaluation : chacun voit midi à sa porte, et les critères sur lesquelles reposent l’analyse divergent selon les groupes, caractères, moment de vie, etc.

Mais encore, le titre du film est lui-même un indicateur : l’appel de marge est une alerte, un signal d’alarme, du courtier ne laissant pas d’autre choix que de renflouer le compte ou de liquider les positions. Voir également les seuils de déclenchement.

Dialogues

Personnage : Eric Dale, joué par Stanley Tucci

« Sais-tu que j’ai construit un pont, une fois ? J’étais ingénieur de formation.

Il allait de Dilles Bottom, dans l’Ohio, à Moundsville, en Virginie-Occidentale. Il enjambait la rivière Ohio sur plus de 270 mètres. Douze mille personnes l’empruntaient chaque jour. Et il réduisait le trajet de 56 kilomètres entre Wheeling et New Martinsville.

Ça fait un total de 1 360 000 kilomètres de conduite économisés par jour. Ou 40 millions de kilomètres par mois. Et 490 millions de kilomètres par an. D’économisés.

J’ai terminé ce projet en 1986, il y a vingt-deux ans. Donc, sur toute la durée de vie de ce pont, cela fait 10 milliards 798 millions de kilomètres qui n’ont pas eu besoin d’être parcourus. Disons, à une moyenne de 80 km/h. Ça nous donne… 134 millions d’heures. Soit 5 millions 590 mille jours.

Ce petit pont a fait économiser aux gens de ces communautés un total de 1 531 années de leur vie, à ne pas être gâchées dans une putain de voiture. Mille cinq cent trente et une années. »

Personnage : Will Emerson joué par Paul Bettany

« Hé, Eric ? Ne te prends pas trop la tête avec tout ça, d’accord ? Certaines personnes aiment prendre le chemin le plus long pour rentrer. Qui peut savoir, putain ? »

13ème conférence de la Société Européenne d’Evaluation

1er au 5 octobre 2018, Thessalonique, Grèce

13th EES biennial conference : evaluation for more resilient societies

Un enjeu était de déterminer comment l’évaluation peut aider les sociétés à mieux anticiper les chocs, à y faire face et à se transformer pour devenir plus résilientes. Il s’agit de passer d’une évaluation qui regarde le passé (ce qui a fonctionné ou non) à une évaluation plus prospective, capable d’éclairer les décisions dans un contexte d’incertitude.

Face à la complexité des défis, un enjeu majeur est de repenser les outils de l’évaluation. Cela inclu:

  • La pensée systémique : dépasser les évaluations de projets isolés pour comprendre et évaluer des systèmes complexes et interconnectés.
  • Les approches participatives : impliquer les citoyens et les parties prenantes dans le processus d’évaluation pour mieux comprendre les contextes locaux et renforcer l’appropriation des solutions.
  • Les méthodes mixtes : combiner des données quantitatives et qualitatives pour obtenir une vision plus riche et nuancée des interventions et de leurs effets.

    La conférence a questionné le rôle traditionnel de l’évaluateur comme un expert technique neutre. L’enjeu était de promouvoir un nouveau profil d’évaluateur agissant comme un facilitateur du changement et de l’apprentissage.

Congrès national de la Société Canadienne d’Evaluation

27-29 mai 2018, Calgary, Alberta – 31 mai-1 juin 2018 Yellowknife, Northwest Territories

Organisation : Société Canadienne d’Evaluation

Congrès national 2018 de la SCÉ sur le thème de la co-création

L’enjeu fondamental de la co-création est de dépasser le modèle traditionnel où l’évaluateur est un expert externe qui « étudie » un programme et ses participants. L’idée était de promouvoir une approche où les évaluateurs, les gestionnaires de programmes, les participants et les communautés conçoivent, réalisent et interprètent l’évaluation ensemble. Cela implique un partage du pouvoir et une reconnaissance des différentes formes de savoirs.

  • Comment l’évaluation peut soutenir le droit des Premières Nations, des Métis et des Inuits à établir leurs propres priorités de recherche et d’évaluation ?
  • Comment respecter les protocoles et les approches autochtones en matière de recherche et d’évaluation ?
  • Comment tisser des relations de confiance ? La co-création nécessite du temps pour bâtir des relations respectueuses et significatives entre les évaluateurs non-autochtones et les communautés autochtones.
  • Comment renforcer la responsabilisation des évaluateurs envers les communautés autochtones ?

En impliquant directement les utilisateurs finaux (gestionnaires, communautés) dans le processus, la co-création visait à rendre les évaluations plus pertinentes pour leurs besoins. L’un des enjeux était que cette collaboration étroite mènerait à une meilleure appropriation des résultats et, par conséquent, à une utilisation plus effective des recommandations pour améliorer les programmes. Une participante au congrès s’est d’ailleurs interrogée : « La co-création peut-elle mener à une meilleure évaluation ? » et a exploré la création d’une stratégie pour co-créer des outils de collecte de données.