L’Initiative 5%, contribution indirecte de la France au Fonds mondial de lutte contre le SIDA, la tuberculose et le paludisme, lance un appel d’offres pour la réalisation d’une évaluation transversale de sept projets de son Canal 2 portant sur la thématique « Adolescent.e.s et Jeunes Filles ».
Pour obtenir les modalités complètes de soumission des candidatures, les termes de référence de l’appel d’offres, les cadres logiques des projets concernés et le modèle de contrat sont disponibles ici.
La date limite pour la remise des offres est fixée au 21 mai 2018.
Ce manuel propose une approche accessible, participative et pragmatique de l’évaluation destinée aux acteurs culturels, en particulier ceux disposant de peu de ressources. Il vise à démystifier l’évaluation en la présentant comme un processus d’apprentissage collectif et d’amélioration continue, impliquant activement les parties prenantes et les communautés. À travers des conseils méthodologiques, des outils pratiques et des exemples concrets, le guide accompagne les opérateurs à chaque étape de l’évaluation, afin de renforcer la pertinence, la légitimité et l’impact de leurs actions culturelles, tout en valorisant l’échange et l’adaptabilité aux contextes locaux.
La métaphore du voyage comme cadre conceptuel
L’ensemble du manuel est structuré autour de la métaphore du voyage (« The Evaluation Journey »). Cette approche est unique car elle présente l’évaluation non pas comme une tâche administrative finale, mais comme un processus continu, un parcours d’apprentissage. On ne parle pas de « check-list » mais de « préparer sa valise » (« pack your evaluation suitcase ») et d’embarquer des compagnons de route (« Whom to embark on your journey? »).
Face à une pression croissante de devoir justifier leur financement et de prouver leur « valeur ajoutée », les opérateurs risquent de s’enfermer dans des logiques de reporting quantitatif qui échouent à capturer la richesse et la complexité de leurs apports sociaux, humains ou artistiques. L’enjeu principal est donc de se réapproprier l’évaluation pour la transformer d’une contrainte externe en un puissant levier de développement stratégique et de reconnaissance mutuelle.
Les opérateurs sont encouragés à définir eux-mêmes ce qui a de la valeur dans leur travail. L’objectif est de construire ses propres référentiels qui ne soient pas uniquement basés sur des considérations économiques.
Le manuel propose des approches qui capturent mieux la subjectivité et l’inattendu :
L’Auto-ethnographie : Cette méthode, peu commune en évaluation de projet, utilise le récit à la première personne et l’expérience personnelle comme un prisme pour la recherche. Elle valorise ce que les méthodes objectives omettent : « le subjectif, l’individuel, l’intrinsèque, l’émotionnel »
Le « Free Style » : Le manuel encourage explicitement les utilisateurs à développer leur propre méthodologie (« Develop your own methodology »). C’est une invitation directe à l’innovation et à l’adaptation, reconnaissant qu’il n’existe pas une seule bonne façon d’évaluer.
« The Way of Council » : Une méthode de dialogue et d’écoute empathique en cercle, qui utilise un « bâton de parole » (« talking piece ») pour assurer que chaque personne soit entendue sans être interrompue
Le « Jardin Public/du Projet » (« Public/Project Garden ») : Un outil de visualisation où les participants sont invités à représenter les objectifs d’un projet comme des graines plantées dans un jardin imaginaire, puis à dessiner leur évolution au fil du temps.
« Ma Place dans l’Univers » (« My Place in the Universe ») : Un outil pour recueillir des retours sur les émotions après un événement. Les participants choisissent une petite figurine et la placent sur une carte représentant différents lieux symboliques (une maison, une ville imaginaire) pour exprimer où ils aimeraient être à cet instant.
Interventions en Espace Public : Le guide suggère de sortir l’évaluation des salles de réunion en utilisant un stand de marché (« Market Stand ») ou un « mur d’expression » peint avec de la peinture à tableau noir pour que les passants puissent laisser des commentaires.
Une idée clé « Nous ne donnons pas LA réponse à l’évaluation car il n’y en a pas. Nous suggérons plutôt une série d’approches et d’idées pour rendre l’évaluation plus accessible, pertinente, participative et, pourquoi pas, agréable ! »
Inaugural in-person gathering of the Global Partnership for Sustainable Development Data’s partner network.
Un festival organisé par le Partenariat mondial pour les données sur le développement durable (en anglais : Global Partnership for Sustainable Development Data, ou GPSDD).
Le Partenariat a été lancé le 28 septembre 2015 lors de l’Assemblée générale des Nations Unies, au moment même de l’adoption des Objectifs de Développement Durable (ODD). Il a été créé pour répondre au besoin urgent de mobiliser la « révolution des données » afin de suivre et d’accélérer les progrès vers la réalisation des ODD.Le secrétariat du Partenariat mondial pour les données sur le développement durable est hébergé par la Fondation des Nations Unies (United Nations Foundation). Son équipe est répartie dans le monde entier, son siège administratif principal se trouve à Washington D.C., États-Unis.
Ce festival avait pour vocation de servi de catalyseur pour des acteurs de tout secteur (gouvernements, société civile, secteur privé, universités) travaillant avec des données de développement. La question n’était plus pourquoi les données sont importantes, mais comment les utiliser efficacement pour résoudre des problèmes réels et atteindre les Objectifs de Développement Durable (ODD). Pour suivre les progrès des ODD, il manque une quantité considérable de données, en particulier sur les populations les plus marginalisées. L’initiative « Data for Now » s’attaque ainsi à l’un des problèmes les plus critiques du développement : le manque de données à jour.
Les enjeux résident dans l’innovation : explorer comment de nouvelles sources de données (données satellitaires, mobiles, issues des réseaux sociaux) peuvent compléter les statistiques officielles. Mais également dans l’amélioration de la qualité, s’assurer que les données collectées sont fiables et à jour. Enfin, qu’elles sont effectivement utilisées par les décideurs pour améliorer les politiques publiques.
La multiplication des données soulève des risques importants, une considération est de s’assurer que cette révolution se fasse de manière responsable. Les discussions portent sur protection des droits, comment garantir le droit à la vie privée, la sécurité des données personnelles et le consentement des individus ? Ou encore sur l’inclusion : comment s’assurer que les communautés aient leur mot à dire sur la manière dont les données les concernant sont utilisées ?
Parmi les initiatives à suivre, nouvelles plateformes, outils et tableaux de bord :
African Regional Data Cube : Un nouvel outil qui exploite les technologies d’observation de la Terre et des satellites pour aider à résoudre des problèmes tels que la sécurité alimentaire et l’accès à l’eau. Il a été développé par le Comité sur les satellites d’observation de la Terre (CEOS) en partenariat avec le GPSDD, le Group on Earth Observations, le Bureau du Vice-président du Kenya, Amazon Web Services et l’Université de Strathmore au Kenya. Voir Digital Earth Africa (DE Africa)
Plateforme de reporting open-source sur les ODD : Le Data Science Campus de l’Office of National Statistics (ONS) du Royaume-Uni a développé un outil gratuit que d’autres pays sont encouragés à utiliser pour rendre compte des progrès sur les Objectifs de Développement Durable (ODD). Voir Open SDG
Plateforme bêta de Datavized et « There’s Something in the Air » : Lancement d’une plateforme bêta et d’une expérience de visualisation de données en réalité virtuelle (VR) sur la pollution de l’air.
Tableau de bord LNOB de l’Open Institute pour le plaidoyer : Au Kenya, l’Open Institute collecte des données désagrégées au niveau local et les met à disposition sur un tableau de bord pour faciliter leur utilisation par la communauté à des fins de plaidoyer.
Portail mondial des données sur la migration : Une collaboration au sein du système des Nations Unies visant à rassembler les sources de données clés sur la migration internationale pour en faciliter l’accès et la compréhension.
Cette conférence a mis en lumière la nécessité pour les évaluateurs de jouer un rôle plus actif dans la promotion de la justice sociale. L’enjeu n’était plus de savoir si l’évaluation devait tenir compte de l’équité, mais comment l’intégrer de manière fondamentale. Cela implique de dépasser la simple analyse de données, aller au-delà de la désagrégation des données par catégoriespour utiliser l’évaluation comme un outil permettant d’identifier et de remettre en question les inégalités structurelles.
La conférence engage une réflexion sur une éthique de l’évaluation qui soit proactive et axée sur la justice. Parmi les questions clés :
Qui détient le pouvoir dans le processus d’évaluation ? À qui appartiennent les données et, au final, le récit de l’évaluation ?
Quelle est la responsabilité de l’évaluateur envers les communautés, au-delà du principe de « ne pas nuire » ? Comment s’assurer que l’évaluation leur bénéficie directement ?
Enfin, élargir la définition des « preuves », questionner ce qui est considéré comme une « preuve » valide et crédible en évaluation. Il s’agissait de plaider pour la reconnaissance des récits, des témoignages et des savoirs communautaires comme des formes de preuves aussi légitimes que les données quantitatives ou les essais contrôlés randomisés. L’objectif n’est pas seulement de collecter des preuves, mais de les utiliser stratégiquement pour plaider en faveur de politiques et de programmes plus équitables.
la conférence de l’EERS 2018 a marqué un appel à une évaluation plus engagée, où l’équité et l’éthique ne sont pas des considérations secondaires, mais les fondements mêmes qui déterminent la manière dont les preuves sont définies, et utilisées pour le changement social.
Sensibilisation à l’évaluation par Stanley Tucci et Paul Bettany. « The bridge » : Extrait du film Margin Call, 2011.
Dans le thriller financier « Margin Call« , qui dissèque les premières heures de la crise de 2008, une scène se détache par son humanité. Eric Dale, un cadre sur le point d’être licencié, se confie à un collègues. Il oppose la finance abstraite et destructrice à son ancien métier d’ingénieur en utilisant la métaphore d’un pont qu’il a construit. Il calcule une dizaine d’indicateurs qui illustrent le temps gagné ou les détours évités par les usagers grâce à ce pont. Eric Dale semble souligner la différence entre créer une valeur tangible pour une communauté et la manipulation de chiffres boursiers qui peuvent anéantir des vies.
Ce petit exercice est amusant car Eric Dale calcule de tête des chiffres vertigineux, qui démontre sa capacité hors norme pour le calcul mental et donc son côté surdoué, son potentiel inexploité à s’investir dans des projets d’utilité publique, une carrière potentiellement passée à côté de son destin. Mais aussi, le personnage nous donne une parfaite démonstration de l’exercice de sélection et de l’usage d’indicateurs.
Mais la réponse de Will Emerson (« Ne te prends pas trop la tête avec tout ça, d’accord ? Certaines personnes aiment prendre le chemin le plus long pour rentrer« ) est tout autant sidérante et liée à la pratique de l’évaluation : chacun voit midi à sa porte, et les critères sur lesquelles reposent l’analyse divergent selon les groupes, caractères, moment de vie, etc.
Mais encore, le titre du film est lui-même un indicateur : l’appel de marge est une alerte, un signal d’alarme, du courtier ne laissant pas d’autre choix que de renflouer le compte ou de liquider les positions. Voir également les seuils de déclenchement.
Dialogues
Personnage : Eric Dale, joué par Stanley Tucci
« Sais-tu que j’ai construit un pont, une fois ? J’étais ingénieur de formation.
Il allait de Dilles Bottom, dans l’Ohio, à Moundsville, en Virginie-Occidentale. Il enjambait la rivière Ohio sur plus de 270 mètres. Douze mille personnes l’empruntaient chaque jour. Et il réduisait le trajet de 56 kilomètres entre Wheeling et New Martinsville.
Ça fait un total de 1 360 000 kilomètres de conduite économisés par jour. Ou 40 millions de kilomètres par mois. Et 490 millions de kilomètres par an. D’économisés.
J’ai terminé ce projet en 1986, il y a vingt-deux ans. Donc, sur toute la durée de vie de ce pont, cela fait 10 milliards 798 millions de kilomètres qui n’ont pas eu besoin d’être parcourus. Disons, à une moyenne de 80 km/h. Ça nous donne… 134 millions d’heures. Soit 5 millions 590 mille jours.
Ce petit pont a fait économiser aux gens de ces communautés un total de 1 531 années de leur vie, à ne pas être gâchées dans une putain de voiture. Mille cinq cent trente et une années. »
Personnage : Will Emerson joué par Paul Bettany
« Hé, Eric ? Ne te prends pas trop la tête avec tout ça, d’accord ? Certaines personnes aiment prendre le chemin le plus long pour rentrer. Qui peut savoir, putain ? »
Un enjeu était de déterminer comment l’évaluation peut aider les sociétés à mieux anticiper les chocs, à y faire face et à se transformer pour devenir plus résilientes. Il s’agit de passer d’une évaluation qui regarde le passé (ce qui a fonctionné ou non) à une évaluation plus prospective, capable d’éclairer les décisions dans un contexte d’incertitude.
Face à la complexité des défis, un enjeu majeur est de repenser les outils de l’évaluation. Cela inclu:
La pensée systémique : dépasser les évaluations de projets isolés pour comprendre et évaluer des systèmes complexes et interconnectés.
Les approches participatives : impliquer les citoyens et les parties prenantes dans le processus d’évaluation pour mieux comprendre les contextes locaux et renforcer l’appropriation des solutions.
Les méthodes mixtes : combiner des données quantitatives et qualitatives pour obtenir une vision plus riche et nuancée des interventions et de leurs effets.
La conférence a questionné le rôle traditionnel de l’évaluateur comme un expert technique neutre. L’enjeu était de promouvoir un nouveau profil d’évaluateur agissant comme un facilitateur du changement et de l’apprentissage.
27-29 mai 2018, Calgary, Alberta – 31 mai-1 juin 2018 Yellowknife, Northwest Territories
Organisation : Société Canadienne d’Evaluation
Congrès national 2018 de la SCÉ sur le thème de la co-création
L’enjeu fondamental de la co-création est de dépasser le modèle traditionnel où l’évaluateur est un expert externe qui « étudie » un programme et ses participants. L’idée était de promouvoir une approche où les évaluateurs, les gestionnaires de programmes, les participants et les communautés conçoivent, réalisent et interprètent l’évaluation ensemble. Cela implique un partage du pouvoir et une reconnaissance des différentes formes de savoirs.
Comment l’évaluation peut soutenir le droit des Premières Nations, des Métis et des Inuits à établir leurs propres priorités de recherche et d’évaluation ?
Comment respecter les protocoles et les approches autochtones en matière de recherche et d’évaluation ?
Comment tisser des relations de confiance ? La co-création nécessite du temps pour bâtir des relations respectueuses et significatives entre les évaluateurs non-autochtones et les communautés autochtones.
Comment renforcer la responsabilisation des évaluateurs envers les communautés autochtones ?
En impliquant directement les utilisateurs finaux (gestionnaires, communautés) dans le processus, la co-création visait à rendre les évaluations plus pertinentes pour leurs besoins. L’un des enjeux était que cette collaboration étroite mènerait à une meilleure appropriation des résultats et, par conséquent, à une utilisation plus effective des recommandations pour améliorer les programmes. Une participante au congrès s’est d’ailleurs interrogée : « La co-création peut-elle mener à une meilleure évaluation ? » et a exploré la création d’une stratégie pour co-créer des outils de collecte de données.
Cet atelier a porté sur l’articulation des approches qualitatives, quantitatives et des nouvelles sources de données pour évaluer les politiques publiques. L’objectif était d’analyser les défis et les opportunités de ces méthodes mixtes.
Les enjeux et questions clés soulevés sont :
L’intégration des nouvelles technologies : Quel est le potentiel des technologies de l’information (TIC) pour moderniser l’évaluation du développement ? Quelles sont les meilleures pratiques émergentes à l’échelle mondiale ? Exemple concret : L’expérience du Fonds international de développement agricole (FIDA).
La combinaison de données administratives et qualitatives : Comment peut-on associer des bases de données nationales massives (ex: sécurité sociale, agence pour l’emploi) avec des analyses qualitatives pour mesurer précisément l’impact des politiques publiques, comme celles pour l’emploi ? Exemple concret : L’évaluation des programmes pour l’emploi au Luxembourg (projet EvaLab4Lux).
L’évaluation sur le long terme : Comment l’utilisation combinée de données quantitatives et qualitatives permet-elle d’analyser l’évolution et les résultats d’une coopération sur une longue période (15 ans) ? Exemple concret : L’évaluation de la coopération entre le Luxembourg et le Salvador.
Cet atelier s’inscrit dans un cycle de réflexion plus large qui abordera également les aspects éthiques et juridiques liés à l’utilisation des nouvelles données, ainsi que les pistes pour mieux les intégrer dans les pratiques d’évaluation.
Ce guide pratique ODI propose un cadre pour le suivi, l’évaluation et l’apprentissage (SEA) des actions de communication, destiné aux ONG, think tanks et universités. Le document s’ancre spécifiquement dans le secteur des think tanks et des ONG qui cherchent à influencer les politiques publiques (« policy influence »).
Le message central est que le SEA en communication ne doit pas être une corvée complexe, mais un outil d’apprentissage stratégique. Il faut lier systématiquement les actions de communication à des objectifs clairs , définir des publics cibles précis et aller au-delà des « vanity metrics » (indicateurs de vanité). Ce guide est ainsi une tentative de simplifier et de démystifier le SEA pour les praticiens de la communication. Le guide propose des questions et des indicateurs concrets pour évaluer des aspects qualitatifs souvent jugés « difficiles à mesurer ».
Le document semble s’adresser à des organisations qui, jusqu’à présent, ont soit négligé l’évaluation de leur communication, soit se sont senties dépassées par sa complexité. En proposant des outils et des indicateurs spécifiques pour chaque canal (site web, événements, réseaux sociaux, etc.) , ce guide permet aux équipes de mettre en place des systèmes de suivi pragmatiques, même avec des ressources limitées. Pour une vision plus exhaustive, il est nécessaire de combiner des outils quantitatifs (Google Analytics, statistiques des réseaux sociaux) avec des approches qualitatives (enquêtes, retours informels, études de cas). Il ne faut pas se limiter à mesurer qui on a atteint (la portée), mais aussi évaluer la qualité et l’utilité perçues par l’audience, ainsi que l’appropriation et l’usage des informations.
Quelques exemples d’indicateurs :
le nombre de participants à un événement ou le taux d’abandon
le temps moyen passé sur une page web pour évaluer l’interaction.
le pourcentage d’utilisateurs qui rapportent avoir acquis de nouvelles connaissances suite à la lecture d’une publication.
Il y a aussi une critique implicite d’une culture du chiffre pour le chiffre, suggérant que la pression pour « prouver » l’impact conduit souvent à mesurer les choses les plus faciles plutôt que les plus pertinentes.
La véritable mesure de l’influence ne réside pas dans la popularité d’un contenu, mais dans la manière dont le public cible se l’approprie, l’adapte et l’utilise pour ses propres besoins, indiquant une réelle pertinence et un début d’impact.
Ce rapport s’inscrit dans la continuité des grandes conférences sur l’efficacité de l’aide (Déclaration de Paris (2005), Programme d’action d’Accra (2008), Partenariat de Busan (2011). Ces accords ont poussé les donateurs à se concentrer sur la mesure des résultats, la redevabilité mutuelle et l’appropriation par les pays partenaires, créant ainsi la demande politique pour les systèmes d’évaluation robustes que ce rapport analyse. Néanmoins, le nombre moyen de membres du personnel par unité centrale d’évaluation a diminué, passant de 19 en 2010 à 14,14 en 2015.
Le rapport analyse en profondeur l’organisation et la gestion des systèmes d’évaluation au sein des agences de coopération pour le développement et explore la tension entre les deux objectifs principaux de l’évaluation : la redevabilité envers les contribuables et les parlements, et l’apprentissage organisationnel pour améliorer l’efficacité des interventions futures.
La séparation structurelle de la fonction de redevabilité (confiée à un organe externe comme l’ICAI) et de la fonction d’apprentissage (laissée aux unités internes décentralisées) est une innovation organisationnelle pour résoudre la tension fondamentale de l’évaluation.
Le rapport mentionne que le Groupe d’évaluation indépendant (IEG) de la Banque mondiale a introduit les « After Action Reviews » (AAR), ou « examens après action ». C’est une préconisation très concrète : après chaque évaluation, l’équipe mène un débriefing structuré pour analyser ce qui s’est bien passé, ce qui a mal fonctionné dans le processus d’évaluation lui-même, et comment le travail aurait pu être amélioré pour la prochaine fois.
Une autre recommandation simple et pragmatique est d’instaurer la publication obligatoire de tous les rapports d’évaluation et des réponses de la direction.
Après une première édition en 2010, ce rapport a permis de nouveau en 2016 à chaque agence (ex: Sida en Suède, AFD en France) de se comparer à ses homologues sur des aspects précis comme la structure, le budget, l’indépendance ou les méthodes. Une agence pouvait ainsi justifier une réforme interne en s’appuyant sur les tendances et les meilleures pratiques identifiées.
