Nouveautés

Atelier évaluation SOLEP : 21 février 2018, Luxembourg

Evènement :

Cet atelier a porté sur l’articulation des approches qualitatives, quantitatives et des nouvelles sources de données pour évaluer les politiques publiques. L’objectif était d’analyser les défis et les opportunités de ces méthodes mixtes.

Les enjeux et questions clés soulevés sont :

  1. L’intégration des nouvelles technologies : Quel est le potentiel des technologies de l’information (TIC) pour moderniser l’évaluation du développement ? Quelles sont les meilleures pratiques émergentes à l’échelle mondiale ? Exemple concret : L’expérience du Fonds international de développement agricole (FIDA).
  2. La combinaison de données administratives et qualitatives : Comment peut-on associer des bases de données nationales massives (ex: sécurité sociale, agence pour l’emploi) avec des analyses qualitatives pour mesurer précisément l’impact des politiques publiques, comme celles pour l’emploi ? Exemple concret : L’évaluation des programmes pour l’emploi au Luxembourg (projet EvaLab4Lux).
  3. L’évaluation sur le long terme : Comment l’utilisation combinée de données quantitatives et qualitatives permet-elle d’analyser l’évolution et les résultats d’une coopération sur une longue période (15 ans) ? Exemple concret : L’évaluation de la coopération entre le Luxembourg et le Salvador.

Cet atelier s’inscrit dans un cycle de réflexion plus large qui abordera également les aspects éthiques et juridiques liés à l’utilisation des nouvelles données, ainsi que les pistes pour mieux les intégrer dans les pratiques d’évaluation.

 

Communications monitoring, evaluating and learning toolkit, ODI

January 2018, Caroline Cassidy, Louise Ball

Ce guide pratique ODI propose un cadre pour le suivi, l’évaluation et l’apprentissage (SEA) des actions de communication, destiné aux ONG, think tanks et universités. Le document s’ancre spécifiquement dans le secteur des think tanks et des ONG qui cherchent à influencer les politiques publiques (« policy influence »).

Le message central est que le SEA en communication ne doit pas être une corvée complexe, mais un outil d’apprentissage stratégique. Il faut lier systématiquement les actions de communication à des objectifs clairs , définir des publics cibles précis et aller au-delà des « vanity metrics » (indicateurs de vanité). Ce guide est ainsi une tentative de simplifier et de démystifier le SEA pour les praticiens de la communication. Le guide propose des questions et des indicateurs concrets pour évaluer des aspects qualitatifs souvent jugés « difficiles à mesurer ».

Le document semble s’adresser à des organisations qui, jusqu’à présent, ont soit négligé l’évaluation de leur communication, soit se sont senties dépassées par sa complexité. En proposant des outils et des indicateurs spécifiques pour chaque canal (site web, événements, réseaux sociaux, etc.) , ce guide permet aux équipes de mettre en place des systèmes de suivi pragmatiques, même avec des ressources limitées. Pour une vision plus exhaustive, il est nécessaire de combiner des outils quantitatifs (Google Analytics, statistiques des réseaux sociaux) avec des approches qualitatives (enquêtes, retours informels, études de cas).
Il ne faut pas se limiter à mesurer qui on a atteint (la portée), mais aussi évaluer la qualité et l’utilité perçues par l’audience, ainsi que l’appropriation et l’usage des informations.

Quelques exemples d’indicateurs :

  • le nombre de participants à un événement ou le taux d’abandon
  • le temps moyen passé sur une page web pour évaluer l’interaction.
  • le pourcentage d’utilisateurs qui rapportent avoir acquis de nouvelles connaissances suite à la lecture d’une publication.

Il y a aussi une critique implicite d’une culture du chiffre pour le chiffre, suggérant que la pression pour « prouver » l’impact conduit souvent à mesurer les choses les plus faciles plutôt que les plus pertinentes.

La véritable mesure de l’influence ne réside pas dans la popularité d’un contenu, mais dans la manière dont le public cible se l’approprie, l’adapte et l’utilise pour ses propres besoins, indiquant une réelle pertinence et un début d’impact.

Evaluation Systems in Development Co-operation, 2016 Review

Ce rapport s’inscrit dans la continuité des grandes conférences sur l’efficacité de l’aide (Déclaration de Paris (2005), Programme d’action d’Accra (2008), Partenariat de Busan (2011). Ces accords ont poussé les donateurs à se concentrer sur la mesure des résultats, la redevabilité mutuelle et l’appropriation par les pays partenaires, créant ainsi la demande politique pour les systèmes d’évaluation robustes que ce rapport analyse. Néanmoins, le nombre moyen de membres du personnel par unité centrale d’évaluation a diminué, passant de 19 en 2010 à 14,14 en 2015.

Le rapport analyse en profondeur l’organisation et la gestion des systèmes d’évaluation au sein des agences de coopération pour le développement et explore la tension entre les deux objectifs principaux de l’évaluation : la redevabilité envers les contribuables et les parlements, et l’apprentissage organisationnel pour améliorer l’efficacité des interventions futures.

La séparation structurelle de la fonction de redevabilité (confiée à un organe externe comme l’ICAI) et de la fonction d’apprentissage (laissée aux unités internes décentralisées) est une innovation organisationnelle pour résoudre la tension fondamentale de l’évaluation.

Le rapport mentionne que le Groupe d’évaluation indépendant (IEG) de la Banque mondiale a introduit les « After Action Reviews » (AAR), ou « examens après action ». C’est une préconisation très concrète : après chaque évaluation, l’équipe mène un débriefing structuré pour analyser ce qui s’est bien passé, ce qui a mal fonctionné dans le processus d’évaluation lui-même, et comment le travail aurait pu être amélioré pour la prochaine fois.

Une autre recommandation simple et pragmatique est d’instaurer la publication obligatoire de tous les rapports d’évaluation et des réponses de la direction.

Après une première édition en 2010, ce rapport a permis de nouveau en 2016 à chaque agence (ex: Sida en Suède, AFD en France) de se comparer à ses homologues sur des aspects précis comme la structure, le budget, l’indépendance ou les méthodes. Une agence pouvait ainsi justifier une réforme interne en s’appuyant sur les tendances et les meilleures pratiques identifiées.

Evaluation de programmes de développement : plus de ressources