Nouveautés

En bref : ce manuel se présente comme destiné aux personnes souhaitant s’initier à l’évaluation de programmes. Saut dans le grand bain pour les débutants, il permettra surtout aux initiés une approche réflexive et actualisée sur leurs pratiques. Suivant le fil d’une démarche évaluative, il donne la parole à une sélection de praticiens et praticiennes. Ce qui laissera par ailleurs l’opportunité de découvrir et de suivre de multiples auteurs sur la durée. Dans son dernier chapitre, le manuel réuni les points de vue des premiers coordonnateurs et présidents du Réseau Francophone d’Evaluation. Comme son titre l’indique, l’ouvrage se circonscrit tout particulièrement au contexte du développement et de la coopération. Un deuxième tome permettrait de s’extraire de la logique de coopération, considérer l’avance des praticiens et praticiennes du développement dans la discipline afin d’offrir une référence plus globale en termes d’évaluation de politiques publiques et interroger les pratiques des pays hors du champs de l’aide. Enfin, l’ouvrage est disponible en ligne.

Un ouvrage de référence pour l’évaluation francophone pour les acteurs francophones

• L’évaluation en contexte de développement – enjeux, approches et pratiques, sous la direction de Linda Rey, Jean-Serge Quesnel et Vénétia Sauvain, ENAP, 2022

Cet ouvrage est un manuel pédagogique francophone destiné à l’évaluation de programmes en contexte de développement, avec un accent particulier sur l’Afrique et Haïti. Il comble un vide de littérature francophone pour offrir des références et des cas adaptés aux contextes de pays francophones, rompant avec la dépendance aux modèles anglo-saxons. Le manuel insiste sur la nécessité d’un langage commun et précis, proposant un dictionnaire conceptuel pour solidifier l’évaluation comme discipline. L’ouvrage de 491 pages réunit une multitude d’auteurs et de référents francophones de l’évaluation. Avec une vingtaine de chapitre, il couvre l’intégralité du cycle de projet, de la justification de l’intervention (sa « raison d’être ») jusqu’au transfert des connaissances, bien loin d’une unique mesure de résultats.

Une idée centrale est que les méthodes d’évaluation ne sont pas universelles et doivent être adaptées aux réalités culturelles, politiques et sociales, notamment en Afrique. C’est le premier manuel francophone à intégrer de manière aussi systématique ce mouvement, le « Made in Africa Evaluation » qui prône une évaluation enracinée dans les philosophies et les contextes africains, valorisant des concepts comme l’Ubuntu (« Je suis parce que tu es »). 

En insistant sur le « Made in Africa », la participation locale et la critique des modèles imposés par les bailleurs de fonds, les auteurs affirment que l’évaluation n’est pas un exercice technique neutre, mais un acte politique profondément ancré dans des relations de pouvoir postcoloniales. Le manuel suggère que la manière « occidentale » de définir un problème, de mesurer le succès et de juger de la valeur est souvent inadéquate et peut perpétuer des dynamiques de dépendance. L’ouvrage est donc un outil d’émancipation intellectuelle et pratique, visant à redonner aux acteurs locaux le pouvoir de définir et d’évaluer leur propre développement.

En terme méthodologique : 

ll est recommandé de dépasser le simple cadre logique pour construire une théorie du changement détaillée, qui explicite les hypothèses, les risques et les facteurs contextuels. L’évaluation devrait tester cette théorie plutôt que de se contenter de mesurer l’atteinte ciblée des indicateurs. 

Le chapitre 13 critique implicitement la survalorisation des études randomisées (RCT) en présentant une large palette d’alternatives, méthodes qualitatives ou mixtes.

L’évaluation doit s’ancrer dans le cycle complet de la politique, en commençant par une analyse critique de la « raison d’être » de la politique et de la justification d’intervenir. Elle doit évaluer la cohérence de la politique avec d’autres interventions et ne pas se focaliser uniquement sur l’atteinte des objectifs, mais aussi sur les effets non intentionnels.

Par ailleurs, les auteurs rappellent que la validité d’une évaluation ne dépend pas seulement de sa rigueur méthodologique, mais aussi de sa crédibilité, de sa pertinence pour les acteurs concernés et de son utilité pour l’action. Le savoir local et tiré de l’expérience est considéré comme une source de connaissance aussi légitime que le savoir scientifique.

Ce document s’ancre spécifiquement dans le développement international à travers, par exemple :

• L’analyse des politiques migratoires : Cartier et Franzetti (p. 127) traitent des enjeux de l’évaluation des mouvements migratoires, en utilisant le Pacte mondial sur les migrations comme cadre d’analyse et en soulignant la vulnérabilité spécifique des migrants dans les crises.
  
• Le suivi des Objectifs de Développement Durable (ODD) : le chapitre de Mahmoud Ghouil (p. 119) analyse le cadre de suivi et d’examen des ODD. Il discute des défis liés à l’adaptation de ce cadre mondial aux contextes nationaux et à la capacité des pays à évaluer leur progrès face à la complexité des objectifs.
  
• L’évaluation des projets d’adaptation aux changements climatiques : le texte de Montibert (p. 133) aborde les défis concrets comme la difficulté d’accès aux données climatiques précises en Afrique ou en Haïti et la nécessité de diversifier les sources d’information pour évaluer la résilience.

Au final, l’ouvrage se singularise par sa triple ambition : être à la fois un manuel pédagogique rigoureux, un plaidoyer politique pour une évaluation décolonisée, et le socle d’une communauté de pratique francophone.

Bien que l’ouvrage présente une vision d’ensemble cohérente, il est le fruit de la collaboration de 46 auteurs aux perspectives variées. Comme les éditeurs le soulignent eux-mêmes dans l’avant-propos : « Malgré la volonté d’une certaine cohérence pédagogique, la diversité des points de vue dans cet ouvrage est le reflet de la diversité des perspectives théoriques et pratiques de leurs auteurs et autrices »

Il existe par exemple une tension notable sur la valeur et l’applicabilité des méthodes expérimentales. Egalement, sur le niveau d’influence que les parties prenantes devraient avoir sur le processus d’évaluation. Ou encore sur le rôle des recommandations : une évaluation réussie doit-elle nécessairement produire des recommandations claires, ou sa fonction peut-elle se limiter à fournir des éclairages diversifiés pour que les acteurs décident par eux-mêmes ?

Ressources en évaluation dans le secteur du développement

• Normes et standards
• Ressources bibliographiques
• Guides et manuels de suivi évaluation
• Bases de données
• Par organisation
• Approches critiques de l’aide au développement

Corrélation

La corrélation est un concept purement statistique qui indique l’existence d’une relation ou d’une association entre deux variables. Lorsque deux variables sont corrélées, cela signifie que les changements observés dans l’une sont liés, de manière systématique, aux changements observés dans l’autre.

On distingue trois types de corrélation :

• La corrélation positive : les deux variables évoluent dans la même direction. Si l’une augmente, l’autre a tendance à augmenter également. Un exemple classique est la corrélation positive entre la hausse des températures estivales et l’augmentation des ventes de crèmes glacées
  
• La corrélation négative : les deux variables évoluent en directions opposées. Si l’une augmente, l’autre a tendance à diminuer. Avec la hausse de températures estivales, la baisse de la vente des appareils à raclette. 
  
• La corrélation nulle : il n’existe aucune relation statistique apparente entre les deux variables. Le temps d’écran pour les ados et la vente de pamplemousse dans l’Arctique. 

En évaluation, étudier une corrélation est une première phase d’analyse. Par exemple, est-ce que la construction de pistes cyclables augmente l’usage de la bicyclette ? 

Comme exposé par le statisticien Edward Tufte, « la corrélation n’est pas synonyme de causalité, mais c’est certainement un indice« . Elle signale une relation à investiguer, mais ne dit rien sur la nature de cette relation.

Causalité

La causalité est un concept plus fort et plus exigeant. Elle signifie qu’un changement dans une variable, la cause, provoque directement un changement dans une autre variable, l’effet. Il s’agit donc d’une relation de cause à effet où l’une des variables influence directement l’autre. Cette notion, fondamentale pour la science moderne, a été formulée de manière concise par Galilée : « La cause est ce qui est tel que, lorsqu’elle est posée, l’effet s’ensuit ; lorsqu’elle est ôtée, l’effet est ôté« .

La distinction conceptuelle est fondamentale : la causalité implique toujours une corrélation, mais une corrélation n’implique jamais nécessairement une causalité. Si un projet cause réellement une amélioration, on observera une corrélation entre la mise en œuvre du projet et l’amélioration. Cependant, l’observation de cette corrélation seule ne suffit pas à prouver le lien de causalité.

Dans le cadre de l’évaluation de projet, on peut se demander si la construction de pistes cyclables incite les gens à faire du vélo, ou si les municipalités construisent des pistes cyclables en réponse à une demande croissante de cyclistes déjà existants. La relation peut également être bidirectionnelle, chaque variable influençant l’autre dans une boucle de rétroaction.

Corrélation n’est pas causalité

Exemple : pistes cyclables et commerces de proximité

Poursuivons sur ce même exemple lié aux mobilités douces.

• L’observation (la corrélation) :

Les politiques de promotion des mobilités douces, et en particulier du vélo, connaissent un essor sans précédent. Les collectivités investissent dans la construction d’infrastructures dédiées, comme les pistes cyclables sécurisées. Les données de comptage montrent presque systématiquement une augmentation de la fréquentation cycliste dans les zones où de tels aménagements sont réalisés.

Dans un territoire donné, les élus décident d’investir dans la création et la sécurisation de pistes cyclables sur une période de cinq ans. 

En analysant les données économiques de la même période, on observe que dans les rues où de nouvelles pistes cyclables ont été aménagées, le chiffre d’affaires des commerces de proximité (boulangeries, kebabs, supérettes,…) a augmenté.

Ici, nous avons une corrélation positive :

• Variable A : le nombre de kilomètres de pistes cyclables.
• Variable B : le chiffre d’affaires des commerces locaux.

Lorsque la variable A augmente, la variable B a tendance à augmenter aussi. Les deux variables évoluent ensemble.

L’analyse : pourquoi ce n’est (peut-être) pas si simple

La conclusion hâtive serait de dire : « L’installation de pistes cyclables provoque une augmentation de l’activité commerciale. » C’est une hypothèse plausible (les cyclistes s’arrêtent plus facilement que les automobilistes pour un achat rapide, ils ont plus soifs, ils réinvestissent le temps gagné et l’argent économisé dans un café crème avec croissant sur une terrasse moins polluée qu’avant, etc.).

Cependant, la corrélation seule ne le prouve pas. D’autres facteurs pourraient expliquer cette tendance. Par exemple :

1. Une politique globale de réaménagement : les pistes cyclables ont souvent été installées dans le cadre d’un projet plus large de réaménagement du quartier (trottoirs élargis, plantation d’arbres, limitation de la vitesse). C’est peut-être l’amélioration générale du cadre de vie qui a attiré plus de monde, et non uniquement les pistes cyclables.
   
2. Un changement démographique (facteur caché) : Le quartier est peut-être devenu plus attractif pour de jeunes familles ou des ménages au pouvoir d’achat plus élevé, qui à la fois utilisent plus le vélo ET consomment plus dans les commerces locaux. Le changement de population serait alors la vraie cause.

3. Une tendance de fond : il y a peut-être une tendance générale, dans tout le pays, à un retour en grâce des commerces de proximité, indépendamment des aménagements cyclables.

En conclusion, la corrélation entre les pistes cyclables et la vitalité commerciale est un signal intéressant pour les urbanistes, les chargés de développement des territoires ou les élus. Mais pour prouver la causalité, il faudrait une évaluation plus poussée comparant ces rues avec des rues similaires n’ayant pas eu de pistes cyclables, afin d’isoler l’effet propre de l’aménagement.

Abuser du randomisé ?

Néanmoins, ces évaluations de type randomisées (voir Randomized Controlled Trial) auraient pour objet d’éclairer la prise de décisions des élus pour leur politique d’aménagement. Dans la pratique, voir ci-dessous l’exemple de l’évaluation de fin du projet Autrement qui n’arrive que pour constater des problématiques opérationnelles. 

Analyser et atténuer les points de blocage en utilisant par exemple, comme support de discussion, la théorie du changement aurait permis d’amplifier les effets, à défaut de pouvoir les circonscrire pour les mesurer.

Un projet de mobilité douce ne réside pas seulement dans le produit final (les kilomètres de pistes peintes au sol), mais dans la transformation des processus de planification et de concertation qui y ont mené. La question n’est pas seulement « Les pistes cyclables ont-elles été livrées ? », mais « Comment leur tracé a-t-il été décidé et mis en œuvre ? ». L’effet causal de la démarche pourrait être d’avoir rendu le processus de planification plus inclusif en intégrant les associations d’usagers cyclistes et les commerçants dès l’amont, ou plus rigoureux en se basant sur des données fines de comptage cycliste et de sécurité perçue, ou encore d’avoir créé de nouveaux réseaux de collaboration pérennes entre les services municipaux (urbanisme, voirie, espaces verts).

Une opinion : 

Les évaluations randomisés sont longues, complexes et donc couteuses. Dès lors qu’une corrélation forte est établie (même sous forme de convention sociale et non scientifiquement, par exemple « un ado est sera plus épanoui dehors à faire du vélo que toute la journée derrière un écran » ), l’enjeu est de multiplier les actions pour un rechercher un effet cocktail, par exemple : la construction de pistes cyclables plus l’organisation d’atelier de remise en état de vieilles bicyclettes plus initiation et permis vélo dans les écoles.

Mais une priorité serait de s’attaquer aux dysfonctionnements de mise en oeuvre opérationnelle qui sont récurrents, programme après programme : validations en silos, délais de décaissement anormalement longs, complexité administrative, déconnexion avec les utilisateurs finaux, projet en cycle court et unique,… 

Les retards opérationnels sont les symptômes d’une gouvernance ou d’un management défaillant sur différentes échelles (ou sur l’articulation de ces échelles – communes, départements, régions, états, UE, associations d’usagers, etc.).

Pour aller plus loin

• Projet de coopération décentralisé Autrement : promouvoir les mobilités douces et la participation citoyenne
  
• Evaluation d’impact

Une explication en vidéo :