L’abondance de vocabulaire spécialisé, variable en fonction des organisations, des guides pratiques et des productions académiques prête à confusion : la distinction entre « modèle logique », « chaine de résultats », « chaine causale » ou encore « logique d’intervention » s’avère floue et déstabilisante pour le simple utilisateur.
Ci-dessous la présentation du modèle utilisé par EVAL que nous vous suggérons d’apprivoiser (téléchargement du canevas ici).
L’exercice consiste à modéliser une intervention (projet, programme, mesure, politique publique,…) à travers :
- une confrontation de la problématique de terrain et de la réponse envisagée
- une projection des résultats et effets attendus
Au fil de la mise en oeuvre du programme, les effets naissants seront collectés et comparés à la projection initiale. Résumé en un seul schéma, ce modèle logique constituera une des composantes clés de notre système de suivi et évaluation.
➡ 1ère partie (colonnes 1 et 2) : le terreau de départ
Adéquation entre le contexte, le profil des parties prenantes et les objectifs poursuivis
1ère colonne :
Contexte
Etat des lieux
- La problématique à résoudre, les symptômes
- Les besoins et les attentes des usagers
- Les enjeux pour chaque catégorie d’acteur
- Les dynamiques déjà en cours
Cette colonne interroge la pertinence du programme (voir ici les critères d’évaluation).
2ème colonne :
Cohérence interne
Il s’agit de questionner l’adéquation de la structure qui porte l’action avec la réponse à résoudre, notamment en terme de :
- vision
- mission
- coeur de métier
- légitimité
- moyens à disposition
Cohérence externe
- complémentarité avec d’autres acteurs
Objectifs/impact recherchés
Il sera rechercher ici de résumer en une formule simple et concise la justification du programme, les effets et impacts recherchés.
Cette triangulation systématique entre contexte, intervenants et objectifs est tout particulièrement intéressante en phase d’écriture du programme et offre un point de départ à notre théorie du changement.
Elle permet d’interroger l’adéquation entre les valeurs et la légitimité de l’intervenant (le porteur de projet) et le terrain (le contexte de départ) – analyse trop souvent omise si l’on s’intéresse aux seuls résultats.
Egalement, il s’agit d’un terreau sur lequel va venir se greffer notre programme. Nous ne savons pas si cette greffe va prendre.
« La mise en oeuvre de projet implique généralement un long voyage de découverte dans les domaines les plus variés, de la technologie à la politique. »
Hirschman A.O. 1967
➡ 2ème partie : la réponse apportée
3ème colonne :
Les ressources
Ce que nous apportons au programme
- ressources humaines et financières
- des compétences
- une innovation technologique
- des partenaires
- du matériel, des locaux
- …
4ème colonne :
Production
Les activités réellement menées
- organisation de formations, d’évènements, de séminaires
- réalisation d’infrastructures (centres de soins, écoles, routes,…)
- production de services (consultations médicales, mutuelles de santé)
- distribution de biens (nourriture, médicaments, outils, semences,…)
- octroi de financements
- séances de sensibilisation, plaidoyer, organisation de conférences
5ème colonne
Les usagers (bénéficiaires/public cible) et les partenaires
Auprès de qui…
Par exemple :
- la couverture géographique de l’intervention
- genre
- âge
- niveau scolaire
- niveau de revenus
- publics spécifiques
- nouveaux usagers
Cette colonne s’intéresse à divers critères transversaux comme le genre ou les critères sociaux. A-t-on atteint la population la plus accessible ou la plus précaire ? Existe-t-il des discriminations dans l’accès au programme (en lien avec le genre, l’âge, la langue, l’origine ethnique, l’engagement politique, syndical ou civique… Des conflits d’intérêt ?
Avec qui ?
Quels sont les différents partenaires de l’action ?
Cette partie s’intéressera au niveau de concertation et de co-construction. En terme de critères, il s’agira également d’évaluer la qualité du partenariat. A quel point le partenariat est-il équilibré ? Existe-t-il un lien de subordination en lien avec des enjeux de financement ?
➡ 3ème partie : les effets et impacts
6ème colonne :
Les effets à court terme
- acquisition de connaissances, de savoirs, de compétences
- recours aux mobilités douces pour le trajet école/domicile
- réduction de la pollution
- ouvertures de postes et opportunités de recrutement
- …
L’enjeu ici est de détecter et de saisir des effets naissants, le plus tôt possible afin d’envisager une éventuelle réorientation, détecter des effets négatifs ou indésirables, des incompréhensions de la part de partenaires ou d’usagers…
7ème colonne :
Les effets à moyen terme
- changements de comportement
- prises de décisions
- orientations de politiques publiques
- …
8ème colonne :
Les effets à long terme
- sociaux
- économiques
- environnementaux
- positifs et négatifs, directs et indirects, prévus ou imprévus…
Les 3 niveaux de programme
Le découpage du modèle logique présenté ci-dessus en 3 parties correspond de fait à 3 moments distincts de l’évaluation en fonction du cycle de vie du programme.
Comme évoqué précédemment et illustré ci-dessous, pour chaque phase de la vie du programme va correspondre une palette spécifique de critères d’évaluation.
Il convient néanmoins d’accorder une attention toute particulière à la notion d’acceptabilité. Le fameux transplant évoqué plus haut. Comment le programme est-il accepté par les populations cibles ?
Sur des programmes en cours d’exécution, un effet de mode ou encore une certaine pression du résultat orientent les commandes d’évaluation vers des études d’impact voir « l’impact social ». Pourtant, l’évaluateur pourra constater un simple retard ou problème de mise en oeuvre.
En l’absence de mise en oeuvre, inutile bien sûr de rechercher un quelconque résultat ! Ainsi, dans des programmes modestes mais innovants, plutôt que de mettre en place des dispositifs couteux visant à capturer des effets à long terme, concentrons-nous à ôter les blocages, les dysfonctionnements opérationnels, affiner la chaine de résultat, détecter les conditions du changement.
Ainsi, imprimée en grand format et affichée dans votre salle de réunion, la théorie du changement précise et rappelle votre feuille de route. Elle permet dans les balbutiements initiaux du programme, à défaut de mesurer l’impact, de l’orienter au quotidien.
Si nous fonctionnons par analogie : comme au billard, l’analyse de la chaine de résultat nous aide à anticiper les effets avant chaque « coup », c’est à dire avant de déployer nos actions.
Parallèlement, à l’instar du curling, le système de suivi et évaluation nous permet de balayer les obstacles le long du chemin et de réorienter l’action en fonction de conditions préalables nouvellement détectées.
Date de première diffusion : 2018
Dernière actualisation : 2022