L’abondance de vocabulaire spécialisé en fonction des organisations, guides pratiques et production académique prête à confusion : la distinction entre « modèle logique« , « chaine de résultats« , « chaine causale » ou encore « logique d’intervention » s’avère floue et démobilisante pour le simple utilisateur.
Voici le modèle utilisé par EVAL que nous vous suggérons d’apprivoiser.
L’exercice consiste à modéliser un projet (programme, mesure, politique publique) à travers :
- une confrontation de la problématique de terrain et de la réponse envisagée
- une projection des résultats attendus
Au fil de l’implémentation du programme, les effets naissants seront collectés et comparés à la projection initiale. Résumé en un seul schéma, ce modèle logique constituera la trame de notre système de suivi et évaluation.
1ère partie (colonne 1 et 2) : le terreau de départ
Adéquation entre le contexte, profil des acteurs en place et les objectifs poursuivis
1ère colonne :
Contexte
Etat des lieux
- La problématique à résoudre, les symptômes
- Les besoins et les attentes des usagers
- Les enjeux pour chaque catégorie d’acteur
- Les dynamiques déjà en cours
Cette colonne questionne la pertinence du programme.
2ème colonne :
Cohérence interne
Il s’agit de questionner l’adéquation de la structure qui porte l’action avec la réponse à résoudre, notamment en terme de :
- vision
- mission
- coeur de métier
- légitimité
- moyens à disposition
Cohérence externe
- complémentarité avec d’autres acteurs
Objectifs
L’on cherchera ici à résumer en une formule simple et concise la justification du programme, les effets et impacts recherchés.
Cette triangulation systématique entre contexte, intervenants et objectifs est tout particulièrement intéressante en phase d’écriture du programme et offre un point de départ à notre théorie du changement.
Elle permet d’interroger l’adéquation entre les valeurs et la légitimité de l’intervenant (le porteur de projet) et le terrain (le contexte de départ) – analyse trop souvent omise si l’on s’intéresse aux seuls résultats.
Egalement, il s’agit d’un terreau sur lequel va venir se greffer notre programme. Nous ne savons pas si cette greffe va prendre.
« La mise en oeuvre de projet implique généralement un long voyage de découverte dans les domaines les plus variés, de la technologie à la politique. »
Hirschman A.O. 1967
2ème partie : la réponse apportée
1ère colonne :
Les ressources
Ce que nous apportons au programme
- ressources humaines et financières
- des compétences
- une innovation technologique
- des partenaires
- du matériel, des locaux
- …
2ème colonne
Production
Les activités réellement menées
- organisation de formations, d’évènements, de séminaires
- réalisation d’infrastructures (centre de soins, écoles, routes,…)
- production de services (consultations médicales, mutuelle de santé)
- distribution de matériel (outils, semences,…)
- octroi de financement
- séances de sensibilisation, plaidoyer, organisation de conférences
3ème colonne
Les usagers (bénéficiaires/public cible) et les partenaires
Auprès de qui…
Par exemple :
- la couverture géographique de l’intervention
- genre
- âge
- niveau scolaire
- niveau de revenus
- publics spécifiques
- nouveaux usagers
Cette colonne s’intéresse à divers critères transversaux comme le genre ou les critères sociaux. A-t-on atteint la population la plus accessible ou la plus précaire ? Existe-t-il des discriminations dans l’accès au programme (en lien avec le genre, l’âge, la langue, l’origine ethnique, l’engagement politique, syndical ou civique…
Avec qui ?
Quels sont les différents partenaires de l’action ?
Transformé en questions évaluatives, cette partie s’intéressera au niveau de concertation et de co-construction. En terme de critère, il s’agira également d’évaluer la qualité du partenariat. A quel point le partenariat est-il équilibré ? Existe-t-il un lien de subordination en lien avec des enjeux de financement ?
3ème partie : les effets et impacts
1ère colonne :
Les effets à court terme
- acquisition de connaissances, de savoirs, de compétences
- …
2ème colonne :
Les effets à moyen terme
- changements de comportement
- prises de décisions
- orientations de politiques publiques
- …
3ème colonne :
Les effets à long terme
- sociaux
- économiques
- environnementaux
- positifs et négatifs, directs et indirects, prévus ou imprévus…
Les 3 niveaux de programme
Le découpage du modèle logique présenté ci-dessus en 3 parties correspond de fait à 3 moments distincts de l’évaluation en fonction du cycle de vie du programme.
Comme évoqué précédemment et illustré ci-dessous, pour chaque phase de la vie du programme va correspondre une palette spécifique de critères.
Il convient néanmoins d’accorder une attention toute particulière à la notion d’acceptabilité. Le fameux transplant évoqué plus haut. Comment le programme est-il accepté par les populations cibles ?
Sur des programmes en cours d’exécution, un effet de mode ou encore une certaine pression du résultat orientent les commandes d’évaluation vers des études d’impact voir « l’impact social ». Pourtant, l’évaluateur pourra constater un simple retard ou problème de mise en oeuvre.
Sans mise en oeuvre, inutile bien sûr de rechercher un éventuel résultat. Ainsi, dans des programmes modestes mais innovants, plutôt que de mettre en place des dispositifs couteux visant à capturer des effets à long terme, concentrons-nous à ôter les blocages, affiner la chaine de résultat, détecter les conditions du changement.
Ainsi, imprimée en grand format et affichée dans votre salle de réunion, la chaine de résultat devient votre feuille de route. Elle permet dans les balbutiements du programme, à défaut de mesurer l’impact, de l’orienter au quotidien.
Si nous fonctionnons par analogie : comme au billard, l’analyse de la chaine de résultat nous aide à anticiper les effets avant chaque « coup », c’est à dire avant de dérouler nos actions.
Parallèlement, à l’instar du curling, le système de suivi et évaluation nous permet de balayer les obstacles en cours de route et de réorienter l’action en fonction des conditions préalables au changement détectées.
Quels sont les facteurs de solidité d’une chaine de résultats ?