Il s’agit de détailler et préciser vos interrogations en fonction d’une sélection de critères. Même s’il est courant dans le secteur du développement de s’appuyer sur le jeu de critère « tout terrain » du CAD, une démarche évaluative consiste néanmoins à accompagner les parties prenantes à engendrer leur propre jeu de critères : à l’aune de quelles valeurs sera évalué le projet ?
Pour chaque critère préfigure certains facteurs qui vont vous permettre d’expliciter et de détailler vos questions. Les critères, comme les facteurs, ne sont évoqués ici qu’à titre d’exemples et en aucun cas exhaustifs.
La validation du système de suivi et évaluation par le comité de pilotage s’inscrit comme facteur transversal sur l’ensemble des critères).
Pertinence : quelle adéquation entre le besoin identifié et la réponse à ce besoin ?
Facteurs de pertinence :
- connaissance fine du contexte
- participation et concertation des usagers
- représentativité des usagers
- validité de l’analyse et actualisation des données
- …
La question, « à quel point une concertation avec les usagers a permis une adéquation entre le besoin identifié et la réponse apportée ? » pourra ainsi devenir une sous-question évaluative liée au critère de pertinence. Ou encore un point de départ pour que la concertation/collaboration/partenariat soit apprécié comme un critère à part entière.
Cohérence externe : la politique est-t-elle complémentaire avec d’autres types d’interventions sur le territoire ?
Facteurs de cohérence externe :
- mise en place de cadres et mécanismes spécifiques de concertation
- coordination entre les acteurs (multilatérale et bilatérale, étatique et collectivités locales, ONG et société civile, etc.)
- …
Cohérence interne : le fonctionnement de la structure est-il en adéquation avec les principes et valeurs affichées ?
Facteurs de cohérence interne :
- existence d’un comité de pilotage
- existence d’une charte ou d’une politique de suivi évaluation
- indépendance de la fonction évaluation
- satisfaction des équipes en interne
- …
Efficacité : les résultats sont-ils conformes aux objectifs ?
Facteurs d’efficacité :
- clarté des procédures
- cohésion d’équipe
- fonctionnalité des outils
- opérationnalité des fonctions supports
- management et gestion des compétences
- réactivité des processus de prise de décision
- adéquation des ressources/facilité de décaissement
- stabilité règlementaire, administrative, normative
- …
Efficience : le rapport entre résultats et moyens est-il satisfaisant ?
Facteurs d’efficience :
- capacité à intégrer des variations
- adéquation entre les ressources et l’exigence en terme de qualité (souvent des ressources insuffisantes par rapport au niveau d’exigence des objectifs affichés)
- expérience et compétences (tutorat, plan de développement des compétences,…)
- apprentissages formels et informels
- capacité à intégrer des apprentissages informels
- implication et épanouissement des équipes
- …
Impact : quels seront les effets à long terme, positifs et négatifs, directs ou indirects, induits par l’action ?
Facteurs d’impact :
- fiabilité et solidité de la modélisation (chaine de résultats , théorie du changement, modèle logique)
- lien entre l’intervention et les changements observés
- les dynamiques en cours, tendances et modifications de l’environnement
- …
Pérennité : quelle continuation des bénéfices après la fin de l’intervention ?
Facteurs de pérennité :
- degré d’implication du partenaire
- choix technologiques (logiciel, matériel, facilité de maintenance, niveau de compétence requis,…)
- capacités organisationnelles et matérielles
- viabilité économique
- durée du cycle de projet
- visibilité sur les processus de reconduction/prolongation/avenant
- intégration en amont d’un plan de développement des compétences
- facteurs extérieurs : stabilité politique, stabilité économique et sociale, dérèglement climatique
- …
Critères complémentaires
Intensité : est-ce que le niveau d’action est suffisant pour obtenir les résultats espérés ?
Proportionnalité : à quel point la réponse est-elle proportionnelle au problème à résoudre ?
Acceptation : à quel point la politique publique, le programme ou projet est-il accepté par la population cible ?
Appropriation : à quel point la population cible s’est-elle appropriée le projet/programme ou mesure ?
Partenariats : à quel point les partenariats sont-ils équilibrés ? Quels sont les liens de subordination ?
Progression : à quel point peut-on détecter des dynamiques positives même si les résultats ne sont pas atteints ?
La captation de ressources : en quoi les ressources (humaines ou matérielles) affectées aux nouvelles activités sont-elles soustraites à des actions d’intérêt général pré-existantes ?
Critères transversaux
- A quel point des critères de genre ont-ils été considérés dans la conception puis mise en oeuvre du projet ?
- A quel point des critères sociaux ont-ils été considérés dans la conception puis mise en oeuvre du projet ?
- A quel point des critères environnementaux ont-ils été considérés dans la conception puis mise en oeuvre du projet ?
Voir ici : Critères transversaux : genre, sociaux, environnement
Répartition des critères sur le tableau de bord prospectif
Pour obtenir un d’équilibre entre les différents point de focus, ce type de tableau de bord prospectif pourra être utilisé.
Une autre modalité de formulation des questions évaluatives consiste à s’appuyer et prendre pour base de départ une modélisation :
Date de première diffusion : 2019
Dernière actualisation : mars 2024
Pour aller plus loin :
Revenir en arrière
- Les fonctions d’un Système de Suivi Evaluation
- Les dysfonctions de Système de Suivi et Evaluation
- Le positionnement de la fonction Suivi Evaluation dans un organigramme
- Les phases principales de mise en place d’un SSE
- Etape 1 : état des lieux
- Etape 2 : définir les champs du système de suivi et évaluation
- Formulation des questions évaluatives