Formulation des questions évaluatives en fonction de critères

Il s’agit de détailler et préciser vos interrogations en fonction d’une sélection de critères. Même s’il est courant dans le secteur du développement de s’appuyer sur le jeu de critère « tout terrain » du CAD, une démarche évaluative consiste néanmoins à accompagner les parties prenantes à engendrer leur propre jeu de critères : à l’aune de quelles valeurs sera évalué le projet ?

Pour chaque critère préfigure certains facteurs qui vont vous permettre d’expliciter et de détailler vos questions. Les critères, comme les facteurs, ne sont évoqués ici qu’à titre d’exemples et en aucun cas exhaustifs.

La validation du système de suivi et évaluation par le comité de pilotage s’inscrit comme facteur transversal sur l’ensemble des critères).

Pertinence : quelle adéquation entre le besoin identifié et la réponse à ce besoin ?

Facteurs de pertinence :

  • connaissance fine du contexte
  • participation et concertation des usagers
  • représentativité des usagers
  • validité de l’analyse et actualisation des données

La question, « à quel point une concertation avec les usagers a permis une adéquation entre le besoin identifié et la réponse apportée ? » pourra ainsi devenir une sous-question évaluative liée au critère de pertinence. Ou encore un point de départ pour que la concertation/collaboration/partenariat soit apprécié comme un critère à part entière.

Cohérence externe : la politique est-t-elle complémentaire avec d’autres types d’interventions sur le territoire ?

Facteurs de cohérence externe :

  • mise en place de cadres et mécanismes spécifiques de concertation
  • coordination entre les acteurs (multilatérale et bilatérale, étatique et collectivités locales, ONG et société civile, etc.)
Cohérence interne : le fonctionnement de la structure est-il en adéquation avec les principes et valeurs affichées  ? 

Facteurs de cohérence interne :

  • existence d’un comité de pilotage
  • existence d’une charte ou d’une politique de suivi évaluation
  • indépendance de la fonction évaluation
  • satisfaction des équipes en interne
Efficacité : les résultats sont-ils conformes aux objectifs ?

Facteurs d’efficacité :

  • clarté des procédures
  • cohésion d’équipe
  • fonctionnalité des outils
  • opérationnalité des fonctions supports
  • management et gestion des compétences
  • réactivité des processus de prise de décision
  • adéquation des ressources/facilité de décaissement
  • stabilité règlementaire, administrative, normative
Efficience : le rapport entre résultats et moyens est-il satisfaisant ?

Facteurs d’efficience :

  • capacité à intégrer des variations
  • adéquation entre les ressources et l’exigence en terme de qualité (souvent des ressources insuffisantes par rapport au niveau d’exigence des objectifs affichés)
  • expérience et compétences (tutorat, plan de développement des compétences,…)
  • apprentissages formels et informels
  • capacité à intégrer des apprentissages informels
  • implication et épanouissement des équipes
Impact : quels seront les effets à long terme, positifs et négatifs, directs ou indirects, induits par l’action ?

Facteurs d’impact :

Pérennité  : quelle continuation des bénéfices après la fin de l’intervention ?

Facteurs de pérennité :

  • degré d’implication du partenaire
  • choix technologiques (logiciel, matériel, facilité de maintenance, niveau de compétence requis,…)
  • capacités organisationnelles et matérielles
  • viabilité économique
  • durée du cycle de projet
  • visibilité sur les processus de reconduction/prolongation/avenant
  • intégration en amont d’un plan de développement des compétences
  • facteurs extérieurs : stabilité politique, stabilité économique et sociale, dérèglement climatique

Critères complémentaires

Intensité  : est-ce que le niveau d’action est suffisant pour obtenir les résultats espérés ?

Proportionnalité  : à quel point la réponse est-elle proportionnelle au problème à résoudre ?

Acceptation : à quel point la politique publique, le programme ou projet est-il accepté par la population cible ?

Appropriation : à quel point la population cible s’est-elle appropriée le projet/programme ou mesure ?

Partenariats  : à quel point les partenariats sont-ils équilibrés ? Quels sont les liens de subordination ?

Progression : à quel point peut-on détecter des dynamiques positives même si les résultats ne sont pas atteints ?

La captation de ressources : en quoi les ressources (humaines ou matérielles) affectées aux nouvelles activités sont-elles soustraites à des actions d’intérêt général pré-existantes ?

Critères transversaux

  • A quel point des critères de genre ont-ils été considérés dans la conception puis mise en oeuvre du projet ?
  • A quel point des critères sociaux ont-ils été considérés dans la conception puis mise en oeuvre du projet ?
  • A quel point des critères environnementaux ont-ils été considérés dans la conception puis mise en oeuvre du projet ?

Voir ici : Critères transversaux : genre, sociaux, environnement

Répartition des critères sur le tableau de bord prospectif

Pour obtenir un d’équilibre entre les différents point de focus, ce type de tableau de bord prospectif pourra être utilisé.

Tableau de bord prospectif : un outil stratégique pour une vision globale. Afin de ne pas considérer un angle trop réducteur, ce tableau propose de considérer simultanément au moins 4 champs de vision : le contexte (les dynamiques en cours), les usagers (de la participation initiale aux effets les plus lointains envisageables), les dynamiques d’acteurs (relations entre parties prenantes) et enfin l’introspection et transparence de la structure qui porte l’action (son savoir-faire, sa gouvernance, ses processus internes, etc.).

Une autre modalité de formulation des questions évaluatives consiste à s’appuyer et prendre pour base de départ une modélisation :


Date de première diffusion : 2019
Dernière actualisation : mars 202
4


Pour aller plus loin :
Revenir en arrière