Les critères d’évaluation

Un des objets de l’évaluation est d’anticiper, suivre et analyser les effets d’un programme (projet, mesure, politique publique, etc.) et de porter un jugement. Ce jugement s’articule autour d’une palette de critères.

Les critères du CAD (Comité d’Aide au Développement de l’OCDE)

Cinq critères (pertinence, efficacité, efficience, impact, pérennité) sélectionnés par le CAD-OCDE se sont imposés à partir de 1991 comme références dans le domaine de l’évaluation des programmes de développement. Ces critères sont sources d’inspiration et un point de départ potentiel (parmi d’autres) pour la formulation des questions évaluatives.

Ces critères ont été revus et intègrent désormais, depuis fin 2019, un 6ème et double critère : la cohérence (interne et externe).

Sources :

Six critères de référence pour un cadre d’analyse global

  1. Pertinence
  2. Cohérence
  3. Efficacité
  4. Efficience
  5. Impact
  6. Viabilité

Ci-dessous, une brève présentation de ces six critères d’évaluation pour ce premier cadre de référence :

1. La pertinence

Mesure selon laquelle les objectifs de l’action correspondent aux attentes des bénéficiaires et aux besoins du territoire. La pertinence concerne la valeur ajoutée du projet. Sa mise en oeuvre est-elle motivée?

La pertinence d’un projet repose principalement sur la qualité de sa phase de conception. Elle concerne la mesure dans laquelle les objectifs envisagés par le projet répondent correctement aux problèmes identifiés ou aux besoins réels. La pertinence doit être évaluée tout au long du cycle du projet.

Dans l’hypothèse où des changements se produiraient tant au niveau des problèmes initialement identifiés, que du contexte (physique, politique, économique, social, environnemental ou institutionnel), une mise au point ou une nouvelle orientation devrait être donnée. La pertinence concerne l’adéquation du projet avec les problèmes à résoudre à divers moments clés : lors de sa conception et lors de ses évaluations.

2. La cohérence

La cohérence externe/complémentarité 

A mesurer en lien avec le critère de pertinence. Si le projet répond effectivement à un besoin, combien de structures sont-elles attelées à y répondre ? Les structures sont-elles complémentaires ou en situation de concurrence  ?

La cohérence interne 

Quelle adéquation entre le projet et l’objet de l’organisation qui le porte ? Quelle adéquation entre les valeurs affichées en externe et le mode de gouvernance effectif, en interne, de la structure ?

3 .L’efficacité

L’efficacité décrit la réalisation des objectifs. C’est la comparaison entre les objectifs fixés au départ et les résultats atteints : d’où l’enjeu d’avoir des objectifs clairs au départ. L’intérêt est de mesurer des écarts et de pouvoir les analyser.

4. L’efficience 

L’efficience concerne l’utilisation rationnelle des moyens à disposition et vise à analyser si les objectifs ont été atteints à moindre coût (financier, humain et organisationnel).

Le critère d’efficience mesure la relation entre les différentes activités, les ressources disponibles, et les résultats prévus. Cette mesure doit être quantitative, qualitative et doit également porter sur la gestion du temps et du budget. La question centrale que pose le critère d’efficience est « le projet a-t-il été mis en oeuvre de manière optimale ? » Il pose la question de la solution économique la plus avantageuse. Il s’agit donc de voir si des résultats auraient pu être obtenus par d’autres moyens, à un coût moins élevé et dans les mêmes délais.

5. L’impact

L’étude de l’impact mesure les retombées de l’action à moyen et long terme, c’est l’appréciation de tous les effets, du projet sur son environnement, effets aussi bien positifs que négatifs, prévus ou imprévus, sur le plan économique, social, politique ou écologique. C’est l’ensemble des changements significatifs et durables dans la vie et l’environnement des personnes et des groupes ayant un lien de causalité direct ou indirect avec le projet.

L’impact porte sur les relations entre le but (ou l’objectif spécifique) et les objectifs globaux du projet. En d’autres termes, l’impact mesure si les bénéfices reçus par les destinataires ciblés ont eu un effet global plus large sur un plus grand nombre de personnes dans le secteur, la région ou le pays dans son ensemble. Cette analyse devra dans la mesure être aussi bien quantitative que qualitative.

6. La durabilité (pérennité, viabilité)

Le sixième critère, la durabilité (ou encore pérennité ou viabilité), vise à savoir si les effets du programme perdureront après son arrêt. C’est l’analyse des chances que les effets positifs de l’action se poursuivent lorsqu’une aide ou un appui extérieur aura pris fin.  La viabilité, permet de déterminer si les résultats positifs du projet (au niveau de son objectif spécifique) sont susceptibles de perdurer une fois taris les financements externes. Viabilité financière mais aussi opportunité de reproduire ou généraliser le programme à plus grande échelle.

Dépasser les critères du CAD

Dès les premières formations d’EVAL, nous recommandions d’intégrer systématiquement ces 6 critères comme premier cadre global d’analyse. De la même manière, nous recommandons de systématiquement dépasser ce cadre de référence afin d’intégrer des critères complémentaires ou spécifiques et bien sûr des critères transversaux (environnement, genre, sociaux).

Récapitulons :

pertinence, cohérence, efficacité, efficience, impact, durabilité, couverture, intensité, appropriation, qualité du partenariat, progression
Les critères d’évaluation

Source des données

Quelle que soit la méthode de collecte, l’analyse de ces critères s’effectue à partir de DONNÉES. Il est ainsi indispensable d’avoir à tout moment un regard sur la SOURCE de ces données.

Voir ici les techniques de recueil.


Quels usagers/bénéficiaires ont été interrogés ?
  • ceux qui ont participé activement ?
  • ceux qui participé partiellement ?
  • ceux qui ont refusé de participer ?
  • les exclus (ceux qui n’ont pas eu l’opportunité de participer ?)

Voir ici les biais.

Un jeu de critères

Ces 6 indicateurs sont un « jeu » ou une « palette » de critères : l’intérêt étant toujours les utiliser en « lot », de croiser ces différents critères et de les faire interagir. Eviter de se concentrer sur un critère unique au risque de passer à coté de l’image complète. Ils ne prennent sens que si utilisés dans le manière interactive. Certes, une limite récurrente aura été pour certaines évaluations de survoler chaque critère sans en approfondir aucun. Balayés méthodiquement, ils serviront cependant de support à la sélection et à la hiérarchisation des questions évaluatives.

Evaluation de politiques publiques et évaluation de systèmes politiques

Comme évoqué, les critères du CAD/OCDE ont été proposés initialement pour l’évaluation de projets et programmes de développement.

Ces projets ou programmes s’intègrent au sein de politiques publiques.  Ainsi, à un niveau supérieur, un enjeu consiste à faire émerger et constituer des jeux de critères à l’échelle de politiques publiques. A un échelon encore supérieur, pour évaluer la finalité d’un système politique, d’autres jeux de critères seront ainsi à apprécier. Jacques Lesourne propose par exemple en 1976, un jeu de six critères afin d’évaluer les systèmes politiques :

  • la sécurité
  • l’efficacité
  • l’égalité
  • la liberté
  • la participation
  • l’adaptablilité

Voir :

Les systèmes du destin, Jacques Lesourne, Dalloz, 1976
L’analyse systémique

Pour aller plus loin

Critères complémentaires
Les critères transversaux
Les indicateurs quantitatifs
Tableau de bord prospectif
Glossaire

Groupe d’échanges de pratiques