Nouveautés

Les limites du cadre logique

Les limites intrinsèques

  1. Rationalité, linéarité et causalité
Une logique de causalité : si A produit B et B produit C alors A devrait produire C.

Le cadre logique se fonde sur des principes de causalité, de linéarité et de rationalité. Pour autant, si l’Homo sapiens était rationnel, la planète serait un oasis de prospérité, sans nécessité de programme de développement et donc de cadre logique…

La rationalité est limitée par la subjectivité, notre perception de la réalité influencée par nos principes, valeurs, dogmes ;  par notre culture et éducation, nos orientations psychologiques et humeurs du moment…

Cette rationalité est par ailleurs limitée à notre champ de vision, ce qui nous apparait comme un manque de rationalité est souvent lié à un déficit informationnel de certains acteurs.

Egalement à une distorsion entre intérêts individuels et intérêts collectifs.

René Descartes : père spirituel de la rationalité.  » Pour atteindre la vérité, il faut une fois dans la vie se défaire de toutes les opinions que l’on a reçues, et reconstruire de nouveau le système de ses connaissances. »

Le principe de linéarité est de la même manière tout relatif.

Le principe de linéarité induit par le cadre logique.

 

 

Divers chercheurs en sciences sociales vont remettre en cause ces « présupposés positivistes » :

« Si les gentils acteurs d’un projet se voient attribuer certains moyens, qu’ils utiliseront frugalement et dont ils rendront fidèlement compte, ils mettront en œuvre des activités utiles et nécessaires, qui permettront d’atteindre des objectifs vérifiables et bénéfiques, au service d’une juste cause, sauf si de méchants acteurs extérieurs ne font pas ce qu’ils ont promis de faire. »

Planification, gestion et politique dans l’aide au développement : le cadre logique, outil logique, outil et miroir des développeurs – François Giovalucchi et Jean-Pierre Olivier de Sardan -Revue Tiers Monde, 2009

« le développement n’est pas mû par une logique cartésienne de cause à effet, mais par une dynamique chaotique de simultanéité »

Pierre Jacquet, « À la poursuite des Objectifs du millénaire », Option Finance, janvier 2005

« … vision technique et dépolitisée, sans références aux arènes locales, aux dynamiques en cours, aux jeux d’acteurs existants.»

«…il suffirait de dérouler mécaniquement les actions prévues pour obtenir les résultats attendus oubliant qu’une intervention induit des intéractions permentes entre les espaces locaux et l’intervention. »

Analyser, suivre et évaluer sa contribution au changement social , Philippe Lavigne Delville, séminaire AFD-F3E, 2014

Cette théorie de la causalité est également remise en cause par la théorie de la double causalité : l’avenir peut-il influencer le passé ? Mais quittons la métaphysique pour revenir à des éléments plus pragmatiques…

2. La simplification à outrance

Incorporer la substance d’une, trois ou cinq années de programme dans une matrice de 4 sur 4 est en soi une performance. Même si le rédacteur du cadre a une connaissance extrêmement poussée du contexte, le degré de finesse et de précision qui pourra être transmis à travers les cases de l’outil ne sera que limité. Le cadre logique est forcément réducteur de la complexité d’une situation et de la tentative de réponse apportée.

Par ailleurs, seul le concepteur du cadre en garde toute la substance, seul lui/elle en maitrise les nuances et les sous-entendus, les omissions de ce qui est considéré comme implicite afin de ne pas déborder du format tableur et d’équilibrer chaque case du document par souci de lisibilité.

Pour autant la lecture de concentré de projet est complexe, chaque élément demande concentration et réflexion, et il n’est probablement pas plus rapide de lire en profondeur un cadre logique sur 3 pages qu’un narratif de projet sur 30.

3. Complexité de l’approche et de son jargon

« The Logical Framework does not require a degree in mathematics or the use of computers. It relies on the user’s experience with development projects as well as a sense of what consistent good management and intuition ».

The logical framework : a manager’s guide to a scientific approach to design and evaluation, Practical Concepts Incorporated, November 1979

Même si les concepteurs présentent la matrice comme simplissime, son utilisation et appropriation sont loin d’être évidentes. Une lecture en diagonale à appréhender et un double niveau de cohérence à vérifier… Le casse-tête de savoir comment organiser la matrice lorsqu’une même activité concoure à plusieurs réalisations, une même réalisation à plusieurs objectifs spécifiques… Comprendre et savoir décliner la matrice en fonction des opérateurs (voir ce schéma pour mémoire). Maitriser le jargon et l’inspiration de la Gestion Axée sur les Résultats. Et enfin à minima être à l’aise avec les tableurs…

Ces contraintes ont abouti à une professionnalisation de l’aide et à un nouveau métier : « encadreur de projet ».  Réduisant de fait l’accès à des financements pour des initiatives communautaires ou diversités d’acteurs non issus du sérail.

La mise sous cadre, module incontournable de tout master en développement.

Projet avec ou sans cadre logique ?

Le cadre serait ainsi un outil occidental, une contrainte inflexible sur les ONG, qui les empêtrerait dans leurs missions. La soumission obligatoire du cadre entraverait les initiatives locales pour laisser place à des « ONG professionnelles » possédant une vision réduite du contexte. (Bornstein,2003).

Des limites de compréhension de l’outil liée à des  adaptations diverses et variées aux fil de sa diffusion massive

A mesure que l’ensemble des institutions de développement s’emparait du modèle, des disparités ont pu émerger entre les différents modèles et templates, générant ainsi des degrés de confusion supplémentaires.

1. Disparités temporelles
Disparités temporelles
Evolution des termes au sein d’une même institution
2. Disparités en fonction des traductions
Un seul objectif global dans la version anglaise du manuel de l’Union Européenne, plusieurs dans la version française… Les deux datées de mars 2004… Please help !!!
Ce qui fait totalement sens dans la version anglaise est incohérent dans la version française (les indicateurs de résultats ne sont pas liés aux résultats…). Combien d’heures de perdues par des gestionnaires de projets sur ce faux problème ? L’outil supposément d’aide à la réflexion provoque un regard d’incompréhension sur son propre projet… Quelles conséquences de cette incompréhension en terme d’efficacité de l’aide ?
3. Disparités en fonction des institutions

Des disparités enfin inhérentes à l’appropriation de la méthode par chaque institution, chaque ONG, chaque fonction publique…

 

Variations sur le même thème

 

Enfin l’accès à un modèle officiel et à un guide d’utilisation n’est absolument pas évidente en fonction des bailleurs. Le porteur de projet tâtonne en fonction de son expérience antérieure de l’outil. Il faut également considérer le fait que les agents qui sollicitent des cadres ne sont parfois pas plus formés ou outillés que ceux qui devront les rédiger.

L’autre extrême se rencontre communément : une multitude de formats en fonction des différents bailleurs, générant un temps administratif considérable et encore une fois accessible uniquement aux professionnels de l’industrie du développement.

Des limites liées à son mode de conception ou d’utilisation

  1. Le cadre logique comme support de contractualisation

Le cadre logique est souvent exigé pour toute réponse d’appel à projets. Celui-ci devient le document de référence où sont chiffrés les résultats attendus – tel un devis ou une facture pro forma. L’aspect financier est prépondérant, « contractuel » et ce qui fait la force d’un contrat est la rigueur de son engagement, une rigueur à en faire respecter les termes sans les altérer. Le prestataire n’aura ainsi aucun intérêt à engager des frais supplémentaires pour adapter sa réponse à un besoin mal identifié.

L’exercice est d’autant plus aberrant lors de cofinancements : présenter avec précision le déroulé du projet alors même que celui-ci dépendra des montants accordés, à ce stade inconnus…

2. Absence de concertation

Il est toujours intéressant d’apprendre comment a été conçu un cadre logique. Le mode d’organisation des institutions fait que le cadre a parfois été remplie par une seule et même personne, en quelques heures. Ce n’est pas une partie de plaisir pour le rédacteur qui doit proposer une maquette aboutie sur un terrain en friche. Le cadre est alors rempli case par case sans possibilité d’effectuer les phases d’analyse.

D’interroger à quelle fréquence le cadre logique est consulté pendant la phase de mise en oeuvre. Parfois, il n’a plus jamais été utilisé depuis l’obtention du financement…

A l’inverse, certaines organisations construisent le cadre logique sur plusieurs mois avec des rencontres multiples impliquant une diversité d’acteurs. D’autres laissent une période d’un an pour construire et ajuster le cadre logique avant de le verrouiller et qu’il ne devienne contractuel. Celui-ci demeure alors le document de référence lors de la mise en oeuvre.

Remettre en cause l’outil ou le mode d’utilisation ?

Bien sûr, même en cas d’approche participative, des difficultés demeurent, la parole du bailleur a plus de poids et des jeux de pouvoir et d’influence s’exercent dans les phases d’analyse, complexes et indéchiffrables au regard du « chargé de projet ».

3. Un éclatement des tâches

Utilisé comme voie d’accès au financement, la personne chargée de concevoir le cadre n’est plus celle qui met en place le projet sur le terrain.

Un même outil : 2 champs de vision
Réponses aux critiques

Quelles que soient les critiques apportées à l’outil et son mode d’utilisation, force est de constater que Léon J. Rosenberg et Lawrence D. Posner étaient des visionnaires. A travers l’outil, les deux consultants entrevoyaient les fondations du système de suivi et d’évaluation de l’agence de coopération (USAID). Diverses approches postérieures au cadre logique étaient déjà dans le champ de vision de Rosenberg et Posner :

Capitalisation d’expérience :

Est-ce que la mise en place de nos préconisations* mérite l’investissement ? Cette question rhétorique en appelle une autre : quelle est la valeur de sauvegarder l’expérience de 20 années de développement ?

*la mise en place du cadre logique pour un montant d’environ 500 000$ en 1969

Project evaluation and the project appraisal reporting system, 1969

Cartographie des incidences (outcome mapping) :

L’extrait ci-dessous illustre de manière troublante les fondements de la méthode de la cartographie des incidences, construite par opposition au cadre logique.

Par exemple, si l’objectif spécifique est d’augmenter la production de riz de 50% et que les résultats attendus sont (1) la construction de canaux d’irrigation (2) la distribution de semences à haut rendement et que le projet assume qu’il y aura suffisamment d’engrais sur le marché à un prix raisonnable et que les producteurs auront accès à des crédits – le projet pourrait avoir a influencer les producteurs et distributeurs d’engrais et les institutions bancaires malgré que celui-ci n’ai aucune autorité sur eux. Le responsable de programme peut le faire en partageant ses objectifs avec les parties prenantes. Avec le cadre logique, il peut présenter ses objectifs spécifiques, les réalisations attendues, et les hypothèses critiques pour le succès du projet. Il peut aussi présenter l’objectif global afin qu’ils puissent se rendre compte en quoi ils contribuent à une entreprise importante. Finalement, il peut partager avec eux les hypothèses du projet pour que chacun puisse visualiser son rôle permettant d’aider le responsable de projet à accomplir sa tâche.

The logical framework : a manager’s guide to a scientific approach to design and evaluation, Practical Concepts Incorporated, November 1979

Par ailleurs, certaines critiques sont à relativiser car elles étaient également déjà centrales à la vision de Rosenberg et Postner.

Absence de concertation

Le processus d’élaboration du cadre est à faire de manière collaborative. Cela demande la participation de toutes les parties prenantes : les équipes de programmation, les équipes cadres, les gestionnaires de projets, les expertises techniques, les techniciens et fréquemment les experts en évaluation.

The logical framework : a manager’s guide to a scientific approach to design and evaluation, Practical Concepts Incorporated, November 1979

Il demeure notable dans cet extrait que les bénéficiaires n’ont pas encore voix au chapitre…

Rigidité

« The art of planning et replanning »

Même si 50 ans d’expérience de l’outil démontre son caractère rigide, l’ habilité à planifier et à replanifier était au coeur même de la méthode et des pré-occupations de ses auteurs.

Austérité et conformisme

Même si la méthode a pu donner lieu à un certain conformisme, des projets « copier/coller » et un manque d’innovation, le fonctionnement des auteurs était frais et atypique :

Un formateur se souvient : c’était un environnement des plus stimulants car la philosophie de Léon était d’embaucher des gens issus de parcours divers, dans les projeter dans un domaine dans lequel il n’étaient pas experts, et de voir quel type de créativité pouvait émerger.

« la génération d’un flot d’idées plutôt qu’une application d’un savoir préconçu »

 

Il est toujours intéressant en cas de difficulté théorique, de toujours revenir à sa source. Peter Drucker, qui a inspiré la Gestion Axée sur les Résultats et donc l’approche du cadre logique indiquait : « les résultats sont obtenus en exploitant des opportunités, et non et résolvant des problèmes » alors même que la conception du cadre logique débute par un arbre à problèmes !

 “Results are gained by exploiting opportunities, they are not gained by solving problems.” Peter Drucker

 

Et pour conclure ce tour d’horizon, une devise des Shadok :

Et pour vous, quels sont les limites du cadre logique et comment pourrait-il être remplacé ?

Répondre à notre questionnaire cadre logique

Pour aller plus loin :
Approches critiques du cadre logique

Urgence

Mesure de l’impact et redevabilité en situation de secours d’urgence, « Guide suffisamment bon », 2008

Le Projet a été créé pour traiter les lacunes dans la réponse internationale aux secours d’urgence. Son objectif consiste à améliorer la rapidité, la qualité et l’efficacité avec laquelle la communauté humanitaire sauve des vies, améliore le bienêtre et protège les droits des femmes, des hommes et des enfants affectés par l’urgence.

Ouvrages de référence en évaluation

Les ouvrages recommandés par d’anciens participants sont proposées aux nouveaux participants.

 

Lors du démarrage de la formation-action « concevoir et mettre en place un SSE », nous demandons aux participants quel est leur ouvrage de référence en suivi et évaluation. Celui en évidence sur leur table de chevet. Nous offrons alors les ressources préconisées aux participants de la session suivante, qui ont la possibilité de se mettre en contact avec leur « parrain ». Souvent, les participants restent pantois et n’ont pas forcément une référence en tête. Nous ouvrons alors le champs, à des ouvrages spécialisés ou techniques, des romans, des recueils de photos. A tel point qu’entre 2 sessions, nous reprenons partiellement la main en réintégrant partiellement les ouvrages spécialisés en évaluation… Au-delà d’offrir un souvenir qui fasse sens et de créer du lien entre participants de différentes sessions, avec des stagiaires issus de 17 nationalités, l’idée était également de pouvoir découvrir des publications qui n’auraient pas été détectés par nos radars.

Ci-dessous la liste des ouvrages recommandés à ce jour :

En lien direct avec l’évaluation :

L’évaluation des politiques publiques, Bernard Perret, 2001

Abc de l’évaluation évolutive, Jamie A.A. Gamble, 2008

Fact Fullness : Ten Reasons We’re Wrong About the World and Why Things Are Better Than You Think, Hans Rosling, 2008

The road to Result : designing and conducting effective development evaluations, Linda Morra Imas, Ray Rist, 2009

L’évaluation des politiques publiques : le développement d’une nouvelle culture, Patrice Braconnier,Guy Cauquil, 2010

Trousse à outils du suivi et de l’évaluation de la participation des enfants, Claire O’Kane, Save The Children, 2014

Agir pour le changement : guide méthodologique pour accompagner des processus de changement « complexe » : analyser, planifier, suivre et évaluer, F3E, Bruno de Reviers, Hédia Hadja-Castro, 2014

 

En lien, disons… plus indirect avec l’évaluation : 

Le savant et le politique, Max Weber, 1919

Gouverneurs de la rosée, Jacques Roumain, 1944

Questions de sociologie, Pierre Bourdieu, 1981

La faillite du développement en Afrique et dans le tiers monde, Samir Amine, 1989

Repenser l’inégalité, Amartya Sen, 2000

L’invention de la pauvreté, Tancrède Voituriez, Grasset, 2013

Qui a dit que nous avions besoin de vous ? Récits de coopération internationale, Jacques Claessens, 2013

Pour une écologie de l’attention, Yves Citton, 2014

Repenser la pauvreté, Abhijit v. Banerjee, Esther Duflo, 2014

Americanah, Chimamanda Ngozi Adichi, Gallimard 2015

Petit Pays, Gaël Faye, 2016

Entreprenante Afrique, Jean-Michel Severino, Jérémy Hajdenberg, 2016

L’économie symbiotique, Isabelle Delannoy, 2017

 

 

Appel à communications – 4ème conférence EPP

Quatrième conférence Évaluation des politiques publiques, jeudi 13 décembre 2018, organisée par l’AFSE et la direction générale du Trésor

Conçue comme un lieu de rencontre entre membres de l’administration économique et économistes académiques, cette conférence annuelle a pour objectif de rassembler des contributions sur l’analyse et l’évaluation quantitatives des politiques publiques afin de contribuer à l’identification des politiques efficaces, d’offrir des éléments de comparaison internationale et de discuter des méthodes les plus récentes.

Rédigées en français ou en anglais, les contributions pourront porter sur les différents domaines des politiques publiques soit, sans exhaustivité, sur la fiscalité, les politiques de l’emploi, les politiques sociales, l’éducation, la santé, le logement, l’environnement, les politiques sectorielles, l’innovation, le financement des entreprises, etc. Les contributions d’ordre méthodologique sont aussi les bienvenues.

Les auteurs de contributions présentées à cette conférence seront invités à les soumettre à la revueÉconomie et Prévision.

Les soumissions (sous forme d’articles entièrement rédigés) devront être envoyées à afsetresor@afse.fr avant le 17 septembre 2018.

Le comité de programme portera une attention particulière aux politiques françaises ou transposables à la France.

Plus d’informations

 

Comité de programme :
Agnès Bénassy-Quéré, Université Paris 1

Antoine Bozio, EHESS, PSE et Institut des Politiques Publiques

Martine Carré-Tallon, Université Paris-Dauphine

Claude Diebolt, CNRS, BETA et Université de Strasbourg

Brigitte Dormont, Université Paris-Dauphine

Anne Épaulard, Commissariat Gal à la stratégie et à la prospective – Université Paris-Dauphine

Michel Houdebine, Direction Générale du Trésor

Rémy Lecat, Banque de France

Fabrice Lenglart, France Stratégie

Claire Loupias, Direction Générale du Trésor

Selma Mahfouz, Direction de l’animation de la recherche, des études et des statistiques

Vincent Marcus, Commissariat Général au Développement Durable

Guy de Monchy, Association Française de Science Économique

Jean-Eudes Moncomble, Conseil Français de l’Énergie

Katheline Schubert, PSE, Université Paris 1

Jean-Luc Tavernier, Institut national de la statistique et des études économiques

Xavier Timbeau, Observatoire Français des Conjonctures Économiques

 

Appel à manifestation d’intérêt : ENABEL Maroc

Programme d’appui à la gestion de la thématique migratoire – étude de base

Dans le cadre du Programme d’Appui à la Gestion de la Thématique Migratoire, l’Agence Belge de Développement «Enabel Maroc » procède à une mise en concurrence pour le choix d’un (des) consultants (s) pour la réalisation d’une « étude de Base »  du système de suivi et d’évaluation, intégrant l’approche genre pour le programme d’appui à la gestion de la thématique migratoire. Plus d’information

 

Évaluation transversale des projets « Adolescent.e.s et Jeunes Filles » Initiative 5%

Appel d’offre

L’Initiative 5%, contribution indirecte de la France au Fonds mondial de lutte contre le SIDA, la tuberculose et le paludisme, lance un appel d’offres pour la réalisation d’une évaluation transversale de sept projets de son Canal 2 portant sur la thématique « Adolescent.e.s et Jeunes Filles ».

Pour obtenir les modalités complètes de soumission des candidatures, les termes de référence de l’appel d’offres, les cadres logiques des projets concernés et le modèle de contrat sont disponibles ici.

La date limite pour la remise des offres est fixée au 21 mai 2018.