Les facteurs de fragilité d’une modélisation

En fonction du projet, programme, du secteur d’activité ou du type de mesure envisagé, une modélisation (voir la théorie du changement, chaine de résultat ou modèle logique) sera plus ou moins fiable et solide. Cette chaine causale anticipée, la projection de la succession de faits ayant un rapport de cause à effet, plus ou moins valide.

La robustesse de cette modélisation dépendra évidemment des capacités d’analyses des concepteurs du programme, de leur connaissance du contexte et du niveau de concertation engagée.

Egalement, l’analyse des critères ci-dessous vous permettra, en phase d’écriture de projet, de détecter la solidité potentielle de cette modélisation, de prendre conscience des maillons faibles, des articulations potentiellement les plus fragiles.

La stabilité des ressources

Evident mais tellement courant. Comment se projeter sur des changements attendus à moyen terme si la visibilité financière est annuelle ou ne dépasse pas les 3 ans ?

Une mise en oeuvre éprouvée

L’organisation qui porte le projet est-elle familière avec cette activité ? S’agit-il de son coeur de métier ou d’une nouvelle aventure ? Il ne s’agit pas de brider l’innovation bien sûr, mais d’accorder une attention toute particulière dans cette chaine aux maillons liées aux prémices de la mise en oeuvre, à prendre en compte l’apprentissage inhérent à toute nouvelle activité.

En 2018, Les couacs du  dispositif d’orientation des bacheliers Parcoursup pourrait être perçu comme l’exemple type d’une mise en oeuvre non éprouvée. {Mise à jour 2022 : les dysfonctionnements récurrents interrogent finalement sur le système de suivi évaluation en place sur le dispositif.}

Des comportements stables

Une campagne de vaccination était l’exemple type de comportement stable, l’immunité et les réactions potentielles sont connues en amont. Pourtant, en fonction de l’acceptation ou de la méfiance de la population cible, la part d’inconnu s’accroit. 

Les bénéficiaires d’un programme de microcrédit (ou programmes d’activités génératrice de revenus) ont également par définition un comportement instable ou même si certaines caractéristiques sont similaires (motivation, compétences techniques, etc.) ils s’insèrent dans des contextes économiques et des parcours de vie divers, de fait les résultats individuels seront fluctuants.

Le degré d’adhésion

Quel accueil recevra votre action ? A quel point le programme sera-t-il plébiscité par les populations visées ? Comment évolue cette adhésion ? Est-on en capacité de suivre cette adhésion, par exemple le nombre de personnes qui sortent du dispositif ou la représentativité des bénéficiaires par rapport à la population cible ?

A un autre échelon, s’agit-il pour une organisation de répondre à une offre de financement ou à une aspiration réelle de la structure ?

La complexité des dynamiques

L’incertitude de l’environnement, la caractère rationnel ou non  de certaines prises de décision, des variables psychologiques impénétrables sous un format Excel, des résistances insondables au changement et autres enjeux cachés et intérêts particuliers, ne se laissent pas facilement modéliser. Par exemple un programme de lutte contre la corruption ou de prévention de la radicalisation. 

La complexité technique

Un programme à haute composante technologique sera bien sûr dépendant du rythme des avancées techniques. Par exemple un programme lié au foncier et à l’extension du plan cadastral utilisant des données satellites. La modélisation permettra cependant d’anticiper les retards de calendrier, le niveau de compétence requis pour l’utilisation des outils, le degré de technicité de la maintenance, et finalement la pertinence de l’outil.

Des effets rapides

Dans le cadre d’une politique publique de sécurité routière, suite à la mise en place d’un nouveau radar, l’effet premier attendu (la réduction de la vitesse) sera immédiat. Enfin, ou presque au détriment des plus inattentifs.

A l’inverse, des programmes liés à l’émancipation ou à la réduction de discriminations envers certaines minorités auront des effets dilués, immatériaux et à considérer sur le long terme.

Il ne s’agit pas d’écarter la modélisation sur ce type de programme mais d’acter que la démarche sera complexe et d’agir en fonction sur cette difficulté. Sur quelle période peut-on raisonnablement envisager de collecter des données ? Quel serait l’effet le plus lointain que nous pourrions recenser ?

Le degré d’étanchéité

Finalement, jusqu’à quel point cette modélisation est perméable aux soubresauts  du monde extérieur, de modifications politiques, sociales, économiques, environnementales ? Un changement de contexte sécuritaire invaliderait-il instantanément notre modélisation ?

L’évaluabilité du modèle logique

L’ensemble des facteurs présentés ci-dessus interrogent de manière transversale l’évaluabilité d’un projet, programme et politique publique bien sûr en fonction du délai et budget imparti au département d’évaluation.

Pour résumer :

Quelles sont les articulations fragiles de votre modélisation ?

Date de première diffusion : 2018
Dernière actualisation : 2022