Nous accompagnons les structures d’intérêt général (acteurs publics, collectivités locales, organisations internationales, ONG,…) à la mise en place de systèmes de suivi et évaluation. La démarche HQSE (Haute Qualité en Suivi et Evaluation) est le fil conducteur de cet accompagnement.
La démarche HQSE (Haute Qualité en Suivi et Evaluation)
Cette démarche se construit autour de 4 fondamentaux et 8 points d’équilibre. Au centre du processus : l’apprentissage et un Suivi Evaluation Dynamique (SED).
L’apprentissage en ligne de mire
Subtil équilibre entre apprentissage et transparence, le système de SE alimente la prise de décision via la génération de savoirs. L’exigence de transparence ne doit pas être atteinte au détriment du potentiel d’apprentissage des opérateurs. Les données générées par le Système de SE sont ainsi moins centrées sur l’appropriation de l’impact.
Un Suivi et Evaluation dynamique (SED)
Le système de SE participe à l’action et oriente l’impact. Les outils de collecte d’information sont systématiquement pensés et conçus à double sens avec un rôle de diffusion de l’information : rappel de la théorie sous-jacente à l’action, les objectifs poursuivis, les changements attendus, la mesure de l’appropriation du programme par les usagers ou l’éclairage de chaque étape de progression vers les incidences visées.
La démarche vise également à éclairer les processus décisionnels : retracer le cheminement préalable à la prise de décision. D’une part dans un souci de transparence, de l’autre pour une meilleure réactivité via une utilisation rapide des informations issues du système.
Diagnostic du dispositif existant et formation aux fondamentaux de la discipline du suivi évaluation
Toute démarche HQSE débute par un état des lieux des outils existants et un diagnostic du dispositif de SE en place.
Dans le cadre de la démarche HQSE, les responsables de programmes sont préalablement formés aux fondamentaux de la discipline du Suivi Évaluation, aux principales approches méthodologiques puis accompagnés dans la conception et mise en place de leur propre système de suivi et d’évaluation.
Les structures élaborent alors un processus de suivi et d’évaluation systématique des activités/actions, des projets/programmes et des enjeux/stratégies. Dès la conception de l’action, un système de suivi et d’évaluation est intégré, centré sur l’usager, débouchant sur la mise à jour d’un système de valeurs, appréhendables à travers une diversité de critères (à minima que la pertinence, la cohérence interne, la cohérence externe, l’efficacité, l’efficience, l’impact ou encore la pérennité de l’action soient examinés à échéances fixes (voir ici les critères d’évaluation).
En renforçant les capacités d’auto-évaluation et l’évaluation interne est recherchée une dynamique de suivi & évaluation à chaque échelon du projet, une appropriation et une adhésion à la démarche évaluative.
Une fois la démarche méthodologique mise en œuvre, le retour à l’essentiel : le bon sens. Au service de la collectivité et de l’intérêt général.
4 fondamentaux et 8 points d’équilibre
Les fondamentaux
1. Les usagers au coeur du dispositif
A chaque étape de mise en place du système de Suivi et Évaluation (SSE), les usagers sont sollicités et impliqués. Le degré de participation (information, consultation, concertation, co-décision) est défini en amont et, en tant qu’objectif à part entière, comporte ses propres outils de suivi.
2. Un système de suivi et d’évaluation doté de ressources propres
3% (à minima) des ressources de l’action, du projet, de la politique sont affectés au fonctionnement du système de suivi et d’évaluation. Dès la conception du projet, une ligne budgétaire spécifique (généralement estimée de 3 à 7% du budget global), couvre l’ensemble des frais liés à cette fonction (concertations, enquêtes, collecte, traitement et analyse de l’information, restitutions, suivi des recommandations, etc.). Le temps consacré par chaque acteur aux activités de SE est anticipé et la fonction SE est intégrée dans les profils de poste.
3. Intégration d’échéances trimestrielles consacrées à la maintenance du système de suivi et d’évaluation
4 points annuels de suivi et d’évaluation du système sont programmés. Ces temps peuvent être fusionnés avec des outils de management et de gestion existants : séminaires, réunions mensuelles, comités de pilotage, etc.
4. La figure libre
En complément de méthodes reconnues, les porteurs de projets innovent avec un mix méthodologique qui leur est propre et la liberté de proposer des outils innovants ou alternatifs. Objectif : capturer toute trace de l’action sous tout type de support : cartes, plans, photos, vidéos… Capturer ce qui fait sens grâce à une mosaïque d’informations; contrebalancer les apports statistiques par des perceptions plus abstraites mais néanmoins riches en informations.
Une recherche d’équilibre
La démarche HQSE se caractérise par une recherche d’équilibre. Un équilibre à trouver sur l’ensemble des caractéristiques du système :
1. équilibre au niveau de la finalité de la démarche d’évaluation
L’évaluation ne consiste pas uniquement à mettre en place des outils de pilotage. L’évaluation ne consiste pas uniquement à rendre des comptes aux diverses parties prenantes. L’évaluation n’est pas uniquement un exercice d’apprentissage, puisqu’elle permet également la mise en place d’outils de pilotage et le renforcement de la transparence… Ainsi un temps de réflexion sur la finalité de la démarche permettra d’envisager l’équilibre entre les principales fonctions de l’évaluation.
2. équilibre au niveau des méthodes d’évaluation
Un système de suivi et d’évaluation se construit sur des méthodes mixtes, c’est à dire des combinaisons de méthodes. Sont principalement recherchés :
- une triangulation de l’information : obtenir différents éclairages sur une même question
- une combinaison de données quantitatives et qualitatives : des données chiffrées et également des témoignages, des récits, des opinions…
3. équilibre au niveau des critères d’évaluation
Le principal intérêt d’un système d’évaluation est d’obtenir une vision d’ensemble qui permette d’interroger les interactions entre les différents critères : pertinence, cohérence et complémentarité, efficacité, efficience, impact, pérennité…
Bien sûr, rien n’empêche suivant le contexte ou les priorités du moment d’approfondir l’analyse d’un critère plutôt qu’un autre. Mais quelle utilité de chercher à mesurer l’efficacité d’un programme sans regarder également le fondement de ce même programme (pertinence) ? Comment s’intéresser à la pertinence sans regarder parallèlement quels autres acteurs tentent de répondre aux besoins effectivement détectés (cohérence et complémentarité) ?
Equilibre également via la prise en compte de critères transversaux (genre, social, environnement,…) et bien évidemment de critères ou domaines de changement complémentaires ou spécifiques à son champs d’action (couverture, utilité sociale, accès à la citoyenneté, au soin, au logement, à l’emploi, etc.)
4. équilibre au niveau du périmètre de l’évaluation
Trop souvent, l’évaluation se limite à analyser une action, ou un programme, sans s’intéresser à la stratégie de la structure qui porte l’action. Les freins sont nombreux à l’analyse d’une stratégie, car cela suppose d’accepter une remise en cause de la gouvernance. Pourtant, pour permettre cette vision globale, le système de suivi et d’évaluation nécessite la prise en compte équilibrée de l’ensemble des strates potentielles du périmètre : de l’action quotidienne au plan stratégique.
La définition du périmètre d’évaluation permettra également d’inclure des zones géographiques, des périodes temporelles, des outils…
5. équilibre au niveau des auteurs de l’évaluation
L’auto-évaluation permettra un degré de compréhension fin de chaque action et, au-delà, la connaissance de l’historique du projet. Là où des évaluateurs externes ne pourraient que constater une amélioration ou un dysfonctionnement, les opérateurs de terrains, acteurs et auteurs de l’auto-évaluation, pourront retracer la chaine d’évènement ayant engendré la situation rencontrée.
A l’inverse, les évaluateurs externes pourront apporter un regard neuf et supposément neutre sur la situation, ainsi qu’une expertise en méthodologie de suivi et d’évaluation.
Enfin, l’évaluation interne, idéalement pilotée par un service spécifique (et non pas de manière transversale par les chargés de programmes) permettra de jouer les chefs d’orchestre, de mettre en harmonie, d’accompagner les processus afin de tirer le plus d’enseignements des données fournies par l’auto-évaluation et par les évaluateurs extérieurs.
6. équilibre au niveau de la temporalité de l’évaluation
Le Suivi Évaluation est un cycle, intégré à chaque moment de la vie de l’action, du programme, de la stratégie. Le système de suivi et d’évaluation devra donc s’inscrire en filigrane et à chaque moment de la vie du projet : ex-ante (avant le démarrage) à mi-parcours, à la fin de l’action, et ex-post (bien après la fin de l’action afin d’en relever les effets à moyen ou long terme).
7. équilibre entre reporting et recherche
Le Suivi Évaluation est bien plus qu’un simple reporting sur une activité, par exemple le décompte des bénéficiaires. Pour autant, même si les questions évaluatives sont hautement intéressantes et pourraient faire l’objet de recherche, les moyens et compétences en interne restent souvent limités. L’implication consacrée à la recherche ne doit pas se faire au détriment de l’opérationnel. Des partenariats avec des laboratoires de recherche peuvent être alors recherchés afin d’approfondir la réflexion.
7.2 équilibre entre suivi et évaluation
8. équilibre dans les flux de redevabilité
En quelques mots, « le temps de cerveau disponible » des porteurs du projet est-il équilibré entre le devoir de redevabilité envers les commanditaires et le devoir de redevabilité envers les usagers/bénéficiaires ? Passe-t-on plus de temps à réfléchir à ce qui va être remonté au bailleurs de fonds qu’à mettre en place l’action ?
Date de première diffusion : 2010
Dernière actualisation : 2022
Pour aller plus loin
Accompagnement et démarche HQSE
Pourquoi mettre en place une démarche HQSE ?
Pour qui ?
Comment ?
Calendrier de mise en oeuvre
Concevoir un Système de Suivi et Evaluation
Groupe d’échanges de pratiques