Adapter le périmètre du Système de Suivi et Evaluation (SSE) au niveau d’un portefeuille de projets ou de programmes est un exercice complexe. L’enjeu de redevabilité, par exemple, implique que certains indicateurs soient agrégés, que des données soient compilées afin d’éclairer les contributions à un niveau institutionnel.
Néanmoins, ce paramétrage, compilation d’indicateurs « prêt à porter », risque de générer une perte de sens et une incompréhension pour les équipes de mise en oeuvre, chargées de collecter ces données, qui ne reconnaissent parfois plus leur propre projet dans la palette d’indicateurs qui leur est proposée.
Une phase préliminaire de concertation et d’ajustement doit s’aborder dans un premier temps au niveau de périmètres réduits (une seule action, un seul projet,…). Une fois des Systèmes de Suivi Evaluation fonctionnels établis sur ces périmètres bien délimités, il est beaucoup plus aisé d’en partager l’utilité et d’impulser une direction transversale.
Partir du maillon le plus simple de l’action :
Préconisation d’étapes clés pour la mise en place d’un SSE au niveau d’un portefeuille de projets
1. Réaliser un état des lieux des pratiques actuelles, données disponibles et utilité du suivi évaluation au niveau institutionnel
2. Entamer à titre expérimental une démarche HQSE (les 5 étapes de mises en place d’un Système de Suivi Evaluation)
L’expérimentation devrait d’effectuer dans un premier temps des périmètres restreints et limités (une seule action, une composante unique de projet, une région, etc.) :
- expérimentations de mise de en place de SSE par des équipes projet distinctes
- expérimentations de mise de en place de SSE sur différents territoires
- expérimentation de mise en place de SSE sur différents volets ou composantes (santé, éducation, insertion, etc.)
3. Extraire des dénominateurs communs
- Détecter des questions évaluatives qui se recoupent entre les différentes actions
- Identifier des indicateurs existants proches ou communs :
- la définition de l’indicateur est-elle commune ?
- le mode de calcul de l’indicateur est-il similaire ?
4. Distinguer en termes de remontées d’informations ce qui doit rester au niveau du projet/programme et ce qui doit être transmis.
Les données utilisées ou non, exploitées ou non, analysées ou non par chaque acteur impliqué dans l’action. Les données utiles ou non pour chaque partie prenante (voir l’analyse des parties prenantes). Il s’agit de comprendre qui utilise quel type de données et à quelles fins.
4. Parmi les remontées d’information sélectionnées pour une collecte transversale, tester avant la première échéance de rapportage auprès des chargés de SE différents formats de canevas .
Par exemple pour :
- La sélection des indicateurs
- Les tableaux de suivi des indicateurs
- Les échelles de changement
- Les fiches de capitalisation
- Les formats de reporting
5. Avant de diffuser ces premiers éléments du système, s’assurer que les équipes de terrain soient réceptives et en mesure d’utiliser ces outils, en fonction des informations collectées lors de l’état des lieux (concevoir un SSE : étape 1)
Notamment en ce qui concerne :
- La disponibilité des équipes (la charge de travail actuelle est-elle compatible avec un surcroit d’activités ? la mise en place du SSE risque-t-elle d’affecter la prise en charge des usagers ou la qualité de service ?)
- L’intérêt pour les questions évaluatives (les questions sélectionnées font-elles sens aussi bien au niveau du siège que du terrain ?)
- Les compétences des équipes et formations préalables en Suivi Evaluation
- Les moyens alloués à la fonction Suivi Evaluation
6. Confronter ces éléments et premières remontées d’information aux valeurs de la structure, synergies et antagonismes potentiels
En quoi et comment le système proposé peut-il s’intégrer et s’inscrire dans le fonctionnement plus global de l’institution ?
En terme de :
- Statut ou politique SE
- Charte SE
- Manuel SE
- Outils de gestion de projets
- Pratiques (existe-il un décalage entre le siège et le terrain ?)
- Communication des résultats du SE (par exemple le rapport annuel ou rapport d’activités : communication sur les échecs également ou uniquement ce qui flatte l’équipe de mise en oeuvre ?)
Et bien sûr en terme de qualité des données :
Suivi des flux de données
Même si le flux des données est avant tout ascendant (de l’usager vers l’équipe projet, de l’équipe projet vers son siège, du siège vers le bailleur de fonds, etc.) la redevabilité finale envers l’usager devrait être suivie et évaluée. Quelle proportion d’évaluation finale est accessible libre-accès ? Le programme des évaluations finales à venir est-il disponible ?
