Etape 2 : définir les champs du Système de Suivi et Evaluation

Le cahier des charges du système de suivi évaluation

Quelles sont nos attentes du Système de Suivi et Evaluation ? Quelles sont les données que tout projet, programme ou politique publique de ce type devrait  à minima collecter et exploiter ? Quels sont les angles morts, quels éclairages nous paraissent insaisissables ? Quelles questions devraient-on creuser ?

Quels sont les enjeux ? En terme de temporalité, c’est à dire à quel moment aura-t-on besoin des réponses pour que les données soit utiles et utilisées ? Quelles pourraient être les répercussions potentielles à l’obtention de ces réponses, en terme de renouvellement (ou d’arrêt) de financement ? Ou encore en terme d’image ou de crédibilité ? Egalement en terme de ressources humaines : est-ce que des données issues de l’évaluation pourraient être extraites de leur contexte afin de justifier un avancement de carrière ou au contraire une sanction à titre individuelle ? Quels effets potentiels en terme de motivations des équipes ?

En fonction des éléments du système qui seront sous-traités à des prestataires extérieurs (par exemple une étude de base, la collecte de données, une évaluation intermédiaire ou finale), c’est aussi l’occasion d’exprimer les besoins sous forme de termes de référence.

Enfin, dans le cadre de la démarche HQSE, il s’agira de valider les 4 fondamentaux (le cadre de qualité non négociable) et de se positionner au regard des points d’équilibre.

Cette étape 2 correspond à l’élaboration du cahier des charges du système qui va être mis en place.

Bien sûr en fonction et sur les acquis de l’état des lieux élaboré à l’étape 1.

Valider les fondamentaux et se positionner par rapport aux points d’équilibre de la démarche HQSE
Les fondamentaux :
  1. Quel sera le degré de participation des usagers/bénéficiaires dans l’élaboration du Système de Suivi et Evaluation ?

  2. Quelles seront les ressources accordées au Système de Suivi et Evaluation ?

  3. Quelles innovations pour la mise en place du Système de Suivi et Evaluation ?

  4. Quelle inclusion du Système de Suivi et Evaluation dans le management actuel de la structure ?
Les points d’équilibre :
  1. Quel est l’objet de la démarche : apprentissage, pilotage, transparence ?

  2. Quel équilibre dans le choix des méthodes ? Entre quantitatif et qualitatif notamment. Quelle diversité des sources ?

  3. Quels critères nous interrogent plus particulièrement ? (la pertinence ? la  cohérence interne ? la cohérence externe ? l’impact ? le dosage/intensité ? l’acceptation ? la couverture ?)

  4. Existe-t-il un équilibre sur le périmètre qui sera couvert par le Système de Suivi et Evaluation ? C’est à dire : est-ce que l’éclairage se limite pas à renseigner des activités mineures sans couvrir la stratégie globale de l’institution ni son mode de gouvernance ?

  5. Quelle temporalité : l’éclairage sera-t-il réparti sur l’ensemble des temps de l’action, ex-ante, intermédiaire, finale ou ex-post ? A quel point parvient-on à réorienter l’action en fonction de données collectées et interprétées en temps réel ? 

  6. Quelle répartition de l’implication entre les différents acteurs du Système de Suivi et Evaluation ? Entre  auto-évaluation, évaluation interne, évaluation externe et évaluation par les bénéficiaires ?

  7. Quel équilibre entre reporting et recherche

  8. Quel équilibre entre suivi et évaluation ?

  9. Quel équilibre dans les flux de redevabilité ? L’implication et le devoir de transparence envers le bailleur de fonds est-il comparable a celui envers les usagers/bénéficiaires ?

Une fois ces grands jalons établis, nous allons débuter l’analyse en hiérarchisant les questions évaluatives les plus prégnantes au moment de l’élaboration du Système de Suivi et Evaluation :

Revenir en arrière