Questionnaires

L’enquête par questionnaire se développe au cours du 20ème siècle comme un outil de recherche en sciences sociales. Technique de collecte complexe, utilisée progressivement puis massivement dans le marketing et les études de marché, les outils évoluent, se numérisent et permettent dorénavant à tout un chacun d’élaborer un questionnaire simple en quelques clics tout en automatisant le traitement statistique des données. En conséquence, l’usager est sollicité en permanence, surexposé aux questionnaires et doit par ailleurs veiller à la protection de ses données personnelles.

A gauche, sondage pour l’élection présidentielle de 1924 aux Etats-Unis. A droite, l’épisode « chute libre » de Black Mirror anticipe un futur proche ou chaque interaction de notre quotidien se note sur un barème de 1 à 5.

L’évaluateur, chargé de SE ou responsable de programme chargé de collecter des données via des enquêtes par questionnaire devra ainsi se distinguer par sa rigueur et son professionnalisme. Egalement faire preuve de créativité et d’originalité afin de capter puis maintenir l’attention du répondant : humour dans la présentation ou sollicitation pour répondre à l’enquête, anticiper des moments ou les répondants seront plus disponibles, intégrer des questions dans des formulaires existants comme la confirmation d’une réunion en ligne,…

Enfin, éviter quelques écueils qui seront déclinés ci-dessous.

1. L’objet du questionnaire : quel type de données collecter ?

➡ En fonction de la temporalité du projet, programme ou politique publique (voir ici le cycle de projet)
En phase de diagnostic :
  • recueil des besoins, des attentes, de données contextuelles…
  • recueil d’opinions, sentiments, croyances, pratiques culturelles…
En phase de développement :
  • recueil de la perception des futurs bénéficiaires sur la réponse que souhaite apporter le projet/programme/politique publique à la situation initiale
  • recueil d’opinions, de conseils, de retours d’expérience (par exemple sur des initiatives similaires antérieures), des points de vues divers sur la stratégie envisagée
Etude de base (si le programme le permet) :
  • recueil de données démographiques, socio-économiques, environnementales sur le territoire ciblé et les publics bénéficiaires et non-bénéficiaires (âge, niveau d’étude, population totale,…)
Dès la phase de lancement :
  • recueil systématique de la perception des usagers sur la réponse apportée et ce dès le démarrage des activités
➡ En fonction des questions évaluatives

Bien sûr, dans le cadre de la mise en place d’un système de suivi et évaluation, les questions évaluatives servent de socle pour la rédaction du questionnaire. Voir ici la formulation des questions évaluatives en fonction de critères d’évaluation ou de modélisation.

2. Elaboration du questionnaire

Introduction
  • Débuter par une courte présentation des objectifs du questionnaire mais également du programme/projet ou de la politique publique évaluée
  • Remercier par avance le répondant pour sa contribution mais également spécifier le mode de restitution prévu : comment les données seront utilisées et à quelles fins, lien vers le site du projet, du ministère, du bailleur… Où seront accessibles les rapports de suivi ou d’évaluation de l’action ?
Le corps du questionnaire

Aucune règle absolue pour sélectionner le bon déroulé d’un questionnaire. Celui-ci devra être testé parfois à plusieurs reprises et auprès de différents publics afin de parvenir à un rendu suffisant.

Commencer par quelques questions ouvertes permet d’obtenir une perception globale avant d’emmener le répondant sur notre propre logique, sur des pistes beaucoup plus précises que nous souhaitons tester. Il s’agit de la technique de l’entonnoir : aller du plus large au plus spécifique. La technique du sablier se distingue en ouvrant de nouveau un champ plus large d’investigation en fin de questionnaire.

Tout simplement, le questionnaire pourra être décomposé par grands chapitres, par question évaluative.

  • Mise en place de filtres ? (pour sélectionner uniquement un profil de répondants pour certaines questions : par exemple une appréciation sur une activité qui ne concernerait que les femmes ou encore un retour sur l’offre de transports pour les habitants d’une certaine commune)
  • Mise en place de branchement ? (pour renvoyer en fonction de la réponse vers d’autres questions plus spécifiques : par exemple les participants à un programme de renforcement de compétences en évaluation répondent à des questions spécifiques en fonction des modules qu’ils ont déjà suivi)
Les questions signalétiques

Sans filtre préalable, les questions signalétiques, par exemple le lieu d’habitation, l’âge ou encore un moyen de contact, trouvent toute leur place en fin de questionnaire. En effet, à ce stade une relation de confiance a pu se nouer avec l’enquêteur, le répondant a donné de son temps, expérimenté l’objet de votre recherche, souhaite éventuellement que ses réponses soient valorisées, il sera beaucoup plus enclin à fournir ce type d’information à ce stade qu’en début de questionnaire. Bien sûr cela dépend du type de répondant et de la relation de confiance préalable à ce stade. Si une association effectue une enquête par questionnaire auprès de ses bénévoles, l’enjeu sera moindre et des questions signalétiques posées en début de questionnaires pourront si nécessaire servir de filtres ou de branchements.

Les différents types de questions

Une première distinction est a effectuer entre les questions ouvertes et les questions fermées.

Une question ouverte permet une réponse libre. Par exemple :

Exemple de question ouverte

Une question fermée à l’inverse ne permet qu’un choix limité de réponses :

Exemple de question fermée

Une enquête par questionnaire ne contient généralement qu’un nombre limité de questions ouvertes. En effet, si l’objet est d’obtenir une représentation statistique d’un groupe ou d’une population, l’échantillon sera conséquent avec un grand nombre de questionnaires à traiter. L’analyse des questions ouvertes sera complexe et nécessitera des ressources conséquentes.

Hormis cette distinction première entre questions ouvertes ou fermées, la typologie de questions est large :

  • Questions textuelles (contient une zone de texte)
  • Questions numériques (donner une note, un prix, une durée…)
  • Questions à choix multiples (question fermée proposant un choix d’une ou plusieurs réponses)
  • Liste déroulante
  • échelles d’évaluation
Les échelles d’évaluation

Si les noms des psychologues américains Charles Osgood et Rensis Likert ne vous sont pas familiers, vous reconnaitrez dans les échelles suivantes leurs contributions dans les modèles de mesures présentés ci-dessous, devenus des références pour l’élaboration de questionnaire aussi bien dans le domaine des sciences sociales que dans le secteur des études de marché ou sondage d’opinion.

Echelle différentielle d’Osgood

L’échelle différentielle d’Osgood utilise des antagonismes ou des antonymes (contraires). Le répondant se positionne sur une échelle en vue de percevoir des opinions, des attitudes ou des valeurs. Par exemple ci-dessous le point de vue de vue d’un enseignant sur l’implication dans un groupe de travail.

Echelle de Likert

L’échelle de Likert exprime un degré de désaccord ou d’accord vis-à-vis d’une affirmation.

Ces échelles ont cette avantage très pragmatique de confronter les objectifs d’un programme à l’appréciation de ses bénéficiaires ou usagers. Par ailleurs, elles permettent de rappeler (le cas échéant sinon d’informer) quels étaient les objectifs initiaux du programme afin que chaque partie prenante puisse se positionner.

Points de vigilance

La durée du questionnaire

Sous réserve exhaustivité, certains agences spécialistes en enquête ou études de marchés ont pu proposer des questionnaires de plusieurs dizaines de pages agrégeant des centaines de questions. Sauf que les répondants se lassent… Et pourront répondre sans réfléchir pour en terminer au plus vite. Certes, il reste possible de détecter des incohérences en modifiant la logique dans la formulation des questions (par exemple un répondant à un avis très positif sur l’ensemble des caractéristiques d’un service mais très négatif pour la seule question formulée de manière inversée). Néanmoins, il reste plus simple de créer des questionnaires sur des durées raisonnables qui parviendront à maintenir la vigilance du répondant. Par ailleurs, des enquêteurs observant une lassitude de la part du répondant pourront avoir tendance à accélérer leur débit de parole, pour en finir au plus vite, provoquant des réponses à la chaine et toujours moins réfléchies.

La compréhension des questions

Il est recommandé d’utiliser des termes simples, en accord avec le type de répondants et éviter le jargon lié à l’environnement du projet ou à l’institution qui le porte.

Un large choix d’options ou de réponses

Enfermé dans sa compréhension parfois limitée d’un programme, le concepteur du questionnaire va parfois enfermer le répondant dans un nombre limité d’options dont aucune ne correspond à la situation qui doit être exprimé. S’il s’agit d’une question obligatoire, le répondant se trouve alors bloqué. Afin de ne pas contraindre à un choix par défaut, la palette la plus fine d’options doit être proposée. Egalement, il s’agira de toujours proposer une porte de sortie :

  • autre(s) : préciser
  • trop tôt pour le dire
  • trop difficile de se prononcer…
Solliciter des réponses précises

Par exemple, pour identifier une fréquence, il sera plus précis de proposer des fourchettes précises, par exemple « entre 3 et 5 fois par semaine » plutôt que des locutions adverbiales comme « de temps en temps« , « souvent« , etc.

Eviter les réponses induites

Les réponses induites émanent de questions dont la formulation est orientée et risque de peser sur le jugement du répondant : par exemple sur des facteurs moraux, la liberté d’émettre des opinions non consensuelles, etc.

Avec une telle formulation, le répondant va-t-il s’ériger en opposant de la confiance et de la liberté ?

Enfin, anticiper les couts et délais de traduction. Parfois, des délais dans la phase opérationnelle du programme se répercutent sur toute la chaine de collecte d’information et les questionnaires doivent être conçus dans des échéances réduites. Sur des programmes multi-pays avec diverses traductions nécessaires au sein de chaque pays, des délais trop courts auront pour conséquence des questionnaires dans un nombre insuffisant de langues ou encore une qualité de traduction insuffisante.

Des biais liées à des questions non-comprises ou mal traduites.

3. Le recueil des réponses

Cette étape correspond a trancher un certain nombre de question, notamment sur l’aspect opérationnel et logistique de la collecte de données.

Face à face ou auto-administré ?

En face à face, les réponses sont recueillies par un enquêteur, ce qui permet de s’assurer de la bonne compréhension des questions ou de garantir un temps adéquat pour apporter des réponses réfléchies. Auto-administrés, le taux d’abandon sera plus élevé notamment si le questionnaire est considéré comme trop long. Néanmoins ce type de questionnaire en ligne, auto-administrés par définition permettent de toucher un nombre beaucoup plus grand de répondants.

Quel support ? Format numérique ou papier ?

Si le format papier tend à disparaitre, certains publics, non familier avec les formats numérique pourront préférer des questionnaires papiers.

Quelle diffusion du questionnaire ?

En fonction de la population ou du type de répondant ciblé, comment diffuser notre questionnaire ? Par mail ? Via des réseaux sociaux ou professionnels ? Sur le lieu du service (par exemple dans la salle d’attente du centre de soin) via un QR code ?

Quel est le moment le plus propice pour passer le questionnaire ?

Moment le plus propice en fonction de la disponibilité des répondants. Il s’agit d’identifier des moments creux dans l’emploi du temps de nos cibles – des plages horaires où les personnes ont plus de temps, sont dans l’attente du démarrage d’une activité ou anticiper des temps spécifiques pour la passation de questionnaire dans la programmation d’un évènement. Cette disponibilité influera énormément sur la qualité et le soin pris dans la formulation des réponses.

Quelle durée d’activation du questionnaire ?

Une fois le questionnaire en ligne, faut-il fixer une date limite pour y répondre ? Bien sûr, cette date limite pourra jouer un rôle de déclencheur pour motiver quelques réponses avec le risque néanmoins de se couper d’informations des cibles n’ayant pu répondre dans le temps.

L’enjeu principal cependant est de savoir pour quand a-t-on besoin des réponses ? Quelles sont les prises de décisions en lien avec la collecte des données ?

Récompenses ou dédommagements

Dans le domaine des études de marché, il est courant de proposer un dédommagement ou une rétribution plus ou moins conséquente en fonction du temps passé et du type de profil recherché. Mais pour des usagers d’un service public ? Si l’utilisateur est considéré comme partie prenante d’un programme, son retour sur la perception du service rendu pourra être considérée comme partie intégrante de sa participation.

Suivi et visualisation des réponses en temps réel

Cette possibilité de consulter les réponses au fur et à mesure de leurs émissions a certainement un coté addictif !

Dans un cadre opérationnel, cela permettra surtout de prendre en compte les retours et apporter certaines améliorations ou corrections dans la mise en oeuvre d’activité de manière pragmatique et réactive, sans attendre les résultats finaux.

Ceci nécessite cependant des schémas et modalités de prise de décision clairs et réactifs.

Professionnalisme et code de déontologie des enquêteurs

Plus l’enquête est conséquente et plus le lien entre l’équipe de conception et les personnes chargées de la collecte au niveau du terrain risque d’être distendu.

Pour ces enquête de grande ampleur, il est courant de sous-traiter la collecte. Un grand nombre d’enquêteurs sera ainsi sollicité sur un temps court, emploi précaire par excellence.

Pourtant, ces enquêteurs sont à la source de la collecte, garants de la qualité des données. La rémunération au questionnaire pourrait inciter à la vitesse, couper le répondant qui cherche à étoffer son avis sur une question ouverte, sauter les questions les plus longues voir des pages entières pour les compléter seul par la suite… ou encore terminer seul le questionnaire d’un répondant ne souhaitant plus poursuivre car le questionnaire est trop long !

Une attention extrêmement fine et un suivi poussé du professionnalisme et de la déontologie des firmes ou équipes chargées de la collecte est ainsi une considération essentielle pour la qualité des données collectées.

4. Le traitement et l’analyse

Nettoyage des données

Cette étape consiste à se débarrasser de toutes les données non exploitables et à détecter tout type d’erreur qui ne manquerait pas d’affecter les résultats.

Détecter des incohérences ou des valeurs improbables. Une simple erreur de saisie, un répondant âgé de 788 ans, et c’est toute la moyenne d’âge de votre échantillon qui se trouve bouleversée. En amont, une attention particulière est ainsi à apporter aux fonctionnalités de contrôle qualité du logiciel utilisé, par exemple sur les valeurs admises dans le champs de réponse. Le traditionnel champ Email qui pourra détecter une adresse mal saisie, etc.

Le tri à plat

Une fois les données collectées, nous allons pouvoir transformer, question après question, les réponses en valeur. Cela s’appelle le tri à plat. Déterminer le nombre d’occurence de chaque entrée afin de déterminer un pourcentage ou un dénombrement.

Par exemple :

  • le niveau de formation initiale de personnes inscrites à une formation
  • la proportion de participants ayant effectué une restitution en interne dans les 3 mois suivant la formation

Le tableau de fréquence permettra de visualiser ces données, par exemple 40% des participants ont restitué en interne le contenu de la formation dans les 3 mois suivant la formation.

Le tri croisé

Le tri croisé va permettre d’opérer des croisements entre les questions sur la base des valeurs du tri à plat. Tout d’abord à travers les questions signalétiques en caractérisant les réponses à toute question en fonction des variables socio-économiques des répondants.

Par exemple le taux de réussite à un examen en fonction du niveau d’étude préalable du candidat. Ou encore l’accès à un service (« Avez-vous reçu un kit de première nécessité ? » en fonction de sa zone d’habitation « code postal »).

Mais aussi de pouvoir croiser les réponses de toute question du questionnaire entre elles. L’intérêt est de mettre en évidences des différences d’attitude, de comportement, de ressentis en fonction sur la base de n’importe quelle autre variable. De détecter des facteurs explicatifs ou des corrélations.

De nombreux programmes se donnent pour objectif d’atteindre les populations les plus vulnérables sans préalablement définir les critères de vulnérabilité. A minima, le tri croisé entre les réponses liées à l’utilisation des services et les caractéristiques socio-économiques des répondants permettra d’illustrer l’accès effectif des populations vulnérables.

Codage et post-codage

Le codage consiste à attribuer un code (chiffres, lettres, combinaisons) aux réponses afin de faciliter leur traitement informatique.

Pour déterminer les catégories socio-professionnelles, les instituts statistiques attribuent ainsi un code à chaque métier.

Le post-codage permet de reconstituer des catégories en fonction des réponses à des questions ouvertes.

Par exemple à la question :

Quels changements avez-vous pu observer depuis le démarrage du programme dans votre établissement scolaire ?

Un première possibilité serait de décliner les objectifs du programme dans une question à choix multiples : il s’agira alors de codifier les réponses en fonction des changements attendus :

  • cohésion des groupes
  • réduction des incivilités dans l’établissement
  • bien être des élèves

L’autre possibilité sera de reconstituer des catégories en fonction des réponses libres des répondants. Ce qui permettra par la suite un traitement statistique des réponses et l’ajout de nouvelles catégories qui n’avaient pas été identifiées à l’origine. Par exemple « orientation scolaire/retours d’expériences des étudiants en première année vers les terminales ».

Avez-vous constaté des effets imprévus suite au démarrage du programme dans votre établissement ?

Points de vigilance

L’enquête par questionnaire peut être considérée comme un simple réflexe, pratique incontournable, pour recueillir les besoins puis la satisfaction d’usagers ou de parties prenantes pour toute action, projet, programme, politique publique.

Des plus simples aux plus complexes, les enquêtes par questionnaire mobilisent de multiples compétences et appétences : rédactionnelles, analytiques, statistiques, logistiques et administratives (déployer des équipes d’enquêteurs), techniques (avec le matériel approprié) ou encore communicationnelles (convaincre un répondant de vous consacrer un peu de s on temps, s’exprimer clairement, expliciter une question,…) ou linguistiques. Sans compter une base solide en sciences sociales et méthodologie d’enquête.

En fonction de son ampleur, se pose ainsi la question d’externaliser une phase (par exemple le recueil des réponses) ou l’enquête dans sa globalité. Diverses organisations se sont spécialisées dans les enquêtes ou la collecte de données, mais les coûts de ce type de prestation restent éloignés des possibilités d’ initiatives et projets de taille modeste.

Ainsi avant d’aborder les principaux biais et les enjeux de qualité des données, les responsables de projets engagés dans une démarche d’enquête ou destinataires de résultats d’enquête devront également faire preuve d’une certaine dose de bon sens.

Winston Churchill : « Je crois seulement aux statistiques que j’ai falsifié moi-même ».
Si le taux d’inscription à l’école secondaire est supérieur de 10% à la moyenne, le risque de conflit armé décroit de 3%. Vraiment ? Selon quelle étude ? S’agit-il de sensibilisation dans le cadre d’une collecte de fond ?

La remarque provocatrice de l’économiste Bill Bonner est à garder à l’esprit : « plus précis est le chiffre, plus grand est le mensonge« .

Attention ainsi à considérer toujours d’un oeil critique aussi bien la méthodologie d’enquête que les questions de recherche. Pour se faire, il faut alors avoir accès à la source : une note explicative de l’équipe chargée d’enquête accessible aux répondants et autres parties prenantes.

Exemples de questionnaires

Humanitaire – SMART network
Citoyenneté – EVAL
Suivi Post formation – Helvetas

Les outils de collecte