Qualité des réponses

À propos de la qualité des réponses

L’évaluation de l’expert qualité des réponses est une fonction de la plateforme Qualtrics qui vérifie la qualité globale des données que vous avez collectées avant de commencer à les analyser. Elle vous indiquera comment améliorer votre enquête afin de collecter des données de la plus haute qualité possible. Vous trouverez ci-dessous des messages d’erreur possibles que vous pouvez recevoir par l’intermédiaire d’ExpertReview et des moyens de les résoudre.

Pour savoir comment utiliser l’évaluation de l’expert dans Données et analyse, voir Fonctionnalité de la qualité des réponses.

Le répondant a terminé l’enquête anormalement vite

Les personnes interrogées qui répondent trop rapidement à votre enquête seront signalées comme des “speeders”. Cela signifie qu’ils ont choisi des réponses au hasard pour terminer l’enquête rapidement, au lieu de vous fournir des réponses de qualité.

Les réponses sont signalées lorsqu’elles s’écartent de plus de deux écarts-types de la durée médiane de l’enquête pour vos répondants, et vous devez avoir recueilli au moins 100 réponses dans votre enquête. Les réponses éliminatoires, de prévisualisation et de testne sont pas comptabilisées dans les 100 réponses.

Bot possible

Grâce à la technologie invisible reCaptcha de Google, nous pouvons détecter la probabilité qu’une réponse provienne d’un bot plutôt que d’une personne évaluée. Lorsque la détection des robots est activée, une note est attribuée à chaque répondant dans le champ de données intégrées Q_RecaptchaScore, indiquant la probabilité que la réponse provienne d’un robot. Si ce score est inférieur à 0,5, la réponse sera notée comme étant un bot.

Prévenir les bots

Il existe plusieurs moyens de réduire la probabilité qu’un robot se fraye un chemin à travers votre enquête.

• Utilisez le score Q_RecaptchaScore dans la logique de branche pour renvoyer les robots à la fin de l’enquête ou les exclure complètement.
• Utilisez une question de Vérification captcha au début de votre enquête.
• Si vous distribuez l’enquête à un panel, utilisez un authentificateur ou un mot de passe pour limiter le nombre de personnes autorisées à participer à l’enquête.
• Essayez d’ajuster les options de sécurité de votre enquête.

Le répondant a répondu à l’enquête plus d’une fois

Il arrive que des utilisateurs essaient de répondre à votre enquête plusieurs fois. En fonction de l’objectif de votre étude, les dupliquer peut diminuer la qualité de vos données en biaisant les résultats en faveur des commentaires des récidivistes.

Selon l’option d’enquête que vous avez activée, une réponse peut être signalée comme dupliquée de deux manières différentes :

• L’option RelevantID est activée : Le champ Q_RelevantIDDuplicateScore est supérieur ou égal à 75.
• Empêcher les envois multiples est défini sur “Marquer les réponses :” Le champ Q_BallotBoxStuffing est égal à “true”

Éviter les réponses en doublon

En fonction de la manière dont vous configurez votre enquête, vous pouvez éviter les réponses dupliquées avant même de commencer à collecter des données.

• Si vous connaissez vos répondants, envoyez-leur l’enquête par e-mail.
  Astuce : Pour que personne ne puisse utiliser le lien anonyme, modifiez votre accès à l’Enquête Sur invitation uniquement.
• Si vous connaissez vos répondants ou si vous utilisez l’authentification unique (SSO) dans votre organisation, utilisez un authentificateur dont l’option de reprise est désactivée.
• Pour empêcher les envois multiples à l’aide d’un lien anonyme, choisissez une option de fin d’enquête ou de redirection.
  Astuce : Lors de l’utilisation d’un lien anonyme, l’activation de RelevantID ne supprimera pas instantanément les duplicatas, mais elle renforcera la qualité de vos données en vous permettant de supprimer les duplicatas après la fin de la collecte des données.

Taux de réponse total faible

Si un répondant ne termine pas son enquête dans les 24 heures suivant le début, il y a de fortes chances qu’il ne revienne pas pour terminer l’enquête. Plus cela se produit, plus il est probable que quelque chose dans la façon dont l’enquête est rédigée ou formatée fasse fuir les répondants.

Votre enquête ne peut être signalée comme ayant un mauvais taux de réponse qu’après avoir recueilli au moins 100 réponses complètes. (Cela exclut les réponses incomplètes et les réponses en cours.) Un taux de réponse faible ne sera pas non plus signalé si aucune réponse n’a été entamée au cours des dernières 24 heures. (Cela comprend les réponses complètes, les réponses incomplètes et les réponses en cours) Cela permet de s’assurer qu’il n’y aura pas de faux positif pour mauvaise réponse alors que votre étude a cessé de recueillir des réponses il y a plusieurs mois.

Lorsque le taux d’achèvement des 24 heures est signalé

Pour déterminer si le taux d’achèvement d’une enquête est insuffisant, on calcule ce qui suit :

(nombre d’enquêtes commencées dans les 24 heures suivant l’heure actuelle et achevées) / (nombre d’enquêtes commencées dans les 24 heures suivant l’heure actuelle)

• Mineur : Seules 1 à 9 % des réponses commencées au cours des dernières 24 heures n’ont pas été menées à terme.
• Modéré : 10 à 20 % des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.
• Grave : 21% ou plus des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.

Modification de votre enquête

Un faible taux de réponse peut signifier qu’il y a un problème dans la façon dont l’enquête a été élaborée. Lorsque vous révisez votre enquête pour améliorer le taux d’achèvement, il est important de tenir compte de la technologie de l’évaluation Iq ExpertReview attribuée initialement à votre enquête. Les pages suivantes contiennent des conseils sur toutes les questions signalées par l’Évaluation de l’expert.

• Méthodologie de l’enquête et meilleures pratiques en matière de conformité
• Erreurs d’enquête communes
• Demandes de données sensibles

Taux de réponse total faible

Plus le taux de réponse à une enquête est mauvais, plus il est probable que quelque chose dans la façon dont l’enquête est rédigée ou formatée fasse fuir les répondants.

Votre enquête ne peut être signalée comme ayant un mauvais taux de réponse qu’après avoir recueilli au moins 100 réponses complètes. (Cela exclut les réponses importées, les réponses incomplètes et les réponses en cours)

Lorsque le taux d’achèvement global est signalé

On détermine qu’une enquête a un mauvais taux d’achèvement en calculant ce qui suit :

(Nombre total de réponses complètes à l’enquête) / (Nombre total de réponses enregistrées + Nombre total de réponses en cours)

• Mineur : Seules 1 à 9 % des réponses commencées au cours des dernières 24 heures n’ont pas été menées à terme.
• Modéré : 10 à 20 % des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.
• Grave : 21% ou plus des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.

Modification de votre enquête

Un faible taux de réponse peut signifier qu’il y a un problème dans la façon dont l’enquête a été élaborée. Lorsque vous révisez votre enquête pour améliorer le taux d’achèvement, il est important de tenir compte de la technologie de l’évaluation Iq ExpertReview attribuée initialement à votre enquête. Les pages suivantes contiennent des conseils sur toutes les questions signalées par l’Évaluation de l’expert.

• Méthodologie de l’enquête et meilleures pratiques en matière de conformité
• Erreurs d’enquête communes
• Demandes de données sensibles

Réponses contenant des données sensibles

Il arrive qu’une réponse contienne des informations sensibles sur un répondant. Il peut s’agir d’un numéro de téléphone ou d’un numéro de sécurité sociale. Chaque organisation a ses propres normes concernant le contenu qu’elle considère comme sensible, et il peut arriver que vous souhaitiez exclure ces données de votre ensemble de données parce que les informations fournies par les personnes interrogées sont trop sensibles pour être incluses dans votre organisation.

Selon les paramètres de votre organisation, les informations sensibles peuvent également être expurgées de la réponse. Dans ce cas, les informations sensibles seront remplacées par des astérisques et vous n’aurez aucun moyen de retrouver les informations sensibles. C’est à vous de décider si vous incluez dans votre analyse les réponses contenant des informations expurgées.

Empêcher la collecte de données sensibles

Bien que les personnes interrogées puissent fournir des informations sensibles dans une réponse ouverte sans y être invitées, la meilleure façon d’éviter les violations de données sensibles est de s’assurer que vous ne demandez pas d’informations personnelles. Consultez la section Résoudre les problèmes liés aux données sensibles pour en savoir plus sur la manière de supprimer ce type de demandes de votre enquête.

Si vous êtes Administrateur de l’Organisation, pensez à ajouter la rédaction à votre Politique concernant les données sensibles. Cela permet de s’assurer que les créateurs de l’enquête n’ont pas accès à des informations sensibles sur les personnes interrogées. Vous pouvez choisir les sujets sensibles qui seront expurgés et ceux qui ne le seront pas.

Texte ambigu

Les répondants qui saisissent un texte ambigu dans les champs de saisie du texte seront signalés. Les textes ambigus comprennent le “charabia” ou les cas où le répondant a tapé des lettres aléatoires et/ou des symboles pour répondre à une question. Les textes ambigus peuvent être détectés en anglais (US, UK), espagnol (ES, ES-ES), français (FR, FR-CA), allemand (DE), portugais (PT, PT-BR) et italien (IT). Les réponses fournies dans une autre langue et les réponses contenant des acronymes (par exemple, CX) ne sont pas signalées.

Prévenir les réponses ambiguës

Bien qu’il n’y ait aucun moyen d’empêcher complètement ce comportement, il existe des moyens d’encourager les personnes interrogées à donner des réponses de meilleure qualité aux questions ouvertes.

• Masquez les questions qui ne s’appliquent pas à toutes les personnes interrogées : Il arrive que les répondants saisissent un texte ambigu parce que vous avez forcé la réponse, mais que le contenu de la question n’est pas pertinent pour eux. Par exemple, si vous enquêtez auprès d’une population générale, mais que vous commencez à poser des questions à vos répondants sur leurs enfants, il y a probablement des personnes qui participent à l’enquête et à qui ces questions ne s’appliquent pas. Vous pouvez masquer les questions sur les enfants dans le ménage si vous commencez par une question générale (Avez-vous des enfants ?) et utilisez ensuite la réponse de l’enquêté pour configurer la logique de branche, d’affichage ou de passage pour les questions suivantes.
  
• Veillez à ce que votre question ne soit pas trop générale : Lorsque vous fournissez aux répondants un champ de saisie du texte, ils ont souvent besoin d’être guidés sur le type de données que vous recherchez. Si l’invite est trop large, les répondants risquent de ne pas savoir comment répondre.
  Exemple : “Y a-t-il d’autres commentaires que vous aimeriez faire ?” n’est pas aussi précis que “Y a-t-il d’autres commentaires que vous aimeriez faire sur votre expérience de l’assistance ?” Ce dernier précise que vous ne recherchez pas un retour d’information général sur le produit ou l’entreprise, mais un retour d’information sur une expérience spécifique avec votre équipe d’assistance.
• Le cas échéant, exigez que les réponses respectent un certain format : Par exemple, si vous demandez une adresse électronique, vous pouvez ajouter la validation du contenu à votre question.
  

Signaler les réponses contenant un texte ambigu

Bien que l’Évaluation de l’expert ne signale pas ce type de réponses par défaut, vous pouvez l’activer en suivant les étapes suivantes :

1. Assurez-vous d’être dans la section Données de l’onglet Données et analyse.
   
2. Cliquez sur Qualité des réponses.
3. Cliquez sur Suggestion.
   
4. Activer le texte ambigu.

Si vous ne souhaitez pas marquer les réponses en fonction de cette mesure, vous pouvez désactiver ce paramètre en suivant les mêmes étapes. Lorsque vous activez cette analyse, elle ne concerne que l’enquête à laquelle vous participez actuellement, et non toutes les enquêtes de votre compte, ce qui vous permet de personnaliser l’analyse de la qualité des réponses en fonction de vos besoins.

Identifier les questions dont les réponses sont ambiguës

Que la réponse ait été signalée ou non, vous pouvez obtenir des informations plus précises sur l’existence ou non d’un texte ambigu dans une réponse, ainsi que sur les questions spécifiques concernées. Pour visualiser vos données directement dans Qualtrics :

1. Assurez-vous d’être dans la section Données de l’onglet Données et analyse.
   
2. Cliquez sur Sélecteur de colonnes.
3. Sélectionnez Données intégrées.
4. Sélectionnez les champs suivants :
   • Q_AmbiguousTextPresent : Présence ou non d’un texte ambigu dans la réponse à l’enquête. Il peut s’agir d’une réponse à n’importe quelle question ouverte de l’enquête. 0 indique non, et 1 indique oui.
   • Q_AmbiguousTextQuestions : Les questions spécifiques qui ont reçu une réponse ambiguë. Il s’agit d’un QID interne et non d’un numéro de question modifiable.
     Astuce : Pour trouver les QID, numérotez automatiquement vos questions à l’aide de la numérotation interne. Vous pouvez toujours modifier la numérotation ultérieurement ou choisir de ne pas publier ces changements.
5. Ces colonnes apparaîtront dans vos données.
   

Aucune tendance de questions sans réponse

Les réponses seront signalées si l’auteur de l’enquête n’a pas répondu à un grand nombre de questions, bien qu’il les ait vues. Les réponses sont signalées lorsque 30 % ou plus des questions vues sont restées sans réponse ; ainsi, les petites erreurs ou la décision délibérée de sauter une question non pertinente ne sont pas signalées.

Prévenir les schémas de questions sans réponse

Si les répondants sont signalés comme ayant tendance à sauter des questions, cela peut être dû aux éléments suivants :

• Vos questions ne sont pas pertinentes pour le public : Le choix de votre échantillon est une étape extrêmement importante dans la conduite d’une recherche. Si vous distribuez votre enquête à un public très généraliste, vous risquez de poser des questions auxquelles le public n’a aucun moyen de répondre. Par exemple, si vous menez une enquête auprès d’une population sur l’ergonomie de son espace de travail, vous ne devriez probablement pas inclure les personnes interrogées qui sont actuellement au chômage. Si vous n’avez pas le contrôle de votre échantillon de distribution, envisagez de mettre en place des réponses éliminatoires pour supprimer les répondants non pertinents.
• Vos questions ne sont pas claires : il se peut que vous posiez les bonnes questions, mais que votre formulation soit un peu confuse pour les répondants. Essayez de réécrire ces questions pour les rendre aussi courtes et aussi claires que possible. Veillez à utiliser la voix active plutôt que la voix passive.
• La personne interrogée cherche délibérément à Fin d’enquête le plus tôt possible : Cela peut également être indiqué par l’utilisation de textes ambigus et de lignes droites. Pour encourager les personnes interrogées à répondre à toutes les questions de l’enquête, pensez à ajouter une validation à vos questions. Vous pouvez obliger les répondants à répondre à chaque question ou leur demander de revenir aux questions sans réponse lorsqu’ils terminent une page de l’enquête.
  Astuce : Il est également important de se demander si la fatigue du répondant est un facteur.

Réponses en drapeau avec un schéma de questions sans réponse

Bien que l’Évaluation de l’expert ne signale pas ce type de réponses par défaut, vous pouvez l’activer en suivant les étapes suivantes :

1. Assurez-vous d’être dans la section Données de l’onglet Données et analyse.
   
2. Cliquez sur Qualité des réponses.
3. Cliquez sur Suggestion.
   
4. Permettre les questions sans réponse.

Si vous ne souhaitez pas marquer les réponses en fonction de cette mesure, vous pouvez désactiver ce paramètre en suivant les mêmes étapes. Lorsque vous activez cette analyse, elle ne concerne que l’enquête à laquelle vous participez actuellement, et non toutes les enquêtes de votre compte, ce qui vous permet de personnaliser l’analyse de la qualité des réponses en fonction de vos besoins.

Identifier les questions auxquelles les répondants n’ont pas répondu

Vous pouvez obtenir des informations plus précises sur les questions qui ont été ignorées et sur le pourcentage de questions de l’enquête qui sont restées sans réponse, que la réponse ait été signalée ou non. Pour visualiser vos données directement dans Qualtrics :

1. Assurez-vous d’être dans la section Données de l’onglet Données et analyse.
   
2. Cliquez sur Sélecteur de colonnes.
3. Sélectionnez Données intégrées.
4. Sélectionnez les champs suivants :
   • Q_UnansweredPercentage : Le pourcentage de questions de l’enquête pour lesquelles le répondant n’a pas fourni de réponse. Seules les questions qu’ils ont vues sont prises en compte dans cette valeur. Ce chiffre est présenté sous forme de ratio. Par exemple, 100 % vaut 1, et 66,7 % vaut 0,667.
   • Q_UnansweredQuestions : Les questions spécifiques auxquelles il n’a pas été répondu. Il s’agit d’un QID interne et non d’un numéro de question modifiable.
     Astuce : Pour trouver les QID, numérotez automatiquement vos questions à l’aide de la numérotation interne. Vous pouvez toujours modifier la numérotation ultérieurement ou choisir de ne pas publier ces changements.
5. Ces colonnes apparaîtront dans vos données.
   

Linéarité

L’alignement est la pratique qui consiste à fournir les mêmes réponses dans un tableau matriciel afin de passer rapidement à travers les questions. Par exemple, un répondant peut toujours choisir la première réponse à chaque affirmation, quel que soit son sentiment.

Les personnes interrogées peuvent aller tout droit parce qu’elles sont fatiguées, surtout s’il ne s’agit pas d’un chauffard ou d’un robot, et que leurs réponses au début de l’enquête étaient normales.

Signaler les réponses qui contiennent “straightlining

Bien que l’Évaluation de l’expert ne signale pas ce type de réponses par défaut, vous pouvez l’activer en suivant les étapes suivantes :

1. Assurez-vous d’être dans la section Données de l’onglet Données et analyse.
   
2. Cliquez sur Qualité des réponses.
3. Cliquez sur Suggestion.
   
4. Permettre l’alignement.

Si vous ne souhaitez pas marquer les réponses en fonction de cette mesure, vous pouvez désactiver ce paramètre en suivant les mêmes étapes. Lorsque vous activez cette analyse, elle ne concerne que l’enquête à laquelle vous participez actuellement, et non toutes les enquêtes de votre compte, ce qui vous permet de personnaliser l’analyse de la qualité des réponses en fonction de vos besoins.

Identifier les questions pour lesquelles les répondants ont fait preuve de linéarité

Pour être signalé comme étant en phase de redressement, un répondant doit avoir les deux :

• Tracé d’au moins 3 tableaux de matrices de Likert (pas les affirmations, mais l’ensemble des questions)
• 80 % des tableaux de la matrice de l’enquête ont été mis en évidence par des lignes de démarcation

Toutefois, si vous souhaitez effectuer une analyse plus approfondie, vous pouvez évaluer le nombre de matrices à lignes droites et les questions qui ont fait l’objet de lignes droites. Pour parcourir vos données à l’intérieur même de Qualtrics :

1. Assurez-vous d’être dans la section Données de l’onglet Données et analyse.
   
2. Cliquez sur Sélecteur de colonnes.
3. Sélectionnez Données intégrées.
4. Sélectionnez les champs suivants :
   • Q_StraightliningCount : Le nombre de questions de la matrice que le répondant a traitées de manière directe.
   • Q_StraightliningPercentage : Le pourcentage de tables matricielles de l’enquête que la personne interrogée a redressées. Ce chiffre est présenté sous forme de ratio. Par exemple, 100 % vaut 1, et 66,7 % vaut 0,667.
   • Q_StraightliningQuestions : Les questions spécifiques qui ont été simplifiées. Il s’agit d’un QID interne et non d’un numéro de question modifiable.
     Astuce : Pour trouver les QID, numérotez automatiquement vos questions à l’aide de la numérotation interne. Vous pouvez toujours modifier la numérotation ultérieurement ou choisir de ne pas publier ces changements.
5. Ces colonnes apparaîtront dans vos données.