Qualité de la réponse
Contenus de cette page
À propos de la qualité des réponses
L’évaluation de l’expert qualité des réponses est une fonction de la plateforme Qualtrics qui vérifie la qualité globale des données que vous avez collectées avant de commencer à les analyser. Elle vous indiquera comment améliorer votre enquête afin de collecter des données de la plus haute qualité possible. Vous trouverez ci-dessous des messages d’erreur possibles que vous pouvez recevoir par l’intermédiaire d’ExpertReview et des moyens de les résoudre.
Pour savoir comment utiliser l’évaluation de l’expert dans Données et analyse, voir Fonctionnalité de la qualité des réponses.
Astuce : Les réponses importées sont analysées dans les enquêtes où la qualité des réponses a été activée. Les seules exceptions concernent la détermination des speeders, des taux d’achèvement, des données sensibles, la détection des robots et la détection des duplicatas.
Le répondant a terminé l’enquête anormalement vite
Les personnes interrogées qui répondent trop rapidement à votre enquête seront signalées comme des “speeders”. Cela signifie qu’ils ont choisi des réponses au hasard pour terminer l’enquête rapidement, au lieu de vous fournir des réponses de qualité.
Les réponses sont signalées lorsqu’elles s’écartent de plus de deux écarts-types de la durée médiane de l’enquête pour vos répondants, et vous devez avoir recueilli au moins 100 réponses dans votre enquête. Les réponses éliminatoires, de prévisualisation et de testne sont pas comptabilisées dans les 100 réponses.
Attention : Les excès de vitesse étant jugés en fonction du temps que les autres personnes interrogées ont mis à répondre à l’enquête, la définition des personnes considérées comme des auteurs d’excès de vitesse peut changer au fur et à mesure que vous recueillez des réponses. Pour garantir la meilleure qualité de données possible, nous vous conseillons de ne pas filtrer ou supprimer les speeders avant d’avoir complètement terminé votre collecte de données.
Bot possible
Astuce : Les réponses ne peuvent être signalées comme étant des bots que si vous avez sélectionné la détection des bots dans les options de votre enquête.
Grâce à la technologie invisible reCaptcha de Google, nous pouvons détecter la probabilité qu’une réponse provienne d’un bot plutôt que d’une personne évaluée. Lorsque la détection des robots est activée, une note est attribuée à chaque répondant dans le champ de données intégrées Q_RecaptchaScore, indiquant la probabilité que la réponse provienne d’un robot. Si ce score est inférieur à 0,5, la réponse sera notée comme étant un bot.
Astuce : Les réponses importées ne sont pas compatibles avec la détection des robots et ne seront pas vérifiées.
Astuce : Bien que la question Captcha et la détection des robots utilisent toutes deux la technologie reCAPTCHA de Google, la façon dont elles l’utilisent est très différente. La question avec Captcha nécessite que le répondant interagisse avec succès et complète l’action proposée pour pouvoir continuer. La détection des bots utilise quant à elle reCAPTCHA V3 pour signaler s’il est possible que la réponse ait été envoyée par un bot. Cela ne nécessite aucune interaction de la part du répondant, mais ne l’empêchera pas de poursuivre s’il s’agit effectivement d’un bot. (Bien qu’un utilisateur puisse ajouter un flux d’enquête Branche pour expulser le répondant de l’enquête en fonction de la probabilité qu’il s’agisse d’un robot)
Prévenir les bots
Il existe plusieurs moyens de réduire la probabilité qu’un robot se fraye un chemin à travers votre enquête.
- Utilisez le score Q_RecaptchaScore dans la logique de branche pour renvoyer les robots à la fin de l’enquête ou les exclure complètement.
- Utilisez une question de Vérification captcha au début de votre enquête.
- Si vous distribuez l’enquête à un panel, utilisez un authentificateur ou un mot de passe pour limiter le nombre de personnes autorisées à participer à l’enquête.
- Essayez d’ajuster les options de sécurité de votre enquête.
Le répondant a répondu à l’enquête plus d’une fois
Astuce : les réponses susceptibles d’être dupliquées ne peuvent être signalées que si vous avez sélectionné au moins l’un des éléments suivants dans les options de l’enquête:
Il arrive que des utilisateurs essaient de répondre à votre enquête plusieurs fois. En fonction de l’objectif de votre étude, les dupliquer peut diminuer la qualité de vos données en biaisant les résultats en faveur des commentaires des récidivistes.
Selon l’option d’enquête que vous avez activée, une réponse peut être signalée comme dupliquée de deux manières différentes :
- La détection des duplicatas est réglée sur “Marquer les réponses :” Le champ Q_DuplicateRespondent est égal à “true”
- Empêcher les envois multiples est défini sur “Marquer les réponses :” Le champ Q_BallotBoxStuffing est égal à “true”
Éviter les réponses en doublon
En fonction de la manière dont vous configurez votre enquête, vous pouvez éviter les réponses dupliquées avant même de commencer à collecter des données.
- Si vous connaissez vos répondants, envoyez-leur l’enquête par e-mail. Astuce : Pour que personne ne puisse utiliser le lien anonyme, modifiez votre accès à l’Enquête Sur invitation uniquement.
- Si vous connaissez vos répondants ou si vous utilisez l’authentification unique (SSO) dans votre organisation, utilisez un authentificateur dont l’option de reprise est désactivée.
- Pour empêcher les envois multiples à l’aide d’un lien anonyme, choisissez une option de fin d’enquête ou de redirection. Astuce : Lors de l’utilisation d’un lien anonyme, l’activation de la détection des duplicatas ne supprimera pas instantanément les duplicatas, mais elle renforcera la qualité de vos données en vous permettant de supprimer les duplicatas après la fin de la collecte des données.
Taux de réponse total faible
Si un répondant ne termine pas son enquête dans les 24 heures suivant le début, il y a de fortes chances qu’il ne revienne pas pour terminer l’enquête. Plus cela se produit, plus il est probable que quelque chose dans la façon dont l’enquête est rédigée ou formatée fasse fuir les répondants.
Votre enquête ne peut être signalée comme ayant un mauvais taux de réponse qu’après avoir recueilli au moins 100 réponses complètes. (Cela exclut les réponses incomplètes et les réponses en cours.) Un taux de réponse faible ne sera pas non plus signalé si aucune réponse n’a été entamée au cours des dernières 24 heures. (Cela comprend les réponses complètes, les réponses incomplètes et les réponses en cours) Cela permet de s’assurer qu’il n’y aura pas de faux positif pour mauvaise réponse alors que votre étude a cessé de recueillir des réponses il y a plusieurs mois.
Lorsque le taux d’achèvement des 24 heures est signalé
Pour déterminer si le taux d’achèvement d’une enquête est insuffisant, on calcule ce qui suit :
(nombre d’enquêtes commencées dans les 24 heures suivant l’heure actuelle et achevées) / (nombre d’enquêtes commencées dans les 24 heures suivant l’heure actuelle)
- Mineur : Seules 1 à 9 % des réponses commencées au cours des dernières 24 heures n’ont pas été menées à terme.
- Modéré : 10 à 20 % des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.
- Grave : 21% ou plus des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.
Modification de votre enquête
Un faible taux de réponse peut signifier qu’il y a un problème dans la façon dont l’enquête a été élaborée. Lorsque vous révisez votre enquête pour améliorer le taux d’achèvement, il est important de tenir compte de la technologie de l’évaluation Iq ExpertReview attribuée initialement à votre enquête. Les pages suivantes contiennent des conseils sur toutes les questions signalées par l’Évaluation de l’expert.
- Méthodologie de l’enquête et meilleures pratiques en matière de conformité
- Erreurs d’enquête communes
- Demandes de données sensibles
Taux de réponse total faible
Plus le taux de réponse à une enquête est mauvais, plus il est probable que quelque chose dans la façon dont l’enquête est rédigée ou formatée fasse fuir les répondants.
Votre enquête ne peut être signalée comme ayant un mauvais taux de réponse qu’après avoir recueilli au moins 100 réponses complètes. (Cela exclut les réponses importées, les réponses incomplètes et les réponses en cours)
Lorsque le taux d’achèvement global est signalé
On détermine qu’une enquête a un mauvais taux d’achèvement en calculant ce qui suit :
(Nombre total de réponses complètes à l’enquête) / (Nombre total de réponses enregistrées + Nombre total de réponses en cours)
Astuce : Dans ce cas, le numérateur (réponses complètes à l’enquête) fait référence aux réponses qui se sont terminées parce que le répondant a cliqué jusqu’à la fin de l’enquête. Les réponses en cours qui ont été clôturées manuellement ne sont pas prises en compte. Les réponses en cours fermées manuellement sont incluses dans le dénominateur.
- Mineur : Seules 1 à 9 % des réponses commencées au cours des dernières 24 heures n’ont pas été menées à terme.
- Modéré : 10 à 20 % des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.
- Grave : 21% ou plus des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.
Modification de votre enquête
Un faible taux de réponse peut signifier qu’il y a un problème dans la façon dont l’enquête a été élaborée. Lorsque vous révisez votre enquête pour améliorer le taux d’achèvement, il est important de tenir compte de la technologie de l’évaluation Iq ExpertReview attribuée initialement à votre enquête. Les pages suivantes contiennent des conseils sur toutes les questions signalées par l’Évaluation de l’expert.
- Méthodologie de l’enquête et meilleures pratiques en matière de conformité
- Erreurs d’enquête communes
- Demandes de données sensibles
Réponses contenant des données sensibles
Astuce : Ce qui est considéré comme des données sensibles est défini par votre Administrateur de l’Organisation dans une politique concernant les données sensibles.
Il arrive qu’une réponse contienne des informations sensibles sur un répondant. Il peut s’agir d’un numéro de téléphone ou d’un numéro de sécurité sociale. Chaque organisation a ses propres normes concernant le contenu qu’elle considère comme sensible, et il peut arriver que vous souhaitiez exclure ces données de votre ensemble de données parce que les informations fournies par les personnes interrogées sont trop sensibles pour être incluses dans votre organisation.
Selon les paramètres de votre organisation, les informations sensibles peuvent également être expurgées de la réponse. Dans ce cas, les informations sensibles seront remplacées par des astérisques et vous n’aurez aucun moyen de retrouver les informations sensibles. C’est à vous de décider si vous incluez dans votre analyse les réponses contenant des informations expurgées.
Astuce : Les informations qui ont été éditées pour être censurées ne sont pas signalées comme des contenus sensibles et ne seront donc pas incluses dans les filtres de l’Évaluation de l’expert. Les réponses importées seront également exclues de la rédaction.
Empêcher la collecte de données sensibles
Bien que les personnes interrogées puissent fournir des informations sensibles dans une réponse ouverte sans y être invitées, la meilleure façon d’éviter les violations de données sensibles est de s’assurer que vous ne demandez pas d’informations personnelles. Consultez la section Résoudre les problèmes liés aux données sensibles pour en savoir plus sur la manière de supprimer ce type de demandes de votre enquête.
Si vous êtes Administrateur de l’Organisation, pensez à ajouter la rédaction à votre Politique concernant les données sensibles. Cela permet de s’assurer que les créateurs de l’enquête n’ont pas accès à des informations sensibles sur les personnes interrogées. Vous pouvez choisir les sujets sensibles qui seront expurgés et ceux qui ne le seront pas.
Texte ambigu
Attention : Cette fonction n’est actuellement pas disponible pour tous les clients.
Les répondants qui saisissent un texte ambigu dans les champs de saisie du texte seront signalés. Les textes ambigus comprennent le “charabia” ou les cas où le répondant a tapé des lettres aléatoires et/ou des symboles pour répondre à une question. Les textes ambigus peuvent être détectés en anglais (US, UK), espagnol (ES, ES-ES), français (FR, FR-CA), allemand (DE), portugais (PT, PT-BR) et italien (IT). Les réponses fournies dans une autre langue et les réponses contenant des acronymes (par exemple, CX) ne sont pas signalées.
Prévenir les réponses ambiguës
Bien qu’il n’y ait aucun moyen d’empêcher complètement ce comportement, il existe des moyens d’encourager les personnes interrogées à donner des réponses de meilleure qualité aux questions ouvertes.
- Masquez les questions qui ne s’appliquent pas à toutes les personnes interrogées : Il arrive que les répondants saisissent un texte ambigu parce que vous avez forcé la réponse, mais que le contenu de la question n’est pas pertinent pour eux. Par exemple, si vous enquêtez auprès d’une population générale, mais que vous commencez à poser des questions à vos répondants sur leurs enfants, il y a probablement des personnes qui participent à l’enquête et à qui ces questions ne s’appliquent pas. Vous pouvez masquer les questions sur les enfants dans le ménage si vous commencez par une question générale (Avez-vous des enfants ?) et utilisez ensuite la réponse de l’enquêté pour configurer la logique de branche, d’affichage ou de passage pour les questions suivantes.
- Veillez à ce que votre question ne soit pas trop générale : Lorsque vous fournissez aux répondants un champ de saisie du texte, ils ont souvent besoin d’être guidés sur le type de données que vous recherchez. Si l’invite est trop large, les répondants risquent de ne pas savoir comment répondre. Exemple : “Y a-t-il d’autres commentaires que vous aimeriez faire ?” n’est pas aussi précis que “Y a-t-il d’autres commentaires que vous aimeriez faire sur votre expérience de l’assistance ?” Ce dernier précise que vous ne recherchez pas un retour d’information général sur le produit ou l’entreprise, mais un retour d’information sur une expérience spécifique avec votre équipe d’assistance.
- Le cas échéant, exigez que les réponses respectent un certain format : Par exemple, si vous demandez une adresse électronique, vous pouvez ajouter la validation du contenu à votre question.
Signaler les réponses contenant un texte ambigu
Bien que l’Évaluation de l’expert ne signale pas ce type de réponses par défaut, vous pouvez l’activer en suivant les étapes suivantes :
Si vous ne souhaitez pas marquer les réponses en fonction de cette mesure, vous pouvez désactiver ce paramètre en suivant les mêmes étapes. Lorsque vous activez cette analyse, elle ne concerne que l’enquête à laquelle vous participez actuellement, et non toutes les enquêtes de votre compte, ce qui vous permet de personnaliser l’analyse de la qualité des réponses en fonction de vos besoins.
Identifier les questions dont les réponses sont ambiguës
Que la réponse ait été signalée ou non, vous pouvez obtenir des informations plus précises sur l’existence ou non d’un texte ambigu dans une réponse, ainsi que sur les questions spécifiques concernées. Pour visualiser vos données directement dans Qualtrics :
- Q_AmbiguousTextPresent : Présence ou non d’un texte ambigu dans la réponse à l’enquête. Il peut s’agir d’une réponse à n’importe quelle question ouverte de l’enquête. 0 indique non, et 1 indique oui.
- Q_AmbiguousTextQuestions : Les questions spécifiques qui ont reçu une réponse ambiguë. Il s’agit d’un QID interne et non d’un numéro de question modifiable. Astuce : Pour trouver les QID, numérotez automatiquement vos questions à l’aide de la numérotation interne. Vous pouvez toujours modifier la numérotation ultérieurement ou choisir de ne pas publier ces changements.
Astuce : Même si vous ne suivez pas les instructions ci-dessus, Q_AmbiguousTextPresent et Q_AmbiguousTextQuestions seront inclus dans vos exportations de données. Vous pouvez également utiliser ces champs pour filtrer vos données.
Aucune tendance de questions sans réponse
Attention : Cette fonction n’est actuellement pas disponible pour tous les clients.
Les réponses seront signalées si l’auteur de l’enquête n’a pas répondu à un grand nombre de questions, bien qu’il les ait vues. Les réponses sont signalées lorsque 30 % ou plus des questions vues sont restées sans réponse ; ainsi, les petites erreurs ou la décision délibérée de sauter une question non pertinente ne sont pas signalées.
Astuce : Les réponses ne seront pas marquées sur la base des questions auxquelles le répondant n’a pas répondu parce qu’elles ont été masquées par la logique de branche, d’affichage ou de passage. Si la réponse est incomplète, les pages de l’enquête que le répondant n’a jamais vues ne sont pas signalées.
Prévenir les schémas de questions sans réponse
Si les répondants sont signalés comme ayant tendance à sauter des questions, cela peut être dû aux éléments suivants :
- Vos questions ne sont pas pertinentes pour le public : Le choix de votre échantillon est une étape extrêmement importante dans la conduite d’une recherche. Si vous distribuez votre enquête à un public très généraliste, vous risquez de poser des questions auxquelles le public n’a aucun moyen de répondre. Par exemple, si vous menez une enquête auprès d’une population sur l’ergonomie de son espace de travail, vous ne devriez probablement pas inclure les personnes interrogées qui sont actuellement au chômage. Si vous n’avez pas le contrôle de votre échantillon de distribution, envisagez de mettre en place des réponses éliminatoires pour supprimer les répondants non pertinents.
- Vos questions ne sont pas claires : il se peut que vous posiez les bonnes questions, mais que votre formulation soit un peu confuse pour les répondants. Essayez de réécrire ces questions pour les rendre aussi courtes et aussi claires que possible. Veillez à utiliser la voix active plutôt que la voix passive.
- La personne interrogée cherche délibérément à Fin d’enquête le plus tôt possible : Cela peut également être indiqué par l’utilisation de textes ambigus et de lignes droites. Pour encourager les personnes interrogées à répondre à toutes les questions de l’enquête, pensez à ajouter une validation à vos questions. Vous pouvez obliger les répondants à répondre à chaque question ou leur demander de revenir aux questions sans réponse lorsqu’ils terminent une page de l’enquête. Astuce : Il est également important de se demander si la fatigue du répondant est un facteur.
Réponses en drapeau avec un schéma de questions sans réponse
Bien que l’Évaluation de l’expert ne signale pas ce type de réponses par défaut, vous pouvez l’activer en suivant les étapes suivantes :
Si vous ne souhaitez pas marquer les réponses en fonction de cette mesure, vous pouvez désactiver ce paramètre en suivant les mêmes étapes. Lorsque vous activez cette analyse, elle ne concerne que l’enquête à laquelle vous participez actuellement, et non toutes les enquêtes de votre compte, ce qui vous permet de personnaliser l’analyse de la qualité des réponses en fonction de vos besoins.
Identifier les questions auxquelles les répondants n’ont pas répondu
Vous pouvez obtenir des informations plus précises sur les questions qui ont été ignorées et sur le pourcentage de questions de l’enquête qui sont restées sans réponse, que la réponse ait été signalée ou non. Pour visualiser vos données directement dans Qualtrics :
- Q_UnansweredPercentage : Le pourcentage de questions de l’enquête pour lesquelles le répondant n’a pas fourni de réponse. Seules les questions qu’ils ont vues sont prises en compte dans cette valeur. Ce chiffre est présenté sous forme de ratio. Par exemple, 100 % vaut 1, et 66,7 % vaut 0,667.
- Q_UnansweredQuestions : Les questions spécifiques auxquelles il n’a pas été répondu. Il s’agit d’un QID interne et non d’un numéro de question modifiable. Astuce : pour trouver les QID, cliquez sur le menu déroulant Outils dans l’éditeur d’enquête, puis sélectionnez Afficher les ID internes.
Astuce : Même si vous ne suivez pas les instructions ci-dessus, Q_UnansweredQuestions et Q_UnansweredPercentage seront inclus dans vos exportations de données. Vous pouvez également utiliser ces champs pour filtrer vos données.
Linéarité
Attention : Cette fonction n’est actuellement pas disponible pour tous les clients.
L’alignement est la pratique qui consiste à fournir les mêmes réponses dans un tableau matriciel afin de passer rapidement à travers les questions. Par exemple, un répondant peut toujours choisir la première réponse à chaque affirmation, quel que soit son sentiment.
Les personnes interrogées peuvent aller tout droit parce qu’elles sont fatiguées, surtout s’il ne s’agit pas d’un chauffard ou d’un robot, et que leurs réponses au début de l’enquête étaient normales.
Signaler les réponses qui contiennent “straightlining
Bien que l’Évaluation de l’expert ne signale pas ce type de réponses par défaut, vous pouvez l’activer en suivant les étapes suivantes :
Si vous ne souhaitez pas marquer les réponses en fonction de cette mesure, vous pouvez désactiver ce paramètre en suivant les mêmes étapes. Lorsque vous activez cette analyse, elle ne concerne que l’enquête à laquelle vous participez actuellement, et non toutes les enquêtes de votre compte, ce qui vous permet de personnaliser l’analyse de la qualité des réponses en fonction de vos besoins.
Identifier les questions pour lesquelles les répondants ont fait preuve de linéarité
Pour être signalé comme étant en phase de redressement, un répondant doit avoir les deux :
- Tracé d’au moins 3 tableaux de matrices de Likert (pas les affirmations, mais l’ensemble des questions)
- 80 % des tableaux de la matrice de l’enquête ont été mis en évidence par des lignes de démarcation
Toutefois, si vous souhaitez effectuer une analyse plus approfondie, vous pouvez évaluer le nombre de matrices à lignes droites et les questions qui ont fait l’objet de lignes droites. Pour parcourir vos données à l’intérieur même de Qualtrics :
- Q_StraightliningCount : Le nombre de questions de la matrice que le répondant a traitées de manière directe.
- Q_StraightliningPercentage : Le pourcentage de tables matricielles de l’enquête que la personne interrogée a redressées. Ce chiffre est présenté sous forme de ratio. Par exemple, 100 % vaut 1, et 66,7 % vaut 0,667.
- Q_StraightliningQuestions : Les questions spécifiques qui ont été simplifiées. Il s’agit d’un QID interne et non d’un numéro de question modifiable. Astuce : Pour trouver les QID, numérotez automatiquement vos questions à l’aide de la numérotation interne. Vous pouvez toujours modifier la numérotation ultérieurement ou choisir de ne pas publier ces changements.
Astuce : Même si vous ne suivez pas les instructions ci-dessus, Q_StraightliningCount, Q_Straightlining_Percentage et Q_StraightliningQuestions seront inclus dans vos exportations de données. Vous pouvez également utiliser ces champs pour filtrer vos données.
C'est génial! Merci pour votre avis!
Merci pour votre avis!