Qualité de la réponse
Contenus de cette page
À propos de la qualité des réponses
L'évaluation de l'expert qualité des réponses est une fonction de la plateforme Qualtrics qui vérifie la qualité globale des données que vous avez collectées avant de commencer à les analyser. Elle vous indiquera comment améliorer votre enquête afin de collecter des données de la plus haute qualité possible. Vous trouverez ci-dessous des messages d’erreur possibles que vous pouvez recevoir par l’intermédiaire d’ExpertReview et des moyens de les résoudre.
Pour savoir comment utiliser l’évaluation de l’expert dans la section « Données et analyse », consultez la rubrique « Fonctionnalité de qualité des réponses ».
Astuce : les réponses importées sont analysées dans les enquêtes pour lesquelles la fonctionnalité « Qualité des réponses » a été activée. Les seules exceptions concernent la détermination des speeders, des taux d'achèvement, des données sensibles, la détection des robots et la détection des duplicatas.
Les aperçus des enquêtes, les réponses test et les réponses synthétiques ont été exclus de toutes les analyses.
Le répondant a terminé l'enquête anormalement vite
Les participants qui répondent à votre enquête trop rapidement seront signalés comme « répondants trop rapides ». Cela signifie qu'ils ont choisi des réponses au hasard pour terminer l'enquête rapidement, au lieu de vous fournir des réponses de qualité.
Les réponses sont signalées lorsqu'elles s'écartent de plus de deux écarts-types de la durée médiane de l'enquête pour vos répondants, et vous devez avoir recueilli au moins 100 réponses dans votre enquête. Les réponses éliminatoires, de prévisualisation et de testne sont pas comptabilisées dans les 100 réponses.
Attention : Les excès de vitesse étant jugés en fonction du temps que les autres personnes interrogées ont mis à répondre à l'enquête, la définition des personnes considérées comme des auteurs d'excès de vitesse peut changer au fur et à mesure que vous recueillez des réponses. Afin de garantir une qualité optimale des données, nous vous recommandons de ne pas filtrer ni supprimer les excès de vitesse avant d’avoir entièrement terminé votre collecte de données XML-PH-0000@deepl.internal.
Bot possible
Astuce : Les réponses ne peuvent être signalées comme étant des bots que si vous avez sélectionné la détection des bots dans les options de votre enquête.
Grâce à la technologie « reCaptcha invisible » de Google, nous pouvons déterminer si une réponse provient d'un bot plutôt que d'une personne évaluée. Lorsque la détection des bots est activée, un score est attribué à chaque répondant dans le champ de données intégré Q_RecaptchaScore, indiquant la probabilité que la réponse provienne d'un bot. Si ce score est inférieur à 0,5, la réponse sera notée comme étant un bot.
Astuce : les réponses importées ne sont pas compatibles avec la détection des bots et ne feront pas l'objet d'une vérification visant à repérer d'éventuels bots.
Astuce : bien que la question Captcha et la détection des bots utilisent toutes deux la technologie Google reCAPTCHA, leur mode d'utilisation est très différent. La question avec Captcha nécessite que le répondant interagisse avec succès et complète l’action proposée pour pouvoir continuer. La détection des bots utilise quant à elle reCAPTCHA V3 pour signaler s’il est possible que la réponse ait été envoyée par un bot. Cela ne nécessite aucune interaction de la part du répondant, mais ne l’empêchera pas de poursuivre s’il s’agit effectivement d’un bot. (Bien qu'un utilisateur puisse ajouter un flux d'enquête Branche pour expulser le répondant de l'enquête en fonction de la probabilité qu'il s'agisse d'un robot)
Prévenir les bots
Il existe plusieurs moyens de réduire la probabilité qu'un robot se fraye un chemin à travers votre enquête.
- Utilisez le score Q_RecaptchaScore dans la logique de branche pour renvoyer les robots à la fin de l'enquête ou les exclure complètement.
- Utilisez une question de Vérification captcha au début de votre enquête.
- Si vous distribuez l'enquête à un panel, utilisez un authentificateur ou un mot de passe pour limiter le nombre de personnes autorisées à participer à l'enquête.
- Essayez de modifier les paramètres de sécurité de votre sondage.
Le répondant a répondu à l'enquête plus d'une fois
Astuce : les réponses susceptibles d'être des doublons ne peuvent être signalées que si vous avez sélectionné au moins l'une des options suivantes dans les paramètres de votre sondage:
Il arrive parfois que des utilisateurs de tentent de répondre à votre enquête plusieurs fois. Selon l'objectif de votre étude, les doublons peuvent nuire à la qualité de vos données en faussant les résultats au profit des commentaires des participants qui répondent à plusieurs reprises.
Selon l'option d'enquête que vous avez activée, une réponse peut être signalée comme dupliquée de deux manières différentes :
- La détection des doublons est configurée sur « Marquer les réponses : » ; le champ Q_DuplicateRespondent a la valeur « true ».
- L'option « Empêcher les envois multiples » est configurée sur « Signaler les réponses » : la valeur du champ Q_BallotBoxStuffing ( ) est égale à « true ».
Éviter les réponses en doublon
En fonction de la manière dont vous configurez votre enquête, vous pouvez éviter les réponses dupliquées avant même de commencer à collecter des données.
Si vous connaissez vos répondants, envoyez-leur l'enquête par e-mail.
Astuce : pour vous assurer que personne ne puisse utiliser le lien anonyme, modifiez les paramètres d'accès à votre enquête en sélectionnant « Sur invitation uniquement ».
- Si vous connaissez vos répondants ou si vous utilisez l'authentification unique (SSO) dans votre organisation, utilisez un authentificateur dont l'option de reprise est désactivée.
Si vous souhaitez empêcher les soumissions multiples à l'aide d'un lien anonyme, choisissez l'option « Fin d’enquête » ou « Redirection ».
Astuce : lorsque vous utilisez un lien anonyme, l'activation de la détection des doublons ne supprime pas instantanément les doublons, mais elle améliore la qualité de vos données en vous permettant de supprimer les doublons une fois la collecte de données terminée.
Taux de réponse total faible
Si un participant ne termine pas son enquête dans les 24 heures suivant son début, il y a de fortes chances qu’il ne revienne pas pour la terminer. Plus cela se produit, plus il est probable que quelque chose dans la façon dont l'enquête est rédigée ou formatée fasse fuir les répondants.
Votre enquête ne peut être signalée comme ayant un mauvais taux de réponse qu'après avoir recueilli au moins 100 réponses complètes. (Cela exclut les réponses incomplètes et les réponses en cours.) De même, un faible taux de réponse ne sera pas signalé si aucune réponse n'a été commencée au cours des dernières 24 heures. (Cela inclut les réponses complètes, les réponses incomplètes et les réponses en cours.) Cela permet d'éviter tout faux positif lié à un taux de réponse insuffisant alors que votre étude a cessé de recueillir des réponses il y a plusieurs mois.
Lorsque le taux d'achèvement des 24 heures est signalé
On considère qu'une enquête présente un faible taux de réponse en effectuant le calcul suivant :
(Nombre d'enquêtes commencées il y a 24 heures à partir de l'heure actuelle et terminées) / (Nombre d'enquêtes commencées il y a 24 heures à partir de l'heure actuelle)
- Mineur : Seules 1 à 9 % des réponses commencées au cours des dernières 24 heures n'ont pas été menées à terme.
- Modéré : 10 à 20 % des réponses commencées au cours des dernières 24 heures n'ont pas été menées à terme.
- Grave : au moins 21 % des réponses commencées au cours des dernières 24 heures n'ont pas été finalisées.
Modification de votre enquête
De faibles taux de réponse peuvent indiquer un problème lié à la conception de l'enquête. Lorsque vous modifiez votre enquête afin d'améliorer le taux de réponse, il est important de tenir compte de la note iQ Score que l’évaluation de l’expert a initialement attribuée à votre enquête. Les pages suivantes contiennent des conseils sur toutes les questions signalées par l'Évaluation de l'expert.
- Méthodologie de l'enquête et meilleures pratiques en matière de conformité
- Erreurs d’enquête communes
- Demandes de données sensibles
Taux de réponse total faible
Plus le taux de réponse à une enquête est faible, plus il est probable que certains aspects de la rédaction ou de la mise en page de l'enquête dissuadent les participants de y répondre.
Votre enquête ne peut être signalée comme ayant un mauvais taux de réponse qu'après avoir recueilli au moins 100 réponses complètes. (Ce chiffre ne tient pas compte des réponses importées, des réponses incomplètes et des réponses en cours.)
Lorsque le taux d'achèvement global est signalé
On considère qu'une enquête présente un faible taux de réponse en effectuant le calcul suivant :
(Nombre total de réponses complètes à l’enquête) / (Nombre total de réponses enregistrées + Nombre total de réponses en cours)
Astuce : Dans ce cas, le numérateur (réponses complètes à l'enquête) fait référence aux réponses qui se sont terminées parce que le répondant a cliqué jusqu'à la fin de l'enquête. Les réponses en cours qui ont été clôturées manuellement ne sont pas prises en compte. Les réponses en cours fermées manuellement sont incluses dans le dénominateur.
- Mineur : Seules 1 à 9 % des réponses commencées au cours des dernières 24 heures n'ont pas été menées à terme.
- Modéré : 10 à 20 % des réponses commencées au cours des dernières 24 heures n'ont pas été menées à terme.
- Grave : au moins 21 % des réponses commencées au cours des dernières 24 heures n'ont pas été finalisées.
Modification de votre enquête
De faibles taux de réponse peuvent indiquer un problème lié à la conception de l'enquête. Lorsque vous modifiez votre enquête afin d'améliorer le taux de réponse, il est important de tenir compte de la note iQ Score que l’évaluation de l’expert a initialement attribuée à votre enquête. Les pages suivantes contiennent des conseils sur toutes les questions signalées par l'Évaluation de l'expert.
- Méthodologie de l'enquête et meilleures pratiques en matière de conformité
- Erreurs d’enquête communes
- Demandes de données sensibles
Réponses contenant des données sensibles
Astuce : Ce qui est considéré comme des données sensibles est défini par votre Administrateur de l'Organisation dans une politique concernant les données sensibles.
Il arrive qu'une réponse contienne des informations sensibles sur un répondant. Il peut s'agir d'un numéro de téléphone ou d'un numéro de sécurité sociale. Chaque organisation a ses propres normes concernant le contenu qu'elle considère comme sensible, et il peut arriver que vous souhaitiez exclure ces données de votre ensemble de données parce que les informations fournies par les personnes interrogées sont trop sensibles pour être incluses dans votre organisation.
En fonction des paramètres de votre organisation, certaines informations sensibles peuvent également être masquées dans la réponse. Dans ce cas, les informations sensibles seront remplacées par des astérisques et vous n'aurez aucun moyen de retrouver les informations sensibles. C'est à vous de décider si vous incluez dans votre analyse les réponses contenant des informations expurgées.
Astuce : les informations qui ont été modifiées à des fins de censure ne sont pas signalées comme du contenu sensible et ne seront donc pas prises en compte par les filtres d'évaluation de l’expert. Les réponses importées seront également exclues de la rédaction.
Empêcher la collecte de données sensibles
Même si les personnes interrogées peuvent fournir des informations sensibles dans une réponse ouverte sans y être invitées, le meilleur moyen d'éviter toute violation des données sensibles est de veiller à ne pas demander d'informations personnelles. Consultez la section Résoudre les problèmes liés aux données sensibles pour en savoir plus sur la manière de supprimer ce type de demandes de votre enquête.
Si vous êtes administrateur de l'organisation, pensez à inclure la caviardage dans votre politique concernant les données sensibles. Cela permet de s'assurer que les créateurs de l'enquête n'ont pas accès à des informations sensibles sur les personnes interrogées. Vous pouvez choisir les sujets sensibles qui seront expurgés et ceux qui ne le seront pas.
Texte ambigu
Attention : Cette fonction n'est actuellement pas disponible pour tous les clients.
Les répondants qui saisissent un texte ambigu dans les champs de saisie du texte seront signalés. Les textes ambigus comprennent les « charabia », c'est-à-dire les cas où le participant a saisi des lettres et/ou des symboles au hasard pour répondre à une question. Les textes ambigus peuvent être détectés en anglais (États-Unis, Royaume-Uni), en espagnol d' (ES, ES-ES), en français (FR, FR-CA), en allemand (DE), en portugais (PT, PT-BR) et en italien (IT). Les réponses fournies dans une autre langue et les réponses contenant des acronymes (par exemple, CX) ne sont pas signalées.
Prévenir les réponses ambiguës
Bien qu'il n'y ait aucun moyen d'empêcher complètement ce comportement, il existe des moyens d'encourager les personnes interrogées à donner des réponses de meilleure qualité aux questions ouvertes.
Masquer les questions qui ne s'appliquent pas nécessairement à tous les répondants : il arrive parfois que les répondants saisissent un texte ambigu parce que vous avez forcé la réponse, alors que le contenu de la question ne les concerne pas. Par exemple, si vous menez une enquête auprès du grand public, mais que vous commencez à poser à vos répondants des questions sur leurs enfants, il y aura probablement des personnes participant à l'enquête auxquelles ces questions ne s'appliquent pas. Vous pouvez masquer les questions relatives aux enfants vivant sous le même toit si vous commencez par une question générale (Avez-vous des enfants ?) et que vous utilisez ensuite la réponse de la personne interrogée pour configurer la logique de branche, d’affichage ou de passage pour les questions suivantes.
Veillez à ce que votre question ne soit pas trop générale : lorsque vous mettez un champ de saisie du texte à la disposition des répondants, ceux-ci ont souvent besoin d’indications sur le type d’informations que vous recherchez. Si l'invite est trop large, les répondants risquent de ne pas savoir comment répondre.
Exemple : « Avez-vous d'autres commentaires à faire ? » n'est pas aussi précis que « Avez-vous d'autres remarques à faire concernant votre expérience avec le service d'assistance ? » Ce dernier précise que vous ne recherchez pas un retour d'information général sur le produit ou l'entreprise, mais un retour d'information sur une expérience spécifique avec votre équipe d'assistance.
Le cas échéant, exigez que les réponses respectent un certain format : par exemple, si vous demandez une adresse e-mail, vous pouvez ajouter une validation du contenu à votre question.
Signaler les réponses contenant un texte ambigu
Bien que l'Évaluation de l'expert ne signale pas ce type de réponses par défaut, vous pouvez l'activer en suivant les étapes suivantes :
Assurez-vous d'être dans la section Données de l'onglet Données et analyse.
Cliquez sur Qualité des réponses.
Faites défiler jusqu'à « Texte ambigu ».
Activez cette fonction.
Si vous ne souhaitez pas marquer les réponses en fonction de cette mesure, vous pouvez désactiver ce paramètre en suivant les mêmes étapes. Lorsque vous activez cette analyse, celle-ci ne s'applique qu'à l'enquête sur laquelle vous travaillez actuellement, et non à toutes les enquêtes de votre compte ; vous pouvez ainsi personnaliser l'analyse de la qualité des réponses selon vos besoins.
Identifier les questions dont les réponses sont ambiguës
Que la réponse ait été signalée ou non, vous pouvez obtenir des informations plus précises sur l'existence ou non d'un texte ambigu dans une réponse, ainsi que sur les questions spécifiques concernées. Pour visualiser vos données directement dans Qualtrics :
- Q_AmbiguousTextPresent : Présence ou non d'un texte ambigu dans la réponse à l'enquête. Il peut s'agir d'une réponse à n'importe quelle question ouverte de l'enquête. 0 indique non, et 1 indique oui.
- Q_AmbiguousTextQuestions : Les questions spécifiques qui ont reçu une réponse ambiguë. Il s'agit d'un QID interne et non d'un numéro de question modifiable. Astuce : Pour trouver les QID, numérotez automatiquement vos questions à l'aide de la numérotation interne. Vous pouvez toujours modifier la numérotation ultérieurement ou choisir de ne pas publier ces changements.
Astuce : Même si vous ne suivez pas les instructions ci-dessus, Q_AmbiguousTextPresent et Q_AmbiguousTextQuestions seront inclus dans vos exportations de données. Vous pouvez également utiliser ces champs pour filtrer vos données.
Aucune tendance de questions sans réponse
Attention : Cette fonction n'est actuellement pas disponible pour tous les clients.
Les réponses seront signalées si l'auteur de l'enquête n'a pas répondu à un grand nombre de questions, bien qu'il les ait vues. Les réponses sont signalées lorsque 30 % ou plus des questions consultées sont restées sans réponse ; ainsi, les petites erreurs ou le choix délibéré de ne pas répondre à une question non pertinente ne sont pas signalés.
Remarque : les réponses ne seront pas marquées en fonction des questions auxquelles le répondant n'a pas répondu parce qu'elles étaient masquées par la logique de branche, d'affichage ou de passage. Si la réponse est incomplète, les pages de l'enquête que le répondant n'a jamais vues ne sont pas signalées.
Prévenir les schémas de questions sans réponse
Si les répondants sont signalés comme ayant tendance à sauter des questions, cela peut être dû aux éléments suivants :
- Vos questions ne sont pas pertinentes pour le public : Le choix de votre échantillon est une étape extrêmement importante dans la conduite d'une recherche. Si vous distribuez votre enquête à un public très généraliste, vous risquez de poser des questions auxquelles le public n'a aucun moyen de répondre. Par exemple, si vous menez une enquête auprès d'une population sur l'ergonomie de son espace de travail, vous ne devriez probablement pas inclure les personnes actuellement sans emploi. Si vous n'avez pas le contrôle de votre échantillon de distribution, envisagez de mettre en place des réponses éliminatoires pour supprimer les répondants non pertinents.
- Vos questions ne sont pas claires : il se peut que vous posiez les bonnes questions, mais que votre formulation soit un peu confuse pour les répondants. Essayez de réécrire ces questions pour les rendre aussi courtes et aussi claires que possible. Veillez à utiliser la voix active plutôt que la voix passive.
La personne interrogée cherche délibérément à Fin d'enquête le plus tôt possible : Cela peut également être indiqué par l'utilisation de textes ambigus et de lignes droites. Pour encourager les personnes interrogées à répondre à toutes les questions de l'enquête, pensez à ajouter une validation à vos questions. Vous pouvez obliger les répondants à répondre à chaque question ou leur demander de revenir aux questions sans réponse lorsqu'ils terminent une page de l'enquête.
Astuce : Il est également important de se demander si la lassitude des personnes interrogées peut jouer un rôle.
Réponses en drapeau avec un schéma de questions sans réponse
Bien que l'Évaluation de l'expert ne signale pas ce type de réponses par défaut, vous pouvez l'activer en suivant les étapes suivantes :
Assurez-vous d'être dans la section Données de l'onglet Données et analyse.
Cliquez sur Qualité des réponses.
Faites défiler jusqu'à la section « Questions sans réponse ».
Activez ce paramètre.
Si vous ne souhaitez pas marquer les réponses en fonction de cette mesure, vous pouvez désactiver ce paramètre en suivant les mêmes étapes. Lorsque vous activez cette analyse, celle-ci s'applique uniquement à l'enquête sur laquelle vous travaillez actuellement, et non à l'ensemble des enquêtes de votre compte ; vous pouvez ainsi personnaliser l'analyse de la qualité des réponses selon vos besoins.
Identification des questions auxquelles les personnes interrogées n'ont pas répondu
Vous pouvez obtenir des informations plus précises sur les questions qui ont été ignorées et sur le pourcentage de questions de l'enquête qui sont restées sans réponse, que la réponse ait été signalée ou non. Pour visualiser vos données directement dans Qualtrics :
- Q_UnansweredPercentage : Le pourcentage de questions de l'enquête pour lesquelles le répondant n'a pas fourni de réponse. Seules les questions qu'ils ont vues sont prises en compte dans cette valeur. Ce chiffre est présenté sous forme de ratio. Par exemple, 100 % vaut 1, et 66,7 % vaut 0,667.
- Q_UnansweredQuestions : Les questions spécifiques auxquelles il n'a pas été répondu. Il s'agit d'un QID interne et non d'un numéro de question modifiable. Astuce : pour trouver les QID, cliquez sur le menu déroulant Outils dans l'éditeur d'enquête, puis sélectionnez Afficher les ID internes.
Astuce : Même si vous ne suivez pas les instructions ci-dessus, Q_UnansweredQuestions et Q_UnansweredPercentage seront inclus dans vos exportations de données. Vous pouvez également utiliser ces champs pour filtrer vos données.
Réponses trop générales
Attention : Cette fonction n'est actuellement pas disponible pour tous les clients.
L'alignement est la pratique qui consiste à fournir les mêmes réponses dans un tableau matriciel afin de passer rapidement à travers les questions. Par exemple, un répondant peut toujours choisir la première réponse à chaque affirmation, quel que soit son sentiment.
Les participants peuvent répondre de manière monotone parce qu'ils sont fatigués, surtout s'ils ne sont ni des « speeder » ni des « bots », et que leurs réponses au début de l'enquête étaient normales.
Signaler les réponses qui contiennent "straightlining
Bien que l'Évaluation de l'expert ne signale pas ce type de réponses par défaut, vous pouvez l'activer en suivant les étapes suivantes :
Assurez-vous d'être dans la section Données de l'onglet Données et analyse.
Cliquez sur Qualité des réponses.
Faites défiler jusqu'à « Straightlining ».
Enable the setting.
Si vous ne souhaitez pas marquer les réponses en fonction de cette mesure, vous pouvez désactiver ce paramètre en suivant les mêmes étapes. Lorsque vous activez cette analyse, celle-ci s'applique uniquement à l'enquête sur laquelle vous travaillez actuellement, et non à l'ensemble des enquêtes de votre compte ; vous pouvez ainsi personnaliser l'analyse de la qualité des réponses selon vos besoins.
Identifier les questions pour lesquelles les répondants ont fait preuve de linéarité
Pour être signalé comme étant en phase de redressement, un répondant doit avoir les deux :
- Tracé d'au moins 3 tableaux de matrices de Likert (pas les affirmations, mais l'ensemble des questions)
- 80 % des tableaux de la matrice de l'enquête ont été mis en évidence par des lignes de démarcation
Toutefois, si vous souhaitez effectuer une évaluation plus approfondie, vous pouvez déterminer le nombre de matrices remplies en ligne droite et identifier les questions qui ont été cochées de cette manière. Pour parcourir vos données à l'intérieur même de Qualtrics :
- Q_StraightliningCount : Le nombre de questions de la matrice que le répondant a traitées de manière directe.
- Q_StraightliningPercentage : Le pourcentage de tables matricielles de l'enquête que la personne interrogée a redressées. Ce chiffre est présenté sous forme de ratio. Par exemple, 100 % vaut 1, et 66,7 % vaut 0,667.
- Q_StraightliningQuestions : Les questions spécifiques qui ont été simplifiées. Il s'agit d'un QID interne et non d'un numéro de question modifiable. Astuce : Pour trouver les QID, numérotez automatiquement vos questions à l'aide de la numérotation interne. Vous pouvez toujours modifier la numérotation ultérieurement ou choisir de ne pas publier ces changements.
Astuce : Même si vous ne suivez pas les instructions ci-dessus, Q_StraightliningCount, Q_Straightlining_Percentage et Q_StraightliningQuestions seront inclus dans vos exportations de données. Vous pouvez également utiliser ces champs pour filtrer vos données.
C'est génial! Merci pour votre avis!
Merci pour votre avis!