Qualidade da resposta
O que há nesta página
Sobre a qualidade da resposta
A qualidade da resposta ExpertReview é um característica da plataforma Qualtrics que verifica a qualidade geral dos dados coletados antes de você começar a analisá-los. Ele fará sugestões sobre a melhor forma de limpar seus dados para garantir que você esteja analisando dados da mais alta qualidade possível. Abaixo estão as possíveis mensagens de erro que você pode receber ao analisar respostas e as maneiras de resolver cada uma delas.
Para obter instruções sobre como usar ExpertReview em Dados e Análise, consulte a seção “Funcionalidade de Qualidade da Resposta”.
Qdica: respostas importadas são analisadas em pesquisas nas quais a avaliação da qualidade das respostas foi ativada. As únicas exceções são a determinação de speeders, taxas de conclusão, dados confidenciais, detecção de bots e detecção de duplicar.
Pré-visualizações Pesquisa, respostas de teste e respostas sintéticas foram excluídas de todas as análises.
O respondente terminou Pesquisa forma anormalmente rápida
Os participantes que responderem à sua pesquisa muito rapidamente serão sinalizados como “rápidos”. Isso significa que eles escolheram as respostas aleatoriamente para concluir o pesquisa rapidamente, em vez de fornecer respostas de qualidade.
Respostas são marcadas quando estão a mais de dois desvios padrão da duração média que os respondentes levam para responder ao pesquisa, e é preciso ter coletado pelo menos 100 respostas no pesquisa. respostas triagem, visualização e testenão são contadas para o total de 100 respostas.
Atenção: Como o excesso de velocidade é julgado em relação ao tempo que os outros respondentes levaram para concluir a pesquisa, quem é considerado um usuário com excesso de velocidade pode mudar à medida que você coletar mais respostas. Para garantir a máxima qualidade dos dados, recomendamos que você não filtro nem exclua os infratores por excesso de velocidade até que tenha concluído totalmente sua coleta de dados.
Possível bot
Qdica: Respostas só podem ser marcadas como bots se você tiver selecionado Detecção de bots nas opções da pesquisa.
Utilizando a tecnologia reCaptcha invisível do Google , podemos detectar a probabilidade de uma resposta ter sido enviada por um bot, em vez de por um indivíduo humano. Quando a detecção de bots está ativada, é atribuída uma pontuação a cada respondente no campo dados integrados Q_RecaptchaScore, indicando a probabilidade de a resposta ter vindo de um bot. Se essa pontuação for menor que 0,5, a resposta será sinalizada como um bot.
Qdica: respostas importadas não são compatíveis com a detecção de bots e não serão verificadas quanto à presença de possíveis bots.
Qdica: Embora a pergunta do Captcha e a detecção de bots utilizem a tecnologia do Google reCAPTCHA, a forma como a utilizam é bem diferente. A pergunta Captcha exige que o respondente interaja com ela e conclua o desafio proposto para poder prosseguir. Por outro lado, a detecção de bots usa o reCAPTCHA V3 para sinalizar a resposta com a probabilidade de ela ser obtida por um bot. Isso não exige nenhuma interação do respondente, mas não o bloco de prosseguir se ele for de fato um bot. (Embora um usuário possa adicionar uma ramificação fluxo da pesquisa para expulsar o respondente do pesquisa com base na probabilidade de ele ser um bot)
Prevenção de bots
Há várias maneiras de diminuir a probabilidade de um bot passar pelo seu pesquisa.
- Use o Q_RecaptchaScore na lógica de ramificação para enviar os bots para o final do pesquisa ou excluí-los completamente.
- Use uma pergunta de verificação Captcha no início do pesquisa.
- Se estiver distribuindo para um painel, use um autenticador ou uma senha para restringir quem pode entrar no pesquisa.
- Tente ajustar as opções de segurança da sua pesquisa.
O entrevistado respondeu à Pesquisa mais de uma vez
Qdica: Respostas que possam ser duplicatas só podem ser sinalizadas se você tiver selecionado pelo menos uma das seguintes opções da pesquisa em suas configurações de pesquisa:
Às vezes, os usuários do podem tentar responder à sua pesquisa mais de uma vez. Dependendo do objetivo do seu estudo, as respostas repetidas podem prejudicar a qualidade dos dados, pois tendem a direcionar os resultados para o feedback dos participantes que respondem repetidamente.
Dependendo da opção pesquisa que você ativou, há duas maneiras diferentes de uma resposta ser marcada como duplicar:
- A detecção Duplicar está configurada para “Marcar respostas”: o campo Q_DuplicateRespondent tem o valor “true”.
- A opção Impedir envios múltiplos ” está configurada como “Sinalizar respostas”: o campo Q_BallotBoxStuffing tem o valor igual a “true”.
Prevenção de Respostas Duplicar
Dependendo de como você configura o pesquisa, é possível evitar respostas duplicar antes mesmo de começar a coletar dados.
Se você conhece os respondentes, envie o pesquisa por e-mail.
Qdica: Para garantir que ninguém possa usar o link anônimo, altere o acesso pesquisa para somente convidados por convite ”.
- Se você conhece seus entrevistados ou usa o logon único (SSO) em sua organização, use um autenticador com a opção de retomar desativada.
Ao usar a função impedir envios múltiplos ” com um link anônimo, escolha a opção “Encerrar pesquisa ” ou “Redirecionar ”.
Qdica: Ao usar um link anônimo, ativar a detecção duplicar não excluirá as duplicatas instantaneamente, mas melhorará a qualidade dos seus dados, permitindo que você exclua as duplicatas após o término da coleta de dados.
Baixa taxa de conclusão em 24 horas
Se um participante não concluir a pesquisa dentro de 24 horas após o início, é provável que ele não volte para concluí- pesquisa. Quanto mais isso acontece, mais provável é que algo na forma como o pesquisa é escrito ou formatado esteja afastando os questionados.
Seu pesquisa só pode ser sinalizado como tendo uma taxa de conclusão ruim depois que você tiver coletado pelo menos 100 respostas concluídas. (Isso exclui respostas incompletas e respostas em andamento. ) A baixa taxa de conclusão também não será sinalizada se nenhuma respostas tiver sido iniciada nas últimas 24 horas. (Isso inclui respostas concluídas, respostas incompletas e respostas em andamento.) Isso garante que não haja um falso positivo por preenchimento incompleto quando seu estudo tiver encerrado a coleta respostas há meses.
Quando a taxa de conclusão de 24 horas é sinalizada
Considera-se que uma pesquisa apresenta uma baixa taxa de conclusão com base no cálculo a seguir:
(Número de pesquisas iniciadas há 24 horas a partir do momento atual e concluídas) / (Número de pesquisas iniciadas há 24 horas a partir do momento atual)
- Menor: Apenas 1 a 9% das respostas iniciadas nas últimas 24 horas não foram concluídas.
- Moderado: 10% a 20% das respostas iniciadas nas últimas 24 horas não foram concluídas.
- Grave: 21% ou mais das respostas iniciadas nas últimas 24 horas não foram concluídas.
Revisando seu Pesquisa
Baixas taxas de conclusão podem indicar que há um problema na forma como a pesquisa foi elaborada. Ao revisar sua pesquisa para melhorar a taxa de conclusão, é importante levar em conta a pontuação que o iQ Score ExpertReview atribuiu inicialmente à sua pesquisa. As páginas a seguir contêm orientações sobre todos os problemas sinalizados ExpertReview.
- Metodologia Pesquisa e práticas recomendadas de conformidade
- Erros comuns Pesquisa
- Solicitações de dados confidenciais
Taxa de conclusão geral ruim
Quanto pior for a taxa de conclusão pesquisa, maior será a probabilidade de que algum aspecto da forma pesquisa foi redigida ou formatada esteja afastando os respondentes.
Seu pesquisa só pode ser sinalizado como tendo uma taxa de conclusão ruim depois que você tiver coletado pelo menos 100 respostas concluídas. (Isso exclui respostas importadas, respostas incompletas e respostas em andamento. )
Quando a taxa de conclusão geral é sinalizada
Considera-se que uma pesquisa apresenta uma baixa taxa de conclusão com base no cálculo a seguir:
(Número total de respostas completas pesquisa ) / (Número total de respostas registradas + Número total de respostas em andamento )
Qdica: nesse caso, o numerador ( respostas completas pesquisa ) refere-se às respostas que foram encerradas porque o respondente clicou até o final do pesquisa. Respostas em andamento que foram fechadas manualmente não são contabilizadas. respostas em andamento fechadas manualmente em andamento são incluídas no denominador.
- Menor: Apenas 1 a 9% das respostas iniciadas nas últimas 24 horas não foram concluídas.
- Moderado: 10% a 20% das respostas iniciadas nas últimas 24 horas não foram concluídas.
- Grave: 21% ou mais das respostas iniciadas nas últimas 24 horas não foram concluídas.
Revisando seu Pesquisa
Baixas taxas de conclusão podem indicar que há um problema na forma como a pesquisa foi elaborada. Ao revisar sua pesquisa para melhorar a taxa de conclusão, é importante levar em conta a pontuação que o iQ Score ExpertReview atribuiu inicialmente à sua pesquisa. As páginas a seguir contêm orientações sobre todos os problemas sinalizados ExpertReview.
- Metodologia Pesquisa e práticas recomendadas de conformidade
- Erros comuns Pesquisa
- Solicitações de dados confidenciais
A resposta contém dados confidenciais
Qdica: o que é considerado dados confidenciais é definido pelo administrador Marca em uma política de dados confidenciais.
Às vezes, uma resposta contém informações confidenciais sobre um respondente. Isso pode ser qualquer coisa, desde um número de telefone até um número de seguro social. Cada organização tem seu próprio padrão de conteúdo que considera sensível, e há ocasiões em que você pode querer excluir esses dados do seu conjunto de dados porque as informações fornecidas pelos entrevistados são muito sensíveis para serem incluídas na sua análise.
Dependendo das configurações marca sua marca, informações confidenciais também podem ser ocultadas na resposta. Nesse caso, as informações confidenciais serão substituídas por asteriscos e você não terá como recuperar quais eram as informações confidenciais. A inclusão de respostas com informações editadas em sua análise fica a seu critério.
Qdica: As informações que foram editadas para fins de censura não são sinalizadas como conteúdo sensível e, portanto, não serão incluídas nos filtros ExpertReview. respostas importadas também serão excluídas da redação.
Prevenção da coleta de dados confidenciais
Embora os entrevistados possam fornecer informações confidenciais em respostas abertas sem que sejam solicitados a fazê-lo, a melhor maneira de evitar violações de dados confidenciais é garantir que você não esteja solicitando informações pessoais. Consulte Resolução de problemas de dados confidenciais para saber mais sobre como remover esses tipos de solicitações de seu pesquisa.
Se você for um administrador Marca, considere incluir a supressão de informações em sua Política de Dados Confidenciais. Isso pode ajudar a garantir que os criadores pesquisa não tenham acesso a informações confidenciais sobre os respondentes. Você pode escolher quais tópicos confidenciais serão redigidos e quais não serão.
Texto ambíguo
Atenção: No momento, esse característica não está disponível para todos os clientes.
Os entrevistados que digitarem texto ambíguo nos campos entrada de texto serão sinalizados. O texto ambíguo inclui “textos sem sentido” ou casos em que o entrevistado digitou letras e/ou símbolos aleatórios para responder a uma pergunta. É possível detectar texto ambíguo em inglês (EUA, Reino Unido), espanhol (ES, ES-ES), francês (FR, FR-CA), alemão (DE), português (PT, PT-BR) e italiano (IT). As respostas fornecidas em outro idioma e as respostas que contêm acrônimos (por exemplo, CX) não são marcadas.
Prevenção de Respostas ambíguas
Embora não haja como evitar completamente esse comportamento, há maneiras de incentivar os respondentes a dar respostas de maior qualidade às perguntas abertas.
Ocultar perguntas que talvez não aplicar a todos os respondentes: às vezes, os respondentes inserem um texto ambíguo porque você os obrigou a responder, mas o conteúdo da pergunta não é relevante para eles. Por exemplo, se você estiver realizando uma pesquisa com a população em geral, mas começar a fazer perguntas aos participantes sobre seus filhos, provavelmente haverá pessoas respondendo à pesquisa para as quais essas perguntas não aplicar. É possível ocultar perguntas sobre crianças na família se você começar com uma pergunta geral (Você tem filhos?) e, em seguida, usar a resposta do entrevistado para configurar a lógica ramificação, exibição ou pulos nas perguntas seguintes.
Certifique-se de que sua pergunta não seja muito genérica: quando você disponibiliza um campo entrada de texto para os respondentes, eles geralmente precisam de orientação sobre que tipo de informação você está buscando. Se a solicitação for muito ampla, os entrevistados podem não saber como responder.
Exemplo: “Você gostaria de fazer algum comentário adicional?” não é nem de longe tão específico quanto “Você gostaria de dar algum feedback adicional sobre sua experiência com o suporte?” A última especifica que você não está procurando feedback geral sobre o produto ou a empresa, mas feedback sobre uma experiência específica com a equipe de suporte.
Se for o caso, exija que respostas sigam um determinado formato: por exemplo, se você estiver solicitando um endereço de e-mail, pode adicionar validação de conteúdo à sua pergunta.
Marcação de Respostas que contêm texto ambíguo
Embora ExpertReview não sinalize esses tipos de respostas por padrão, você pode ativar essa opção com as etapas a seguir:
Verifique se você está na seção Dados da guia Dados e Análise.
Clique em Response Quality (Qualidade da resposta).
Role a página até “Texto ambíguo”.
Ative esse característica.
Se você não quiser sinalizar respostas com base nessa métrica, poderá desativar essa configuração usando as mesmas etapas. Ao ativar essa análise, ela se aplica apenas à pesquisa em que você está no momento, e não a todas pesquisas da sua conta; assim, você pode personalizar a análise da qualidade das respostas conforme necessário.
Identificação de perguntas com respostas ambíguas
Independentemente de a resposta ter sido sinalizada, você pode obter informações mais específicas sobre a existência ou não de texto ambíguo em uma resposta e as perguntas específicas afetadas. Para visualizar seus dados diretamente no Qualtrics:
- Q_AmbiguousTextPresent: Se havia ou não texto ambíguo na resposta pesquisa. Isso pode ser feito em resposta a qualquer pergunta aberta da pesquisa. 0 indica não, e 1 indica sim.
- Q_AmbiguousTextQuestions: As perguntas específicas que receberam uma resposta ambígua. Isso é fornecido como um QID interno, não como o número da pergunta editável. Qdica: para localizar QIDs, numere automaticamente suas perguntas com a Numeração de ID interna. Você sempre pode alterar a numeração novamente mais tarde ou optar por não publicar essas alterações.
Qdica: mesmo sem seguir as instruções acima, Q_AmbiguousTextPresent e Q_AmbiguousTextQuestions serão incluídos em suas exportações de dados. Você também pode usar esses campos para filtro seus dados.
Padrão de perguntas não respondidas
Atenção: No momento, esse característica não está disponível para todos os clientes.
Respostas serão marcadas se o participante da pesquisa não responder a muitas perguntas, mesmo que as tenha visto. Respostas são sinalizadas quando 30% ou mais das perguntas visualizadas ficaram sem resposta; dessa forma, pequenos erros ou a decisão deliberada de pular uma pergunta irrelevante não são sinalizados.
Qdica: Respostas não serão marcadas com base nas perguntas que o respondente não respondeu por terem sido ocultadas por ramificação, exibição ou lógica de pulos. Se a resposta estiver incompleta, as páginas da pesquisa que o respondente nunca viu não serão sinalizadas.
Prevenção de padrões de perguntas não respondidas
Se os respondentes forem marcados por terem uma tendência a pular perguntas, isso pode ser devido ao seguinte:
- Suas perguntas não são relevantes para o público: A escolha da amostra é uma etapa extremamente importante na realização de pesquisas. Se você distribuir sua pesquisa para um público muito generalizado, poderá acabar fazendo perguntas que o público não tem como responder. Por exemplo, se você estiver realizando uma pesquisa com uma população sobre a ergonomia de seu área de trabalho, provavelmente não deveria incluir entrevistados que estejam desempregados no momento. Se você não tiver controle sobre a amostra distribuição, considere a possibilidade de configurar eliminados para remover respondentes irrelevantes.
- Suas perguntas não são claras: Você pode estar fazendo as perguntas certas, mas sua redação pode ser um pouco confusa para os respondentes. Tente reescrever essas perguntas para torná-las o mais curtas e claras possível. Certifique-se de usar a voz ativa em vez da voz passivo.
O respondente está deliberadamente tentando encerrar a pesquisa o mais rápido possível: Isso também pode ser indicado pelo uso de texto ambíguo e linhas retas. Para incentivar os entrevistados a responder a todas as perguntas pesquisa, considere adicionar validação às suas perguntas. É possível forçar os questionados a responder a cada pergunta ou fazer com que uma mensagem solicite que eles voltem às perguntas não respondidas quando terminarem uma página do pesquisa.
Qdica: Também é importante considerar se o cansaço dos entrevistados é um fator a ser levado em conta.
Marcação de Respostas com um padrão de perguntas não respondidas
Embora ExpertReview não sinalize esses tipos de respostas por padrão, você pode ativar essa opção com as etapas a seguir:
Verifique se você está na seção Dados da guia Dados e Análise.
Clique em Response Quality (Qualidade da resposta).
Role a página até a seção “Perguntas sem resposta”.
Ative essa configuração.
Se você não quiser sinalizar respostas com base nessa métrica, poderá desativar essa configuração usando as mesmas etapas. Ao ativar essa análise, ela se aplica apenas à pesquisa em que você está no momento, e não a todas pesquisas da sua conta; assim, você pode personalizar a análise da qualidade das respostas conforme necessário.
Identificação das perguntas que os entrevistados não responderam
Você pode obter informações mais específicas sobre quais perguntas foram ignoradas e qual porcentagem das perguntas do pesquisa ficou sem resposta, independentemente de a resposta ter sido sinalizada. Para visualizar seus dados diretamente no Qualtrics:
- Q_UnansweredPercentage: A porcentagem de perguntas na pesquisa para as quais o respondente não forneceu resposta. Somente as perguntas que eles viram são contadas para esse valor. Isso é apresentado como uma proporção. Por exemplo, 100% é 1, e 66,7% é 0,667.
- Q_UnansweredQuestions (Perguntas não respondidas): As perguntas específicas que não foram respondidas. Isso é fornecido como um QID interno, não como o número da pergunta editável. Qdica: para localizar QIDs, clique no menu suspenso Ferramentas no editor pesquisa e selecione Mostrar IDs internos.
Qdica: mesmo sem seguir as instruções acima, Q_UnansweredQuestions e Q_UnansweredPercentage serão incluídos em suas exportações de dados. Você também pode usar esses campos para filtro seus dados.
Resposta direta
Atenção: No momento, esse característica não está disponível para todos os clientes.
Straightlining é a prática de fornecer as mesmas respostas em uma tabela matriz para passar rapidamente pelas perguntas. Por exemplo, um respondente pode sempre escolher a primeira resposta para cada afirmação, independentemente de sua opinião.
Os entrevistados podem responder de forma mecânica por estarem cansados, especialmente se não forem pessoas que respondem rapidamente nem robôs, e se suas respostas no início da pesquisa tiverem sido normais.
Sinalização de Respostas que contenham straightlining
Embora ExpertReview não sinalize esses tipos de respostas por padrão, você pode ativar essa opção com as etapas a seguir:
Verifique se você está na seção Dados da guia Dados e Análise.
Clique em Response Quality (Qualidade da resposta).
Role a página até a seção “Straightlining”.
Enable the setting.
Se você não quiser sinalizar respostas com base nessa métrica, poderá desativar essa configuração usando as mesmas etapas. Ao ativar essa análise, ela se aplica apenas à pesquisa em que você está no momento, e não a todas pesquisas da sua conta; assim, você pode personalizar a análise da qualidade das respostas conforme necessário.
Identificação de perguntas em que os entrevistados se manifestaram diretamente
Para ser marcado como straightlining, um respondente deve ter ambos:
- Diretamente em pelo menos 3 tabelas matriz likert (não declarações, mas as perguntas inteiras)
- Alinhou 80% das tabelas matriz da pesquisa
No entanto, você pode avaliar o número de matrizes marcadas com uma linha reta e quais questões foram marcadas dessa forma, caso queira fazer uma análise mais aprofundada. Para examinar seus dados diretamente no Qualtrics:
- Q_StraightliningCount: O número de perguntas matriz que o respondente respondeu corretamente.
- Q_StraightliningPercentage: A porcentagem de tabelas matriz na pesquisa que o respondente alinhou. Isso é apresentado como uma proporção. Por exemplo, 100% é 1, e 66,7% é 0,667.
- Q_StraightliningQuestions: As perguntas específicas que foram alinhadas. Isso é fornecido como um QID interno, não como o número da pergunta editável. Qdica: para localizar QIDs, numere automaticamente suas perguntas com a Numeração de ID interna. Você sempre pode alterar a numeração novamente mais tarde ou optar por não publicar essas alterações.
Qdica: mesmo sem seguir as instruções acima, Q_StraightliningCount, Q_Straightlining_Percentage e Q_StraightliningQuestions serão incluídos em suas exportações de dados. Você também pode usar esses campos para filtro seus dados.
Isso é ótimo! Obrigado pelo seu feedback!
Obrigado pelo seu feedback!