White paper de análise MaxDiff

O que é a análise MaxDiff?

Definição

A análise MaxDiff é uma técnica de pesquisa de mercado para medir a preferência e a importância que os entrevistados colocam em uma lista de itens. Ele pode desempenhar um papel fundamental na compreensão dos trade-offs que as pessoas fariam e, em última análise, fornece uma classificação da lista. Ele pode ser usado em listas de recursos/funcionalidades de um produto, mensagens, reclamações, atributos, características e muito mais. Às vezes é referido como o melhor pior escalamento ou escala de diferença máxima, e foi desenvolvido por J.J. Louviere (em inglês).

Como isso é conduzido?

A análise de MaxDiff é realizada mostrando os subconjuntos de itens dos participantes de uma lista e fazendo com que o respondente identifique as melhores e piores ou a maioria ou menos opções preferidas da referida lista. O motivo pelo qual assumimos essa abordagem é que pode ser desafiador para um entrevistado classificar a ordem de 7 ou mais itens em uma experiência de pesquisa. Então, o que MaxDiff aproveita é nossa capacidade de identificar as polares (as melhores e as piores) de uma lista e simplifica a tarefa em um número mais digerível de itens de cada vez.

Um respondente normalmente veria em torno de 5 a 15 perguntas, em que 3 a 5 itens são mostrados, e eles são solicitados a indicar o melhor e o pior da lista. Isso gera dados muito precisos, uma vez que é uma tarefa mais compreensível para os participantes da pesquisa do que a apresentação de toda a lista.

As etapas para executar uma análise MaxDiff são:

1. Determine os atributos a serem testados na análise MaxDiff.
2. Gere o desenho experimental.
3. Programe a pesquisa que hospeda as tarefas MaxDiff.
4. Coletar respostas.
5. Analise os resultados de MaxDiff.
6. Notifique os resultados.

Cada uma delas baseia-se na ação anterior ao trabalhar em direção ao objetivo final de compreender as preferências dos entrevistados.

A Qualtrics desenvolveu uma solução MaxDiff XM que permite aos pesquisadores executar os entrevistados de maneira rápida e simples por meio de exercícios de trade-off como parte de um objetivo maior de pesquisa.

Para quais objetivos de negócios a análise MaxDiff fornece respostas?

Existem objetivos empresariais importantes que MaxDiff pode cumprir. Isso inclui:

• Como os entrevistados priorizam recursos ou funcionalidades do pacote?
• Qual é o foco dos entrevistados ao tomar a decisão de compra?
• Como várias mensagens e reclamações de produtos repercutem com um público-alvo?
• Quando solicitado a escolher de uma lista finita, como o mercado percebe e valoriza diferentes produtos ou serviços?
• Como diferentes marcas se comparam entre si e como os entrevistados classificam as mesmas?
• Que concessões os respondentes farão ao se depararem com diferentes combinações de recursos?

Como você pode ver, a análise MaxDiff pode fornecer dados para perguntas de negócios essenciais e dinâmicas. Há também muitas consultas não relacionadas a produtos que MaxDiff pode responder.

MaxDiff pode ser um método de pesquisa muito eficaz para muitos casos de uso, devido à sua flexibilidade e facilidade de saída. Deve ser o instrumento de escolha sempre que os pesquisadores precisarem de insights sobre a classificação e ordenação de uma lista.

Atributos MaxDiff

Com a análise MaxDiff, procuramos uma lista de atributos que atuam como ofertas em si mesmas, em vez de como atributos a serem agrupados. Assim, os itens devem ser mutuamente exclusivos e isolados. Os itens podem ser recursos/funcionalidades de um produto, mensagens ou reclamações sobre um produto, benefícios oferecidos a usuários ou funcionários e muitos outros casos de uso.

Para uma análise MaxDiff, você geralmente quer listar de 8 a 25 itens. Quanto mais itens você incluir, mais perguntas você precisará fazer, então tente ter em mente a fadiga dos entrevistados ao projetar sua pesquisa.

Desenho experimental

Desenho experimental e análise MaxDiff

O desenho experimental de MaxDiff determina quais itens serão mostrados nas perguntas apresentadas aos entrevistados. O projeto garante uma representação adequada para o resultado final de garantir resultados precisos e confiáveis. Se for criada corretamente, a pesquisa coletará os dados necessários para classificar os itens.

A regra geral é que queremos que cada respondente veja cada item três vezes. O subproduto dessa regra é que mais itens MaxDiff resultarão em mais perguntas. Além dessa regra, há também outras condições que a Qualtrics respeita como parte da geração do desenho experimental, incluindo: Randomização, Saldo do Item, Equilíbrio Pareado e Item Rede.

• Randomização: a pergunta e a posição dentro de uma pergunta em que um item MaxDiff aparece é atribuída aleatoriamente.
• Saldo do item: o número de vezes que cada item é mostrado dentro do conjunto de perguntas de um respondente (também conhecido como “versão”) é balanceado e é mostrado relativamente ao mesmo número de vezes. O número de vezes que cada item é exibido também é saldado em todas as versões.
• Equilíbrio pareado: o número de vezes que cada item é mostrado com todos os outros itens é relativamente equilibrado em todos os entrevistados.
• Item Networking: também conhecido como conectividade. Esta regra garante que, se os itens fossem divididos em dois grupos iguais, nunca haveria um item dentro de um grupo que nunca seja exibido com qualquer um dos itens no outro grupo.

Pesquisa e tamanho da amostra

Programação de pesquisa

A análise MaxDiff é suportada pelas respostas da pesquisa. Quando um estudo MaxDiff é realizado, geralmente é o foco da pesquisa, mas não precisa ser a totalidade dele. Independentemente disso, é fundamental que o exercício MaxDiff dentro da pesquisa seja conciso e bem estruturado.

As pesquisas MaxDiff geralmente incluem perguntas de triagem para garantir que o tipo certo de entrevistados preencha a pesquisa, a introdução, os recursos educacionais e as perguntas demográficas. Não há regras rígidas sobre quantas outras perguntas podem ser adicionadas a um estudo MaxDiff ou onde o MaxDiff deve cair no fluxo da pesquisa. Ressalta-se que qualquer pergunta feita aos respondentes fora do exercício de MaxDiff leva tempo e foco que poderia, de outra forma, ser dado ao exercício de MaxDiff.

A duração da pesquisa deve ser considerada, pois o estudo está sendo desenhado e construído. Quando um entrevistado é fatigado pela pesquisa, ele é menos propenso a dar respostas cuidadosas, reduzindo assim a qualidade dos seus dados. Pesquisas que levam mais de 10 a 15 minutos são mais suscetíveis a problemas de fadiga e qualidade de dados.

Os dados levantados a partir de um estudo MaxDiff são apenas relativos e precisos se o respondente compreender plenamente a premissa do estudo.  Muitos estudos testam conceitos que são conhecidos e relacionáveis com o público em geral. No entanto, se não for esse o caso, o tempo deve ser dedicado antes do exercício MaxDiff para educar adequadamente o entrevistado por meio de descrições e/ou vídeos.  Quanto mais claro e imaginável for um produto para o pesquisador, mais verdadeiras serão as pontuações de utilidade resultantes.

Além do texto e das descrições serem simples e diretas, o layout de cada questão também deve prestar à compreensão e à clareza. Isso permite que o respondente faça comparações e respostas de forma definitiva.

Tamanho da amostra

Crítico para o sucesso e precisão dos resultados MaxDiff é o número de respostas a serem coletadas, bem como a relevância do assunto para os indivíduos que fazem a pesquisa. Uma regra geral é coletar um tamanho mínimo da amostra total de 300.  Com isso em mente, também é importante fatorar em segmentos de interesse para o número de respostas coletadas. Recomendamos que cada segmento tenha um n > 150.

É importante que os indivíduos que tomam o exercício MaxDiff reflitam aqueles que, em última análise, seriam o comprador ou o mercado-alvo. Frequentemente, os pesquisadores adicionarão perguntas demográficas no início da pesquisa para garantir que populações irrelevantes sejam triadas (por exemplo, aquelas fora da faixa etária ou região em que o produto estará disponível). Como alternativa, as empresas geralmente terão listas de clientes atuais ou potenciais para os quais podem implementar a pesquisa.

Modelagem da análise MaxDiff

Visão geral

Ao analisar a resposta MaxDiff, as seleções dos respondentes são traduzidas em preferências. O resultado da análise será uma lista de ordem de classificação das preferências para os diferentes itens testados.

No núcleo da análise está a modelagem estatística que estima a utilidade que os respondentes atribuem a cada item. A análise de MaxDiff tem uma reputação intimidadora como “complexa” por causa de sua modelagem estatística, mas também é isso que fez MaxDiff uma técnica de pesquisa de classe mundial. Existem várias abordagens estatísticas usadas para calcular essas preferências de utilidade, incluindo regressão e modelagem de regressão logística multinomial, que normalmente são conduzidas no nível agregado.

Independentemente da maneira como as seleções de pesquisa são modeladas, a saída são coeficientes de utilidade que representam o valor ou a preferência que a base do respondente tem para o item distinto MaxDiff. Para desenhos e métodos de análise que permitem cálculos de nível individual de escores de utilidade, podemos derivar modelos de preferência para cada um dos respondentes. Isso pode ser vantajoso por uma série de razões, incluindo a segmentação de vários cortes de dados, análise de classes latentes e simulações de alcance. A abordagem primária para produzir modelos de utilidade baseados no indivíduo é a estimação hierárquica de Bayes. Esta é uma técnica que usa métodos bayesianos para derivar probabilisticamente o valor relativo de cada variável sendo testada.

Estimativa hierárquica de Bayes

A estimativa hierárquica de Bayes (HB) é um processo iterativo. Ele engloba um modelo de nível inferior que estima as utilidades relativas do indivíduo para os atributos testados, bem como um modelo de nível superior que prevê a preferência da população. Esses dois trabalham em conjunto até a análise de convergências sobre os coeficientes que representam o valor de cada atributo para cada indivíduo.

De certa forma, a estimativa de HB permite tomar emprestado informações de outras respostas para obter resultados ainda melhores e mais estáveis no nível individual. É muito robusto e nos permite obter ótimos insights sobre as preferências dos entrevistados, mesmo apresentando menos tarefas ao entrevistado.

A técnica é considerada “hierárquica” por causa dos modelos de nível superior e inferior.  Esta abordagem estima as preferências médias (nível mais alto) e então mede quão diferente cada respondente é dessa distribuição para derivar suas utilidades específicas (nível inferior).  O processo repete várias iterações para nos ajudar a aprimorar a probabilidade de um conceito específico ser selecionado com base em sua utilidade (portanto, um modelo de regressão logística multinomial).

O projeto Análise Qualtrics MaxDiff usa a estimativa Hierárquica Bayes escrita no STAN para calcular utilitários de preferência individuais.

Coeficientes de utilitário de nível individual

Os resultados do modelo bayesiano são escores de preferência que representam a utilidade que os indivíduos percebem com cada variável. Essas pontuações são frequentemente chamadas de utilidades partworth, e são a base de todas as métricas resumidas produzidas a partir do estudo MaxDiff.

O arquivo de utilidade teria uma linha para cada respondente incluída na análise MaxDiff, e uma coluna para cada nível único testado dentro do estudo. Ao modelar as preferências de cada respondente, os serviços públicos nos ajudam a prever quais seleções os entrevistados fariam quando diante de diferentes escalações.

As utilidades são ordinais na natureza e nos dizem a ordem de classificação da lista de variáveis.

Métricas de resumo MaxDiff

Métricas de resumo MaxDiff

Após a análise determinar os coeficientes de utilidade, resultados e resultados podem ser preparados para mostrar os resultados do estudo. Os utilitários são os módulos de todas as métricas de resumo.

As principais métricas de resumo que normalmente acompanham a análise MaxDiff são detalhadas abaixo:

• Compartilhamento de preferência: a cota de preferência é a medida da probabilidade de um item ser escolhido em relação a outro se um respondente for solicitado a selecionar o melhor de todas as opções. É um produto das utilidades calculado usando um modelo de regressão logística multinomial, e é derivado exponenciando a utilidade do item e dividindo isso pela soma de todas as utilidades dos itens exponenciados.
• Utilidade média: a pontuação média de utilidade de cada item em todos os entrevistados. Estes são ordinais na natureza e mostrarão a preferência relativa entre os itens. Os utilitários médios podem dar algum entendimento direcional, mas não devem ser uma métrica independente para resumir a análise MaxDiff.
• Análise de Contagens: A análise de contagem é uma métrica que simplesmente nos informa a porcentagem de tempo que cada item foi mais/menos selecionado quando foi mostrado.

MaxDiff ancorado

O que é MaxDiff ancorado?

MaxDiff ancorado é uma metodologia suplementar onde uma pergunta de acompanhamento é feita após cada tarefa MaxDiff. Ele tem algumas semelhanças com a análise conjunta de dupla escolha, tanto na forma como a pergunta é feita quanto como ela é modelada.

A abordagem inclui fazer uma pergunta imediatamente após cada tarefa MaxDiff. Depois de apresentada a lista de itens, o respondente é questionado se:

1. Todos os itens que veem acima são importantes/preferenciais.
2. Alguns dos itens que veem acima são importantes/preferenciais e alguns não importantes/preferenciais.
3. Todos os itens que veem acima não são importantes/preferidos.

Esses dados são considerados no modelo estatístico. Ele fornece uma compreensão do ponto de âncora para o qual a saída de utilitário está acima e abaixo de uma linha em que os itens são realmente considerados importantes ou preferenciais.

Interpretando Maxdiff ancorado

Com maxdiff ancorado, o gráfico de compartilhamento de preferência exibirá recursos importantes azuis e não importantes recursos vermelhos. Se todos os recursos forem azuis, o modelo avaliou todos os recursos para estar acima do ponto de âncora. A legenda na parte inferior do gráfico indica a cor e a importância dos recursos incluídos.

Perguntas frequentes