-
Customer Experience -
Employee Experience -
Brand Experience -
Core XM -
Design XM
A matriz de confusão e a negociação de chamada de retorno de precisão
A matriz de confusão e o gráfico de recolha de precisões ajudam você a avaliar a precisão do seu modelo.
Matriz de confusão
Digamos que você esteja pensando em dar um cubo de açúcar extra para clientes propensos a retornar. Mas é claro que você quer evitar dar cubos de açúcar desnecessariamente, então você só lhes dá aos clientes que o modelo diz ter pelo menos 30% de probabilidade de retornar.
Se você teve novos clientes andando…
| ID do cliente | Idade | Sexo |
|---|---|---|
| … | … | … |
| 324 | 54 | Feminino |
| 325 | 23 | Feminino |
| 326 | 62 | Masculino |
| 327 | 15 | Feminino |
| … | … | … |
…você poderia usar nosso modelo de regressão para prever a probabilidade de retorno…
| ID do cliente | Idade | Sexo | Probabilidade de retorno estimada por modelo |
|---|---|---|---|
| … | … | … | … |
| 324 | 54 | Feminino | 34% |
| 325 | 23 | Feminino | 24% |
| 326 | 62 | Masculino | 65% |
| 327 | 15 | Feminino | 7% |
| … | … | … | … |
…e decidir classificar clientes com pelo menos 30% de probabilidade como “Vai retornar” e dar-lhes cubos de açúcar:
| ID do cliente | Idade | Sexo | Probabilidade de retorno estimada por modelo | Previsão do modelo (30% limite) |
|---|---|---|---|---|
| … | … | … | … | … |
| 324 | 54 | Feminino | 34% | Vai retornar |
| 325 | 23 | Feminino | 24% | Não vai |
| 326 | 62 | Masculino | 65% | Vai retornar |
| 327 | 15 | Feminino | 7% | Não vai |
| … | … | … | … | … |
No entanto, para entender melhor a precisão do nosso modelo, você pode aplicar o modelo aos pontos de dados que já tem, onde você já sabe se esse cliente retornou…
| ID do cliente | Idade | Sexo | Probabilidade de retorno estimada por modelo | Previsão do modelo (30% limite) |
Devolvido |
|---|---|---|---|---|---|
| 1 | 21 | Masculino | 44% | Vai retornar | Devolvido |
| 2 | 34 | Feminino | 4% | Não vai | Devolvido |
| 3 | 13 | Feminino | 65% | Vai retornar | Não fiz |
| 4 | 25 | Feminino | 27% | Não vai | Não fiz |
| … | … | … | … | … | … |
…e avaliar a precisão dos dados…
| ID do cliente | Idade | Sexo | Probabilidade de retorno estimada por modelo | Previsão do modelo (30% limite) |
Devolvido | Precisão da previsão |
|---|---|---|---|---|---|---|
| 1 | 21 | Masculino | 44% | Vai retornar | Devolvido | Correto |
| 2 | 34 | Feminino | 4% | Não vai | Devolvido | Incorreto |
| 3 | 13 | Feminino | 65% | Vai retornar | Não fiz | Incorreto |
| 4 | 25 | Feminino | 27% | Não vai | Não fiz | Correto |
| … | … | … | … | … | … | … |
…e depois divida isso nas seguintes categorias:
- Verdadeiro Positivo: Classificado pelo modelo como “Vai retornar” e tinha de fato “Retornado” na realidade.
- Falso Positivo: Classificado pelo modelo como “Vai retornar”, mas na verdade “Não retornou” na realidade.
- Verdadeiro negativo: classificado pelo modelo como “Não retornará” e, de fato, “Não retornou” na realidade.
- Falso negativo: classificado pelo modelo como “Não retornaria”, mas tinha realmente “Retornado” na realidade.
| ID do cliente | Idade | Sexo | Probabilidade de retorno estimada por modelo | Previsão do modelo (30% limite) |
Devolvido | Precisão da previsão | Tipo de precisão |
|---|---|---|---|---|---|---|---|
| 1 | 21 | Masculino | .44 | Vai retornar | Devolvido | Correto | Verdadeiro positivo |
| 2 | 34 | Feminino | .04 | Não vai | Devolvido | Incorreto | Falso negativo |
| 3 | 13 | Feminino | .65 | Vai retornar | Não fiz | Incorreto | Falso positivo |
| 4 | 25 | Feminino | 0,27 | Não vai | Não fiz | Correto | Verdadeiro negativo |
| … | … | … | … | … | … | … | … |
Por fim, você poderia resumir todo esse trabalho em precisão e revogação.
Precisão:
- Dos classificados como “Vai retornar”, que proporção realmente fez?
- Verdadeiro positivo / (Verdadeiro positivo + Falso positivo)
Revogação:
- Recolhimento: Dos que de fato “Retornaram”, que proporção foi classificada dessa forma?
- Verdadeiro positivo / (Verdadeiro positivo + Falso negativo)
Melhores modelos têm valores mais altos para precisão e revocação.
- Você pode imaginar um modelo com 94% de precisão (quase todos identificados como “Vai retornar” de fato) e 97% de recall (quase todos os que “Devolveram” foram identificados como tal).
- Um modelo mais fraco pode ter 95% de precisão, mas 50% de revocação (quando identifica alguém como “Vai retornar”, em grande parte correto, mas rotula-se erroneamente como “Não retornará” metade daqueles que de fato fizeram mais tarde “Retorno”).
- Ou talvez o modelo tenha 60% de precisão e 60% de revocação.
Esses números devem dar a você uma boa noção da precisão do seu modelo, mesmo que você nunca queira fazer previsões.
Precisão vs. Curva de recall
Dentro de qualquer modelo, você também pode decidir enfatizar a precisão ou a revogação. Talvez você tenha muito pouco uso de cubos de açúcar e só queira entregá-los às pessoas que você está muito confiante para retornar, então você decide entregá-los apenas a clientes com 60% de probabilidade de retornar (em vez de 30%).
Nossa precisão vai subir porque você só vai entregar cubos de açúcar quando estiver realmente confiante alguém “Vai voltar”. Nossa lembrança vai diminuir porque haverá muita gente que, em última análise, “Retornar” para quem você não estava confiante o suficiente para dar um cubo de açúcar.
Precisão: 62% —> 80%
Recall: 60% —> 30%
Ou, se você estiver se sentindo rico em cubos de açúcar, poderá entregá-los a qualquer pessoa com pelo menos 10% de chance de ser um retornador.
Precisão: 62% —> 40%
Recall: 60% —> 90%
Você pode rastrear esta escolha entre precisão e revogação com este gráfico:
Pode ser útil escolher um ponto no gráfico que representa uma mistura agradável de precisão e revocação e, em seguida, ter uma noção da precisão do modelo nesse ponto.