-
Qualtrics Platform -
Customer Journey Optimizer -
XM Discover -
Qualtrics Social Connect
La matriz de confusión y la compensación precisión-retirada
La matriz de confusión y el gráfico de retirada de precisión le ayudan a evaluar la precisión de su modelo.
Matriz de confusión
Supongamos que está pensando en darle un cubo de azúcar extra a los clientes que es probable que vuelvan. Pero por supuesto que desea evitar regalar cubos de azúcar innecesariamente, por lo que solo les da a los clientes que el modelo dice que es probable que al menos un 30% regrese.
Si tuviera clientes nuevos, camina por aquí…
| ID de cliente | Edad | Género |
|---|---|---|
| … | … | … |
| 324 | 54 | Femenino |
| 325 | 23 | Femenino |
| 326 | 62 | Masculino |
| 327 | 15 | Femenino |
| … | … | … |
…podría utilizar nuestro modelo de regresión para predecir la probabilidad de que devuelvan…
| ID de cliente | Edad | Género | Probabilidad de retorno estimada por modelo |
|---|---|---|---|
| … | … | … | … |
| 324 | 54 | Femenino | 34% |
| 325 | 23 | Femenino | 24% |
| 326 | 62 | Masculino | 65% |
| 327 | 15 | Femenino | 7% |
| … | … | … | … |
…y decida clasificar a los clientes con al menos un 30% de probabilidad como “Devolverá” y darles cubos de azúcar:
| ID de cliente | Edad | Género | Probabilidad de retorno estimada por modelo | Predicción de modelo (30% de corte) |
|---|---|---|---|---|
| … | … | … | … | … |
| 324 | 54 | Femenino | 34% | Volverá |
| 325 | 23 | Femenino | 24% | No desea |
| 326 | 62 | Masculino | 65% | Volverá |
| 327 | 15 | Femenino | 7% | No desea |
| … | … | … | … | … |
Para comprender mejor la precisión de nuestro modelo, sin embargo, puede aplicar el modelo a los puntos de datos que ya tiene, donde ya sabe si ese cliente finalmente regresó…
| ID de cliente | Edad | Género | Probabilidad de retorno estimada por modelo | Predicción de modelo (30% de corte) |
Devuelto |
|---|---|---|---|---|---|
| 1 | 21 | Masculino | 44% | Volverá | Devuelto |
| 2 | 34 | Femenino | 4% | No desea | Devuelto |
| 3 | 13 | Femenino | 65% | Volverá | No lo hice |
| 4 | 25 | Femenino | 27% | No desea | No lo hice |
| … | … | … | … | … | … |
…y evalúe la precisión de los datos…
| ID de cliente | Edad | Género | Probabilidad de retorno estimada por modelo | Predicción de modelo (30% de corte) |
Devuelto | Precisión de predicción |
|---|---|---|---|---|---|---|
| 1 | 21 | Masculino | 44% | Volverá | Devuelto | Correcto |
| 2 | 34 | Femenino | 4% | No desea | Devuelto | Incorrecto |
| 3 | 13 | Femenino | 65% | Volverá | No lo hice | Incorrecto |
| 4 | 25 | Femenino | 27% | No desea | No lo hice | Correcto |
| … | … | … | … | … | … | … |
…y, a continuación, divídalo en las siguientes categorías:
- Verdadero positivo: Clasificado por el modelo como “Volverá” y de hecho había “Regresado” en realidad.
- Falso Positivo: Clasificado por el modelo como “Volverá” pero en realidad “No regresó” en realidad.
- Verdadero Negativo: Clasificado por el modelo como “Won’t return” y de hecho “Didn’t return” en realidad.
- Falso Negativo: Clasificado por el modelo como “Won’t return” pero en realidad había “Regresado” en realidad.
| ID de cliente | Edad | Género | Probabilidad de retorno estimada por modelo | Predicción de modelo (30% de corte) |
Devuelto | Precisión de predicción | Tipo de precisión |
|---|---|---|---|---|---|---|---|
| 1 | 21 | Masculino | .44 | Volverá | Devuelto | Correcto | Positivo verdadero |
| 2 | 34 | Femenino | 0,04 | No desea | Devuelto | Incorrecto | Falso negativo |
| 3 | 13 | Femenino | 65 | Volverá | No lo hice | Incorrecto | Falso positivo |
| 4 | 25 | Femenino | .27 | No desea | No lo hice | Correcto | Negativo verdadero |
| … | … | … | … | … | … | … | … |
Por último, puede resumir todo este trabajo en precisión y recuperación.
Precisión:
- De los clasificados como “Volverá”, ¿qué proporción hizo realmente?
- Positivo verdadero / (positivo verdadero + falso positivo)
Recuperación:
- Retiro: De esos que de hecho “Regresó”, ¿qué proporción se clasificó de esa manera?
- Positivo verdadero / (positivo verdadero + falso negativo)
Los mejores modelos tienen valores más altos para precisión y retirada.
- Se puede imaginar un modelo con 94% de precisión (casi todos identificados como “Volverá” de hecho) y el 97% recuerda (casi todos los que “Regresaron” fueron identificados como tales).
- Un modelo más débil puede tener una precisión del 95% pero el 50% recuerda (cuando identifica a alguien como “Volverá”, es en gran medida correcto, pero mal etiqueta como “No volverás” a la mitad de los que de hecho hicieron “Regresar”).
- O quizás el modelo tiene un 60% de precisión y un 60% de retirada.
Estos números deberían darle una buena idea de la precisión de su modelo, incluso si en realidad nunca desea realizar predicciones.
Precisión frente a Curva de revocación
Dentro de cualquier modelo, también puede decidir enfatizar la precisión o la retirada. Tal vez sea muy corto en los cubos de azúcar y solo quiera entregárselos a las personas que esté muy seguro de que regresarán, por lo que decide darles solo a clientes que tienen un 60% de probabilidades de regresar (en lugar del 30%).
Nuestra precisión subirá porque solo repartirá los cubos de azúcar cuando esté seguro de que alguien “volverá”. Nuestro recuerdo bajará porque habrá muchas personas que, en última instancia, “devuelven” a quienes usted no tenía la confianza suficiente como para darle un cubo de azúcar.
Precisión: 62% —> 80%
Recall: 60% —> 30%
O, si te sientes rico en cubos de azúcar, podrías dárselos a cualquier persona con al menos un 10% de posibilidades de volver.
Precisión: 62% —> 40%
Recuperación: 60% —> 90%
Puede rastrear este compromiso entre precisión y retirada con este gráfico:
Puede ser útil seleccionar un punto en el gráfico que represente una buena mezcla de precisión y retirada, y luego tener una idea de cuán preciso es el modelo en ese punto.