La Matriz de confusión y el equilibrio entre precisión y recuperación

La matriz de confusión y el gráfico de precisión-recuperación le ayudan a evaluar la precisión de su modelo.

Matriz de confusión

Digamos que estás pensando en regalar un terrón de azúcar extra a los clientes que probablemente regresen. Pero, por supuesto, usted quiere evitar regalar terrones de azúcar innecesariamente, por lo que sólo se los da a clientes que, según el modelo, tienen al menos un 30 % de probabilidades de regresar.

Si pasaran por tu casa nuevos clientes…

…podría utilizar nuestro modelo de regresión para predecir la probabilidad de que regresen…

…y decide clasificar a los clientes con al menos un 30% de probabilidad como “Volverán” y darles terrones de azúcar:

Sin embargo, para comprender mejor la precisión de nuestro modelo, puede aplicar a los puntos de datos que ya tiene, donde ya sabe si ese cliente finalmente regresó…

…y evaluar la precisión de los datos…

…y luego lo desglosamos en las siguientes categorías:

• Verdadero Positivo:Clasificado por el modelo como “Regresará” y de hecho “Regresó” en realidad.
• Falso positivo:Clasificado por el modelo como “Regresará” pero en realidad “No regresó”.
• Verdadero negativo:Clasificado por el modelo como “No volverá” y en realidad “No volvió”.
• Falso negativo:Clasificado por el modelo como “No volverá” pero en realidad “Devolvió”.

Por último, podríamos resumir todo este trabajo en precisión y recuperación.

Precisión:

• De aquellos clasificados como “regresarán”, ¿qué proporción lo hizo realmente?
• Verdadero positivo / (Verdadero positivo + Falso positivo)

Recordar:

• Recordemos: De aquellos que efectivamente “regresaron”, ¿qué proporción fueron clasificados de esa manera?
• Verdadero positivo / (Verdadero positivo + Falso negativo)

Los mejores modelos tienen valores más altos de precisión y recuperación.

• Se puede imaginar un modelo con un 94% de precisión (casi todos los identificados como “Regresarán” lo hacen de hecho) y un 97% de recuperación (casi todos los que “Regresaron” fueron identificados como tales).
• Un modelo más débil puede tener una precisión del 95% pero una recuperación del 50% (cuando identifica a alguien como “Regresará”, es en gran medida correcto, pero etiqueta erróneamente como “No regresará” a la mitad de los que de hecho “Regresarán” más tarde).
• O tal vez el modelo tiene un 60% de precisión y un 60% de recuperación.

Estos números deberían darle una buena idea de qué tan preciso es su modelo, incluso si en realidad nunca desea hacer ninguna predicción.

Precisión vs. Curva de recuperación

Dentro de cualquier modelo, también puedes decidir enfatizar la precisión o la recuperación. Tal vez te falten terrones de azúcar y solo quieras dárselos a personas que estás muy seguro de que volverán, por lo que decides dárselos solo a clientes que tengan un 60 % de probabilidades de volver (en lugar del 30 %).

Nuestra precisión aumentará porque sólo entregarás terrones de azúcar cuando estés realmente seguro de que alguien “regresará”. Nuestro retiro se reducirá porque habrá mucha gente que finalmente “regresará” y a la que no confiaste lo suficiente como para darle un terrón de azúcar.

Precisión: 62% —> 80%
Recordatorio: 60% —> 30%

O, si te sientes rico en terrones de azúcar, podrías dárselos a cualquier persona que tenga al menos un 10% de posibilidades de volver.

Precisión: 62% —> 40%
Recordatorio: 60% —> 90%

Puedes rastrear este equilibrio entre precisión y recuperación con este gráfico:

---

×

close

Puede ser útil elegir un punto en el gráfico que represente una buena combinación de precisión y recuperación, y luego tener una idea de qué tan preciso es el modelo en ese punto.