Le compromis Matrice de confusion et rappel de précision

Matrice de confusion

Imaginons que vous envisagiez de donner un cube de sucre supplémentaire aux clients susceptibles de revenir. Mais vous voulez bien sûr éviter de donner inutilement des cubes de sucre, vous ne les donnez donc qu’aux clients que le modèle dit avoir au moins 30% de chances de retour.

Si vous aviez de nouveaux clients avant…

…vous pourriez utiliser notre modèle de régression pour prédire leur probabilité de retour…

…et décider de classer les clients avec au moins 30 % de probabilité comme « Restitution » et leur donner des cubes de sucre :

Pour mieux comprendre la précision de notre modèle, cependant, vous pouvez appliquer le modèle aux points de données que vous avez déjà, où vous savez déjà si ce client a finalement renvoyé…

… et évaluer l’exactitude des données…

… puis subdivisez-le dans les catégories suivantes :

• Vrai positif : classé par le modèle comme “Will return” et avait en fait “Returned” dans la réalité.
• Faux positif : classé par le modèle comme “Renouvellera” mais en fait “N’est pas retourné” dans la réalité.
• Vrai négatif : classé par le modèle comme “Ne reviendra pas” et en fait “N’est pas revenu” dans la réalité.
• Faux Négatif : Classé par le modèle comme “Won’t return” mais avait en réalité “Returned” dans la réalité.

Enfin, vous pouvez résumer tout ce travail en termes de précision et de rappel.

Précision :

• Parmi ceux classés comme “Renouvelleront-ils”, quelle proportion a réellement fait ?
• Vrai positif / (Vrai positif + Faux positif)

Rappel :

• Rappel : De ceux qui en fait “restitués”, quelle proportion ont été classifiés ainsi ?
• Vrai positif / (Vrai positif + Faux négatif)

De meilleurs modèles ont des valeurs plus élevées pour la précision et le rappel.

• Vous pouvez imaginer un modèle avec 94% de précision (presque tous identifiés comme “Will return” le font en fait) et 97% rappel (presque tous ceux qui “Retourné” ont été identifiés comme tels).
• Un modèle plus faible peut avoir une précision de 95 % mais 50 % de rappel (lorsqu’il identifie quelqu’un comme « Renouvellera », il est en grande partie correct, mais il est mal étiqueté comme « Ne retourne pas » la moitié de ceux qui ont fait en fait plus tard « Retour »).
• Ou peut-être que le modèle a une précision de 60 % et un rappel de 60 %.

Ces chiffres doivent vous donner un bon sens de la précision de votre modèle, même si vous ne voulez jamais faire de prédictions.

Précision vs. Courbe de rappel

Dans n’importe quel modèle, vous pouvez également décider de mettre l’accent sur la précision ou le rappel. Vous êtes peut-être très court sur les cubes à sucre et ne voulez les donner qu’à des personnes dont vous êtes très confiant reviendra, vous décidez donc de ne les donner qu’à des clients qui sont 60 % susceptibles de revenir (au lieu de 30 %).

Notre précision va monter car vous ne remettrez des cubes de sucre que lorsque vous aurez vraiment confiance en quelqu’un « reviendra ». Notre rappel va s’enfoncer car il y aura beaucoup de gens qui finiront par “Retour” à qui vous n’étiez pas assez confiant pour donner un cube de sucre.

Précision:   62 %   —>   80 %
Rappel :        60 %   —>   30 %

Ou, si vous vous sentez riche en cubes à sucre, vous pouvez les donner à toute personne ayant au moins 10 % de chances d’être rapatriée.

Précision:   62 %   —>   40 %
Rappel :        60 %   —>   90 %

Vous pouvez tracer ce compromis entre précision et rappel avec ce graphique :

Il peut être utile de choisir un point sur le graphique qui représente un bon mélange de précision et de rappel, puis d’avoir une idée de la précision du modèle à ce stade.

FAQ