Matrice di confusione e compromesso tra precisione e richiamo

La matrice di confusione e il grafico precisione-richiamo aiutano a valutare l’accuratezza del modello.

Matrice di confusione

Supponiamo che stiate pensando di dare una zolletta di zucchero in più ai clienti che probabilmente torneranno. Ma naturalmente si vuole evitare di distribuire zollette di zucchero inutilmente, quindi si danno solo ai clienti che secondo il modello hanno almeno il 30% di probabilità di tornare.

Se passassero dei nuovi clienti..

… si potrebbe usare il nostro modello di regressione per prevedere la probabilità che ritornino..

… e decidono di classificare i clienti con almeno il 30% di probabilità come “Torneranno” e di dare loro delle zollette di zucchero:

Per capire meglio quanto sia accurato il nostro modello, però, è possibile applicarlo ai dati già in possesso, dove si sa già se quel cliente è tornato..

… e valutare l’accuratezza dei dati..

… e poi ulteriormente suddivisi nelle seguenti categorie:

• Vero positivo: Classificato dal modello come “Tornerà” e in realtà “Tornato”.
• Falso positivo: Classificato dal modello come “Tornerà” ma in realtà “Non è tornato”.
• Vero negativo: Classificato dal modello come “Non tornerà” e in realtà “Non è tornato”.
• Falso negativo: Classificato dal modello come “Non tornerà”, ma in realtà è “Tornato”.

Infine, si potrebbe riassumere tutto questo lavoro in precisione e richiamo.

Precisione:

• Di coloro che sono stati classificati come “torneranno”, qual è la percentuale di coloro che sono effettivamente tornati?
• Vero positivo / (Vero positivo + Falso positivo)

Richiamo:

• Ricordiamo: Di quelli che sono effettivamente “rientrati”, quale percentuale è stata classificata in questo modo?
• Vero positivo / (Vero positivo + Falso negativo)

I modelli migliori hanno valori più elevati di precisione e richiamo.

• Si può immaginare un modello con una precisione del 94% (quasi tutti quelli identificati come “Torneranno” lo fanno davvero) e un richiamo del 97% (quasi tutti quelli che “Sono tornati” sono stati identificati come tali).
• Un modello più debole potrebbe avere una precisione del 95% ma un richiamo del 50% (quando identifica qualcuno come “Tornerà”, è in gran parte corretto, ma etichetta erroneamente come “Non tornerà” la metà di coloro che in realtà sono poi “Tornati”).
• O forse il modello ha una precisione del 60% e un richiamo del 60%.

Questi numeri dovrebbero darvi un’idea dell’accuratezza del vostro modello, anche se non volete mai fare previsioni.

Precisione vs. precisione. Curva di richiamo

All’interno di un modello, si può anche decidere di enfatizzare la precisione o il richiamo. Forse siete a corto di zollette di zucchero e volete distribuirle solo a chi siete sicuri che tornerà, quindi decidete di darne solo ai clienti che hanno il 60% di probabilità di tornare (invece del 30%).

La nostra precisione aumenterà perché distribuirete le zollette di zucchero solo quando siete davvero sicuri che qualcuno “tornerà” Il nostro richiamo diminuirà perché ci saranno molte persone che alla fine “ritorneranno” a cui non si era abbastanza sicuri di dare una zolletta di zucchero.

Precisione: 62% -> 80%Recall
:

60% -> 30%Oppure

, se vi sentite ricchi di zollette di zucchero, potreste distribuirle a chiunque abbia almeno il 10% di probabilità di essere un giocatore di ritorno.

Precisione: 62% -> 40%Recall
:

60% -> 90%È

possibile tracciare questo compromesso tra precisione e richiamo con questo grafico:

---

×

close

Può essere utile scegliere un punto del grafico che rappresenti un buon mix di precisione e richiamo, per poi farsi un’idea di quanto sia accurato il modello in quel punto.