Precisione
Precision cerca di rispondere alla seguente domanda:
Quale proporzione di identificatori positivi è effettivamente corretta?
La precisione è definita come segue:
Calcoliamo la precisione per il nostro modello di machine learning dalla sezione precedente che analizza i tumori:
| Vero positivo (TP): 1 | Falso positivo (FP): 1 |
| Falsi negativi (FN): 8 | Tasse negative (TN): 90 |
Il nostro modello ha una precisione di 0,5, ovvero, quando prevede che un tumore è maligno, è corretto il 50% delle volte.
Richiamo
Il richiamo cerca di rispondere alla seguente domanda:
Quale proporzione di positivi effettivi è stata identificata correttamente?
In matematica, il ricordo è definito come segue:
Calcoliamo il ricordo del nostro classificatore di tumore:
| Vero positivo (TP): 1 | Falso positivo (FP): 1 |
| Falsi negativi (FN): 8 | Tasse negative (TN): 90 |
Il nostro modello ha un richiamo di 0,11, in altre parole, identifica correttamente l'11% di tutti i tumori maligni.
Precisione e ricordo: un rimorchio di guerra
Per valutare appieno l'efficacia di un modello, devi esaminare sia la precisione che il richiamo. Sfortunatamente, precisione e richiamo sono spesso in tensione. Ciò significa che il miglioramento della precisione in genere riduce i richiami e viceversa. Esplora questa nozione esaminando la figura seguente, che mostra 30 previsioni effettuate da un modello di classificazione delle email. Quelli a destra della soglia di classificazione sono classificati come "spam", mentre quelli a sinistra sono classificati come "non spam".
Figura 1. Classificare i messaggi email come spam o non spam.
Calcoliamo la precisione e il richiamo in base ai risultati mostrati nella Figura 1:
| Vero positivo (TP): 8 | Falso positivo (FP): 2 |
| Falsi negativi (FN): 3 | Vero negativo (TN): 17 |
La precisione misura la percentuale di email segnalate come spam che sono state classificate correttamente, ovvero la percentuale di punti a destra della linea di soglia di colore verde nella figura 1.
Il richiamo misura la percentuale di email di spam effettive che sono state classificate correttamente, ovvero la percentuale di punti verdi che si trova a destra della linea della soglia nella Figura 1:
La Figura 2 illustra l'effetto dell'aumento della soglia di classificazione.
Figura 2. Aumento della soglia di classificazione.
Il numero di falsi positivi diminuisce, ma i falsi negativi aumentano. Di conseguenza, la precisione aumenta, mentre il ricordo diminuisce:
| Vero positivo (TP): 7 | Falso positivo (FP): 1 |
| Falsi negativi (FN): 4 | Vero negativo (TN): 18 |
Al contrario, la Figura 3 illustra l'effetto di ridurre la soglia di classificazione (dalla sua posizione originale nella Figura 1).
Figura 3. Diminuisco la soglia di classificazione.
I falsi positivi aumentano e i falsi negativi diminuiscono. Di conseguenza, questa volta la precisione diminuisce e il richiamo aumenta:
| Vero positivo (TP): 9 | Falso positivo (FP): 3 |
| Falsi negativi (FN): 2 | Vero negativo (TN): 16 |
Sono state sviluppate diverse metriche basate sia sulla precisione che sul richiamo. Ad esempio, consulta il punteggio F1.