Résumé de section
-
Visualisons ces mesures grâce à un schéma :
En utilisant le dernier schéma, on peut écrire la précision et le rappel comme ci-dessous :
Donc mathématiquement, on peut formaliser de la façon suivante :
Il est donc possible d'en faire des courbes pour voir l'évolution des ces mesures en fonction du seuil de confiance.
-
-
-
-
Précision-confiance
-
-
-
Comment la construire ? Pour tous les seuils de confiance compris entre 0 et 1 :
- on établit la matrice de confusion pour ce seuil
- on calcule la précision associée à cette matrice spécifique
- on place le point dans le graphique
À l’inverse, comment la lire ? Par exemple, pour un seuil de confiance de 0.4, on lit une précision de 0.92, on en déduit que pour un tel seuil on a assez peu de faux positifs.
À retenir : plus la courbe est haute, meilleure est la précision du modèle.
Pour aller plus loin :
Il faut faire attention avec cette courbe car elle ne prend pas du tout en compte les faux négatifs, mais surtout, plus le seuil monte, de moins en moins de valeur sont prises en compte donc la montée de la précision est “artificielle”.
Cela s’explique car le modèle n’accepte quasiment plus rien, donc si il ne détecte que un vrai positif avec 98% de confiance et c’est tout, il aura donc 100% de précision. Mais dans ce cas, plein de “vrais positifs”, jugé négatifs car sous le seuil de confiance, seront oubliés.
-
-
-
-
Rappel-confiance
-
-
-
Comment la construire ? Pour tous les seuils de confiance compris entre 0 et 1 :
- on établit la matrice de confusion pour ce seuil
- on calcule le rappel associé à cette matrice spécifique
- on place le point dans le graphique
À l’inverse, comment la lire ? Par exemple, pour un seuil de confiance de 0.8, on lit un rappel de 0.78, on en déduit que pour un tel seuil on a beaucoup de faux négatifs.
À retenir : plus la courbe est haute et met du temps à descendre, meilleur est le rappel du modèle.
Pour aller plus loin :
La courbe finira nécessairement à 0 car plus on augmente le seuil de confiance, plus le modèle est “strict”, il n’accepte que des prédictions dont il est sûr, donc le nombre de faux négatifs augmente drastiquement ce qui annule la fraction.
La précision et le rappel sont deux métriques intéressantes et complémentaires, c’est à dire que pour avoir une vision globale du modèle il faut regarder les deux en même temps mais surtout voir comment l’une évolue par rapport à l’autre.
Pour éviter de faire des va-et-vient entre les deux graphiques, des métriques les combinent directement, donc on introduit la courbe de précision-rappel et le score-F1 dans la prochaine section.
-