Texte & documents

Nombres & calcul

Données & formats

Sécurité

Développement & DevOps

Intelligence artificielle

Finances

Santé et bien-être

Productivité

Jeux et divertissement

Multimédia & design

Entreprise

Qu'est-ce que c'est et à quoi ça sert

Évalue un classificateur binaire (prédit oui/non, 1/0). Le modèle ne donne pas un verdict, mais un score de 0 à 1 —la probabilité d'être de classe 1— et c'est vous qui décidez où couper. Cet outil génère des données d'exemple et vous montre en direct comment on l'évalue : histogramme des scores, matrice de confusion, métriques et les courbes ROC et PR. Tout se recalcule instantanément dans votre navigateur ; il n'y a rien à entraîner.

Les contrôles : un jeu de données jouet

Les données sont synthétiques pour que vous puissiez expérimenter sans apporter les vôtres :

• Qualité — à quel point le classificateur est bon : 0 = hasard (les scores des positifs et négatifs se chevauchent), 1 = presque parfait (ils se séparent nettement).
• Équilibre — la fraction d'exemples qui sont positifs ; baissez-le pour simuler des classes déséquilibrées.
• Échantillons — combien d'exemples générer (100–1000).
• Régénérer — retire les données avec une autre graine en conservant les réglages, pour voir la variabilité.

Le seuil décide de tout

Le seuil est la ligne de coupure : score ≥ seuil → prédit positif. Dans l'histogramme, les barres sont les scores des négatifs (0) et des positifs (1) ; la ligne verticale est votre seuil. Déplacez-la et observez : la baisser capture plus de vrais positifs (plus de recall) mais laisse passer plus de fausses alertes (moins de précision) ; la monter fait le contraire. Il n'existe pas de seuil parfait : cela dépend de quelle erreur vous coûte le plus cher.

La matrice de confusion, cellule par cellule

Croise le réel (lignes) avec le prédit (colonnes) au seuil actuel :

• VP (vrai positif) — c'était 1 et vous avez dit 1 : un positif bien capturé.
• FN (faux négatif) — c'était 1 et vous avez dit 0 : un positif qui vous échappe.
• FP (faux positif) — c'était 0 et vous avez dit 1 : une fausse alerte.
• VN (vrai négatif) — c'était 0 et vous avez dit 0 : un négatif bien écarté.

La diagonale VP + VN (vert) représente les réussites ; en dehors, FP + FN (rouge) les erreurs. La couleur s'intensifie avec le décompte.

Les métriques et ce que signifie chacune

Elles se calculent sur les quatre cellules :

• Exactitude = (VP+VN)/total — pourcentage de réussites. Trompeuse si les classes sont déséquilibrées.
• Précision = VP/(VP+FP) — sur ce que vous marquez positif, combien est correct.
• Recall (TPR ou sensibilité) = VP/(VP+FN) — sur les vrais positifs, combien vous en attrapez.
• Spécificité = VN/(VN+FP) — sur les vrais négatifs, combien vous en écartez.
• F1 = moyenne harmonique de la précision et du recall 2·P·R/(P+R) — un seul nombre qui récompense l'équilibre entre les deux.

ROC et AUC

La courbe ROC parcourt TOUS les seuils à la fois, opposant les réussites (TPR = recall) aux fausses alertes (FPR = FP/(FP+VN)). Le point marqué est votre seuil actuel et la diagonale est le hasard. L'AUC (aire sous la courbe) résume la qualité sans dépendre du seuil : 1 = parfait, 0.5 = hasard. Équivaut à la probabilité qu'un positif au hasard obtienne un score plus élevé qu'un négatif au hasard.

PR, AP et le déséquilibre

La courbe PR oppose la précision au recall le long des seuils ; son résumé est l'AP (précision moyenne). La ligne de base horizontale est la fraction de positifs : ce qu'obtiendrait un classificateur aléatoire. Avec des classes très déséquilibrées, cette ligne s'effondre et la dépasser vraiment coûte cher — c'est pourquoi la PR est plus honnête que l'exactitude quand il y a peu de positifs. Baissez l'« Équilibre » et vérifiez-le.

ROC ou PR ? Quand utiliser laquelle

• Utilisez la ROC/AUC quand les classes sont équilibrées ou que réussites et fausses alertes vous importent également ; elle est robuste et facile à comparer entre modèles.
• Utilisez la PR/AP quand les positifs sont rares (fraude, maladie, spam) et que ce qui compte, c'est de bien les identifier : la ROC peut sembler excellente alors que la précision réelle est faible.

Astuce : baissez la « Qualité » et vous verrez la ROC se coller à la diagonale ; baissez l'« Équilibre » et vous verrez comment l'exactitude ment alors que l'AP non.

Matrice de confusion, ROC et PR

Évalue un classifieur binaire : déplace le seuil et observe les métriques et les courbes en direct

Qualité

0.600

Balance

50.0%

Échantillons

500

Scores du modèle

Négatifs (0)Positifs (1)← Seuil 0.500 →

Matrice de confusion

	Prédiction
Réel	1	0
1	220TP	26FN
0	29FP	225TN

Exactitude89.0%

Précision88.4%

Rappel (TPR)89.4%

Spécificité88.6%

F10.889

ROC · AUC = 0.960

FPR (fausses alarmes)↑ TPR (succès)

PR · AP = 0.959

Rappel↑ Précision

Choisir le seuil et lire ces courbes est le quotidien de l'évaluation d'un modèle. Essaie : baisse la «qualité» et regarde la ROC coller à la diagonale ; baisse le «balance» et vois comment l'exactitude ment mais pas l'AP. Voir aussi : Test d'hypothèses et Réseau de neurones.