Un laboratoire visuel des probabilités qui sous-tendent l'IA, réparti en 4 onglets :
• Distributions — dessine 7 distributions et échantillonne des données à partir d'elles.
• Softmax & température — comment un LLM convertit des logits en probabilités et choisit le token suivant.
• Bayes — pourquoi un test qui réussit à 90 % peut vous tromper, avec le cas médical classique.
• Entropie / KL — la théorie de l'information derrière la cross-entropy, la loss avec laquelle s'entraînent les classificateurs.
Tout est calculé dans votre navigateur, sans serveur. Cette aide change selon l'onglet ouvert.
Choisissez une distribution avec les boutons du haut et déplacez ses paramètres avec les curseurs ; le graphique se met à jour instantanément :
• Les distributions continues (Normale, Exponentielle, Uniforme, Beta) sont tracées comme une courbe de densité (PDF) avec son aire sous la courbe.
• Les discrètes (Bernoulli, Binomiale, Poisson) sont tracées comme des barres (PMF) : la probabilité de chaque valeur entière.
• Cochez CDF pour superposer la cumulée (de 0 à 1), la probabilité d'obtenir une valeur ≤ x.
Chaque distribution apporte ses paramètres et une note sur pourquoi elle apparaît en IA :
• Normale (Gaussienne) μ, σ — la reine : bruit/erreurs et initialisation des poids (Xavier/He mettent σ à l'échelle selon le nb de neurones).
• Bernoulli p — un essai oui/non ; la sortie d'une classification binaire (sigmoïde) et la base de la log-loss.
• Binomiale n, p — nb de succès en n essais ; compter les réussites et tests A/B.
• Poisson λ — comptages d'événements rares par intervalle ; moyenne = variance = λ.
• Exponentielle λ — temps entre événements (sans mémoire) ; latences et attentes.
• Uniforme a, b — incertitude maximale dans une plage ; initialisation uniforme et échantillonnage.
• Beta α, β — distribution sur des probabilités (0–1) ; prior conjugué de Bernoulli/Binomiale en inférence bayésienne.
Sous les curseurs s'affichent quatre statistiques qui se recalculent automatiquement :
• Moyenne — la valeur attendue (centre de masse).
• Écart-type et Variance — à quel point les valeurs se dispersent (l'écart-type est la racine de la variance).
• Entropie — l'incertitude de la distribution, mesurée en nats (logarithme naturel, pas des bits) : plus la distribution est plate, plus l'entropie est élevée. La formule fermée est utilisée quand elle existe (Normale, Exponentielle, Uniforme) et une somme ou intégrale numérique sinon.
Cliquez sur Échantillonner pour tirer N valeurs au hasard de la distribution (N va de 200 à 8000 avec le curseur). Son histogramme normalisé est dessiné sur la courbe théorique : plus il y a d'échantillons, mieux l'histogramme correspond à la densité — c'est la loi des grands nombres en action. Effacer supprime les échantillons ; changer un paramètre ou de distribution les écarte aussi.
Cochez TCL et chaque échantillon devient la moyenne de k valeurs (ajustez k de 2 à 30). Quelle que soit la distribution d'origine —biaisée, discrète ou uniforme—, la moyenne tend vers une normale, de plus en plus étroite quand k augmente (son écart-type est σ/√k). La normale limite N(moyenne, σ/√k) est superposée en ligne. C'est pourquoi la gaussienne apparaît partout.
La reine de l'IA : supposée pour le bruit/les erreurs et pour initialiser les poids (Xavier/He échelonnent σ selon le nombre de neurones).