Ein visuelles Labor der Wahrscheinlichkeit, die der KI zugrunde liegt, verteilt auf 4 Tabs:
• Verteilungen — zeichnet 7 Verteilungen und sampelt Daten aus ihnen.
• Softmax & Temperatur — wie ein LLM Logits in Wahrscheinlichkeiten umwandelt und das nächste Token wählt.
• Bayes — warum ein Test mit 90% Trefferquote dich täuschen kann, mit dem klassischen medizinischen Fall.
• Entropie / KL — die Informationstheorie hinter der cross-entropy, dem Loss, mit dem Klassifikatoren trainiert werden.
Alles wird in deinem Browser berechnet, ohne Server. Diese Hilfe ändert sich je nach geöffnetem Tab.
Wähle eine Verteilung mit den Buttons oben und bewege ihre Parameter mit den Schiebereglern; das Diagramm aktualisiert sich sofort:
• Die kontinuierlichen Verteilungen (Normal, Exponential, Uniform, Beta) werden als Dichtekurve (PDF) mit ihrer Fläche unter der Kurve dargestellt.
• Die diskreten (Bernoulli, Binomial, Poisson) werden als Balken (PMF) dargestellt: die Wahrscheinlichkeit jedes ganzzahligen Werts.
• Markiere CDF, um die Kumulative (von 0 bis 1) zu überlagern, die Wahrscheinlichkeit, einen Wert ≤ x zu erhalten.
Jede Verteilung bringt ihre Parameter und eine Notiz mit, warum sie in der KI auftaucht:
• Normal (Gauß) μ, σ — die Königin: Rauschen/Fehler und Gewichtsinitialisierung (Xavier/He skalieren σ nach der Anzahl der Neuronen).
• Bernoulli p — ein Ja/Nein-Versuch; die Ausgabe einer binären Klassifikation (Sigmoid) und die Basis der Log-Loss.
• Binomial n, p — Anzahl der Erfolge in n Versuchen; Trefferzählung und A/B-Tests.
• Poisson λ — Zählung seltener Ereignisse pro Intervall; Mittelwert = Varianz = λ.
• Exponential λ — Zeit zwischen Ereignissen (gedächtnislos); Latenzen und Wartezeiten.
• Uniform a, b — maximale Unsicherheit in einem Bereich; uniforme Initialisierung und Sampling.
• Beta α, β — Verteilung über Wahrscheinlichkeiten (0–1); konjugierter Prior von Bernoulli/Binomial in der bayesschen Inferenz.
Unter den Schiebereglern werden vier Kennzahlen angezeigt, die sich automatisch neu berechnen:
• Mittelwert — der Erwartungswert (Schwerpunkt).
• Abw. und Varianz — wie sehr die Werte streuen (die Standardabweichung ist die Wurzel der Varianz).
• Entropie — die Unsicherheit der Verteilung, gemessen in Nats (natürlicher Logarithmus, keine Bits): je flacher die Verteilung, desto höher die Entropie. Es wird die geschlossene Formel verwendet, wenn sie existiert (Normal, Exponential, Uniform), sonst eine numerische Summe oder ein Integral.
Drücke Sampeln, um N zufällige Werte aus der Verteilung zu ziehen (N reicht von 200 bis 8000 mit dem Schieberegler). Es wird ihr normalisiertes Histogramm über der theoretischen Kurve gezeichnet: je mehr Stichproben, desto besser passt das Histogramm zur Dichte — das ist das Gesetz der großen Zahlen in Aktion. Löschen entfernt die Stichproben; ein Parameter- oder Verteilungswechsel verwirft sie ebenfalls.
Markiere ZGS und jede Stichprobe wird zum Mittelwert von k Werten (passe k von 2 bis 30 an). Egal welche Ausgangsverteilung — schief, diskret oder uniform — der Mittelwert tendiert zu einer Normalverteilung, die mit steigendem k immer enger wird (ihre Standardabweichung ist σ/√k). Die Grenz-Normalverteilung N(Mittelwert, σ/√k) wird als Linie überlagert. Deshalb taucht die Gaußkurve überall auf.
Die Königin der KI: wird für Rauschen/Fehler angenommen und zum Initialisieren von Gewichten (Xavier/He skalieren σ nach der Anzahl der Neuronen).