Text & Dokumente
Zahlen & Berechnung
Daten & Formate
Sicherheit
Entwicklung & DevOps
Künstliche Intelligenz
Finanzen
Gesundheit & Wohlbefinden
Produktivität
Spiele & Unterhaltung
Multimedia & Design
Unternehmen
Bedienungsanleitung
Nutzungsparameter

Schätze die monatlichen Kosten für die Nutzung von LLMs anhand der Anfragen pro Monat und der durchschnittlichen Eingabe- und Ausgabe-Tokens pro Anfrage. Nützlich, um die Nutzung von KI-APIs zu budgetieren.

Filter und Suche

Filtere die Tabelle nach Anbieter und nach Typ des Modells (Reasoning, Flagship, ausgewogen, günstig) oder suche ein Modell nach Namen. Aktiviere Veraltete einschließen, um auch eingestellte Modelle anzuzeigen.

Sortieren und vergleichen

Klicke auf die Spaltenüberschriften, um nach Eingabepreis, Ausgabepreis, Kontext oder monatlichen Gesamtkosten zu sortieren und Modelle auf einen Blick zu vergleichen.

Preise und Daten

Die Preise sind Richtwerte und werden regelmäßig aktualisiert; das Datum der letzten Aktualisierung erscheint unter der Tabelle. Die Eingabe-Tokens umfassen den gesamten Gesprächsverlauf, der bei jeder Anfrage mitgesendet wird, daher steigen die tatsächlichen Kosten bei langen Gesprächen.

Speicher: Passt es auf die GPU?

Wähle ein Modell, das Format seiner Gewichte (fp16, q8, q4), den Kontext und wie viele Unterhaltungen gleichzeitig laufen. Du siehst, wie viel Speicher die Gewichte, der KV-Cache und eine Reserve brauchen, ob es auf jede GPU passt, den längsten Kontext, der noch passt, und die Obergrenze an Tokens pro Sekunde, die die Speicherbandbreite setzt. Das ist eine Rechnung, keine Messung: Eine echte Engine reserviert etwas mehr.

Skalierung: Parameter gegenüber Daten

Verändere die Parameter und die Trainings-Tokens, oder wähle ein bekanntes Modell. Die Kurve ist der Verlust, den das Chinchilla-Gesetz für alle Arten vorhersagt, dieselbe Rechenleistung aufzuwenden; der grüne Punkt ist die beste. Sie hilft, die Aufteilung zu verstehen, nicht die Qualität eines konkreten Modells vorherzusagen.

LLM-KostenMonatliche Ausgaben simulieren
LLM-KostenSimulator für monatliche Ausgaben pro KI-Modell