Schätze die monatlichen Kosten für die Nutzung von LLMs anhand der Anfragen pro Monat und der durchschnittlichen Eingabe- und Ausgabe-Tokens pro Anfrage. Nützlich, um die Nutzung von KI-APIs zu budgetieren.
Filtere die Tabelle nach Anbieter und nach Typ des Modells (Reasoning, Flagship, ausgewogen, günstig) oder suche ein Modell nach Namen. Aktiviere Veraltete einschließen, um auch eingestellte Modelle anzuzeigen.
Klicke auf die Spaltenüberschriften, um nach Eingabepreis, Ausgabepreis, Kontext oder monatlichen Gesamtkosten zu sortieren und Modelle auf einen Blick zu vergleichen.
Die Preise sind Richtwerte und werden regelmäßig aktualisiert; das Datum der letzten Aktualisierung erscheint unter der Tabelle. Die Eingabe-Tokens umfassen den gesamten Gesprächsverlauf, der bei jeder Anfrage mitgesendet wird, daher steigen die tatsächlichen Kosten bei langen Gesprächen.
Wähle ein Modell, das Format seiner Gewichte (fp16, q8, q4), den Kontext und wie viele Unterhaltungen gleichzeitig laufen. Du siehst, wie viel Speicher die Gewichte, der KV-Cache und eine Reserve brauchen, ob es auf jede GPU passt, den längsten Kontext, der noch passt, und die Obergrenze an Tokens pro Sekunde, die die Speicherbandbreite setzt. Das ist eine Rechnung, keine Messung: Eine echte Engine reserviert etwas mehr.
Verändere die Parameter und die Trainings-Tokens, oder wähle ein bekanntes Modell. Die Kurve ist der Verlust, den das Chinchilla-Gesetz für alle Arten vorhersagt, dieselbe Rechenleistung aufzuwenden; der grüne Punkt ist die beste. Sie hilft, die Aufteilung zu verstehen, nicht die Qualität eines konkreten Modells vorherzusagen.