Calcula o custo mensal de usar LLMs a partir dos pedidos por mês e da média de tokens de entrada e saída por pedido. Útil para orçamentar o uso de APIs de IA.
Filtra a tabela por fornecedor e por tipo de modelo (raciocínio, flagship, equilibrado, económico), ou pesquisa um modelo pelo nome. Ativa Incluir obsoletos para veres também modelos já retirados.
Clica nos cabeçalhos das colunas para ordenar por preço de entrada, de saída, contexto ou custo total mensal, e comparar modelos de relance.
Os preços são indicativos e são atualizados regularmente; a data da última atualização aparece por baixo da tabela. Os tokens de entrada incluem todo o histórico da conversa enviado em cada pedido, por isso o custo real cresce com conversas longas.
Escolhe um modelo, como vão os seus pesos (fp16, q8, q4), o contexto e quantas conversas em simultâneo. Vais ver quanta memória pedem os pesos, a cache KV e uma margem, se cabe em cada GPU, o contexto mais longo que cabe e o teto de tokens por segundo que a sua largura de banda impõe. É um cálculo, não uma medição: um motor real reserva um pouco mais.
Mexe nos parâmetros e nos tokens de treino, ou escolhe um modelo conhecido. A curva é a perda que a lei de Chinchilla prevê para todas as formas de gastar o mesmo cálculo; o ponto verde é a melhor. Serve para perceber a repartição, não para prever a qualidade de um modelo concreto.