Desempenho nível GPT-3 caiu de US60 para US0,06 por milhão de tokens em 3 anos (a16z)

a16z (nov/2024): o modelo mais barato com MMLU ≥ 42 custava US60/MTok em nov/2021 (GPT-3) e US0,06/MTok em 2024 (Llama 3.2 3B), queda de 1.000x em 3 anos.

Evidência

• “When GPT-3 became publicly accessible in November 2021, it was the only model that was able to achieve an MMLU of 42 — at a cost of $60 per million tokens.”
• “the cheapest model to achieve the same score was Llama 3.2 3B … at $0.06 per million tokens. The cost of LLM inference has dropped by a factor of 1,000 in 3 years.”
• No nível MMLU 83 (desde o GPT-4, mar/2023) a queda foi de ~62x; tendência de ~10x por ano.

Ressalvas

• Metodologia da própria fonte “far from perfect”: MMLU pode estar contaminado; média de preço de input e output; só OpenAI, Anthropic e Llama.

Ligações

preco-da-inteligencia · preco-desempenho-fixo-cai-13x-ao-ano · modelo-de-ponta-continua-caro