A queda do preço de inferência vem de servir cada token mais barato: hardware, quantização, software, modelos menores e concorrência

A a16z lista fatores independentes por trás da queda: GPU melhor por operação, quantização, otimização de software, modelos menores, instruction tuning melhor e modelos abertos servidos por provedores concorrentes.

Evidência

• Quantização: “Initially, inference was done at 16-bits, but for Blackwell GPUs we expect 4-bit to become common. That is a net increase of at least 4x in performance”.
• Modelos menores: “a 1-billion-parameter model that exceeds the performance of a 175-billion-parameter model just 3 years ago”.
• Open source: modelos abertos “hosted by competing, low-cost model-as-a-service providers. This reduced profit margin across the value chain, which lowered prices.”
• Caso concreto: Anthropic atribui o preço menor do Opus 5.5 a precisar de menos computação para servir.

Ressalvas

• Fonte de 2024; a própria a16z diz que o ritmo “may slow down”. “Custo de treino é custo afundado” não está em nenhuma fonte (é raciocínio nosso, C0).

Ligações

preco-da-inteligencia · nivel-gpt3-de-60-para-0-06-dolar · opus-5-5-mais-barato-por-servir-com-menos-computacao