Não-determinismo de LLMs

Definição: a mesma entrada pode gerar saídas diferentes. A temperatura controla o sorteio entre tokens; mas mesmo a temperatura 0 não garante repetição em texto longo.

O que sabemos (22/10/2026)

• “Aleatório” de LLM não é aleatório: llm-numero-aleatorio-quase-sempre-7.
• Temperatura 0 repete saídas curtas: temperatura-zero-repete-respostas-curtas.
• Mas não texto longo: temperatura-zero-nao-garante-texto-longo.
• Num juiz com corte, o sorteio vira decisão diferente: juiz-llm-temperatura-um-cruza-o-corte.
• O mesmo repertório pequeno aparece em geração de ideias: colapso-de-ideias.

Regras práticas

• Aleatoriedade: função random de verdade, nunca o LLM.
• Etapa que precisa ser repetível: cache da saída ou checagem por código (verificacao).

Perguntas abertas

• A divergência a temp 0 vem de batching/ponto flutuante no provedor? Não testado.
• Repetir com outros modelos (Claude, Gemini) para subir de C2 para C3.