LLM-juiz a temperatura 0 é estável, não correto

Dando nota 1.0-5.0 a vagas para o perfil do Gustavo, o gpt-4o-mini a temperatura 0 não mudou de lado do corte 4.0 em nenhuma vaga, mas errou de forma estável: aprovou uma vaga só-Europa em 20/20 runs e deu 1.0 à vaga que mais combinava no papel.

Evidência

• Temp 0: 0/10 vagas cruzam a linha 4.0; variação média 0.03, máxima 0.3.
• Founding Senior SWE (Europe – Remote): ≥ 4.0 em 10/10 a temp 0 e 10/10 a temp 1.0 (20/20 no total).
• Senior Fullstack (BR based only), Node/TS, “ship with coding agents”: 1.0-1.0 a temp 0 e 1.0-1.5 a temp 1.

Ressalvas

• 10 vagas, 1 modelo barato, 1 prompt sem ajuste, 22/10/2026.
• O digest real usa outro modelo (Sonnet + ranker): isto não mede a precisão do digest.

Ligações

llm-como-juiz · juiz-llm-temperatura-um-cruza-o-corte · juiz-llm-pedir-motivo-expoe-o-erro