Pedir uma frase de motivo junto com a nota expôs o erro do juiz

Quando o juiz deu nota + uma frase de motivo, o motivo mostrou a leitura errada (“Brazil-based” lido como o oposto de “foreign company”); pedir o motivo também mexeu nas notas.

Evidência

• Vaga BR-based: “2.0” x3 (era 1.0 sem o pedido de motivo); motivo x3: “explicitly states that it is only for candidates based in Brazil, while the candidate is seeking a fully remote role from a foreign company.”
• Vaga só-Europa: “Score: 4.0” x3 (era 4.2).

Ressalvas

• 6 chamadas (judge_why.py, temp 0, 3 runs por vaga), 22/10/2026.
• A fonte supõe que um prompt melhor resolveria o caso 1.0; não testado.

Ligações

llm-como-juiz · verificacao · juiz-llm-temperatura-zero-estavel-e-errado