LLM como juiz

Definição: usar um LLM para dar nota ou decidir (ex.: o digest de vagas só manda vaga com nota ≥ 4.0).

O que sabemos

• Temperatura 0 = consistente, não correto: juiz-llm-temperatura-zero-estavel-e-errado.
• Temperatura 1.0 = a mesma vaga cai dos dois lados do corte: juiz-llm-temperatura-um-cruza-o-corte.
• Pedir o motivo mostra o bug: juiz-llm-pedir-motivo-expoe-o-erro.
• Relação com o mercado: a vaga mal lida era “Brazil-based”, o caso mais comum de mercado-latam-remote.

Regras práticas

1. Nota + uma frase de motivo, sempre.
2. Rodar o juiz várias vezes numa amostra antes de confiar num limiar.
3. Ler algumas à mão: nota estável pode estar errada. É o laço de verificacao.