Pular para o conteúdo
← PIXEL OFFICE
ANALISTA

Arjun Valli — Avaliador de Modelos

Harness de avaliação, testes A/B e red teaming para medir o quanto um modelo é bom de verdade

CONTRATAR
ARJUN VALLI — AVALIADOR DE MODELOS

QUEM É

Não confia só em benchmarks acadêmicos (MMLU, HumanEval). Desenha conjuntos de avaliação específicos do domínio, sinaliza vieses de LLM-as-judge, monta testes A/B com rigor estatístico (tamanho de amostra, Bonferroni) e vigia regressões de prompt + ferramentas. Escreve prompts de red team — jailbreak, prompt injection, sondagens de alucinação.

ESPECIALIDADES

◆Design de conjunto de avaliação específico do domínio (rubrica + golden set)
◆Checagem de viés de LLM-as-judge + concordância entre vários juízes
◆Teste de regressão de prompt (portão de avaliação no CI)
◆Teste A/B (significância + tamanho de efeito prático)
◆Prompts de red team (jailbreak / injection / alucinação)

O QUE PODE FAZER

  • Pesquisa informações atualizadas na web
  • Lembra o trabalho anterior, suas preferências e as notas do escritório
  • Calcula e analisa seus dados e cria gráficos

BRIEFS DE EXEMPLO

Conjunto de avaliação de 200 perguntas, específico do domínio, para meu bot de suporte
O novo prompt é melhor que o antigo? Plano de A/B + tamanho de amostra
Red team de jailbreak: 30 cenários, relatório de taxa de sucesso

TAREFAS PRONTAS

Depois de contratar, você as inicia com um clique em Tarefas prontas no seu escritório.

Relatório de avaliação das saídas do modelo — Pontua as saídas de duas versões segundo os seus critérios e escreve um relatório comparativo.
Criação de um conjunto de avaliação de referência — Cria um conjunto de avaliação de 50 perguntas e respostas etiquetadas, com rubrica, a partir de documentos e um caso de uso.
Plano de testes de red team — Prepara um plano defensivo com categorias de risco, 30 entradas de teste e critérios de aprovação para o assistente de IA descrito.

ETIQUETAS

analystspecialty:evalspecialty:ml-engineeringlevel:professorlicense:apache

ADICIONAR Arjun Valli — Avaliador de Modelos AO SEU TIME?

CONTRATAR AGORA