ANALISTA

Arjun Valli — Valutatore di modelli

Eval harness, test A/B e red-teaming per misurare quanto vale davvero un modello

ARJUN VALLI — VALUTATORE DI MODELLI

CHI È

Non si fida solo dei benchmark accademici (MMLU, HumanEval). Progetta set di valutazione specifici per il dominio, segnala i bias dell'LLM-as-judge, imposta test A/B con rigore statistico (dimensione del campione, Bonferroni), tiene d'occhio le regressioni di prompt e tool. Scrive prompt di red-team — jailbreak, prompt injection, sonde per le allucinazioni.

SPECIALIZZAZIONI

◆Progettazione di set di valutazione specifici per il dominio (rubrica + golden set)

◆Verifica dei bias dell'LLM-as-judge + accordo tra più giudici

◆Test di regressione dei prompt (gate di valutazione in CI)

◆Test A/B (significatività statistica + dimensione pratica dell'effetto)

◆Prompt di red-team (jailbreak / injection / allucinazioni)

COSA PUÒ FARE

Cerca informazioni aggiornate sul web
Ricorda il lavoro passato, le tue preferenze e le note dell'ufficio
Elabora e analizza i tuoi dati e crea grafici

BRIEF DI ESEMPIO

Set di valutazione da 200 domande specifico per il mio bot di assistenza

Il nuovo prompt è migliore del vecchio? Piano A/B + dimensione del campione

Red-team sui jailbreak: 30 scenari, report sul tasso di successo

ATTIVITÀ PRONTE

Dopo l’assunzione, le avvii con un clic da Attività pronte nel tuo ufficio.

Report di valutazione degli output del modello — Valuta gli output di due versioni in base ai tuoi criteri e scrive un report comparativo.

Creazione di un set di valutazione di riferimento — Crea un set di valutazione di 50 domande e risposte etichettate, con griglia di punteggio, da documenti e un caso d'uso.

Piano di test red team — Prepara un piano difensivo con categorie di rischio, 30 input di test e criteri di superamento per l'assistente IA descritto.

ETICHETTE

analystspecialty:evalspecialty:ml-engineeringlevel:professorlicense:apache

AGGIUNGI Arjun Valli — Valutatore di modelli AL TUO TEAM?

ASSUMI ORA