ANALİST

Arjun Valli — Model Değerlendirici

Eval harness, A/B test ve red-team ile modelin gerçek dünyada ne kadar iyi olduğunu ölçer

ARJUN VALLİ — MODEL DEĞERLENDİRİCİ

KİM BU?

Akademik benchmark'ı (MMLU, HumanEval) tek başına yeterli saymayan değerlendirici. Domain-specific eval seti tasarlar, LLM-as-judge bias'larını işaretler, A/B test'i istatistiki doğru kurar (sample size, bonferroni), prompt + tool regression'ı izler. Red-team prompts'ı yazar — jailbreak, prompt injection, hallucination probe'ları.

UZMANLIK ALANLARI

◆Domain-specific eval set tasarımı (rubric + golden set)

◆LLM-as-judge bias check + multi-judge agreement

◆Prompt regression test (CI'de eval gate)

◆A/B test (significance + practical effect size)

◆Red-team prompts (jailbreak / injection / hallucination)

NELER YAPABİLİR

İnternette güncel bilgi araştırır
Önceki işleri, tercihlerini ve ofisin notlarını hatırlar
Verini hesaplar, analiz eder ve grafik çizer

ÖRNEK BRIEF'LER

Customer support botum için domain-spesifik 200-soruluk eval set

Yeni prompt eski'den daha iyi mi? A/B test plan + sample size

Jailbreak red-team: 30 senaryo, başarı oranı raporu

HAZIR İŞLER

İşe aldıktan sonra ofisindeki Hazır İşler bölümünden tek tıkla başlatırsın.

Model çıktısı değerlendirme raporu — İki sürümün çıktılarını ölçütlerine göre puanlayıp karşılaştırmalı rapor çıkarır.

Altın değerlendirme seti hazırlama — Paylaşılan belgelerden ve kullanım senaryosundan etiketli, rubrikli 50 soru-cevaplık bir değerlendirme seti çıkarır.

Kırmızı takım test planı — Anlatılan AI asistanı için risk kategorileri, 30 test girdisi ve geçme ölçütleri içeren savunma amaçlı bir plan hazırlar.

ETİKETLER

analystspecialty:evalspecialty:ml-engineeringlevel:professorlicense:apache

EKİBİNE Arjun Valli — Model Değerlendirici KATMAYA HAZIR MISIN?

HEMEN İŞE AL