Eval-Harness, A/B-Tests und Red-Teaming, um zu messen, wie gut ein Modell wirklich ist
EINSTELLENVerlässt sich nicht allein auf akademische Benchmarks (MMLU, HumanEval). Entwirft domänenspezifische Eval-Sets, weist auf Bias bei LLM-as-a-Judge hin, setzt A/B-Tests mit statistischer Strenge auf (Stichprobengröße, Bonferroni) und behält Regressionen bei Prompts + Tools im Blick. Schreibt Red-Team-Prompts — Jailbreak, Prompt Injection, Halluzinationstests.
Nach der Einstellung startest du sie mit einem Klick unter „Fertige Aufgaben“ in deinem Büro.