分析师

Arjun Valli — 模型评测师

评测框架、A/B 测试与红队测试，测出模型到底有多好

ARJUN VALLI — 模型评测师

他是谁

不单凭学术基准（MMLU、HumanEval）下结论。设计领域专用评测集，识别 LLM-as-judge 的偏差，用严谨的统计方法做 A/B 测试（样本量、Bonferroni 校正），盯住提示词 + 工具层面的退化。编写红队提示词——越狱、提示词注入、幻觉探测。

◆领域专用评测集设计（评分细则 + 黄金集）

◆LLM-as-judge 偏差检查 + 多评委一致性

◆提示词回归测试（CI 中的评测关卡）

◆A/B 测试（显著性 + 实际效应量）

◆红队提示词（越狱 / 注入 / 幻觉）

为我的客服机器人做一套 200 题的领域评测集

新提示词比旧的好吗？A/B 方案 + 样本量

越狱红队测试：30 个场景，出成功率报告

雇用后，你可以在办公室的“现成任务”中一键开始。

模型输出评估报告 — 按照你的标准为两个版本的输出打分，并撰写对比报告。

构建黄金评估集 — 根据共享文档和使用场景，构建带标签和评分细则的 50 条问答评估集。

红队测试计划 — 为所描述的 AI 助手制定防御性测试计划，含风险类别、30 条测试输入和通过标准。