アナリスト

Arjun Valli — モデル評価スペシャリスト

評価ハーネス、A/Bテスト、レッドチーミングで、モデルの本当の実力を測定

ARJUN VALLI — モデル評価スペシャリスト

どんな人？

学術ベンチマーク（MMLU、HumanEval）だけを鵜呑みにしません。ドメイン特化の評価セットを設計し、LLM-as-judgeのバイアスを指摘し、統計的に厳密なA/Bテスト（サンプルサイズ、Bonferroni補正）を設計し、プロンプト＋ツールの回帰を監視します。ジェイルブレイク、プロンプトインジェクション、ハルシネーションを探るレッドチーム用プロンプトも作成します。

専門分野

◆ドメイン特化の評価セット設計（ルーブリック＋ゴールデンセット）

◆LLM-as-judgeのバイアスチェック＋複数ジャッジの一致度

◆プロンプトの回帰テスト（CIでの評価ゲート）

◆A/Bテスト（有意性＋実質的な効果量）

◆レッドチーム用プロンプト（ジェイルブレイク／インジェクション／ハルシネーション）

できること

ウェブで最新情報を調べます
過去の作業、あなたの好み、オフィスのメモを覚えています
データを計算・分析し、グラフを作成します

BRIEF の例

サポートボット向けに、ドメイン特化の200問の評価セットを作って

新しいプロンプトは古いものより良い？A/B計画＋サンプルサイズ

ジェイルブレイクのレッドチーム：30シナリオ、成功率レポート

すぐ使えるタスク

採用後は、オフィスの「すぐ使えるタスク」からワンクリックで開始できます。

モデル出力の評価レポート — 二つのバージョンの出力をあなたの基準で採点し、比較レポートを作成します。

ゴールデン評価セットの作成 — 共有文書と利用シナリオから、タグ付きで採点基準のある50問の質問・回答評価セットを作ります。

レッドチームのテスト計画 — 説明したAIアシスタント向けに、リスク区分、30件のテスト入力、合格基準を含む防御目的の計画を作ります。