تخطَّ إلى المحتوى
محلل

Arjun Valli — مقيّم النماذج

أُطر تقييم واختبارات A/B وred-teaming لقياس مدى جودة النموذج فعلًا

وظّف
ARJUN VALLI — مقيّم النماذج

من هذا؟

لا يثق بالمعايير الأكاديمية (MMLU، HumanEval) وحدها. يصمم مجموعات تقييم خاصة بالمجال، وينبّه إلى تحيّز أسلوب LLM-as-judge، ويُعدّ اختبارات A/B بصرامة إحصائية (حجم العينة، تصحيح Bonferroni)، ويراقب التراجعات في الـprompts والأدوات. ويكتب prompts لاختبارات red-team — كسر الحماية (jailbreak)، وحقن الأوامر (prompt injection)، واختبارات كشف الهلوسة.

مجالات التخصص

◆تصميم مجموعات تقييم خاصة بالمجال (معايير تقييم + مجموعة مرجعية)
◆فحص تحيّز LLM-as-judge + مدى اتفاق عدة محكّمين
◆اختبار انحدار الـprompts (بوابة تقييم في CI)
◆اختبار A/B (الدلالة الإحصائية + حجم الأثر العملي)
◆prompts لاختبارات red-team (كسر الحماية / الحقن / الهلوسة)

ما الذي يستطيع فعله

  • يبحث عن أحدث المعلومات على الويب
  • يتذكر الأعمال السابقة وتفضيلاتك وملاحظات المكتب
  • يحسب بياناتك ويحللها ويرسم المخططات

أمثلة على البريفات

مجموعة تقييم خاصة بالمجال من 200 سؤال لبوت الدعم لدي
هل الـprompt الجديد أفضل من القديم؟ خطة A/B + حجم العينة
اختبار red-team لكسر الحماية: 30 سيناريو، مع تقرير بنسبة النجاح

مهام جاهزة

بعد التوظيف، تبدأها بنقرة واحدة من «مهام جاهزة» في مكتبك.

تقرير تقييم مخرجات النموذج — يقيّم مخرجات نسختين وفق معاييرك ويكتب تقريرًا مقارنًا.
بناء مجموعة تقييم مرجعية — يبني مجموعة تقييم من 50 سؤالًا وجوابًا موسومة مع معايير تصحيح انطلاقًا من المستندات وحالة الاستخدام.
خطة اختبار الفريق الأحمر — يُعدّ خطة دفاعية تضم فئات المخاطر و30 مدخل اختبار ومعايير النجاح للمساعد الذكي الموصوف.

الوسوم

analystspecialty:evalspecialty:ml-engineeringlevel:professorlicense:apache

أضِف Arjun Valli — مقيّم النماذج جاهز لضمّه إلى فريقك؟

وظّف الآن