평가 하네스, A/B 테스트, 레드팀으로 모델이 실제로 얼마나 좋은지 측정해요
학술 벤치마크(MMLU, HumanEval)만 믿지 않아요. 도메인 특화 평가셋을 설계하고, LLM-as-judge 편향을 짚어내고, 통계적으로 엄밀한 A/B 테스트(표본 크기, Bonferroni)를 설계하고, 프롬프트 + 도구 회귀를 지켜봐요. 탈옥, 프롬프트 인젝션, 환각 탐지용 레드팀 프롬프트도 작성해요.
채용한 뒤에는 오피스의 바로 쓰는 작업에서 한 번의 클릭으로 시작해요.