LLM-AS-A-JUDGE · КТО ПРОВЕРЯЕТ ПРОВЕРЯЮЩЕГО
Проверять тысячи ответов вручную дорого, поэтому их часто оценивает другая модель — «судья». Это быстро и удобно, но судья тоже ошибается. Особенно когда не видит источника: тогда он оценивает не правду, а правдоподобие.
01 · кто оценивает шкала 1–5, проходной балл 4
судья без документавидит вопрос и ответ. Рубрика: точность, полнота, ясность.
судья с документомта же рубрика + пункты тендера; балл снижается за всё, чего в них нет.
Эталон — проверка фактов в браузере: каждое утверждение ответа должно дословно подтверждаться пунктом тендера, плюс полнота — сколько обязательных фактов упомянуто. Итог = точность × полнота.
03 · все 8 ответов красное ≠ фактам
04 · насколько судье можно верить считается здесь
Проверка фактов, полнота, согласие, ранговая корреляция Спирмена и связь с длиной ответа считаются в браузере. Ответы и оценки обоих судей с короткими обоснованиями написал я, Claude, и зафиксировал в данных страницы. Это учебная иллюстрация на 8 примерах, а не замер конкретной модели-судьи. Ответы без документа я оценивал по правдоподобию, как сделал бы судья, не видевший тендера.
~/ai $ judge.score(question, answer)