Срез Lexometrica: 15 LLM в тестах на практике ВС РФ
В ноябре 2026 года Никита Поляков повторно проверил 15 языковых моделей на 30 кейсах из практики Верховного Суда РФ. Тест показал, что топ-6 моделей почти не различаются по качеству, а главным узким местом для лидеров остается применение нормы к конкретным фактам.
Главное
- Топ-модели (Claude Fable 5.2, Gemini 4 Carbon и др.) статистически неразличимы между собой, выбор между ними зависит от цены.
- Судья-LLM имеет измеримое смещение в пользу моделей своего производителя (0.04 балла), поэтому нужен второй независимый оценщик.
- Модели с низким баллом чаще выдумывают судебные акты, а знание норм российского права у них остается слабым местом.
Я повторил срез бенчмарка Lexometrica, который в марте этого года уже проверял десять моделей. В ноябре набор расширился до пятнадцати флагманских линеек, а тестовая база — до тридцати закрытых кейсов, построенных на решении споров ВС РФ. Каждый кейс включает фабулу, вопрос, экспертную рубрику и эталонный ответ. Методология оценки осталась прежней: два независимых LLM-судьи (Claude Opus 5.5 и Grok 4.7) ставят баллы от 0 до 1, не зная, чей именно текст они оценивают.
С точки зрения практики юриста, главное изменение в ноябре — сближение лидеров. Claude Fable 5.2 и Gemini 4 Carbon уверенно обходят остальных, но друг от друга практически не отличаются: первый выигрывает лишь в 72% бутстреп-повторов. Дальше по списку идет плотная группа из шести моделей пяти разных производителей, которые укладываются в узкий разброс в 0.09 балла. Для пользователя это значит, что при выборе между сильными моделями теперь чаще решает цена запроса и скорость ответа, а не качество юридического вывода.
Профиль трудностей задач за восемь месяцев не изменился. В обоих срезах даже лучшие модели хуже всего работают с категорией «применение нормы к фактам». В ноябре здесь баллы составляют 0.74–0.85, тогда как за простое воспроизведение текста закона или логику вывода они получают 0.84–0.91. Самое сложный кейс из 30 был оценен в 0.75 и 0.64 балла разными судьями. Разница между «хорошо» и «отлично» скрывается в подведении фактов под норму, а не в знании самого закона.
Отдельного внимания требует надежность самого метода оценки. Модель-судья хорошо различает сильный и слабый ответы (корреляция между судьями 0.95), но плохо ранжирует ответы топ-моделей друг относительно друга. Внутри сильной группы ранговая корреляция падает до 0.57. Кроме того, выявлено систематическое смещение: Claude Opus 5.5 ставил моделям от Anthropic на 0.04 балла выше, чем второй судья. Это подтверждает принцип nemo judex in causa sua, который применим и к LLM: судья, участвующий в рейтинге, неизбежно «видит» своего коллега по манере письма.
На практике это приводит к выводу: рейтинг на малом числе кейсов позволяет отличать группы моделей, но бесполезен для выбора между соседями. Если вам нужно автоматизировать юридический анализ, ориентируйтесь на минимальный балл модели, а не на средний. Для Claude Fable 5.2 он составляет 0.64, для ближайших преследователей — около 0.4. В судебной практике одна грубая ошибка в аргументации стоит дороже, чем чуть более медленный или дорогой вывод.
Отдельная проблема — выдуманные ссылки. Модели нижней группы получают от судей-оценщиков замечания за несуществующие акты на порядок чаще, чем лидеры. Важно помнить, что LLM-судьи не проверяют реквизиты по первоисточникам, поэтому такие «галлюцинации» снижают оценку, но не могут быть количественно подтверждены самим бенчмарком. Юридическое дообучение (legal fine-tuning) заметного эффекта не дало: версия GLM-5.3 Legal показала статистически незначимый прирост 0.494 против 0.473 у базовой модели.
Рекомендации
- Включить в пайплайн прогнозирования судебного спора двух независимых LLM-судей из разных вендоров для контроля смещения
- При выборе провайдера LLM для юридической автоматизации сравнивать модели по минимальному баллу на тестовом наборе, а не по среднему
- Перед использованием вывода LLM в процессуальных документах всегда вручную сверять реквизиты цитируемых судебных актов с первоисточниками
Статья редакции OpenLex. Текст подготовлен с помощью ИИ и сверен с источниками; юридическую силу имеет текст акта. © OpenLex — при цитировании ссылка на openlex.ru обязательна.
Источники
Обсуждение
Чтобы участвовать в обсуждении, войдите в аккаунт.
Обсуждения пока нет. Скажите первым, что здесь важно для практики.
Читайте также
Суды отклоняют отстранение управляющих при отсутствии влияния кредитораOpenLex · 1 день назад
Суды по-разному применяют правила замещения жилья должникаOpenLex · 26 дней назад
СКЭС ВС РФ (Судебная коллегия по экономическим спорам Верховного Суда): отказ в освобождении от долгов и соразмерностьOpenLex · 15.10.2026