Публичные лидерборды языковых моделей — реальные финансовые потери в юридическом

Прямая ставка на публичные рейтинги языковых моделей оборачивается для юридического консалтинга систематическими ошибками в прогнозах дел и прямыми финансовыми потерями. В ноябре автор провел новый срез бенчмарка Lexometrica Ground Truth, протестировав 15 моделей на 30 закрытых кейсах по практике Верховного Суда РФ. Результаты замеров показали практическую непригодность турнирных таблиц: разрывы между соседними позициями в общих лидербордах чаще всего оказываются меньше погрешности измерения, а надежность модели-судьи почти никогда не проверяется.
Проблема упирается в то, что реальную точность решений невозможно оценить на универсальных задачах. Для прикладной автоматизации требуется проверка на закрытых отраслевых выборках по схеме IRAC, моделирующей юридический вывод: фиксация правового вопроса (issue), поиск нормы (rule), применение ее к фактам (application) и приход к решению (conclusion). Предыдущий срез был в марте 2026 года, и ноябрьское обновление подтвердило устойчивость скрытых проблем рассуждения нейросетей.
Ранее, 11 сентября 2026 года, в материале «Иллюзия логики в ИИ: бенчмарк раскрыл сбои в рассуждениях моделей» мы отмечали схожие проблемы.
Анатомия судебного теста
В сервисе «неШемяка!» исход судебного спора прогнозируется по материалам дела пространным LLM-пайплайном. Модели в нем меняют на флагманские по мере их выхода, но дважды в год решили подтверждать выбор на собственном датасете.
Тридцать кейсов; каждый состоит из фабулы, вопроса, экспертной рубрики и эталонного ответа. Кейсы распределены по стадиям схемы IRAC, как в LegalBench и более поздних наборах для других правопорядков. Третий шаг в континентальной доктрине называется субсумпцией — подведением установленных фактов под гипотезу нормы. Это основная и самая трудная часть работы юриста: норму можно найти в справочной системе, а вот решить, охватывает ли она конкретные обстоятельства, справочная система не поможет.
«Поэтому на применение нормы приходится почти половина набора».
Именно на стадии применения нормы сосредоточена основная аналитическая нагрузка legal-консалтинга. При этом у моделей не было доступа к поиску и справочным системам. Результаты относятся к самим моделям и на RAG продукты прямо перенести нельзя.
Пределы рассуждений и судейские сбои
В тестовый контур вошли флагманские общедоступные модели пятнадцати линеек на ноябрь 2026 года: Claude Fable 5.2, Claude Opus 5.5, GPT-6.2 Astra, Gemini 4 Carbon, Grok 4.7, Qwen4 Max, DeepSeek V4 Pro, DeepSeek V4.1 Flash, Kimi K3.1 Pro, GLM-5.3, GLM-5.3 FlashX Legal, MiniMax M3, Mistral Large 4, GigaChat 3.5 Ultra, YandexGPT 5.1 Pro. Режим рассуждения включен явно у всех моделей, которые его поддерживают. Температура 0 там, где ею можно управлять.
Однако гладкий инженерный регламент сломался на MiniMax M3: при нулевой температуре ее рассуждение зацикливалось и ответа не было, поэтому она отвечала с температурой производителя. Другой инцидент продемонстрировал YandexGPT: на двух кейсах ответил одной фразой «Я не могу обсуждать эту тему. Давайте поговорим о чем-нибудь еще.», хотя вопросы были обычными правовыми. За отказы модель получила нули.
Как в такой ситуации исключить предвзятость при проверке тысяч правовых суждений?
Каждый ответ оценивают два LLM as Judge — Claude Opus 5.5 и Grok 4.7 — по шкале от 0 до 1, по рубрике и эталону. Судья получает пакет на кейс: фабулу, вопрос, рубрику, эталонный ответ и все пятнадцать ответов моделей под буквенными метками в случайном порядке. Самоназвания моделей из ответов вычищаются. Судья выставляет каждому ответу оценку и кратко ее обосновывает. Оценка всех ответов на кейс в одном пакете выбрана сознательно: судья видит разброс и калибрует шкалу внутри кейса.
Рыночные иллюзии против сухой статистики
Бытует мнение, что общие лидерборды вполне надежно отражают общую вычислительную мощность моделей, а значит, инвестиции в закрытые нишевые бенчмарки — лишняя трата бюджета. Итоги ноябрьского среза опровергают эту позицию. Доверительные интервалы — бутстреп по кейсам (10 000 повторов), попарные сравнения соседей — парный бутстреп показали, что четких статистических различий на рынке немного.
«Ранговая корреляция производителей между срезами около 0.85: поколение моделей сменилось».
Мартовский срез включал десять моделей тех же производителей предыдущих поколений. Набор сохранил структуру, категории и системный промпт; состав судей в ноябре другой. Поэтому автор сопоставляет главным образом порядок и структуру результатов, а разности баллов воспринимает как ориентир.
Покупка подписок на верхние строчки глобальных лидербордов не гарантирует бизнесу безошибочного юридического анализа. Без валидации на закрытой судебной практике внедрение общих LLM в правовые конвейеры остается неоправданно рискованным шагом.
Что не сходится
Убытки от слепого доверия публичным рейтингам нейросетей начинаются там, где лидерборды обещают безупречную логику, а ноябрьский срез бенчмарка Lexometrica Ground Truth вскрывает систематические ошибки в юридических выводах. Закрытый тест пятнадцати флагманских линеек на тридцати делах Верховного Суда РФ показал, что реальная субсумпция — подведение фактов под норму — дается машинам с трудом даже в режиме рассуждения. Вместо предсказуемой работы автоматизация спотыкается о технические сбои: MiniMax M3 зацикливается при нулевой температуре, а YandexGPT 5.1 Pro просто отказывается обсуждать обычные правовые кейсы. Громкие места в сводных таблицах прекрасно продают подписки, но на тридцати реальных судебных вопросах хваленый интеллект банально зависает или уходит от ответа.
Источник: Хабр ML