← Новости

Тесты METR выявили нулевую полезность frontier-моделей в открытых R&D-задачах

Тесты METR выявили нулевую полезность frontier-моделей в открытых R&D-задачах
MIT Technology Review

Аллокация капитала в автономные исследования несет в себе риск перепутать скорость написания кода с принятием реальных стратегических решений: базовые методы обучения уперлись в измеримые структурные ограничения. Согласно новому отчету некоммерческой организации по оценке ИИ METR, возможности моделей продолжают расти по экспоненте, однако системы демонстрируют устойчивую операционную слабость, когда сталкиваются с задачами, требующими человеческого суждения, а не генерации программного кода.

Исторически METR тестировала frontier-модели на обширном пуле задач, которые ранее выполняли специалисты, измеряя сложность затраченным человеком временем. На этих бенчмарках длительность задач, с которыми успешно справлялись передовые модели, удваивалась каждые четыре месяца. Тем не менее этот экспоненциальный темп не означает равномерного развития машинного интеллекта по всем корпоративным направлениям. Экспоненциальный рост стабильно сохраняется в разработке ПО и математике, но системы наталкиваются на операционный барьер в задачах, требующих экспертной оценки человека.

Узкое горлышко обучения с подкреплением

В основе этого разрыва лежит фундаментальное расхождение в методах обучения и оптимизации нейросетей. Как отмечается в отчете METR, исследователи тренируют модели на верифицируемых задачах методом многократных итераций: нейронные связи, ведущие к успеху, усиливаются, а приводящие к ошибке — ослабляются. Этот процесс обеспечивает быстрый прогресс в доменах, где автоматическая проверка результата происходит мгновенно и с минимальной себестоимостью.

Включение открытых задач в метрики показывает пределы текущих методов обучения.

Компьютерный ученый Sayash Kapoor и его соавторы в препринте за август указали, что ИИ-модели пока не способны самостоятельно воспроизводить исследования людей в сфере компьютерных наук. Авторы подчеркнули: стандартные бенчмарки исчерпали свой ресурс, и индустрии нужны принципиально новые подходы к тестированию. Что происходит, когда алгоритмам поручают комплексные задачи, успех которых невозможно математически обсчитать за доли секунды?

Автоматизированное обучение с подкреплением буксует на открытых рабочих процессах — например, при выборе нового направления исследований, где отсутствуют быстрые автоматические метрики оценки. В более раннем, подвергнутом жесткой цензуре отчете METR утверждалось, что ИИ якобы удваивает темпы внутренних разработок в Anthropic. Однако подобные прогнозы сталкиваются с жестким трением реальности, как только моделям поручают неструктурированный R&D.

Провал тестов, составленных моделями

Чтобы измерить этот разрыв, METR скорректировала свой график временных горизонтов, добавив долгосрочные задачи открытого типа. В одном из практических экспериментов исследователи поручили моделям разработать новые методики оценки ИИ для использования в самой METR. Результаты оценивали штатные сотрудники организации. Несмотря на то что модели превосходят людей в написании программного кода, ни один из предложенных алгоритмами тестов сотрудники METR не признали полезным для практической работы.

Ни один из предложенных алгоритмами тестов сотрудники METR не признали полезным для практической работы.

Этот дефицит эффективности напрямую переносится в производственную среду. В опубликованной в среду статье OpenAI признала: ее модели справляются с реальными задачами сотрудников заметно хуже, чем с простыми верифицируемыми кейсами. Часть экспертов по-прежнему настаивает, что обучение на легко проверяемых данных со временем позволит системам решать и открытые задачи, однако бизнес-практика пока демонстрирует обратное.

Что было раньше

Быстрый прогресс держался на математике и написании кода, где автоматическая проверка ответа стоит дешево и происходит мгновенно. В неструктурированном R&D этот метод просто буксует: реальная работа требует экспертной оценки человека, а не многократных итераций по готовой формуле. Смогут ли frontier-модели вообще выбраться за пределы генерации кода и математики без перехода от автоматических метрик к дорогой человеческой оценке каждого шага?

Источник: MIT Technology Review