Новый индекс Artificial Analysis зафиксировал четырехкратный рост разрыва между открытыми и закрытыми моделями
Стратегический шаг Artificial Analysis по пересмотру своего индекса Intelligence Index обнажает растущую пропасть между моделями с открытым исходным кодом и проприетарными системами. Модель Kimi K3.1 Pro опустилась на пять позиций в новом рейтинге, упав с четвёртого места на девятое и пропустив вперед восемь проприетарных систем в версии 5. Теперь Artificial Analysis оценивает разрыв в производительности между открытыми моделями и лидерами рейтинга в 12 пунктов, что в четыре раза превышает прежний показатель в 3 пункта.
Впервые 60 процентов индекса опираются на закрытые тестовые наборы данных, что позволяет пресечь бенчмаксинг — практику целенаправленного обучения моделей на известных тестовых вопросах. Падение Kimi K3.1 Pro указывает на то, что предыдущие методологии оценки маскировали скрытые дефекты, в то время как модель Grok 4.7 под пристальным вниманием также потеряла 12 пунктов. По мнению исследователя ИИ Натана Ламберта (Nathan Lambert), бенчмаксинг объясняет происходящее лишь отчасти.
Инфраструктурный дефицит открытых моделей
Корпоративные внедрения зависят от стабильной надежности в различных дисциплинах, однако прирост качества обучения все сильнее зависит от сред обучения с подкреплением, которые дублируют задачи из бенчмарков. Поддержание паритета в нескольких областях требует масштабной вычислительной инфраструктуры и выделенных конвейеров обучения с подкреплением — ресурсов, которые остаются недоступными для лабораторий, работающих с более жесткой маржинальностью.
Сегодня основные достижения в обучении происходят в средах обучения с подкреплением на задачах, схожих с бенчмарками.
Цена прозрачности
Переход к закрытым тестовым наборам порождает дефицит подотчетности, поскольку сторонние исследователи больше не могут проверять промпты на предмет ошибок или предвзятости. Тест знаний AA-Omniscience показывает, что подобные изъяны распространены повсеместно, из-за чего компании Artificial Analysis пришлось перерабатывать двусмысленные и дефектные вопросы специально к запуску нового индекса. Для технических директоров, оценивающих контракты с вендорами, ключевой вопрос заключается в следующем: какая доля заявленных возможностей открытой модели отражает реальную пользу для бизнеса, а не оптимизацию под тесты? Без возможности публичного аудита проверка производительности в рабочих средах требует дорогостоящего внутреннего тестирования, которое перекладывает издержки на валидацию напрямую на покупателя.
Почему это важно
Куда исчез мнимый паритет открытых и проприетарных систем? Ответ прост: стоило исследователям скрыть шестьдесят процентов тестовых вопросов, как результаты посыпались. Красивые таблицы лидеров годами держались на целенаправленной подгонке моделей под известные бенчмарки, а не на реальной автономности. Вся иллюзия догоняющего открытого кода держалась ровно до тех пор, пока составители тестов не перестали раздавать шпаргалки перед экзаменом.
Источник: The Decoder