← Новости

Метрики OpenAI: падение перплексии ниже 0,8 взвинчивает расходы на дата-центры

Метрики OpenAI: падение перплексии ниже 0,8 взвинчивает расходы на дата-центры
OpenAI Blog

Что означает падение перплексии предобучения ниже отметки 0,8 для будущих вычислительных бюджетов генеративного искусственного интеллекта? В то время как современный искусственный интеллект строится путем обучения предсказателя на масштабных массивах данных, а не проектирования систем с нуля, разработчики моделей жестко скрывают базовую математику производительности. OpenAI нарушила этот прецедент, раскрыв внутренние замеры перплексии по своим историческим моделям ради установления единых стандартов безопасности в индустрии.

В OpenAI признают стратегические издержки подобного шага. Публикация проприетарных оценок дает лабораториям-конкурентам прямое представление об архитектурном прогрессе, однако в OpenAI сочли, что этот риск перевешивается необходимостью задать общие отраслевые стандарты безопасности. Отслеживание перплексии — показателя того, насколько точно модель в среднем предсказывает следующий токен (чем ниже перплексия, тем выше точность предсказания), — служит главной метрикой эффективности этапа предобучения. Открытым операционным вопросом остается объем капитала, который корпоративному сектору придется выделить по мере того, как дальнейшее снижение функции потерь сталкивается с убывающей отдачей.

Механическая цена компрессии токенов

Траектория возможностей моделей напрямую соотносится с постепенным снижением потерь на контрольных валидационных датасетах. Как отмечает OpenAI, GPT-2 стала первой системой, способной последовательно генерировать связные абзацы текста, тогда как GPT-3 предоставила механизм обучения в контексте (in-context learning) на базе нескольких примеров задач. Логарифмическая перплексия GPT-3.5 на актуальном базовом валидационном датасете составила около 0,99 — именно эта модель легла в основу оригинального релиза ChatGPT.

«Публикация наших внутренних замеров перплексии потребовала взвешенного решения: она дает конкурентам более четкое представление о наших позициях, но эти опасения отступают перед срочной необходимостью сформировать единые стандарты безопасности для всей индустрии».

Инженерный прогресс ускорился с выходом GPT-4, которая достигла логарифмической перплексии около 0,91 и продемонстрировала способность эффективно применять пошаговые рассуждения (chain-of-thought). Повышение токеномической эффективности на исполнительном уровне уже меняет распределение ресурсов в корпоративных рабочих процессах. В июне 2026 года агент, предназначенный для отслеживания 200 критических уязвимостей периода 2023–2025 годов по официальным бюллетеням вендоров, выполнил задачу, потребив на 85% меньше токенов по сравнению с традиционным пайплайном, согласно данным Perplexity. Однако на фундаментальном уровне сжатие текста за пределы прежних границ требует все более сложных вычислительных кластеров.

Выход в эмерджентные скрытые области

Ранее в индустрии предполагали, что отдача от масштабирования предобучения сведется к минимальным качественным сдвигам. На практике снижение потерь ниже 0,8 вызвало не косметические улучшения, а непредсказуемый скачок эмерджентных свойств. По данным OpenAI, преодоление этого барьера открыло качественно новые возможности в кибербезопасности и математике.

«Как только мы перешли на модель с логарифмической перплексией порядка ~0,76, она начала выдавать фундаментальные результаты».

После развертывания модели с логарифмической перплексией около 0,76 система решила открытые математические проблемы, последовательно публикуя доказательства во внутренних корпоративных каналах связи. Появление столь развитых когнитивных способностей было невозможно спрогнозировать до преодоления указанных числовых порогов: точность предсказания следующего токена напрямую конвертируется в качественный скачок рассуждений.

Очередной виток фундаментальных сдвигов за счет предобучения может произойти уже в 2027 году. С опорой на текущую динамику отрасль ожидает появление новых прорывных свойств по мере входа базовых моделей в диапазон логарифмической перплексии ~0,68–0,7. Переход на этот уровень станет жестким стресс-тестом для инфраструктуры: готовность дата-центров и капитальные затраты определят, выдержит ли бизнес экспоненциальный рост вычислений ради каждого дробного шага по снижению ошибки.

Что это значит

Зачем OpenAI пошла на раскрытие внутренних логов перплексии, рискуя выдать архитектурные карты конкурентам? Компания фактически привязала качественные прорывы интеллекта к математике предобучения: если GPT-4 на уровне 0,91 освоила пошаговые рассуждения, то рубеж 0,76 позволил системе решать открытые математические задачи. Публикация этих замеров ставит отрасль перед фактом, что фундаментальное сжатие информации продолжает порождать непредвиденные когнитивные скачки вопреки разговорам о тупике масштабирования. Раскрытие внутренней шкалы потерь превращает абстрактный прогресс моделей в жесткую математическую линейку для всей индустрии.

Источник: OpenAI Blog