Барьер масштабирования: расходы на GPU грозят обесценением
Лауреат премии Тьюринга Ричард Саттон, автор программного эссе 2019 года «Горький урок», в новой публикации заявляет: одних лишь вычислительных мощностей больше недостаточно для достижения полноценного интеллекта. Его оценка ставит под сомнение устоявшуюся корпоративную стратегию, напрямую приравнивающую гигантские аппаратные кластеры к растущей эффективности бизнеса. Корпоративный консенсус рассматривал вычисления как линейный эквивалент отдачи от инвестиций, однако базовая архитектура современных моделей столкнулась со структурными ограничениями.
Экстенсивное масштабирование подошло к точке перегиба, вынуждая корпоративный капитал переключаться на поиск альтернативных архитектур обучения вместо простого финансирования более крупных серверных ферм. Миллиарды долларов капитальных затрат на инфраструктуру компаний остаются завязаны на предпосылке о том, что стандартное предварительное обучение масштабируется бесконечно. По словам Саттона, науке об ИИ требуются нестандартные новые методы, и она далека от завершения. Если механическое увеличение размеров моделей не обеспечивает постоянного прироста возможностей, модели капитальных затрат, поддерживающие текущие корпоративные планы, ждет системное обесценение.
Провал чистого масштабирования
В своем известном эссе 2019 года «Горький урок» Ричард Саттон утверждал, что общие методы, масштабируемые за счет вычислений, в конечном счете побеждают сложные инженерные решения, созданные человеком. Этот тезис стал идеологическим фундаментом для бюджетов технологических гигантов. Однако теперь Саттон подчеркивает, что человеческий опыт остается узким местом, препятствующим реальному масштабированию. Когда разработчики переходят на синтетические данные, чтобы обойти дефицит текстов из интернета, они сталкиваются с онтологическим барьером. Саттон назвал синтетические данные большой ошибкой, поскольку реальный мир бесконечно сложен, а любая его симуляция остается лишь микроскопической.
«Временный успех масштабирования трансформеров в сочетании с неверным прочтением "Горького урока" взломал систему вознаграждения в головах целого поколения ученых».
Исследователь ИИ Джерри Творек, покинувший OpenAI ради изучения альтернативных подходов, отмечает: «Горький урок» по-прежнему работает, но чем больше вычислительных ресурсов уходит на обучение модели, тем более важную роль играет сам алгоритм. Творек констатирует, что слепая вера в масштабирование трансформеров исказила исследовательские приоритеты всей отрасли. Исследователь ИИ Джейден Тео добавляет, что неоднократно наблюдал, как этот принцип тормозил академические исследования: перспективные направления отбрасывались лишь за отход от чистого масштабирования параметров. Тео призывает научное сообщество отказаться от немедленного отсева подобных работ и подчеркивает, что ценные архитектурные идеи не обязаны непрерывно следовать парадигме грубой силы.
Способны ли расходы на вычисления методом грубой силы и дальше заменять архитектурные инновации?
Группа исследователей, работающих вне периметра ведущих лабораторий, утверждает, что нет. В рамках мониторинга Frontier Radar #5 аналитики зафиксировали 45 новых ИИ-лабораторий, делающих ставку на методы обучения за пределами предварительной подготовки и обучения с подкреплением. Творек руководит проектом Core Automation, разрабатывающим алгоритмы обучения вне этой традиционной связки. Ричард Саттон возглавляет Oak Lab, объединяющую основателей, которые рассчитывают создать куда более способный ИИ, но сомневаются в эффективности сегодняшних рецептов. 13.07.2026 Oak Lab определила свой главный технический ориентир: агент на триллион параметров, способный к обучению в реальном времени и планированию задач при энергопотреблении всего в 20 ватт (мы освещали это 13.07).
Защита действующих лидеров
На фоне этого сдвига руководство наиболее капитализированных компаний в сегменте базовых моделей защищает традиционный путь развития. Генеральный директор OpenAI Сэм Альтман считает потенциал масштабирования больших языковых моделей далеко не исчерпанным и обвиняет критиков LLM в затягивании прогресса целого поколения исследователей. В качестве аргумента Альтман приводит модель OpenAI, которая недавно опровергла математическую гипотезу, долгое время не поддававшуюся математикам. Дарио Амодеи, генеральный директор Anthropic, придерживается аналогичной коммерческой позиции, называя прогресс масштабирования радугой без конца.
Оба руководителя управляют бизнесами, чьи корпоративные оценки и обязательства по инфраструктурным затратам напрямую зависят от этой гипотезы. Но пока их модели решают изолированные теоретические задачи на гигантских вычислительных кластерах, оппоненты разрабатывают агентов, способных адаптироваться на лету с бюджетом питания в 20 ватт (мы освещали это 13.07). Рынку же предлагают учитывать эту бесконечную радугу как реальный балансовый актив.
На фоне других
Миллиарды долларов продолжают заливать в серверные фермы ради масштабирования, но автор идеи о всесилии вычислений теперь сам называет базовые методы тупиком. Индустрия превратила эссе 2019 года в мандат на закупку бесконечного железа, отбрасывая любые идеи вне парадигмы грубой силы. Проект Oak Lab в середине июля задал планку в триллион параметров при потреблении всего 20 ватт — и такая энергоэффективность требует совершенно других алгоритмов, а не просто нового ангара с ускорителями. Главный идеолог бесконечных вычислений теперь лично объясняет бизнесу, почему закупка тераватт кремния больше не гарантирует интеллект.
Наши материалы: Oak Lab Ричарда Саттона: обучение с подкреплением против GenAI (13 июля).
Источник: The Decoder