Экономика вычислений: падение затрат на переобучение стирает рвы OpenAI и Anthropic
Алгоритмические улучшения достигают стадии, когда их можно полностью автоматизировать, утверждает Джейкоб Коксон, бывший исследователь, ранее обучавший модели в OpenAI и Anthropic. Коксон, ранее привлекший широкое общественное внимание предупреждениями о рисках передовых систем, назвал слайд из материалов Anthropic к роуд-шоу перед IPO главной причиной своего ухода из компании спустя примерно четыре месяца работы.
Опубликованный график демонстрирует стремительный кумулятивный рост алгоритмической эффективности, который ставит под удар масштабные бюджеты капитальных затрат. Пока передовые лаборатории скупают инфраструктуру для обучения флагманских систем, темпы оптимизации растут так быстро, что стоимость воспроизведения тех же возможностей обваливается практически сразу после их релиза.
Сжатые метрики для роуд-шоу
График, подготовленный для роуд-шоу Anthropic перед выходом на биржу, показывает объем вычислительных мощностей, необходимых компании для обучения моделей с течением времени. Ось графика сжата настолько, что десятикратный и стократный рост визуально почти неотличимы, однако кривая все равно круто уходит вверх. По оценке Коксона, этот наклон указывает на то, что алгоритмическая эффективность растет не просто быстро, а с ускорением.
«Это безумный график, и я удивлен, что они показали его публично»,
— написал Коксон по поводу раскрытых данных. Прикладная реальность за этой диаграммой означает: объем вычислений, требуемый для достижения рекордных метрик, стремительно падает, как только зафиксирована базовая архитектура. Что эта крутая кривая означает для долговечности передовых систем?
Она означает быстрое разрушение капитального барьера, защищающего релизы флагманских лабораторий. Модель Mythos от Anthropic обеспечила качественный скачок возможностей весной, однако Коксон утверждает, что Mythos была лишь отдельной точкой на суперэкспоненциальном тренде. По его словам, сейчас Anthropic способна переобучить Mythos, затратив лишь долю от изначального объема вычислений. Схлопывание требований к вычислительным мощностям превращает то, что раньше считалось неприступным инфраструктурным рвом, в актив, который можно воспроизвести за существенно меньший капитал.
Требование паузы в разработке
Некоторые аналитики могут возразить: ускорение алгоритмической эффективности просто снижает операционные издержки для всего рынка, а не подрывает позиции лидеров. Согласно этой логике, такие игроки, как OpenAI и Anthropic, лишь выигрывают от удешевления вычислений, сохраняя преимущество за счет эффекта масштаба.
Пауза привела бы к «коммодитизации интеллекта человеческого уровня. Это ударит исключительно по OpenAI и Anthropic».
Однако оценка Коксона прямо опровергает этот довод, демонстрируя, что снижение барьера вычислительных затрат размывает корпоративные преимущества первопроходцев. Поскольку оптимизация алгоритмов приближается к полной автоматизации, Коксон требует заморозить разработку передовых моделей в следующем году, чтобы дать возможность догнать их конкурентам. В своей оценке он отмечает, что подобное вмешательство превратит человеческий интеллект в общедоступный биржевой товар и ударит исключительно по OpenAI и Anthropic.
Смогут ли OpenAI и Anthropic защитить многомиллиардные инфраструктурные оценки, когда конкуренты получат возможность воспроизвести флагманские системы калибра Mythos в следующем году за долю от их изначального бюджета на обучение?
Что это значит
Гигантские траты на чипы должны были возвести непреступную стену вокруг пионеров индустрии, но график из роуд-шоу показал обратное: алгоритмическая оптимизация ускоряется настолько стремительно, что обесценивает их же прошлые флагманы. На деле же автоматизация улучшений позволяет переобучить ту же весеннюю Mythos за малую долю исходных мощностей, фактически уничтожая барьер для преследователей. Сможет ли Anthropic защитить оценку в триллион долларов, если повторить ее рекордную систему уже в следующем году станет копеечным делом для любого конкурента?
Наши материалы: Anthropic целится в оценку $1 трлн на фоне выручки в $65 млрд (18 августа).
Источник: The Decoder