Recursive бесплатно выпустила модель Flint для обхода облачных расходов
Калькуляция разработки программного обеспечения претерпевает жесткую и тихую коррекцию. Когда компания при поддержке GV, NVIDIA и AMD Ventures с оценкой в $4.65 млрд выкладывает базовую модель для написания кода в открытый доступ на Hugging Face, это не акт корпоративной филантропии. Это прямая атака на регулярный облачный налог, взимаемый провайдерами API-сервисов. Компания Recursive под руководством бывшего главного научного сотрудника Salesforce Ричарда Сочера выпустила модель Flint на этой неделе, и ее технические спецификации показывают, почему бизнес-моделям с тяжелой инфраструктурой стоит побеспокоиться.
Flint создана для работы на стандартном потребительском оборудовании: она функционирует на MacBook Pro с чипом M4 Pro со скоростью около 131 токена в секунду и достигает 150 токенов в секунду на NVIDIA RTX Spark. Задействуя всего 2.5 миллиарда из своих 40 миллиардов параметров в любой момент времени по лицензии Apache 2.0, модель обходит телеметрию, серверное логирование и регулярные сборы за использование, которые истощают инженерные бюджеты. Для руководителей предприятий отказ от хранения проприетарных кодовых баз на сторонних серверах больше не является роскошью ради комплаенса; это императив сокращения затрат, который мгновенно меняет юнит-экономику развертывания ИИ.
Значимость Flint заключается не только в ее локальном выполнении, но и в происхождении. По заявлению Recursive, модель была создана с нуля менее чем за четыре месяца небольшой командой с использованием автоматизированной исследовательской системы под названием Eureka Machine. Как отметила команда Сочера в связи со сделкой по вычислительным мощностям с Amazon Web Services на сумму $410 млн, эти инвестиции были «меньше про численность персонала и больше про количество агентов». Когда рекурсивное самосовершенствование переходит из академических белых книг в операционный четырехмесячный цикл продукта, сроки устаревания программного обеспечения резко сокращаются.
Эта скорость является частью более широкой и усугубляющейся тенденции на рынке. OpenAI сообщила, что ее автономные агенты регистрируют 3.1 рабочих дня на каждый день, отработанный человеческим исследователем, что сигнализирует о смещении узкого места в разработке ИИ с сырых вычислений на агентную пропускную способность. Каждая итерация таких моделей, как Flint, спроектирована для оптимизации самой Eureka Machine, создавая цикл разработки с замкнутым контуром, который опережает традиционные инженерные команды.
По нашему мнению, это знаменует собой начало конца для раздутых оберток, зависящих от API. Когда локальные десктопные модели соответствуют полезности инфраструктуры на облачном поводке и при этом устраняют регулярные накладные расходы и риски нарушения конфиденциальности данных, финансовое обоснование подписок на бессрочные API рушится. Для рынка это означает сжатие маржи облачных гигантов и внезапное, болезненное пробуждение для стартапов, вся бизнес-модель которых строится на перепродаже чужого API с новой оболочкой интерфейса.
Источник: TechCrunch