Thinking Machines выпустила открытую модель Inkling 2 Mini

Высокие операционные расходы на облачный инференс вынуждают бизнес переходить на локальные архитектуры развертывания, позволяющие отказаться от регулярных счетов за токены. Стартап в сфере исследований искусственного интеллекта представил открытую цикличную модель на базе архитектуры Transformer, которая перераспределяет вычислительный маршрут для каждого токена. Компания Thinking Machines выпустила Inkling 2 Mini — открытую модель со структурой Mixture-of-Experts (MoE) общим объемом 26,4 млрд параметров, из которых благодаря внутренним циклам на каждый токен активируется лишь 5,4 млрд.
Традиционные архитектуры масштабируют вычислительную глубину за счет наращивания общего объема параметров, что напрямую увеличивает требования к оперативной и видеопамяти оборудования. Вместо этого Inkling 2 Mini последовательно прогоняет 12 из своих 24 слоев по три раза подряд для каждого обрабатываемого токена. Как пояснили в Thinking Machines, последовательный запуск этих слоев позволяет системе дольше рассуждать внутри архитектуры без генерации дополнительного текста, выдавая результат с меньшим числом выходных токенов.
Inkling 2 Mini прогоняет 12 из 24 слоев три раза подряд, чтобы рассуждать внутри модели без генерации лишнего текста.
Система обрабатывает текст и изображения, поддерживает контекстное окно размером 1 миллион токенов и распространяется под лицензией Apache 2.0.
Метрики бенчмарков и периферийное развертывание
Независимые тесты показывают, что циклическое выполнение меняет структуру затрат на задачи автоматизированного программирования. Согласно данным бенчмарков, Inkling 2 Mini набрала 48,2% в тесте DeepSWE v1.1 и 46,5% в Vals Index v2.2, опередив открытые модели размером до 100 млрд параметров в тестах агентного написания кода. В оценке, проведенной платформой Artificial Analysis, модель получила 20 баллов по шкале Intelligence Index.
Этот результат ставит Inkling 2 Mini на один уровень с Qwen3.8 27B, обеспечивая при этом четырехкратное преимущество в скорости и сокращение затрат примерно в шесть раз, согласно выводам Artificial Analysis. Подобный сдвиг в производительности позволяет инженерным командам развертывать агентные сценарии разработки без выделения бюджетов на корпоративные облачные эндпоинты. Модель работает локально на компьютерах Mac с объемом объединенной памяти от 32 ГБ, а также на оборудовании Nvidia DGX Spark. Веса вместе с исследовательской версией с поддержкой вариативного числа циклов размещены на Hugging Face, а интерактивное тестирование доступно на площадке Tinker Playground.
Корпоративные заказчики, рассматривающие локальное развертывание, по-прежнему сталкиваются с практическими компромиссами в отношении пропускной способности памяти и накладных расходов на рабочих станциях. Непрерывные вычисления с повторяющимися прогонами слоев концентрируют тепловую нагрузку и задержки доступа к памяти непосредственно на кремнии клиентских устройств, а не в распределенных облачных кластерах. Руководителям предстоит точно оценить, перевешивает ли надежность локальных рабочих станций затраты на обслуживание собственной инфраструктуры при переносе вычислительных нагрузок рассуждения из централизованных облачных сред.
Как менялась картина
Раньше открытые модели наращивали кремниевую мощь грубым масштабом весов, а теперь Thinking Machines меняет сам вычислительный маршрут внутри чипа. В середине июля оригинальная Inkling брала масштабом в 975 млрд параметров, требуя колоссальных кластеров, тогда как новая Inkling 2 Mini сжимает рассуждения до циклического прогона слоев. 5,4 млрд активных параметров дают сопоставимый с тяжелыми системами результат прямо на локальной рабочей станции.
Наши материалы: Inkling от Миры Мурати: самая мощная ИИ-модель с открытым весом (16 июля).
Источник: The Decoder