← Новости

Инфраструктурные тупики ИИ: автоскейлеры Kubernetes провоцируют простои GPU

Инфраструктурные тупики ИИ: автоскейлеры Kubernetes провоцируют простои GPU
Иллюстрация: The Value Engineering, ИИ

Почему под с GPU зависает в статусе Pending, когда мощности в кластере вроде бы свободны? Ситуация обходится дорого: задачи стоят в очереди, а зарезервированные или вновь развернутые серверы тратят бюджет без фактической пользы.

Короткий ответ заключается в рассинхронизации двух базовых контуров управления. Историческая архитектура оркестратора строилась на предположении, что узлы и процессоры взаимозаменяемы. Однако автоскейлер готов добавить сервер, который планировщик не сможет задействовать из-за специфических аппаратных ограничений.

Конфликт слепого масштабирования

Kubernetes обеспечивает работу значительной части контейнеризованного ПО в мире благодаря разделению обязанностей между двумя циклами управления, которым прежде редко требовалось взаимодействовать. Схема проста: планировщик размещает поды на существующих узлах, а автоскейлер добавляет узлы, когда поды негде разместить. Десять лет эта архитектура работала успешно: вычислительные ресурсы были в основном взаимозаменяемыми, и каждый цикл мог действовать, почти ничего не зная о решениях другого. ИИ-нагрузки и ускорители изменили условия.

В типичном инциденте инженеры видят, что под не удаётся разместить, хотя доступные мощности кластера ещё не исчерпаны. Пока под ожидает, дорогостоящие ускорители простаивают, генерируя прямые операционные потери. Первой реакцией обычно становится гипотеза о нехватке серверных емкостей у облачного провайдера. На самом же деле автоскейлер вслепую запускает типовой узел, конфигурация которого принципиально не подходит планировщику под заявленные требования конкретной модели.

«Бывает, что мощности доступны, а под всё равно остаётся в состоянии Pending: автоскейлер готов добавить узел, который планировщик не сможет использовать».

Как отмечают в VK Tech, сообщество уже решает часть этой проблемы, пытаясь добиться лучшего учета работы планировщика со стороны автоскейлера. Вопрос согласованности встает ребром: автоскейлер решает задачу добавления физической единицы, но не оценивает пригодность её внутренней архитектуры для конкретной задачи.

Критики могут утверждать, что традиционные методы мониторинга и ручная настройка подов достаточны для управления кластерами без внедрения сложных механизмов DRA. Тем не менее, усложнение конфигураций оборудования делает ручное распределение ресурсов все более трудоемким.

Диагностику части проблем в Kubernetes пытаются автоматизировать. Делегируя 90% этой механической диагностики мультимодельной архитектуре со специализированными субагентами, такими как инспектор подов или анализатор масштабирования, организации могут прекратить линейный найм персонала по мере роста кластеров. Однако на базовом уровне планирования оркестратор все равно сталкивается с аппаратными ограничениями оборудования.

Топология шин и доменов

Главная преграда для наивного планирования — физическая топология. Топология описывает, как устройства соединены друг с другом, а не просто насколько далеко они расположены. Ускоритель может требовать взаимодействия с центральным процессором и памятью в своем домене NUMA, сетевым интерфейсом на общем пути PCIe или другими ускорителями. Если эти компоненты топологически разнесены, обмен трафиком замедляется из-за прохождения через узкие каналы связи, что критично для производительности.

Исторически Kubernetes обычно представлял ресурсы ускорителей в виде количества устройств. Переносимого структурированного способа описать многие связи между ними не было: узел сообщал число устройств, под запрашивал нужное количество, а планировщик сопоставлял два целых числа. Для специализированных аппаратных конфигураций такой подход оказывается недостаточным. Dynamic Resource Allocation призван восполнить этот пробел: рабочая нагрузка может создавать структурированную заявку с описанием требований к устройствам и их связям. Планировщик читает такие заявки напрямую, а автоскейлеры с поддержкой DRA также начинают учитывать их при моделировании мощностей, хотя поддержка пока зависит от реализации.

«Dynamic Resource Allocation восполняет этот пробел. Рабочая нагрузка создаёт структурированную заявку с описанием требований».

Точно так же обстоит дело с эффективностью использования одного чипа. Современные ускорители настолько мощны, что небольшая задача, получив устройство целиком, оставит большую часть его ресурсов незадействованной. Чтобы дорогостоящее железо окупалось, механизмы кластера должны обеспечивать совместное использование: механизм partitionable devices позволяет по запросу предоставлять части одного устройства, а модель consumable capacity даёт более детальный способ распределения: несколько рабочих нагрузок могут одновременно получать измеримые доли ресурса, и для удовлетворения запроса достаточно части устройства.

Несогласованность автомасштабирования с требованиями оборудования может приводить к простоям неиспользуемых узлов. Экономическая отдача от вычислительной инфраструктуры теперь зависит от внедрения DRA и тонкого учета топологии чипов на уровне оркестрации.

Где подвох

Где именно сгорает инфраструктурный бюджет при развертывании моделей в Kubernetes? Корень проблемы в скрытом противоречии: десятилетиями автоскейлер просто добавлял типовые серверы, а планировщик пытался уместить в них задачи с жесткими требованиями к топологии соединений PCIe и доменов NUMA. Пока инженеры грешат на облачного провайдера, дорогая машина уже оплачена и включена, но под продолжает висеть в очереди из-за несовместимости архитектуры узла. Старая абстракция взаимозаменяемых вычислительных ресурсов разрушается о жесткие аппаратные связи современных ускорителей.

Источник: Хабр ML