Streaming от HuggingFace ускоряет подготовку данных в 10 раз без скачивания
AI · Текст подготовлен с помощью искусственного интеллекта
Новая реализация streaming в Datasets сократила запросы к хранилищу сто крат и ускорила доступ к файлам в десять раз. Теперь можно «мгновенно» запустить обучение на терабайтных датасетах без скачивания и без страха, что диск заполнится. Подготовка data‑pipeline перестала занимать недели – теперь часы, а типичный проект экономит до $200 000 вычислительных расходов благодаря двойному ускорению загрузки и разгрузке воркеров.
Технология полностью совместима со старым API: достаточно добавить flag streaming=True к load_dataset – никаких дополнительных настроек. Даже при 256‑конкурентных запросах воркеры не падают, стабильность гарантирована.
Что это значит для твоего бизнеса? Ты можешь разгонять масштабные эксперименты в разы быстрее и дешевле, а значит оторвать конкурентов, которые до сих пор тратят время и деньги на загрузку и хранение данных.
Источник: HuggingFace Blog