OpenAI поддержала единый стандарт управления краулерами robots.txt
OpenAI согласилась поддержать единый сигнал robots.txt для контроля доступа к контенту, избавляя операторов сайтов от административной нагрузки по поддержанию отдельных правил для каждого поставщика моделей.
Ранее владельцам ресурсов приходилось вручную идентифицировать и блокировать различные краулеры, поддерживая фрагментированные режимы соблюдения требований для каждого поставщика ИИ.
Эта стандартизация снижает технические издержки на управление системами сбора данных. Согласно анонсу, OpenAI планирует развернуть сигнал в ближайшие месяцы, выровняв свою структуру с рабочей группой Internet Engineering Task Force по ИИ-предпочтениям.
Устаревшие элементы управления краулерами и существующие пользовательские конфигурации остаются активными наряду с новым стандартом. Поскольку инициатива в настоящее время является добровольной, массовое принятие другими крупными игроками рынка зависит от того, решат ли конкурирующие поставщики внедрить общий сигнал.
Источник: OpenAI Blog