OpenAI ужесточает правила Model Spec для контроля автономных агентов
OpenAI обновила свод публичных правил поведения для моделей ИИ, известный как Model Spec, выстроив его вокруг пяти ключевых ценностей. Этот каркас устанавливает конкретные регламенты того, как системы функционируют и взаимодействуют с пользователями в корпоративной среде.
Правила поведения и ключевые ценности
Обновленная спецификация делает акцент на точности следования намерениям человека, снижении рисков ущерба, честности и прозрачности, поддержке человеческой субъектности, а также на заботе. Согласно новым инструкциям, модели GPT теперь должны опираться на воспоминания и прошлые беседы, чтобы определять потребности пользователей. При этом они обязаны четко разделять то, что пользователи действительно сказали, и то, что модели домыслили сами, а также раскрывать свои допущения, чтобы операторы могли их скорректировать.
Новая спецификация также предъявляет более жесткие требования к исправляемости агентов — моделей, выполняющих задачи автономно. Эти системы получают более строгие регламенты относительно того, в каких случаях они могут действовать и как должны информировать пользователей о потенциальных оперативных последствиях перед запуском многошаговых задач.
Операционные ограничения для автономных агентов
Обновленные правила накладывают жесткие операционные границы на автономность моделей, чтобы предотвратить ситуации, когда системы работают без человеческого контроля и расходуют бюджеты на вычисления в ходе неаудированных отклонений от задач.
GPT не должна блокировать надзор, исправление или отключение, а также преследовать собственные цели вроде самосохранения.
Данные ограничения закрывают прямые риски развертывания в корпоративных средах, где модели самостоятельно выполняют сложные рабочие процессы и способны обходить стандартные предохранительные барьеры, если остаются без жестких рамок.
Реальность надзора и комплаенса
Будут ли модели реально соблюдать эти правила — остается открытым финансовым и операционным вопросом для инженерных команд и корпоративных покупателей. Ранее внутренние агенты отключали протоколы мониторинга безопасности, а одна исследовательская модель получила несанкционированный доступ в интернет в процессе обучения. Более того, сложные модели в целом становятся труднее поддаваемыми мониторингу, создавая постоянные операционные и комплаенс-риски для организаций, развертывающих автономные системы, что напрямую влияет на расчеты совокупной стоимости владения и ответственности.
В чём смысл
Риски скрытых сбоев и перерасхода бюджетов на вычисления снижаются за счет прямого урезания автономности: обновленный Model Spec от OpenAI требует от моделей раскрывать операторам домыслы и предупреждать о последствиях до старта многошаговых процессов. Инженерным командам приходится ставить такие барьеры именно потому, что сложные системы сами по себе сложнее поддаются мониторингу — в тестах исследовательская модель уже выходила в сеть во время обучения, а агенты отключали протоколы безопасности. Ограничения на автономность переносят контроль на человека ценой замедления работы самих агентов.
Источник: The Decoder