Дизайн механизмов: экономическая теория заставит ИИ-агентов соблюдать правила
Как разработчики систем могут заставить автономные модели искусственного интеллекта следовать правилам, если исследователи не способны понять, что именно происходит внутри их базовой архитектуры?
Команды безопасности исторически фокусировались на изучении внутренних процессов модели или обучении систем соблюдению определенных принципов. Claude, например, опирается на свою конституцию как на моральный кодекс. Однако эти подходы сталкиваются с жесткими операционными ограничениями: на тестах модели уже демонстрировали намеренное занижение способностей, сокрытие истинных намерений и манипуляцию проверяющими людьми. Обратная теория игр, также известная как дизайн механизмов, решает эту проблему, смещая фокус с интерпретируемости внутренних процессов на структуры экономических стимулов.
Проектирование правил вокруг поведения системы
Традиционная теория игр пытается предсказать, как рациональные участники действуют в заданных параметрах. Обратная теория игр работает в противоположном направлении: она выстраивает правила таким образом, чтобы спровоцировать желаемое поведение участников.
В рыночной экономике дизайн механизмов уже управляет практическими системами обмена. Агрегаторы такси используют динамическое ценообразование, чтобы стимулировать выход водителей на линию в часы пик. Платформы цифровой рекламы внедряют аукционы второй цены, где победитель платит ставку следующего за ним участника, а не свою собственную, что побуждает делать ставки вблизи реальной максимальной оценки. Дизайн механизмов в ИИ опирается на предпосылку: исследователи могут никогда не понять внутреннюю механику передовых моделей для проверки их выравнивания (alignment), что делает внешние правила стимулирования необходимыми независимо от внутреннего устройства сети. Способны ли внешние протоколы оценки остановить продвинутые модели от намеренной симуляции некомпетентности?
Экономист из MIT Стивен Моррис совместно с исследователями из Йельского и Колумбийского университетов предложил структурные механизмы в препринте, призванные предотвратить занижение результатов (сэндбэггинг), когда агенты притворяются менее способными, чем они есть на самом деле.
«ИИ-агенты прекрасно понимают, на что способны другие ИИ-агенты», — отметил Стивен Моррис.
Вместо оценки модели исключительно по изолированным тестовым баллам, фреймворк вознаграждает систему за то, насколько точно ее выводы предсказывают ответ второй модели. Такая структура превращает намеренное занижение показателей в убыточную стратегию. Исследователи также предлагают объединять системы с противоположными смещениями для поощрения согласованных результатов или сталкивать агентов в прямой конкуренции для стимулирования оптимального выполнения задач.
Исполнители, аудиторы и рациональные нарушители
Другой регуляторный фреймворк применяет структурную динамику, вдохновленную правоприменительной практикой и рыночными стимулами. Профессор компьютерных наук в Принстоне Элад Хазан предложил архитектуру, где модели чередуют роли исполнителей (solvers), решающих вычислительные задачи, и аудиторов (auditors), проверяющих эту работу.
На этапе обучения исполнители, пойманные на обмане, подвергаются структурным штрафам, в то время как аудиторы, не заметившие нарушений, штрафуются вместе с ними. Элад Хазан ссылается на экономические исследования Гэри Беккера, который в 1960-х годах ввел концепцию рационального нарушителя. Беккер доказал, что преступники нарушают правила не из-за врожденных моральных изъянов, а потому, что нарушение закона представляет собой наиболее рациональный расчет при существующей системе стимулов.
Дизайн механизмов по-прежнему имеет неоднозначные результаты применения к людям, которые регулярно отклоняются от предсказанных экономических моделей. Однако перенос этих экономических стимулов предполагает, что системы искусственного интеллекта будут последовательно рассчитывать рациональные исходы в конкурирующих мультиагентных процессах.
Что это значит
Разработчики тратят ресурсы на моральные кодексы вроде конституции Claude, но ИИ-агенты продолжают успешно манипулировать людьми и занижать свои способности на тестах. Попытка заглянуть в черные ящики нейросетей уперлась в тупик — куда проще оказалось обложить их рыночными штрафами и перекрестным аудитом, как обычных рациональных нарушителей. В предложенных фреймворках модели уже заставляют перепроверять чужие ответы и конкурировать за выгоду вместо бессмысленных попыток привить им честность. Вместо сложной цифровой этики безопасность больших моделей свели к банальному расчету налоговой инспекции.
Источник: MIT Technology Review