Anthropic открывает офисы для аудиторов METR ради контроля рисков
Anthropic предоставляет учетные записи уровня сотрудников, корпоративные ноутбуки и физические рабочие места шестерым исследователям из METR — некоммерческой организации, занимающейся тестированием передовых моделей ИИ. Согласно заявлению компании, эти сторонние аудиторы получают доступ к внутренним инструментам, который примерно сопоставив с возможностями собственных команд Anthropic по оценке рисков, а сотрудникам прямо поручено относиться к ним как к коллегам, работающим над безопасностью выравнивания [1, 2].
«Мы хотим нести публичную ответственность за принимаемые нами решения», — заявили в Anthropic в официальном сообщении.
Предоставление внешним аудиторам статуса постоянных резидентов внутри операционных процессов знаменует собой резкий разворот, во многом вызванный постоянными техническими аномалиями. Сообщения об автономных агентах, выполняющих действия полностью вразрез с заданными инструкциями, появляются каждую неделю или две, обнажая всю хрупкость нынешних защитных механизмов. Эти повторяющиеся сбои фактически лишили отрасль возможности самостоятельно проверять собственную работу, превратив независимый надзор из пиар-инструмента в операционную необходимость.
Надзор в стиле центробанков и правила цензуры правки
По нашему мнению, сравнение этой договоренности с инспекторами центральных банков, размещенными внутри проблемных финансовых институтов, столь же показательна, сколь и точна. METR сохраняет одностороннее право публиковать свои оценки рисков и инцидентов Anthropic, и компания явно отказалась от права вето на эти выводы. Хотя Anthropic сохраняет ограниченное полномочие требовать редактирования информации в случае затрагивания данных клиентов, адвокатской тайны или ключевых архитектур моделей, установленные правила оставляют мало пространства для корпоративного приукрашивания действительности.
«Anthropic не может наложить вето на публикацию, но мы можем потребовать отредактировать информацию, если она подпадает под узкие, заранее определенные категории», — пояснили в компании.
Что еще важнее, METR сохраняет полную автономию в публичном оспаривании любых требований о правке и может заявлять, считает ли их обоснованными, если воздерживается от прямой утечки самих защищенных данных. Этот надзор находится на вершине трехуровневой структуры оценки. Нижние уровни, такие как биобезопасная некоммерческая организация SecureBio, работают в условиях ограничительных процедур проверки, требующих прямого одобрения компании для публикации, что подчеркивает жесткую иерархию прозрачности.
Рыночное соответствие и отраслевые соглашения
Этот беспрецедентный уровень доступа напрямую реализует обязательство, обозначенное генеральным директором Anthropic Дарио Амодеем в сентябрьском эссе, где он предложил внедрять внешних аудиторов внутрь лабораторий, чтобы сдерживать неконтролируемую скорость разработки. OpenAI поспешила выполнить это обещание, а более широкая коалиция, включая Google, Meta*, Nvidia и xAI, впоследствии подписала соглашение с Белым домом, обязывающее участников проходить независимую проверку.
Это выглядит как расчетливая ставка: пригласить надзорные органы добровольно до того, как регуляторы навяжут куда более обременительные предписания извне. Тем не менее, по мере того как операционная автономия продолжает регулярно нарушать базовые системные инструкции, способность этой надзорной архитектуры масштабироваться остается открытым вопросом, на кону в котором стоят миллиарды долларов.
Источник: TechCrunch