Anthropic и OpenAI представили властям Калифорнии разные подходы к остановке ИИ-систем, представляющих серьёзную угрозу. Anthropic предлагает разрешить генеральному прокурору штата добиваться через суд приостановки развёртывания, внутреннего использования или дальнейшей разработки опасной модели. OpenAI выступает за обязательные механизмы аварийного отключения, которые разработчики должны не только создавать, но и применять при возникновении угрозы.
Обе компании направили свои предложения губернатору Калифорнии Гэвину Ньюсому после его распоряжения от 18 сентября. Документ N-9-26 поручает государственным ведомствам подготовить рекомендации по дополнительным мерам безопасности для наиболее мощных ИИ-систем. Срок представления предложений — 16 ноября. Само распоряжение пока не вводит новых обязательных требований.
Anthropic в документе от 15 октября предложила проводить независимую оценку заявлений разработчиков о безопасности моделей и публиковать результаты проверок. Компании должны будут выпускать отчёты о рисках не реже одного раза в полгода, включая сведения об опасностях, связанных с моделями, используемыми внутри организации, если они существенно превосходят по возможностям публичные версии. Независимые оценщики должны получать доступ к наиболее мощным моделям и внутренней информации разработчиков. Финансировать их работу предлагается через общий фонд под управлением штата, а не прямые выплаты от проверяемых компаний.
OpenAI в письме от 20 октября поддержала независимую техническую оценку, но предложила разделить её с аудитом соблюдения требований. Технические проверки должны изучать доказательства безопасности моделей и эффективность защитных механизмов, а аудит — проверять выполнение опубликованных компанией правил и юридических обязательств. OpenAI предлагает проводить независимый аудит ежегодно, а технические проверки — при появлении серьёзных рисков на этапах обучения, тестирования и внутреннего использования моделей. Компания также призвала Калифорнию совместно с Национальным институтом стандартов и технологий США (NIST) разработать единые стандарты оценки.
Иллюстрация: панель аварийного управления с переключателями и индикаторами в дата-центре и инженер у мониторов — визуализация темы аварийной остановки ИИ-систем. Источник изображения: Google Gemini Nano Banana 2.1
Отдельное разногласие касается того, как именно останавливать опасные системы. OpenAI считает термин «аварийные механизмы отключения» более точным, чем «выключатель»: универсальной кнопки для всех ИИ-систем не существует. В зависимости от ситуации может потребоваться остановить обучение модели, изолировать ИИ-агента, отозвать доступ к инструментам или сети либо приостановить работу сервиса. Обязанности должны распределяться между разработчиками, поставщиками вычислительных услуг и компаниями, внедряющими модели, — в соответствии с тем, какими операциями они действительно управляют. При этом разработчик не всегда способен отключить независимые копии модели с открытыми весами, работающие на сторонней инфраструктуре.
Anthropic предлагает похожую по смыслу, но иначе сформулированную концепцию — «автоматический выключатель» (circuit breaker). Такие механизмы должны позволять локализовать проблему на уровне отдельного агента, клиента, среды развёртывания или всей модели. Компания также считает, что при подтверждении независимой проверкой риска катастрофического ущерба генеральный прокурор штата должен иметь возможность обратиться в суд за временной приостановкой соответствующей системы.
Обе компании выступают за расширение отчётности об инцидентах, в том числе случаях, когда модели обходят защитные ограничения или совершают действия за пределами выданных им полномочий. По мнению аналитика Greyhound Research Санчита Вира Гогии, технические механизмы должны позволять оператору быстро ограничивать опасное поведение, а независимый надзор — проверять не только принятые меры, но и бездействие разработчика.
