FlashProve должна позволить установить, какая именно модель создала ответ, даже если компания-разработчик попытается выдать результат одной нейросети за работу другой
Anthropic представила исследовательскую систему FlashProve, которая должна подтверждать происхождение ответов от модели искусственного интеллекта с помощью криптографических доказательств. Она позволит пользователю проверить, действительно ли результат получен от заявленной модели, а не от другой нейросети, которую незаметно подставили вместо неё.
Разработчики сравнивают механизм с цифровыми подписями электронной почты: получатель может проверить, действительно ли сообщение отправлено указанным автором. В случае с ИИ такая проверка должна защищать от подмены модели даже со стороны самой компании, которая её разработала и обслуживает. Например, поставщик сможет незаметно переключить запросы на более дешёвую нейросеть, сократив расходы, или, наоборот, использовать более дорогую модель, чтобы искусственно улучшить результаты тестирования.
Источник изображения: сгенерировано Muse
FlashProve также может пригодиться для проверки заявлений сторонних компаний. Например, разработчик программного обеспечения сможет подтвердить, что его код проверяла на уязвимости именно передовая модель кибербезопасности, а не менее мощная система. Аналогично можно будет удостовериться, что бизнес-план оценивала модель, подходящая для такой задачи.
Для работы FlashProve разработчики моделей должны будут публиковать криптографические «отпечатки» своих нейросетей. Их можно будет сопоставлять с результатами работы и проверять происхождение ответов. При этом отпечатки не раскрывают веса модели — числовые параметры, определяющие её поведение. Это позволяет применять механизм и к коммерческим нейросетям с закрытой архитектурой. Сама проверка спроектирована достаточно лёгкой, чтобы её можно было выполнять на локальном устройстве.
Anthropic опубликовала техническую спецификацию FlashProve и рабочий код отдельных компонентов проекта на GitHub под открытой лицензией. Однако компания пока не собирается внедрять систему ни у себя, ни в других лабораториях. Разработчики подчёркивают, что представили промежуточные результаты и рассчитывают, что другие специалисты изучат механизм и помогут его улучшить.
