Anthropic предупредила инвесторов, что может вскоре приблизиться к созданию саморазвивающегося ИИ. В обновлённой документации к IPO компания впервые подробно описала риск так называемого рекурсивного самоулучшения (Recursive Self-Improvement, RSI) — процесса, при котором искусственный интеллект помогает создавать всё более совершенные модели, ускоряя тем самым собственный прогресс.
RSI считается одним из возможных переломных моментов в развитии ИИ. Сторонники технологии видят в ней путь к резкому росту производительности, научным открытиям и автоматизации исследований. Критики опасаются, что системы, способные самостоятельно совершенствовать себя, могут развиваться быстрее, чем люди успеют обеспечивать безопасность.
Anthropic признаёт обе стороны этого процесса. В документах к IPO компания отмечает, что уже использует ИИ в собственных исследованиях и разработке новых моделей. Однако такой подход может привести к тому, что возможности систем будут расти быстрее, чем способность разработчиков проверять их безопасность, надёжность и соответствие человеческим целям.
Anthropic сообщила, что в прошлом уже не сразу замечала значительные скачки возможностей своих моделей, а в будущем подобные ускорения могут оставаться незамеченными до тех пор, пока не произойдут. Более того, внутренние оценки и прогнозы будущих моделей указывают, что компания может в ближайшее время достичь установленного ею порога «резко ускоренного прогресса, обусловленного ИИ». При этом Anthropic подчёркивает, что ни одна из существующих моделей пока не признана соответствующей этому критерию.
В документах также говорится, что Anthropic не рассчитывает в обозримом будущем поручить Claude полностью автономное проектирование и создание следующих поколений передовых моделей — без человеческого контроля.
