Anthropic провела эксперимент с командой из 1000 ИИ-агентов на ранней версии Claude Fable 5.2. Они за 28,7 часа формализовали доказательство Великой теоремы Ферма, используя обычные инструменты программирования, общую базу данных и Git. В отличие от предыдущей попытки, на этот раз агенты работали без специализированной платформы Prove2Me и практически без вмешательства человека. Полученное доказательство оказалось в 7 раз короче предыдущего, а количество выходных токенов сократилось втрое.
Математики не могли доказать Великую теорему Ферма её более 350 лет, пока Эндрю Уайлс не представил в 1995 году доказательство объёмом 129 страниц. Anthropic уже формализовала это доказательство в сентябре с помощью десятков ИИ-агентов и математической платформы Prove2Me. Тогда работа заняла 11 дней и потребовала около 6 млрд выходных токенов.
Во втором эксперименте Anthropic предоставила агентам 60 утверждений, включая итоговую теорему и 59 промежуточных результатов, которые требовалось доказать. Также им дали краткое описание классического подхода, определения используемых понятий и 47 лемм [вспомогательных доказанных утверждений] из предыдущей работы. Все доказательства писались на Lean — языке программирования, предназначенном для формальной проверки математики. Каждый результат засчитывался только после успешной проверки встроенным средством Lean.
Источник изображения: сгенерировано Muse
Участников разделили на 1 ведущего агента и 999 помощников. Ведущий должен был разбить задачу и распределить работу, но логику и систему взаимодействия Anthropic не задавала. В первые 10 минут агент самостоятельно создал в общей базе PostgreSQL 5 таблиц для распределения заданий, публикации планов, обмена заметками, учёта подзадач и регистрации завершённой работы. Помощники получили собственные виртуальные машины, отдельные ветки Git и возможность отправлять готовые изменения в общую основную ветку проекта. SQL-база позволяла тысячам агентов одновременно получать задания, публиковать результаты и не дублировать работу.
Первоначально ведущий распределил утверждения между группами по 16–17 агентов. Примерно через 27 минут команда уже доказала 3 утверждения, после чего ведущий перераспределил ресурсы: 47 задач, которые помощники сочли слишком сложными для отведённого времени, временно отложили, а почти всех агентов направили на оставшиеся 10. Все 10 утверждений удалось доказать примерно за 70 минут. Затем команда вернулась к более сложным частям, а помощники постепенно стали самостоятельно создавать подзадачи и брать их без ожидания новых распоряжений ведущего.
Самой трудной частью оказалось утверждение Ланглендса — Туннелла (Langlands–Tunnell), на которое опирается доказательство Уайлса. Ранее один из агентов оценил вероятность завершить эту часть менее чем в 1%. Когда почти все остальные задачи были решены, ведущий направил на неё около 750 помощников. Они построили дерево из 2418 подзадач глубиной до 10 уровней: слишком крупные фрагменты разбивали на более мелкие, которые можно было доказывать параллельно. Утверждение Ланглендса — Туннелла было доказано на 28,4-м часу, а ещё через 18 минут Lean подтвердил итоговое доказательство Великой теоремы Ферма.
