Эффективные вычислительные ресурсы для ИИ растут минимум в 10 раз ежегодно, а стоимость интеллектуальной работы может снизиться с $1 млрд до $1000 за десятилетие
Тим Геневейн из Google DeepMind опубликовал эссе о возможных путях развития искусственного интеллекта после достижения AGI (Artificial General Intelligence — общего искусственного интеллекта, способного выполнять практически любые интеллектуальные задачи на уровне человека). Следующей ступенью может стать ASI (Artificial Superintelligence — искусственный сверхразум), который будет стабильно превосходить крупные коллективы специалистов в задачах, на выполнение которых у людей уходят годы.
Одним из факторов такого перехода Геневейн считает «когнитивную индустриализацию» — массовое удешевление и автоматизацию интеллектуального труда. За последние 10 лет эффективные вычислительные ресурсы для ИИ увеличивались как минимум в 10 раз ежегодно. На эту динамику одновременно влияли совершенствование аппаратного обеспечения, повышение эффективности алгоритмов и рост инвестиций в ИИ-оборудование. В частности, вычислительная мощность на каждый вложенный доллар благодаря развитию производства микросхем увеличивалась примерно в 1,5 раза в год, а эффективность алгоритмов обучения за последнее десятилетие росла в 3–6 раз ежегодно.
Если тенденция сохранится, то через 10 лет на выполнение интеллектуальной задачи, для которой сегодняшним ИИ требуется вычислений на $1 млрд, может хватить всего $1000. Одновременно количество ИИ-агентов сопоставимого качества, которых можно будет запускать при доступных вычислительных ресурсах, теоретически превысит нынешнюю численность населения Земли. По более осторожной оценке с учётом физических и экономических ограничений, совокупное число доступных агентов может увеличиться более чем в 1000 раз к 2030 году и более чем в миллиард раз за десятилетие.
Источник изображения: сгенерировано Muse
По мнению Геневейна, одного увеличения скорости и количества агентов при достижении AGI может оказаться достаточно для перехода к формам сверхразума, хотя само по себе масштабирование не гарантирует появления всех необходимых интеллектуальных способностей.
При этом автор выделяет 4 технологических пути от AGI к ASI.
Первый — дальнейшее увеличение размеров моделей, объёмов обучающих данных и вычислений, выделяемых на обработку каждого запроса. Такой подход уже обеспечивает рост возможностей ИИ, но сталкивается с нехваткой качественных данных, снижением отдачи от увеличения моделей и ограничениями физической инфраструктуры.
Второй путь — переход к новым технологическим парадигмам. Современные модели преимущественно обучаются предсказывать следующий элемент последовательности в массивах данных, а затем дорабатываются для рассуждений и выполнения инструкций. Однако у них остаются ограничения в непрерывном обучении, построении моделей окружающего мира, принятии решений и способности самостоятельно создавать принципиально новые понятия. Учёные пока не пришли к единому мнению, можно ли устранить эти недостатки развитием существующих архитектур или потребуются принципиально новые подходы.
Третий путь — координация множества ИИ-агентов. Подобно тому как корпорации и научные сообщества решают задачи, недоступные людям по отдельности, миллионы экземпляров AGI могут объединяться в виртуальные коллективы. Первые эксперименты уже показывают, что взаимодействие агентов способно повышать эффективность решения некоторых задач, однако при увеличении их числа возникают потери из-за сложностей координации. Дополнительные проблемы — распространение ошибок, манипуляции и сговор между агентами.
Четвёртый путь — рекурсивное самоулучшение (RSI): ИИ самостоятельно совершенствует программный код, архитектуры моделей, алгоритмы обучения и даже конструкции микросхем, ускоряя создание следующих поколений систем. Этот процесс может происходить и через данные: например, AlphaZero достиг сверхчеловеческого уровня игры, совершенствуясь за счёт собственного опыта. Однако самоулучшение не обязательно будет ускоряться бесконечно: дальнейшие усовершенствования требуют всё больших усилий, а ошибки в оценке результатов могут остановить или даже ухудшить процесс.
Эти 4 направления не исключают друг друга и могут усиливать совместное действие. Геневейн подчёркивает, что даже если рекурсивное самоулучшение не приведёт к неконтролируемому ускорению прогресса, то увеличение вычислительных ресурсов, эффективности моделей и числа согласованно работающих агентов способно обеспечить быстрое развитие ИИ за пределами человеческого уровня. Поэтому ограничение только одного направления, например вычислительных мощностей для обучения моделей, не обязательно остановит движение к ASI: развитие может продолжиться по другим технологическим маршрутам.
Автор эссе считает необходимым уже сейчас разрабатывать методы измерения и прогнозирования прогресса на пути к сверхразуму. Особенно важными могут стать области с автоматической проверкой результатов, например математические доказательства. Эссе основано на техническом докладе From AGI to ASI, подготовленном Геневейном совместно с другими специалистами. В нём переход к сверхразуму рассматривается как совокупность технологических возможностей, последствия которых для науки, экономики и общества необходимо изучать заранее.