Китайский исследователь опасается, что алгоритмы начнут оценивать не только реальные поступки, но и прогнозируемое поведение людей, ограничивая их права ещё до нарушения закона
Внедрение искусственного интеллекта в китайскую систему социального кредита может превратить её в масштабный инструмент наблюдения за гражданами и прогнозирования их поведения. К такому выводу пришёл китайский исследователь Линь Цзяньсин, опубликовавший работу в Journal of Sichuan Normal University. Он предупреждает: алгоритмы способны перейти от оценки уже совершённых поступков к профилированию людей на основе предполагаемых рисков.
Существующая система социального кредита в Китае не представляет собой единую национальную базу с общим рейтингом каждого гражданина. Она объединяет несколько разных механизмов: финансовую оценку кредитоспособности, чёрные списки нарушителей законодательства, местные программы поощрений и наказаний за определённое поведение, а также инструменты контроля за работой государственных служащих. В совокупности эти механизмы могут влиять, например, на доступ к займам и другим услугам.
По мнению Линь Цзяньсина, применение ИИ позволит анализировать гораздо больше сведений о человеке: его действия, финансовую историю, социальные связи и другие доступные данные. На их основе алгоритм сможет отнести человека к группе повышенного риска, даже если тот не совершал правонарушений. В таком случае административные решения будут приниматься не по фактическим поступкам, а по прогнозу поведения. Человек может столкнуться с дополнительными проверками или ограничениями, не зная о причинах и не нарушая закон.
Источник изображения: сгенерировано Muse
В статье приводятся результаты исследования Стэнфордского университета* 2025 года, посвящённого системе социального кредита в одном из китайских городов. В изученной программе взрослые жители начинали с 1000 баллов, которые менялись в зависимости от соблюдения 389 правил и выполнения условий для получения поощрений. Среди критериев учитывалось и политическое поведение, в том числе подача обращений к государственным органам. Участники с самой низкой категорией рейтинга могли попасть под наблюдение полиции. Жители сельской местности, как выяснили авторы, находились в менее выгодном положении: у них было меньше возможностей получать дополнительные баллы, чем у горожан.
При этом исследование Стэнфорда не подтвердило существование единой общенациональной системы тотального контроля. Однако некоторые местные программы, по выводам авторов, могли наказывать людей за действия, которые сами по себе не относились к уголовным преступлениям.
Новая работа предупреждает, что применение ИИ способно усилить подобные риски.
Авторы не утверждают, что Китай уже внедряет единую общенациональную систему социального рейтинга на базе ИИ. Доказательств существования таких планов в публикации не приводится. Речь идёт о предупреждении на будущее: если алгоритмическое прогнозирование начнут использовать при принятии административных решений, то необходимо исключить наказание невиновных и чрезмерное вмешательство в частную жизнь. Исследование финансировалось в рамках поддерживаемого китайским государством проекта по изучению социального управления и институциональных инноваций.
