ИИ-агенты могут проявлять предвзятость к людям, если их убеждения подвергнуть манипуляциям
Учёные из Университета Чунцина, Университета Квинсленда и Политехнического университета Вирджинии выявили уязвимость LLM-агентов к предвзятому отношению к людям. Авторы работы показали, что агенты, созданные на основе больших языковых моделей, могут проявлять межгрупповую предвзятость, даже если отсутствуют явные социальные атрибуты.
В ходе экспериментов, проведённых в среде многоагентного социального моделирования, агенты, взаимодействующие только с другими агентами, демонстрировали устойчивую предвзятость по отношению к «чужой» группе. Однако, когда часть агентов заменялась людьми, эта предвзятость частично уменьшалась. Учёные связывают это с неким «человеческим скриптом», который агенты усваивают в процессе предварительного обучения и который заставляет их относиться к людям более благосклонно.
Авторы работы выявили новый тип атаки, названный Belief Poisoning Attack (BPA) — «атака отравления убеждений». Суть её заключается в том, чтобы исказить убеждения агента об идентичности его собеседника, чтобы он перестал воспринимать его как человека. Это предотвращает активацию «человеческого скрипта» и возвращает агента к предвзятому отношению к людям.
BPA реализуется в двух формах: BPA-PP (Profile Poisoning) — «отравление профиля», когда ложное убеждение внедряется непосредственно в профиль агента при его инициализации и BPA-MP (Memory Poisoning) — «отравление памяти», когда в память агента вводятся специально разработанные суффиксы, постепенно искажающие его убеждения. Эти суффиксы добавляются к размышлениям агента после каждого взаимодействия и со временем формируют его убеждения.
Эксперименты показали, что обе формы BPA эффективно устанавливают предвзятость агентов к людям. Учёные также предложили потенциальные решения для защиты от BPA, включающие усиление защиты профиля агента и фильтрацию содержимого памяти, содержащего заявления об идентичности.
«Мы выявили новую внутреннюю межгрупповую предвзятость, скрытую в агентах, где агенты отдают предпочтение своей предполагаемой группе над внешней группой, даже в отсутствие явных социальных атрибутов. Мы показали, что манипулирование этим убеждением может реактивировать "дремлющие предвзятости агентов по отношению к людям", и наметили две практические стратегии смягчения этого риска в современных платформах агентов», — пишут авторы.
Авторы подчёркивают, что их цель — не предоставить инструменты для эксплуатации уязвимостей, а проинформировать разработчиков о необходимости создания более безопасных и надёжных систем.