Discord признала ошибку ИИ-модерации, из-за которой были ошибочно заблокированы более 8000 пользователей

Discord признала, что ошибка в её системе ИИ-модерации привела к ошибочной блокировке более 8000 пользователей за последние два месяца. Безобидные изображения, включая электронные таблицы, шахматные доски, игровые текстуры, а также белые и серые прозрачные фоны, были неверно помечены как вредоносный контент.

Компания подтвердила, что проблема затрагивала аккаунты с мая, а в минувшие выходные были заблокированы ещё 200 пользователей, прежде чем команда Discord выявила и устранила неполадку. В настоящее время все затронутые аккаунты восстанавливаются.

Этот инцидент подчёркивает одну из растущих проблем, связанных с модерацией на основе ИИ, поскольку многие платформы всё чаще полагаются на автоматизированные системы для массового выявления незаконного или оскорбительного контента.

В подробной теме на X Discord объяснила, что её автоматизированная система безопасности работает путём сопоставления загружаемого контента с базами данных известного вредоносного материала. Хотя технология предназначена для выявления незаконного контента, компания признала, что иногда она может выдавать ложные срабатывания. Модератор-человек проверяет контент, но из-за ошибки система немедленно блокировала затронутые аккаунты.

«Мы работаем над улучшением защиты, чтобы это не повторилось», — написала компания.

Наши системы помечают контент, сопоставляя его с известным вредоносным материалом. Такой поиск по сходству может давать ложные срабатывания, поэтому перед принятием каких-либо мер наш сотрудник из отдела доверия и безопасности всегда проверяет отмеченный контент.

Ожидаемое поведение — это…

На X и Reddit пользователи заявляли, что их аккаунты были навсегда заблокированы только за загрузку изображений с квадратными сетками. Некоторые пользователи предположили, что инструменты ИИ-модерации Discord стали чрезмерно чувствительны к узорам в виде сетки, поскольку ранее их использовали для сокрытия или маскировки контента для взрослых и материалов с эксплуатацией детей от систем автоматического обнаружения.

Пострадавшие пользователи выражают разочарование в социальных сетях, утверждая, что постоянная блокировка аккаунтов на основе только автоматического обнаружения может иметь серьёзные последствия, особенно для тех, кто использует Discord для работы, игровых сообществ или общения на расстоянии.

«Потеря аккаунта Discord из-за такой несправедливости может быть крайне разрушительной и сильно ударить по пользователям, и каждый день миллионы пользователей страдают от ложных блокировок ИИ. Это необходимо прекратить», — написал один из пользователей X.

Мой аккаунт был ошибочно заблокирован на вашей платформе из-за ошибки в вашем ИИ-автомодераторе, который определил мои ИГРОВЫЕ ТЕКСТУРЫ как CSAM. Мне нужно вернуть мой аккаунт, так как я гейм-директор и использую Discord для всей своей коммуникации. Я запросил пересмотр блокировки.@discord @discord_support pic.twitter.com/QfAkCIJo6S

Discord не единственная платформа, столкнувшаяся с проблемами модерации из-за автоматизированных систем. В прошлом году пользователи Instagram и Facebook Groups сообщали о массовых необъяснимых блокировках аккаунтов, которые, по их мнению, были вызваны системами ИИ-модерации. Хотя пользователи указывали на автоматизацию как на вероятную причину, Meta так и не подтвердила публично, были ли виноваты ошибки ИИ. Сейчас Наблюдательный совет Meta добивается повышения прозрачности.

Tumblr в прошлом году также столкнулся с жалобами пользователей, чьи аккаунты были массово заблокированы без четких объяснений.

* Meta, Facebook и Instagram запрещены в России.