Система ИИ приняла пачку чипсов за пистолет и вызвала полицию в школу

Искусственный интеллект постепенно проникает во все сферы жизни, что означает передачу всё большего числа функций машинам, которые не несут ответственности за свои ошибки. В большинстве случаев сбои ИИ ограничиваются некорректными результатами поиска в Google или неудачной обработкой в Photoshop, но 20 октября вооружённые полицейские прибыли в школу из-за ошибки искусственного интеллекта.

Как сообщает WMAR 2 News, несколько полицейских машин прибыли в школу в округе Балтимор, штат Мэриленд, чтобы задержать ученика, которого система ИИ идентифицировала как вооружённого пистолетом.

Всех учеников, находившихся в здании в 19:23, проверили сотрудники полиции, но оружия обнаружено не было.

Только через три минуты после задержания учеников полицейские заметили в мусорном баке синюю пачку чипсов Doritos и поняли, что произошло. Система обнаружения оружия Omnilert на базе ИИ, которая отслеживает камеры наблюдения школы, предупредила администрацию о возможном наличии оружия на территории, после чего были уведомлены правоохранительные органы.

Пытаясь объяснить ученикам произошедшее, один из офицеров заявил: «Видимо, то, как вы ели чипсы... Doritos или что-то ещё, система распознала как пистолет». После того как проблема была решена и «виновник» (пачка чипсов) найден, другой полицейский сказал ученику: «ИИ — не самый лучший».

Представитель Omnilert заявил CBS: «В течение нескольких минут инцидент был отмечен в нашей системе как разрешённый. Участие Omnilert на этом завершилось, и система работала так, как была предназначена — обнаружила возможную угрозу, направила её на проверку человеком и обеспечила быстрое принятие обоснованного решения».

Суперинтендант государственных школ округа Балтимор доктор Мириам Роджерс утверждает: «Программа сделала то, что должна была сделать — подала сигнал тревоги, чтобы люди проверили, есть ли в данный момент причина для беспокойства». По сути, Omnilert предназначен для передачи информации о возможных проблемах ответственным лицам, которые затем должны вручную проверять подозрительную активность и подтверждать реальные угрозы.

Роджерс говорит: «Эта система использует ИИ, который ищет определённые элементы, а затем люди должны их проверить». В Omnilert сообщили, что «приветствуют» любой «обзор или обсуждение, которые помогают общественности лучше понять, как работает наша система».

Двое членов совета округа Балтимор, Яззи Патока и Джулиан Джонс, как сообщается, хотят пересмотреть систему Omnilert после этого инцидента. Джонс заявил: «Слава богу, что всё обошлось не хуже», и задался вопросом: «Как получилось, что полицейские с drawn оружием приблизились к ребёнку из-за пачки Doritos?»

Ученик, которого идентифицировали как Таки Аллена, рассказал WMAR2 News: «Теперь я чувствую, что иногда после тренировок я больше не выхожу на улицу. Потому что если я выйду, я не хочу — не думаю, что мне достаточно безопасно находиться на улице, особенно если я ем пачку чипсов или пью что-то. Я просто остаюсь внутри, пока не приедет моя машина».

Это не первый случай, когда системы искусственного интеллекта ошибочно идентифицируют безобидные предметы как оружие. В 2023 году аналогичные инциденты были зафиксированы в нескольких американских школах, где системы видеонаблюдения принимали за пистолеты мобильные телефоны и даже бутылки с водой. Технологии компьютерного зрения всё ещё сталкиваются с проблемами при распознавании объектов в нестандартных ракурсах или при плохом освещении.