ИИ для мониторинга интернета на предмет террористического контента
Использование ИИ для мониторинга интернета на предмет террористического контента неизбежно, но также чревато подводными камнями
Каждую минуту миллионы постов, фотографий и видео в социальных сетях заполоняют интернет. В среднем пользователи Facebook делятся 694 000 историй, пользователи X (ранее Twitter) публикуют 360 000 постов, пользователи Snapchat отправляют 2,7 миллиона снимков, а пользователи YouTube загружают более 500 часов видео.
Этот огромный океан онлайн-материалов необходимо постоянно отслеживать на предмет наличия вредоносного или противозаконного контента, например, пропагандирующего терроризм и насилие.
Огромный объем контента означает, что люди не могут просматривать и проверять его все вручную, поэтому автоматизированные инструменты, включая искусственный интеллект (ИИ), необходимы. Но такие инструменты также имеют свои ограничения.
Совместные усилия последних лет по разработке инструментов для идентификации и удаления террористического контента в Интернете отчасти подпитывались появлением новых законов и правил. Сюда входит регламент ЕС о террористическом контенте в Интернете , который требует от поставщиков услуг хостинга удалять террористический контент со своей платформы в течение одного часа после получения распоряжения об удалении от компетентного национального органа.
Инструменты на основе поведения и контента
В широком смысле, существует два типа инструментов, используемых для искоренения террористического контента. Первый анализирует поведение определенного аккаунта и сообщений. Сюда входит возраст аккаунта, использование трендовых или нерелевантных хэштегов и аномальный объем публикаций.
Во многих отношениях это похоже на обнаружение спама, поскольку не учитывает контент и представляет ценность для обнаружения быстрого распространения больших объемов контента, которое часто осуществляется ботами.
Второй тип инструмента — контент-ориентированный. Он фокусируется на лингвистических характеристиках, использовании слов, изображениях и веб-адресах. Автоматизированные контент-ориентированные инструменты используют один из двух подходов .
1. Сопоставление
Первый подход основан на сравнении новых изображений или видео с существующей базой данных изображений и видео, которые ранее были идентифицированы как террористические по своей природе. Одна из проблем здесь заключается в том, что террористические группы, как известно, пытаются обойти такие методы, создавая тонкие варианты одного и того же фрагмента контента.
Например, после теракта в Крайстчерче (Новая Зеландия) в 2019 году в сети появились сотни визуально различных версий прямой трансляции этого зверства .
Итак, чтобы бороться с этим, инструменты на основе сопоставления обычно используют перцептивное хеширование вместо криптографического хеширования. Хэши немного похожи на цифровые отпечатки пальцев, а криптографическое хеширование действует как защищенный уникальный тег идентификации. Даже изменение одного пикселя в изображении радикально меняет его отпечаток, предотвращая ложные совпадения.
С другой стороны, перцептивное хеширование фокусируется на сходстве. Оно игнорирует незначительные изменения, такие как корректировка цвета пикселей, но идентифицирует изображения с тем же основным содержимым. Это делает перцептивное хеширование более устойчивым к небольшим изменениям фрагмента содержимого. Но это также означает, что хеши не полностью случайны, и поэтому потенциально могут быть использованы для попытки воссоздания исходного изображения.
2. Классификация
Второй подход основан на классификации контента. Он использует машинное обучение и другие формы ИИ, такие как обработка естественного языка. Чтобы достичь этого, ИИ нужно много примеров, таких как тексты, помеченные как террористический контент или нет модераторами контента. Анализируя эти примеры, ИИ узнает, какие особенности отличают различные типы контента, что позволяет ему самостоятельно классифицировать новый контент.
После обучения алгоритмы способны предсказывать, относится ли новый элемент контента к одной из указанных категорий. Затем эти элементы могут быть удалены или помечены для проверки человеком.
Однако этот подход также сталкивается с трудностями . Сбор и подготовка большого набора данных террористического контента для обучения алгоритмов требует много времени и ресурсов .
Данные обучения также могут быстро устаревать, поскольку террористы используют новые термины и обсуждают новые мировые события и текущие дела. Алгоритмы также испытывают трудности с пониманием контекста, включая тонкость и иронию . Им также не хватает культурной чувствительности, включая различия в диалекте и использовании языка в разных группах.
Эти ограничения могут иметь важные офлайн-эффекты. Были задокументированы неудачи в удалении языка вражды в таких странах, как Эфиопия и Румыния , в то время как активисты свободы слова в таких странах, как Египет , Сирия и Тунис, сообщили об удалении своего контента.
Нам все еще нужны модераторы-люди
Итак, несмотря на достижения в области ИИ, человеческий вклад остается существенным. Он важен для поддержания баз данных и наборов данных, оценки контента, помеченного для проверки, и управления процессами апелляций в случае оспаривания решений.
Однако это сложная и изнурительная работа, и имеются разоблачительные отчеты относительно условий труда модераторов, поскольку многие технологические компании, такие как Meta, передают эту работу на аутсорсинг сторонним поставщикам.
Чтобы решить эту проблему, мы рекомендуем разработать набор минимальных стандартов для тех, кто нанимает модераторов контента, включая обеспечение психического здоровья. Также существует потенциал для разработки инструментов ИИ для защиты благополучия модераторов. Это будет работать, например, путем размывания областей изображений, чтобы модераторы могли принимать решения, не просматривая напрямую беспокоящий контент.
Но в то же время лишь немногие платформы, если таковые вообще имеются, обладают ресурсами, необходимыми для разработки автоматизированных инструментов модерации контента и привлечения достаточного количества рецензентов, обладающих необходимыми знаниями.
Многие платформы перешли на готовые продукты. По оценкам, рынок решений для модерации контента к 2031 году будет стоить 32 млрд долларов .
Но здесь нужна осторожность. Сторонние поставщики в настоящее время не подлежат такому же уровню надзора, как сами технологические платформы. Они могут непропорционально полагаться на автоматизированные инструменты, с недостаточным человеческим вкладом и отсутствием прозрачности в отношении наборов данных, используемых для обучения их алгоритмов.
Поэтому совместные инициативы между правительствами и частным сектором имеют важное значение. Например, финансируемый ЕС проект Tech Against Terrorism Europe разработал ценные ресурсы для технологических компаний. Существуют также примеры автоматизированных инструментов модерации контента, которые стали общедоступными, например, Hasher-Matcher-Actioner от Meta , который компании могут использовать для создания собственной базы данных хешированного террористического контента.
Международные организации, правительства и технологические платформы должны отдать приоритет разработке таких совместных ресурсов. Без этого эффективное противодействие интернет-контенту, связанному с терроризмом, останется невозможным.
Использование ИИ для мониторинга интернета на предмет террористического контента неизбежно, но также чревато подводными камнями