УДК 004
Сравнительный анализ OSINT-инструментов для проверки информации на достоверность
Ялыгин Дмитрий Юрьевич – студент Московского института электроники и математики им. А.Н. Тихонова Национального исследовательского университета «Высшая школа экономики».
Аннотация: В статье приведено описание результатов сравнительного анализа 16 OSINT-инструментов для проверки информации на достоверность по 16 критериям. Автором статьи сделаны выводы на основании данных, представленных в четырех таблицах.
Ключевые слова: OSINT, фактчекинг, достоверность информации.
Введение
Сегодня вопрос использования проверенной данных и надежных источников стоит особенно остро, так как на фоне большого потока информации в СМИ, социальных сетях и мессенджерах растет проблема распространения дезинформации. Данная проблема оказывает сильное воздействие на мышление, восприятие и действия разных людей. Для ее решения необходимо использовать критический подход и проводить оценку потребляемой информации.
Проверка информации – сложный трудоемкий процесс, который включает в себя множество аспектов, начиная от сбора и фильтрации информации, заканчивая анализом проверяемой информации и вынесением вердикта о ее достоверности. Традиционно такой проверкой занимаются журналисты и специалисты в области бизнес-разведки, которые выполняют этапы этого процесса либо полностью вручную, либо с использованием средств автоматизации, к которым относятся OSINT-инструменты. OSINT (от англ. Open Source Intelligence) – аббревиатура, обозначающая разведку по открытым источникам [1].
OSINT-инструменты – это различные средства, в том числе программные и аппаратные, позволяющие автоматизировать, упростить и ускорить различные этапы проверки на достоверность информации, получаемой из открытых источников.
В настоящее время по всему миру насчитывается почти 400 инструментов проверки информации, однако в России таких средств практически нет [2]. В рамках исследования проблемы разработки OSINT-инструмента в целях повышения качества и эффективности проверки информации на достоверность был проведен сравнительный анализ, который позволил выявить сходства, различия, технические ограничения, трудности реализации и использования подобных инструментов.
Входные данные сравнительного анализа
Для проведения сравнительного анализа были выбраны 16 наиболее популярных ресурсов для проверки информации на достоверность. Сравнение проводилось на основании 16 критериев и в 4 этапа:
- выбор и сбор общих сведений об инструментах, попавших в выборку;
- оценка функциональных возможностей инструментов и UX/UI-дизайна;
- оценка степени автоматизации и выявление особенностей проверки информации на достоверность при использовании каждого из перечисленных инструментов;
- выявление зависимости используемых методов анализа информации на достоверность и заявленного режима проверки информации.
Результаты сравнительного анализа представлены в таблицах 1, 2, 3 и 4.
В таблице 1 отражены общие сведения о каждом инструменте в том числе:
- статус ресурса и ссылка на него;
- режим обновления (или дата последнего обновления);
- языки проверки информации;
- назначение (как заявлено разработчиками каждого инструмента);
- тематика проверяемой информации;
- тип инструмента / платформы.
В таблице 2 отражены критерии, обобщающие функциональные возможности и аспекты, оказывающие влияние на пользовательский опыт взаимодействия с перечисленными инструментами:
- наличие описания механизма работы инструмента;
- наличие инструкции пользователя для работы с инструментом;
- заявленные функциональные возможности инструмента;
- наличие обучающего контента (обучение методам борьбы с дезинформацией);
- указанный тип лицензии или стоимость.
В таблице 3 представлены критерии, позволяющие подробно описать механизм организации проверки информации на достоверность с помощью инструментов, участвующих в сравнении:
- режим проверки информации;
- этапы проверки, которые проводятся в автоматическом режиме;
- входные и выходные данные проверки информации;
- наличие обоснования результатов проверки;
- основной показатель (показатели) оценки информации;
- рейтинг оценки информации.
В таблице 4 указаны заявленные методы проверки и анализа информации для каждого инструмента в соответствии с режимом проверки:
- режим проверки информации;
- методы проверки информации.
Общие сведения о сравниваемых OSINT-инструментах для проверки информации на достоверность
Несмотря на большое число средств для проверки информации на достоверность, как это было указано ранее, количество сравниваемых OSINT-инструментов оказалось ограниченным в связи с выявленными зависимостями между разными критериями сравнения. Другими словами, наличие 16 ресурсов оказалось достаточным для сравнения и формирования выводов, так как при дальнейшей оценке большего числа инструментов выявленные закономерности и тенденции повторялись.
Выбор конкретного перечня ресурсов, представленных в таблице 1, был определен их популярностью среди специалистов в области проверки информации и географией их разработки. Наибольшее число таких инструментов встречается в США, что можно объяснить исторической основой появления и развития OSINT-методологии, которая зародилась именно в этой стране [3].
Среди всех инструментов, вошедших в выборку для проведения сравнения, есть один неактивный проект – Emergent, который является одной из самых ранних разработок, направленных на автоматизацию проверки информации на достоверность. Данный ресурс был включен в список инструментов для оценки уровня развития разработок по данному направлению. Таким образом, можно сделать вывод о том, насколько сильно изменилась степень автоматизации и механизм процесса проверки с течением времени.
В основном все инструменты, участвующие в сравнении, имеют свежие обновления в виде выпуска новой версии инструмента или отчета о выполненной проверке информации на достоверность. Назначение большинства инструментов сводится к выполнению полного цикла проверки информации на достоверность, однако есть ряд ресурсов, с помощью которых можно выполнять только определенные этапы данного процесса (например, определение степени распространенности информации, фильтрация и тегирование сообщений). Кроме того, ряд ресурсов, в рамках использования которых проверка осуществляется полностью вручную, представляют собой проекты, нацеленные на формирование сообществ, активно борющихся с дезинформацией.
Большая часть сравниваемых инструментов осуществляет проверку информации в СМИ и сообщений в социальных сетях в основном на английском языке по теме политики. При этом есть уникальные по проверяемой тематике и назначению проекты, как, например, Fakespot, который предназначен для проверки отзывов на товары в интернет-магазинах.
Практически все инструменты представляют собой сайты с возможностью отправки пользователем запроса на проверку информации, но есть также отдельные ресурсы, допускающие их использование в качестве встроенных расширений браузеров или мобильных приложений на базе операционных систем iOS и Android.
Таблица 1. Сравнительный анализ OSINT-инструментов: общие сведения.
№ |
Название инструмента |
Страны |
Язык проверки |
Назначение |
Тематика |
Тип |
|
1 |
AfricaCheck https://africacheck.org |
ЮАР, Кения, Нигерия, Сенегал |
Английский, французский |
Проверка информации на достоверность, формирование сообщества для борьбы с дез(мис)информацией |
Публичные высказывания и информация в СМИ в Африке |
Сайт |
|
2 |
AIDR http://aidr.qcri.org |
Катар |
Английский, другие языки |
Фильтрация, классификация сообщений из социальных сетей по тематике |
Чрезвычайные ситуации, гуманитарные кризисы и помощь |
Сайт |
|
3 |
Meedan (проект Check) https:// meedan.com/ check |
США |
Английский, другие языки |
Автоматизация процессов фактчекинга, в т.ч. валидация информации |
Журналистика |
Сайт + Чат-бот в WhatsApp |
|
4 |
Chequeado http://chequeado.com |
Аргентина |
Испанский |
Проверка информации на достоверность, формирование сообщества для борьбы с дез(мис)информацией |
Политика, экономика |
Сайт |
|
5 |
The Factual (бывш. CivikOwl) https://thefactual.com |
США, Великобритания, Грузия |
Английский |
Проверка информации на информативность, фильтрация и тегирование информации |
Сообщения в СМИ, новости разной тематики |
Сайт, приложение на iOS/ Android, плагин для браузера Chrome |
|
6 |
Emergent http://www.emergent.info |
США |
Английский |
Проверка информации на достоверность, отслеживание обновлений сообщений |
Новости на разные темы (политика, экономика и т.п.) |
Сайт платформы |
|
7 |
FactCheck.org https://www.factcheck.org |
США |
Английский |
Отслеживание и проверка информации на достоверность, развенчание мифов |
Политические новости и заявления в США, наука |
Сайт |
|
8 |
Fakespot https://www.fakespot.com |
США |
Английский |
Проверка обзоров и продавцов в интернет-магазинах |
Покупки в интернет-магазинах: Amazon.eBay, Walmart, Best Buy, Sephore, Shopify. |
Плагин для браузера Mozilla Firefox, приложение на iOS/ Android |
|
9 |
FirstDraftNewsCheck https://chrome.google.com/webstore/detail/firstdraftnewscheck/japockpeaaanknlkhagilkgcledilbfk |
США |
Английский |
Проверка видеоинформации или изображений на предмет достоверности |
Любые поисковые запросы в браузере |
Плагин для браузера Chrome |
|
10 |
FullFact https://fullfact.org/ |
Великобритания |
Английский |
Проверка информации на достоверность, формирование сообщества для борьбы с дез(мис)информацией |
Новости ЕС, политика, экономика, образование, преступления, иммиграция, законодательство, здравоохранение |
Сайт, Набор инструментов фактчекинга |
|
11 |
Hoaxy 2 Beta https://hoaxy.osome.iu.edu/ |
США |
Разные языки (34 языка) |
Проверка и отображение степени распространения сообщений из соц.сети и обнаружение соц.ботов |
Любая тематика сообщений из соц.сети Twitter |
Сайт |
|
12 |
InVID http://www.invid-project.eu/tools-and-services/invid-verification-plugin |
США |
Английский |
Проверка видео информации и изображений на достоверность, инструмент в помощь журналистам для развенчивания мифов |
Любые поисковые запросы в браузере |
Плагин для браузера Chrome и Mozilla Firefox |
|
13 |
Snopes http://www.snopes.com |
США |
Английский |
Проверка информации на достоверность, развенчание мифов |
Публичные высказывания, новости и информация в СМИ |
Сайт |
|
14 |
Truly Media http://www.truly.media |
Греция, Германия |
Английский |
Проверка информации в социальных сетях на достоверность, инструмент для проверки информации журналистами |
Любая тематика сообщений в соц.сетях |
Сайт платформы |
|
15 |
TrustServista https://www.trustservista.com |
Румыния |
Английский, другие языки |
Проверка новостей и информации в социальных сетях на достоверность |
Новости, любая тематика сообщений в соц.сетях |
Сайт платформы, плагин для браузера Chrome, доступ через API |
|
16 |
Лапша Медиа https://lapsha.media/ |
Россия |
Русский |
Проверка информации на достоверность, развенчание мифов |
Новости на разные темы (политика, ЧС, культура, общество, экономика, здравоохранение и т.п.) |
Сайт, боты в Viber, Telegram, Вконтакте |
Оценка функциональных возможностей OSINT-инструментов для проверки информации на достоверность
Как видно по данным, представленным в таблице 2, практически все инструменты имеют описание механизма работы и подробные инструкции пользователя. Большая часть инструментов доступна для пользователей на безвозмездной основе. Лишь отдельные проекты, которые предлагают в качестве инструментов мобильные приложения или сервисы, доступны платно с разовой оплатой доступа или по подписке.
Обучение методам борьбы с дезинформацией предлагают только те ресурсы, которые нацелены на формирование сообщества людей, мотивированных на критическое осмысление и проверку потребляемой ими информации. Такие ресурсы предлагают обучение в формате кратких видеоинструкций, памяток, статей с советами или тестов с элементами геймификации.
Наибольший интерес в таблице 2 представляет перечень функциональных возможностей каждого из инструментов, который зависит от степени автоматизации проверки информации на достоверность. Если инструмент представляет собой проект, в рамках которого процесс проверки осуществляется специалистами вручную, то, как правило, список возможностей будет ограничен формами отправки запросов на проверку и вопросов команде специалистов ресурса, а также поиском с фильтрацией по имеющей базе проверенной информации и отчетам о проверке. В данном случае сам процесс проверки остается для пользователя скрытым и неконтролируемым. В тех ситуациях, когда инструмент предлагает полную или частичную автоматизацию процесса проверки, перечень возможностей значительно шире и зависит от этапов процесса, которые подпадают под автоматизацию. Можно выделить следующие этапы процесса проверки информации на достоверность, которые могут быть автоматизированы за счет использования современных OSINT-инструментов:
- сбор и предобработка (фильтрация, тегирование, маркирование, категоризация, извлечение, обработка видео/ изображений) данных для проверки пользовательской информации;
- расширенный поиск и просмотр результатов проверки;
- отображение проверенной информации и результатов проверки в структурированном виде при помощи встроенных инструментов визуализации (масштабирование, выбор временного интервала, интерактивная карта, инфографика, графы, статистика);
- выбор пользовательских настроек для мониторинга и кастомизации анализа информации на достоверность (выбор языка, выбор интересующей тематики, поиск и извлечение метаданных, встроенные инструменты форензики).
Следует отметить, что большинство исследуемых ресурсов представляет собой инструменты с конкретным перечнем функциональных возможностей. Отдельные проекты претендуют на звание полноценных платформ с расширенным функционалом для организации и автоматизации полного цикла проверки информации на достоверность. К таким проектам из числа сравниваемых можно отнести: Truly Media, Trust Servista,
the Factual, FullFact.
Таблица 2. Сравнительный анализ OSINT-инструментов: функциональные возможности.
№ |
Название OSINT-инструмента |
Функциональные возможности |
Обучение методам борьбы с дез(мис)информацией |
Тип лицензии / Стоимость |
1 |
AfricaCheck |
-Формы отправки запроса на проверку утверждения и вопросы команде ресурса -Поиск информации с фильтрацией по надежным источникам и проверенной информацией |
В формате видеоинструкций, кратких памяток, тестов |
бесплатно |
2 |
AIDR |
Невозможно проверить, т.к. доступны только после регистрации в соц.сетях Twitter, Facebook |
Привлечение к участию в качестве MicroMappers (маркирующих сообщения) |
открытая платформа, лицензия AGPL-3.0 |
3 |
Meedan (проект Check) |
-Кастомизация чат-бота и меню на разных языках -Автоматизация категорий, обзоров и приоритизации ответов на запросы -Автоматизация публикаций в мессенджерах для распространения проверенной информации среди конечных пользователей |
- |
не указано, доступна возможность запросить демо-версию |
4 |
Chequeado |
-Форма отправки запроса на проверку утверждения/ сообщения -Поиск по базе проверенных сообщений -Извлечение субтитров из видеозаписей |
В формате видеоинструкций, подробных памяток и статей |
бесплатно |
5 |
The Factual (бывш. CivikOwl) |
-Отображение 5 самых актуальных тем новостей на каждый день -Отчет об оценке надежности (информативности) новости -Краткая справка по теме новостей -Отображение инфографики по наиболее популярным темам и надежным новостям -Просмотр обновляемого списка популярных новостей в режиме реального времени -Отображение временной линии с историей публикации различных новостей и обновлений по ним -Экран пользовательских настроек для контроля отображения новостей -Email рассылка |
- |
условно-бесплатно (реклама в приложении) |
6 |
Emergent |
Просмотр и поиск по фильтрам результатов проверки сообщений на достоверность |
- |
бесплатно |
7 |
FactCheck.org |
Форма отправки запроса на проверку информации на достоверность, просмотр и поиск по проверенной информации |
- |
бесплатно |
8 |
Fakespot |
Плагина: -Поисковая строка с фильтрацией по товарам/обзорам на просматриваемых сайтах магазинов. -Индикация статусов обзоров на товары и продавцов. Приложения: -Возможность покупки в разных интернет-магазинах из одного приложения с одновременной проверкой обзоров и продавцов выбранных товаров. -Фильтрация по надежным обзорам. -Сводная информация по статусам надежности товаров и продавцов. |
- |
бесплатно |
9 |
FirstDraftNewsCheck |
Отображение индекса достоверности информации по показателям. Кнопка проверки для запуска функции проверки. |
- |
бесплатно |
10 |
FullFact |
Сайта: -Формы отправки запроса на проверку и вопросы команде ресурса -Поиск информации с фильтрацией по надежным источникам и проверенной информацией -Информационная рассылка с проверенной информацией ИИ-инструменты: невозможно проверить, доступ только для организаций |
3 онлайн курса обучения |
Сайт – бесплатно, набор инструментов на базе ИИ – платно для коммерческого использования |
11 |
Hoaxy 2 Beta |
Визуализация двух аспектов распространения сообщений в соц.сети: временные тенденции и сети распространения. Инструменты отображения: масштабирование, выбор временного интервала. Индикация оценки соц.ботов цветами. |
- |
бесплатно |
12 |
InVID |
Отображение URL видео и изображений на веб-странице. Просмотр и проверка метаданных информации. Сегментация видео на ключевые кадры для их преобразования в нужный формат и поиска через поисковые сервисы Google, Yandex, Tineye, Baidu. Поиск изображений через эти поисковые сервисы. Функции расширенного поиска в соц.сети Twitter по ключевым словам, по контрольному периоду, геолокации. Масштабирование изображений и видео с помощью алгоритма бикубической интерполяции для проведения анализа и экспертизы информации. Инструменты форензики для исследования контекста видео или изображения и проверки информации. |
- |
MIT-лицензия, бесплатно |
13 |
Snopes |
Форма отправки запроса на проверку информации на достоверность, просмотр и поиск по проверенной информации |
Краткие советы и рекомендации |
бесплатно |
14 |
Truly Media |
Создание потоков отслеживания контента социальных сетей (Twitter, Facebook, Youtube и др.), расширенный поиск, фильтрация данных, их сортировка по коллекциям и тегирование, создание общих рабочих пространств для организации совместной проверки информации и работы в режиме реального времени, импорт информации из памяти пользовательского устройства, инструменты визуализации (диаграммы, схемы), инструменты проверки (для определения месторасположения, поиска метаданных, поиска дополнительной информации и источников), создание и отслеживания работы над запросами на проверку |
- |
платно, доступна возможность запросить демо-версию |
15 |
TrustServista |
Многоязычный поиск информации, геопоиск, автоматический перевод на английский язык, кластеризация тем для автоматического поиска сообщений, сортировка данных по результатам географического и тематического анализа, инструменты визуализации (графы, статистика), расширенный анализ и проверка контента любой веб-страницы, оценка достоверности новостей (анализ контекста, вероятность кликбейта, анализ источника, определение первоисточника) |
- |
платно, доступна возможность запросить демо-версию |
16 |
Лапша Медиа |
Форма отправки запроса на проверку информации на достоверность, просмотр и поиск по проверенной информации |
В формате тестов |
бесплатно |
Степень автоматизации и особенности проверки информации на достоверность при использовании OSINT-инструментов
Степень автоматизации работы инструментов, перечисленных в таблице 3, определяется в первую очередь режимом проверки информации на достоверность. В процессе исследования было выявлено 3 режима проверки:
- пользовательский режим (все этапы проверки выполняются специалистами вручную);
- автоматизированный режим (отдельные этапы выполняются автоматически, остальные – вручную);
- автоматический режим (полный цикл проверки выполняется автоматически).
Из 16 инструментов, участвующих в сравнении, 6 используют пользовательский режим проверки, 5 – автоматизированный, 5 – автоматический. Такой расклад доказывает наличие тенденции к автоматизации процесса проверки информации на достоверность. Однако далеко не все проекты способны автоматизировать частично или полностью цикл проверки, что можно объяснить следующими причинами:
- низкие темпы цифровизации в развивающихся странах (например, страны Африки и Латинской Америки);
- высокая стоимость и трудоемкость проектов, нацеленных на разработку OSINT-инструментов, поддерживающих автоматический или автоматизированный режимы проверки;
- недостаточная реализация возможности контроля процесса проверки со стороны пользователя – для пользователя процесс анализа информации либо скрыт, либо неподконтролен (нет доступа к пользовательским настройкам);
- сложности реализации аналитической части инструмента.
Исходя из результатов сравнения, представленных в таблице 3, можно заметить, что для таких ресурсов, как AfricaCheck, Chequeado, свойственен пользовательский режим проверки на фоне активного формирования сообщества, нацеленного на критическое осмысление потребляемой информации. То, что недоступно в развивающихся странах в автоматическом или автоматизированном режимах, выполняется вручную.
Крупные проекты, имеющие автоматический режим работы, (такие как Truly Media, Trust Servista) предлагают только платное обслуживание, что связано с высокой стоимостью разработки (вплоть до 72 000 евро) [4].
Пользовательский режим проверки крайне трудоемок. У пользователя при таком режиме могут возникнуть сложности в проверке полученного результата и оценки степени объективности отчета по итогам выполненной оценки информации на достоверность. На качество полученного результата в таком режиме влияют:
- отбор и проверяемость информации (информация на проверку отбирается по критериям, а также проверяется, поддается ли оценке на достоверность полученная информация);
- время, затраченное на проверку;
- количество участников проверки и их квалификация в предметной области;
- успешное прохождение всех этапов проверки;
- объективность полученных результатов и вердикта по итогам проверки.
Реализация аналитической части OSINT-инструмента для проверки информации на достоверность представляет особую сложность из-за выбора:
- показателей для оценки,
- градации (рейтинга) достоверности,
- методов для расчета показателей оценки информации.
Согласно данным в таблице 3 можно сделать вывод о том, что инструменты в одних и тех же режимах могут проверять разные показатели (например, не только достоверность, но и информативность, надежность источников, уровень автоматизации учетной записи – автор сообщения – бот или человек). Кроме того, у одного показателя может насчитываться до 19 степеней (уровней), как это реализовано в инструменте Snopes.
Таблица 3. Сравнительный анализ OSINT-инструментов: режимы и механизмы проверки информации на достоверность.
№ |
Название инструмента |
Режим проверки |
Этапы проверки в автоматическом режиме |
Показатель оценки информации |
Рейтинг оценки информации |
1 |
AfricaCheck |
Пользовательский |
- |
достоверность |
Верно/ неверно/ почти верно/ не доказуемо/ введение в заблуждение/ преувеличение фактов/ преуменьшение фактов |
2 |
AIDR |
Автоматизированный |
Сбор, фильтрация, тегирование (маркировка оценки степени ущерба от ЧС) |
надежность сообщения в соц.сети |
Надежное / ненадежное |
3 |
Meedan (проект Check) |
Автоматизированный |
Формирование запроса; кластеризация данных; сортировка на базе пользовательских предпочтений; формирование, публикация и распространения обзора журналистов |
- |
- |
4 |
Chequeado |
Пользовательский |
- |
достоверность |
Истина/ ложь/ вводит в заблуждение |
5 |
The Factual (бывш. CivikOwl) |
Автоматический |
Фильтрация топовых новостей за контрольный период; анализ и тегирование новостей по степени информативности и надежности; вывод общей оценки информации и результатов проверки по разным показателям; вывод резюме с основной фактической информацией из новостей по теме, интересной пользователю |
информативность, политическая направленность, качество сайта и источников, экспертиза автора публикации |
Неинформативная/ умеренно-информативная/ очень информативная |
6 |
Emergent |
Автоматизированный |
Сбор, классификация, отслеживание изменений сообщений |
достоверность |
Истина/ ложь/ не подтверждено/ |
7 |
FactCheck.org |
Пользовательский |
- |
достоверность |
- |
8 |
Fakespot |
Автоматический |
Фильтрация статусов надежности и тегирование обзоров на товары, продавцов, товаров в интернет-магазинах. Отображение результатов автоматической проверки в соответствии с запросом пользователя |
достоверность обзоров; надежность продавцов |
Разные статусы, например: «Обнаружен мошенник» (Scam-seller detected), «Ложный обзор» (Fake review). |
9 |
FirstDraftNewsCheck |
Автоматический |
Расчет индекса достоверности видео или изображений и отображение результата расчета с подробным описанием |
индекс достоверности видео или изображений |
Процентное значение по показателям: Степень достоверности: оригинал или нет? Степень достоверности: подтверждение авторства? Контент видео/изображения: степень достоверности места, где сделано? Контент видео/изображения: степень достоверности даты, когда сделано? |
10 |
FullFact |
Пользовательский (сайт) Автоматизи-рованный (ИИ) |
Сбор и мониторинг данных; тегирование собранных данных; сопоставление утверждений; проверки в режиме реального времени |
достоверность |
Истина/ ложь/ верно/ неверно/ не подтверждено – нет доказательств |
11 |
Hoaxy 2 Beta |
Автоматичес-кий |
Визуализация трендов, оценка сообщений из соц.сети, градация сообщений по типу сообщений, импорт/ экспорт результатов в CSV и JSON форматах |
уровень автоматизации учетной записи, типы сообщений |
Градация цветом (5 оттенков цвета) от «Похоже на бота» (Bot like) до «Похоже на человека» (Human like) Градация цветом (5 оттенков цвета): ретвиты, упоминания, ответы, цитаты, разное |
12 |
InVID |
Автоматизиро-ванный |
Сбор данных и метаданных, обработка изображений и видео, поиск, фильтрация, расширенный поиск |
достоверность |
Выводы о достоверности информации делаются пользователем самостоятельно |
13 |
Snopes |
Пользовательский |
- |
достоверность |
Проверка в процессе / истина/ по большей части правда/ смесь истины и лжи/ по большей части ложь/ ложь/ необоснованное утверждение/ не доказуемо/ устарело/ некорректно/ правильная атрибуция/ неправильная атрибуция/ миф/ мошенничество/ законодательство/ сатира/ изначально было сатирой/ отзыв/ утерянные мифы |
14 |
Truly Media |
Автоматизированный |
Сбор, сортировка, тегирования данных и метаданных, расширенный поиск, фильтрация, интеграция различных инструментов, необходимых журналисту для проведения проверки (GoogleMaps, TinEye, WolframAlpha, Google Reverse Image Search, Yandex, Snopes, Pipl и др.) |
статус проверки |
Вердикт достоверности определяется пользователем самостоятельно, изменяется только статус выполнения задачи на проверку (наименование статусов пользователь назначает сам) |
15 |
TrustServista |
Автоматичес-кий |
Анализ контекста проверяемой информации, оценка достоверности, кластеризация, категоризация, сортировка, тегирование, визуализация данных, полный цикл проверки |
достоверность |
Процентное значение по показателям: качество контента; вероятность кликбейта; эмоциональная окрашенность; общий уровень достоверности |
16 |
Лапша Медиа |
Пользовательский |
- |
достоверность |
Публикация только разоблаченных «фейковых» новостей и сообщений |
Аналитические методы в OSINT-инструментах для проверки информации на достоверность
Выбор методов анализа информации по выбранным показателям зависит от реализуемого режима проверки, как это показано в таблице 4, а также от типа информации и целей проверки. Если при пользовательском режиме очевидно, что все процессы осуществляются вручную командой экспертов, то в автоматическом и автоматизированном методы могут различаться.
По итогам проведенного сравнительного анализа можно выделить группы аналитических методов, которые используются в автоматическом и автоматизированном режимах:
- методы обработки естественного языка, которые позволяют извлекать информацию из неструктурированных текстовых данных и выделять утверждения и факты;
- алгоритмы машинного обучения, которые могут быть использованы для обучения системы на проверенных данных для выявления закономерностей и отличительных черт истинных и ложных утверждений;
- графы знаний, которые представляют собой структурированное представление информации для выявления противоречий;
- экспертные правила, которые представляют собой наборы правил для логического вывода для автоматического тегирования ложной информации;
- гибридные методы, которые сочетают в себе несколько методов и подходов для организации более качественной проверки информации.
Следует отметить, что последняя группа методов мало где реализуется. Как правило, OSINT-инструменты ограничиваются только одним набором методов, и лишь в немногих ресурсах используется сочетание методов.
Таблица 4. Сравнительный анализ OSINT-инструментов: методы.
№ |
Название OSINT-инструмента |
Режим проверки информации |
Заявленные методы проверки информации на достоверность |
1 |
AfricaCheck |
Пользовательский |
Проверка осуществляется вручную |
2 |
AIDR |
Автоматизированный |
NLP, методы фильтрации сообщений (по словам и темам), Human-Based Computation (вычисления с использованием человеческих ресурсов на определенных шагах процесса вычисления) |
3 |
Meedan (проект Check) |
Автоматизированный |
NLP, методы, основанные на (экспертных) правилах, анализ на сходства, методы категоризации, обзора и приоретизации утверждений на проверку |
4 |
Chequeado |
Пользовательский |
Проверка осуществляется вручную |
5 |
The Factual (бывш. CivikOwl) |
Автоматический |
Методы и алгоритмы машинного обучения |
6 |
Emergent |
Автоматизированный |
Базовые методы машинного обучения |
7 |
FactCheck.org |
Пользовательский |
Проверка осуществляется вручную |
8 |
Fakespot |
Автоматический |
Методы и алгоритмы машинного обучения |
9 |
FirstDraftNewsCheck |
Автоматический |
Не указаны |
10 |
FullFact |
Пользовательский (сайт) |
На сайте проверка осуществляется командой вручную. С помощью ИИ-инструментов проверка осуществляется на базе методов машинного обучения, но с участием и контролем со стороны пользователя |
Автоматизированный (инструменты ИИ) |
|||
11 |
Hoaxy 2 Beta |
Автоматический |
Графы знаний (в т.ч. декомпозиция k-ядра) |
12 |
InVID |
Автоматизированный |
Автоматический поиск, сбор и фильтрация информации, обработка видео и изображений |
13 |
Snopes |
Пользовательский |
Проверка осуществляется вручную |
14 |
Truly Media |
Автоматизированный |
Автоматический поиск, сбор, сортировка, тегирование и фильтрация информации |
15 |
TrustServista |
Автоматический |
NLP, графы знаний, семантическое сравнение |
16 |
Лапша Медиа |
Пользовательский |
Проверка осуществляется вручную |
Выводы
Проведенный сравнительный анализ OSINT-инструментов для проверки информации на достоверность показал, что современные средства такого типа не совершенны и требуют доработки. Кроме того, поскольку в России ощущается острая нехватка подобных ресурсов, необходима разработка OSINT-инструмента с учетом полученных результатов сравнения. Для повышения качества и эффективности процесса проверки информации на достоверность разрабатываемый OSINT-инструмент должен соответствовать ряду требований, в числе которых:
- поддержка русского языка и сбора информации в российском сегменте Интернета;
- гибкость инструмента за счет предоставления пользователю возможности выбора режима использования (пользовательский/ автоматизированный/ автоматический);
- гибкость инструмента, достижимая за счет предоставления пользователю возможности внесения изменений в настройки процесса проверки информации;
- использование гибридных методов анализа информации при проверке на достоверность;
- возможность выбора пользователем показателей для проверки, методов анализа и создания собственного рейтинга достоверности информации.
Список литературы
- Сайт поисковой системы по словарям и энциклопедиями «Академик» [Электронный ресурс]: https://academic.ru/ (дата обращения: 12.02.2023).
- Сайт Duke Reporters’ LAB [Электронный ресурс]: https://reporterslab.org/fact-checking/ (дата обращения: 12.02.2023).
- Воксанаев В.П. Разведка по открытым источникам: уроки прошлого/ ISBN: 5-93550-188-5/ Рязань: Поверенный – 2007 г., 174 с.
- Сайт Newtral [Электронный ресурс]: https://www.newtral.es/automated-fact-checking/ (дата обращения: 15.02.2023).