УДК 159.952

Визуальные способы оценки внимания человека

Ботнарь Олег Александрович – студент кафедры СМАРТ-технологий Московского политехнического университета.

Аннотация: В данной статье будут рассмотрены основные подходы к визуальной оценке внимания человека, их основные преимущества и недостатки, а также будут описаны алгоритмы, используемые в данных подходах.

Ключевые слова: техническое зрение, оценка внимания, оценка позы головы, трекинг взгляда, анализ морганий.

Внимание является ключевой когнитивной функцией, позволяющей человеку сосредоточиваться на определенных стимулах, игнорируя остальные. Это особенно важно в мире, полном информационного шума, где требуется определенное направление мысли и действий. Способность эффективно управлять своим вниманием и научиться его контролировать может улучшить производительность.

В последнее время набирают популярность исследования, связанные с визуальной оценкой внимания человека, во время выполнения в системах мониторинга водителя, а также системах прокторинга. Оценка внимания в данных системах играет ключевую роль при анализе деятельности человека для предотвращения опасных ситуаций на дороге или обнаружения факта списывания во время прохождения тестирования.

Существуют различные методы по оценки внимания. Можно выделить следующие основные направления в области технического зрения по оценке внимания:

• Оценка положения головы в пространстве.
• Анализ движений глаз.
• Анализ морганий глаз.

Оценка внимания человека на основе положения головы

Данная оценка основывается на предположении, что направление, в котором человек поворачиваем голову, часто соответствует тому, на что он сосредоточен. Когда внимание привлечено к определенному объекту или событию, человек естественно поворачивает голову, чтобы лучше видеть или слушать. Следовательно, при выполнении профессиональной деятельности у человека есть также активная зона поля зрения в пространстве, которой человек концентрирует активность.

Активная зона примерно составляет 120-140 градусов по горизонтали и 160-190 градусов по вертикали. Соответственно оценив положение головы в пространстве на основе изображения с помощью нейронных сетей, можно произвести анализ результатом, которого будет фиксация наличия или отсутствия внимания.

Один из основных преимуществ оценки внимания на основе положения головы заключается в том, что это неинвазивный метод, который не требует сложного оборудования и может быть использован в реальных условиях.

Однако этот подход также имеет свои ограничения. Положение головы может отражать не только направление внимания, но и другие факторы, такие как постоянное положение головы, привычки или намерения. Кроме того, внимание может быть направлено и внутрь, на собственные мысли и чувства, и в этом случае оно не будет отражено в положении головы.

В целом, оценка внимания на основе положения головы представляет собой простой и доступный метод, который может быть полезным в многих контекстах. Однако его использование должно быть сочетано с другими методами оценки внимания для получения более точных и полных данных.

В основном большинство подходов по оценке положения головы основываются на признаках [1,2], извлеченные, как и в методах [3] и [4], соответственно, используются в сочетании с регрессией. Различные методы регрессии тестируются для повышения производительности. Также существуют решения, использующие метод [5] который использует дескрипторы на основе гистограмм направленных градиентов (HoG) для отображения позы головы, начиная с рамок, ограничивающих лицо. Нелинейная регрессия используется для того, чтобы научиться отображать пространство объектов в позе головы. Наиболее устойчивыми подходами являются архитектуры по типу TriNet[6], которая регрессирует 3 вектора, описывающих положение головы в пространстве.

Анализ движения глаз

Один из наиболее часто используемых методов визуальной оценки внимания – анализ движения глаз. Этот подход основан на предположении, что направление и паттерны взгляда человека тесно связаны с тем, куда направлено его внимание. При использовании технологии трекинга взгляда, камеры и инфракрасные датчики фиксируют движение глаз, позволяя анализировать, куда именно смотрит человек в определенный момент времени. Помимо простого направления взгляда, можно изучать и другие параметры, такие как продолжительность фиксации взгляда, частота мигания, скорость и паттерны саккад (быстрых, дергающих движений глаз, которые человек делает при чтении или при переходе взгляда с одного объекта на другой).

Ограничения данного метода сводятся к следующим моментам. Во-первых, трекинг взгляда обычно требует специализированного оборудования и может быть затруднительным в некоторых ситуациях, например, в движении. Во-вторых, существует разница между направлением взгляда и вниманием – иногда человек может смотреть на что-то, не обращая на это внимания.

Для определения направления взгялда используется явная геометрическая модель глаза. Большинство подходов основаны на метрической информации, что требует калибровки камеры, и глобальной геометрической модели, которая отображает внешние параметры глаза, такие как положение и ориентация камеры, монитора и источника света. Эти методы обычно начинаются с реконструкции оптической оси глаза в трехмерном пространстве, далее реконструируется визуальная ось и оценивается точка взгляда. Реконструкция оптической оси производится путем оценки состояния роговицы и центра зрачка. На основе полученной оси и информации об объектах на сцене получается оценить точку взгляда [7].

Анализ морганий глаз

Моргание глаз – это важная биологическая функция, которая помогает увлажнять глаза и удалять возможные частицы. Однако анализ морганий также может дать ценную информацию о различных аспектах нашего физического состояния и когнитивной активности. Вот некоторые из возможностей, которые предоставляет анализ морганий глаз.

Уровень усталости или сонливости: Увеличение частоты морганий может указывать на усталость или сонливость, что особенно важно в контекстах, где внимание критически важно, например, во время вождения автомобиля.

Внимание и концентрация: Некоторые исследования показали, что люди моргают чаще, когда их внимание отвлекается или когда они выполняют сложные когнитивные задачи. Это может быть связано с тем, что моргание обеспечивает кратковременный перерыв, во время которого мозг может обрабатывать информацию.

Для фиксации морганий используют различные методы по оценке состояния глаз от выявления локальных бинарных шаблонов до использования свёрточных нейронных сетей для решения задач обнаружения глаз и их классификации. В большинстве академических работах состояние глаза основывается на вычисленном относительном значении, который опирается на геометрические соотношения глаза в открытом и закрытом состоянии. Вычисления производятся на результатах обнаружения ключевых точек лица, далее отбираются точки, относящиеся к глазам, и на основе этих точек вычисляется значение соотношения глаза.

Визуальная оценка внимания открывает новые возможности для понимания человеческого восприятия и взаимодействия с окружающим миром. Различные комбинации подходов к оценке внимания может предоставить комплексные данные для подробного анализа внимания. На основе данного анализа можно в дальнейшем делать различные предположения и использовать это знание в различных областях (безопасность, образование, маркетинг, психология).

Список литературы

1. Kumar, N.C. Barwar Detection of Eye Blinking and Yawning for Monitoring Driver’s Drowsiness in Real Time [Текст] / N.Kumar, N.C. Barwar // IJAIEM. – 2014. – № 11. – С. 291-298.
2. Lalonde, D. Byrns, L. Gagnon, N.Teasdale, D. Laurendeau Real-time eye blink detection with GPU-based SIFT tracking / M. Lalonde, D. Byrns, L. Gagnon, N.Teasdale, D. Laurendeau [Электронный ресурс] // researchgate : [сайт]. – URL: https://www.researchgate.net/publication/4252661_Real-time_eye_blink_detection_with_GPU-based_SIFT_tracking (дата обращения: 21.11.2022).
3. Barra, S. Barra, C. Bisogni, M. De Marsico, M. Nappi Web-shaped model for head pose estimation: An approach for best exemplar selection [Текст] / P. Barra, S. Barra, C. Bisogni, M. De Marsico, M. Nappi // IEEE Transactions on Image Processing. – 2020. – № 29. – С. 5457-5468.
4. Bisogni, M. Nappi, C. Pero, S. Ricciardi Hp2ifs: Head pose estimation exploiting partitioned iterated function systems / C. Bisogni, M. Nappi, C. Pero, S. Ricciardi [Электронный ресурс] // researchgate : [сайт]. – URL: https://www.researchgate.net/publication/340173069_HP2IFS_Head_Pose_estimation_exploiting_Partitioned_Iterated_Function_Systems (дата обращения: 21.11.2022).
5. Proen¸ca, J. C. Neves, S. Barra, T. Marques, J. C. Moreno Joint head pose/soft label estimation for human recognition in-the-wild [Текст] / H. Proen¸ca, J. C. Neves, S. Barra, T. Marques, J. C. Moreno // IEEE Transactionson Pattern Analysis and Machine Intelligence. – 2016. – № 38(12). – С. 2444-2456.
6. Cao,Z. Chu,D. Lui A Vector-based Representation to Enhance Head Pose Estimation / Z. Cao,Z. Chu,D. Lui [Электронный ресурс] // arxiv : [сайт]. – URL: https://arxiv.org/pdf/2010.07184.pdf (дата обращения: 21.11.2022).
7. Flavio L. Coutinho and Carlos H. Morimoto Improving Head Movement Tolerance of Cross-Ratio Based Eye Trackers / Flavio L. Coutinho and Carlos H. Morimoto [Электронный ресурс] // springer: [сайт]. – URL: https://link.springer.com/article/10.1007/s11263-012-0541-8 (дата обращения: 21.11.2022).
8. Chen, J. Epps Using Task-Induced Pupil Diameter and Blink Rate to Infer Cognitive Load / S. Chen, J. Epps [Электронный ресурс] // researchgate: [сайт]. – URL: https://www.researchgate.net/publication/262577448_Using_Task-Induced_Pupil_Diameter_and_Blink_Rate_to_Infer_Cognitive_Load (дата обращения: 21.11.2022).