УДК 004

Проведение экспериментов по совместной регистрации зрительных вызванных потенциалов P300 и айтрекера

Богачев Денис Сергеевич – студент кафедры Медико-технических информационных технологий  Московского государственного технического университета им. Н. Э. Баумана.

Аннотация: В рамках исследования по разработке ассистивной технологии для пациентов с двигательными нарушениями на основе ЭЭГ необходимо провести эксперимент по совместной регистрации зрительных вызванных потенциалов P300 и айтрекера.

В данном исследовании была разработана программа для регистрации координат взгляда испытуемого на мониторе с помощью айтрекера. Была произведена оценка пространственной точности айтрекера, разработана методика синхронизации айтрекера и электроэнцефалографа, разработано два варианта платы фотостимуляции для проведения экспериментов. Проведены эксперименты, оценивающиевозможность использования айтрекера в качестве дополнительного источника информации в ассистивной системе.

Ключевые слова: ЗВП, P300, ИМК, тетраплегия, ассистивнаятехнология, айтрекер.

Введение

Из общего количества травм позвоночникав мире более 15000 приходится на травмы, которые приводят к повреждению шейного отдела спинного мозга [2]. Обычно лечение и реабилитационные мероприятия не дают результатов, изменяющих двигательные возможности пациента [3], поэтому у многих пациентов на всю жизнь нарушается двигательная активность всех конечностей и речевой аппарат. Также большая доля полностью обездвиженных пациентов приходится на пациентов с синдромом запертого человека (СЗЧ) (более 30 тыс. человек во всем Мире) [4]. СЗЧ — неврологическое расстройство, которое характеризуется полным отсутствием адекватной реакции человека на любые внешние стимулы[4,5]. Также к больным с серьезными двигательными нарушениями относят пациентов с тяжелыми стадиями ДЦП (более 100 тыс. человек в России) и болезни Паркинсона (более 45 тыс. человек в России) [6].

Обездвиженным пациентам необходим постоянный уход и контроль родственников, такие пациенты не способны пользоваться персональным компьютером, мобильными устройствами и совершать простые действия для связи с внешним миром.

Целью данной работы является проведение экспериментов по совместной регистрации зрительных вызванных потенциалов P300 и айтрекера для разработки ассистиной системы для пациентов с двигательными нарушениями на основе ЭЭГ.

Разрабатываемая система

Разрабатываемая система представляет собой интерфейс «мозг-компьютер» на основе P300 совместно с айтрекером.На рисунке 1 представлена схема разрабатываемой БТС.В разрабатываемом ИМК используется электроэнцефалограф с 21 каналом для регистрации сигнала, частотой дискретизации сигнала  1000 Гц. Айтрекер выступает в качестве дополнительного источника информации, частота дискретизации сигнала айтрекера – 90Гц, длина волны ИК-излучателей – 850нм. Расстояние от пользователя до монитора 60-80 см, интерфейс взаимодействия система с компьютером – USB. В качестве стимуляции может использоваться матрица символов на мониторе или матрица светодиодов.

Рисунок 1. Схема БТС.

Разработка платы фотостимуляции

Для проведения исследований по регистрации зрительных вызванных потеницалов необходима плата фотостимуляции, в рамках работы было разработано несколько вариантов платы. Первая плата изготавливалась методом ЛУТ (рисунок 2 а). Для уменьшения количества управляющих выходов были использованы сдвиговые регистры, в качестве стимулов используются светодиоды. Из-за особенностей конструкции и технологии производства плата получилось ненадежной, небольшое механическое воздействие приводило к нарушению функционирования платы. Второй вариант платы был реализован на основе светодиодной матрицы 16х16 на основе микросхем WS2812B(рисунок 2 б).Для данной светодиодной матрицы была разработана пластиковая рамка для лучшей концентрации световых стимулов.

(а)

(б)

Рисунок 2. Платы фотостимуляции.

На рамку светодиодной матрицы накладывается изображение таблицы символов, пример работы матрицы изображен на рисунке 3.

Рисунок 3. Результат работы матрицы фотостимуляции.

Программа для регистрации координат взгляда испытуемого с помощью айтрекера

Для использования айтрекера в системе необходимо разработать программу для регистрации координат взгляда испытуемого. В исследовании используется айтрекерTobiieyetracker 4C[1].  Производитель предоставляет подробную документацию по использованию SDK библиотек для разработчиков [1]. Было принято решение использовать библиотеку для приложений на языке C++.

Была разработана консольная программа, позволяющая регистрировать координаты взгляда пользователя и записывать данные в файловую систему. На рисунке 4 представлен результат работы тестового исследования. Испытуемый перемещал взгляд в следующей последовательности: из левого нижнего угла монитора в правый нижний, далее в верхний правый угол, далее в верхний левый угол и в центр.

Рисунок 4. Результат тестового эксперимента.

Оценка пространственной точности айтрекера

Производитель айтрекера не предоставил информации о пространственной точности данного устройства. Для использования прибора в исследовании необходимо провести проверку точности. Для эксперимента по оценке точности айтрекера было разработано изображение матрицы размером 5х3 точек размером 2х2 пикселя (рисунок 5). Испытуемый задерживал взгляд на каждой точке матрицы в течение 10 секунд, айтрекер регистрировал координаты взгляда испытуемого. Зная реальные координаты точки матрицы, можно оценить отклонение данных, предоставляемых айтрекером.

Рисунок 5. Матрица для проведения экспериментов по оценке точности айтрекера.

На рисунке 6представлено расположение точек взгляда испытуемого при проведении эксперимента. На рисунке 7 изображены области отклонения координаты каждой точки по оси x,на рисунке 8 изображены области отклонения координаты каждой точки по оси y. Область отклонения рассчитывалась как медиана отклонения координаты каждой точки.

Рисунок 6. Координаты взгляда испытуемого во время эксперимента по оценке точности.

Рисунок 7. Области отклонения координаты каждой точки по оси x.

Рисунок 8. Области отклонения координаты каждой точки по оси y.

Нельзя выделить наиболее подходящую область монитора для расположения матрицы фотостимуляции, так как в каждом эксперименте наименьшие значения отклонения имеют разные области монитора. В результате эксперимента можно сделать вывод, что данный айтрекер подходит под задачи проведения экспериментов по совместной регистрации ЭЭГ и взора испытуемого, так как значения отклонения айтрекера меньше размера используемых стимулов матрицы, которая размещается на мониторе.

Синхронизация айтрекера и электроэнцефалографа

Для синхронизации работы айтрекера и электроэнцефалографа были выбраны два подхода. Первый заключается в синхронизации по времени. ПО Электроэнцефалографа предоставляет информацию о точном времени начала исследования, ПО айтрекера так же записывает точное время регистрации каждой координаты. Зная время начала каждого исследования, можно легко синхронизировать работу систем, но ПО каждого устройства может предоставлять неточную информацию, что критично для данного исследования.  Поэтому в данном исследовании используется дополнительный метод синхронизации. Испытуемый в начале и в конце эксперимента несколько раз переводит взгляд вертикально вверх за пределы наблюдаемой области. Данное действие легко обнаружить на сигнале айтрекера и ЭЭГ-сигнале.

На рисунке 9 представлена зависимость координаты y от времени. На рисунке видны 3 скачка уменьшения координаты, эти скачки и есть перевод взгляда с целью синхронизации. Похожие скачки можно увидеть на сигнале ЭЭГ. На рисунке 10 представлен сигнал отведения F3. Момент возникновения скачков совпадает с точностью до миллисекунд.

Рисунок 9. Координата y взгляда испытуемого в зависимости от времени.

Рисунок 10. ЭЭГ сигнал испытуемого, отведение F3.

Проведение эксперимента

На данный момент был проведенодин экмперимент с использованием матрицы фотостимуляции на мониторе, так как не удалось найти подходящий метод размещения светодиодной матрицы. На рисунке 11 изображена схема эксперимента. Испытуемый располагался перед ноутбуком, матрица стимуляции изображена на мониторе ноутбука, айтрекер и электроэнцефалографподключены к ноутбуку.

 Синхронизация матрицы с электроэнцефалографом проводилась с помощью видеокамеры телефона с показателем частоты видеозаписи 240 Гц и частоты обновления экрана – 60 Гц. Видеокамера регистрировала мигание специального светодиода, подключенного к электроэнцефалографу и мигание каждой ячейки матрицы. Второй монитор использовался для того, чтобы не отвлекать испытуемого от исследования.

Синхронизация электроэнцефалографа с айтрекером осуществлялась с помощью сопоставления точного времени начала работы систем. Дополнительным методом синхронизации являлся взгляд испытуемого «вверх-вниз». Во время эксперимента испытуемый подсчитывал мигание одного из символов матрицы, данные регистрировались айтрекером и электроэнцефалографом.

Рисунок 11. Схема эксперимента.

Заключение

В рамках данной работы была разработанапрограммаайтрекера для регистрации координат взгляда испытуемого. Проведена оценка пространственной точности айтрекераTobii 4C. Полученные данные подтверждают возможность использования данного айтрекера в разрабатываемой системе. Разработана методика синхронизации работы айтрекера и электроэнцефалографа с помощью синхронизационного движения взгляда испытуемого «вверх-вниз». Разработано несколько вариантов платы фотостимуляции для регистрации зрительных вызванных потенциалов P300.Была разработана и отлажена экспериментальная установка для совместной регистрации вызванных потенциалов P300 и айтрекера. Проведено тестовое экспериментальное исследование.

Список литературы

1. Официальный сайт компании Tobii [Электронный ресурс]: https://developer.tobii.com (дата обращения: 20.06.2020).
2. P., TimothyJ., McKinlayJ. (2010) CervicalSpineInjuries. In: Adams J., Bell D., McKinlay J. (eds) Neurocritical Care. Competency-Based Critical Care.Springer, London.
3. Heinen F., Desloovere K., Schroeder A.S., Berweck S., Borggraefe I., van Campenhout A., Andersen G.L., Aydin R., Becher J.G., Bernert G. et al. The updated European Consensus 2009 on the use of Botulinum toxin for children with cerebral palsy. Eur J Paediatr Neurol. 2010; 14: 45-66.
4. Laureys S., Pellas F., The locked-in syndrome : what is it like to beconscious but paralyzed and voiceless?. Prog Brain Res. 2005; 150: 495–511.
5. Lesenfants D., Habbal D. Toward an Attention-Based Diagnostic Tool for Patients With Locked-in Syndrome. Clin EEG Neurosci. 2018; 49: 122-135.
6. Schneider RB, Iourinets J, Richard IH. Parkinson's disease psychosis: presentation, diagnosis and management. Neurodegener Dis Manag. 2017 Dec;7(6):365-376.