УДК 004.896

Методы обработки сигнала ЭЭГ в системах управления роботами

Грошев Сергей Анатольевич – магистрант Московского государственного технического университета им Н.Э. Баумана.

Аннотация: Цель данной работы – улучшить и разнообразить методы обработки сигналов для реализации интерфейса мозг-компьютер (BCI) на основе неврологических явлений, записанных во время выполнения двигательных задач с использованием моторного воображения (MI). Целью исследования является извлечение, отбор и классификация характеристик сигналов электроэнцефалограммы (ЭЭГ), которые основаны на сенсомоторных ритмах, для реализации систем BCI. Целью данной статьи является предоставление пользователям возможности перехода от необработанного сигнала ЭЭГ к детерминированному набору команд для управляемого устройства посредством мозговой активности, коррелирующей с определенными умственными задачами с использованием недесятичного преобразования (UWT) для уменьшения шума, независимого компонентного анализа (ICA).

Ключевые слова: нейроинтерфейс, система управления на основе ЭЭГ, обработка сигнала ЭЭГ, нейроинтерфейс в робототехнике.

  1. Экспериментальная установка

Для сбора сигналов ЭЭГ мы использовали систему BCI производства компании G-Tec, а программное обеспечение было разработано нами. Данные записывались с помощью восьми неинвазивных электродов, размещенных на коже головы в соответствии с международным стандартом 10-20. Для размещения электродов были выбраны следующие каналы: CP3, CP4, P3, C3, Pz, C4, P4 и Cz . Эти каналы были выбраны в обоих полушариях в соответствии с появлением сенсомоторных ритмов в этих областях. Референтный электрод помещается на правое ухо. На первом этапе измеряется расстояние между ионом и нацией, при этом заземляющий электрод, который размещается на канале FP1, должен располагаться на 10% от измеренного расстояния. Затем электроды закрепляются на шлеме, а на кожу наносится проводящий гель. После выполнения этих действий можно записывать данные, но не раньше, чем испытуемого проинформируют о задачах, которые он/она должен/должна выполнить во время парадигмы. Записи были сделаны на 60 испытуемых в лаборатории обработки биомедицинских сигналов на факультете транспорта, электроники и телекоммуникаций. Испытуемые располагаются перед монитором, на котором последовательно отображаются стрелки влево и вправо или ничего не отображается. Испытуемые должны внимательно смотреть на направление, указанное стрелкой, и представлять движение руки, на которую она указывает, а когда на мониторе ничего не появляется, испытуемый должен расслабиться. Частота дискретизации составляла 1 кГц, время визуального стимула – 4 с. Сначала мы обработали полученные данные, чтобы их можно было использовать в последующих экспериментах и анализе, выделили сигналы, соответствующие моторному образному движению левой и правой руки, и сигналы, соответствующие релаксации, затем опосредованно провели 30 попыток.

  1. Экспериментальный дизайн и протокол

Важным аспектом систем BCI является то, что пользователь должен выполнять различные умственные задачи и стратегии, чтобы генерировать определенные признаки. Коммуникация мозг-компьютер основана на этих ментальных стратегиях, которые определяются и ограничиваются способностями субъектов. Другими словами, системы BCI создаются в соответствии с потребностями и навыками субъектов. Однако субъекты также обязаны изучать различные стратегии и тренировать свой мозг для создания определенных моделей, которые системы могут "понимать". Наиболее используемыми ментальными стратегиями являются моторные образы и выбор (фокусировка на различных объектах, фокусировка внимания). В парадигмах, основанных на методе селективного внимания, внешние стимулы используются в различных формах: визуальной, слуховой или соматосенсорной. Наиболее используемыми стимулами являются зрительные. Парадигмы, разработанные на основе зрительных стимулов, делятся на две категории в зависимости от характеристик мозга, которые они вызывают: парадигмы, основанные на потенциале P300, парадигмы, основанные на SSVEP (Steady State Visual Evoked Potential). Парадигмы, основанные на сенсомоторных ритмах, имеют совершенно другой подход. По сравнению с системами BCI, основанными на селективном внимании, здесь нет необходимости использовать внешние стимулы. Движение любой конечности или простое сокращение мышцы ощущается в электрической активности мозга. Любое движение является результатом импульса, генерируемого мозгом, а не наоборот. Таким образом, можно сказать, что движения существуют только благодаря центральной нервной системе, а отсутствие движений не обязательно связано с бездействием мозга, а с прерыванием пути передачи (периферическая нервная система) импульса. Можно сказать, что активность мозга, связанная с самим движением, существует еще до его возникновения, при этом происходят очевидные изменения в сенсомоторных ритмах. Эти сенсомоторные ритмы (СМР) относятся к осцилляциям, возникающим при активности в моторных или соматосенсорных областях мозга. Простое представление движения некоторых конечностей может вызвать изменения в сенсомоторных ритмах.

Для классификации нам нужны два типа записей: записи, сделанные в парадигме обучения, и записи, сделанные во время тестирования. Во время тестирования используются моторные образные движения одной руки, той руки, для которой были получены наилучшие результаты в автономном анализе, поэтому классификация проводится отдельно для левой и правой руки соответственно. В этой тестовой парадигме испытуемый должен вести мяч так, чтобы его моторные образы двигались влево и вправо, и чтобы баланс наклонялся в одну или другую сторону. Когда мяч находится с левой или правой стороны, испытуемый должен представить движение левой/правой руки, а когда мяч находится в состоянии покоя (баланс слева/справа или в центре), испытуемый должен расслабиться (рис. 3).

Испытуемый должен выполнять различные двигательные образные движения в моменты времени, указанные в эксперименте, созданном в программе. На монитор выводятся изображения, предполагающие последовательные состояния покоя и движения мяча. Испытуемый должен быть внимательным и точно следовать указаниям на картинках, иначе эксперимент перестает соответствовать тому, что происходит. Каждый испытуемый участвовал в трех сеансах онлайн-управления BCI – движение мяча влево и вправо (L/R) – в разные дни. В каждой из трех сессий было по десять прогонов управления BCI, и каждый прогон занимал около 5-6 минут с интервалом в 1-2 минуты в зависимости от желания испытуемого. В каждом прогоне было 25 испытаний, а в каждой сессии – 250 испытаний.

Каждый комплекс двигательных образов повторялся несколько раз в течение сеанса. На этапе обработки сигнала для каждой покупки выделяются сегменты, характерные для соответствующих классов. Тестовое приложение передает в программу закупки временные точки, в которых должны быть размещены маркеры на закупленных сигналах. При каждом переходе от одного стимула к другому на приобретенный сигнал помещается маркер с номером класса, к которому он относится.

В ходе тестов были созданы 6 мысленных задач, необходимых для управления виртуальным дроном:

Представление движения правой и левой руки: Для задачи о движении левой/правой руки испытуемому давалась инструкция представить, что движение руки правой/левой руки соответствует движению правого/левого мяча. Испытуемого инструктировали многократно выполнять это воображаемое движение в своем собственном темпе, по мере движения мяча, в течение 4-5 с.

Воображение движения правой/левой стопы: Для выполнения задания на стопу испытуемому давалась инструкция представить движение правой/левой стопы, соответствующее движению правого/левого мяча. Аналогично, испытуемому давалась инструкция многократно выполнять это воображаемое движение в своем собственном темпе, по мере движения мяча, в течение 4-5 с.

Воображение перемещения куба обеими руками: Для образного представления нагрузки на кубик испытуемому давалась инструкция представить, что он управляет кубиком Рубика обеими руками. Чтобы облегчить образное представление, настоящий кубик Рубика положили на стол перед ним на расстоянии 30 см. Аналогичным образом испытуемому было дано указание многократно выполнять это воображаемое движение в своем собственном темпе в течение 4-5 с.

Музыкальное воображение: Наконец, для задания на музыкальные образы испытуемому давали инструкцию вспоминать только инструментальную музыку без текста, чтобы избежать ассоциаций с языковыми областями мозга, в течение 4-5 с.

  1. Подавление шумов и анализ мультиразрешения с использованием недецимированного вейвлет-преобразования (UWT)

Вейвлет-преобразования любого сигнала f(t) определенного для любого момента времени t ≥0 определяется как

f1

где f2, f3

В процессе уменьшения шума из преобразованных UWT сигналов ЭЭГ выполняется анализ мультиразрешения для обнаружения переходных и нестационарных явлений путем их разложения на поддиапазоны анализа. После обнаружения переходные явления, связанные с шумом, устраняются, и сигнал реконструируется (рис 1)

1

Рисунок 1. Исходный и отфильтрованный сигналы.

  1. Анализ с использованием коэффициента детерминации r2

Анализ основан на вычислении коэффициента детерминации r2 и на визуальном осмотре спектра ЭЭГ. r2 является квадратом коэффициента корреляции и представляет собой коэффициент детерминации между двумя параметрами, которые образуют коэффициент корреляции Пирсона r. Этими параметрами являются ковариация ряда и произведение их стандартных отклонений.

Статистический показатель r2 имеет значения от 0 до 1 и может рассматриваться как индекс, показывающий, насколько отличаются два сигнала (на определенной частоте/канале). Различие между сигналами можно объяснить тем, что они исходят из разных источников (в нашем случае они соответствуют разным задачам, двигательному воображению и релаксации). Значение r2, близкое к 1, указывает на хорошую дискриминацию сенсомоторных ритмов. Коэффициент r рассчитывается следующим образом

f4

где X = x1, x2, ..., xn и Y = y1, y2, ..., yn – измеренные значения,

f5 – средние значения выборок соответствующих серий.

После каждой парадигмы обучения полученные сигналы анализируются, чтобы определить, правильно ли они были зарегистрированы с точки зрения сенсомоторной дискриминации МИ. На рисунке 2 представлены значения коэффициента детерминации, рассчитанного для сигнала, соответствующего МИ движения левой руки в сравнении с расслаблением, а на рисунке 3 – значения коэффициента детерминации, рассчитанного для сигнала, соответствующего МИ движения правой руки в сравнении с расслаблением.

2

Рисунок 2. Коэффициент детерминации, рассчитанный для сигнала, соответствующего ми левой руки, в сравнении с релаксацией.

3

Рисунок 3. Коэффициент детерминации, рассчитанный для сигнала, соответствующего ми правой руки, в сравнении с релаксацией.

В случае моторных образов левой руки интересующими каналами являются C4, CP4 и P4; для записанных нами сигналов лучшее значение r2 было получено на канале C4, а лучшие значения получены на интересующих нас каналах CP4 и C4. Также замечено, что наибольшее значение r2 составило около 0,45.

Для правой руки наблюдается, что мы получили более высокие значения для r2 на каналах 1 (CP3), 3 (P3) и 4 (C3) в диапазоне частот 14-22 Гц. На этих каналах максимальное значение r2 составило около 0,3.

  1. Предлагаемый метод извлечения признаков с использованием ICA вместе с r2

Предлагаемый метод извлечения признаков из сигналов ЭЭГ основан на методе независимого компонентного анализа (ICA) и коэффициенте детерминации r2 и включает следующие шаги:

  • импортируется одна запись, сделанная во время обучения;
  • извлекаются сигналы, соответствующие моторному образному движению правой руки, левой руки и релаксации;
  • каждый сигнал (релаксация или движение двигательного образа правой или левой руки) преобразуется в частотную область с помощью спектральной плотности мощности;
  • каждый сигнал (двигательное воображение движения руки справа/слева и релаксация) фильтруется с помощью вейвлет UWT;
  • рассчитывается коэффициент детерминации (в соответствии с методом, предложенным в предыдущем пункте) для отфильтрованного сигнала, соответствующего двигательной образной нагрузке правой/левой руки, в сравнении с отфильтрованным сигналом, соответствующим релаксации;
  • графическое отображение результатов по частотам и каналам;
  • применяется алгоритм ICA, который основан на алгоритме слепой идентификации второго порядка (SOBI), для всех трех сигналов, чтобы
  • оценить матрицу смешивания и источники;
  • столбцы матрицы источников нормализуются;
  • вычисляются нормы столбцов матрицы смешивания;
  • эти столбцы упорядочиваются в порядке убывания по соответствующим нормам;
  • первые три столбца матрицы смешивания сохраняются, а остальные равны нулю;
  • сигнал восстанавливается после первых трех источников;
  • рассчитывается коэффициент детерминации для реконструированных сигналов после применения ICA, соответствующих образным задачам движения правой/левой руки, по сравнению с реконструированным сигналом, соответствующим релаксации;
  • графическое отображение результатов по частотам и каналам.

Метод был реализован в программной среде LabVIEW.

Список литературы

  1. Jeong, J.H.; Lee, D.H.; Ahn, H.J.; Lee, S.W. Towards Brain-Computer Interfaces for Drone Swarm Control. In Proceedings of the 2020 8th International Winter Conference on Brain-Computer Interface (BCI), Gangwon, Korea, 26–28 February 2020; IEEE: Piscataway, NJ, USA, 2020; pp. 1–4.
  2. Chen, S.C.; See, A.R.; Chen, Y.J.; Yeng, C.H.; Liang, C.K. The use of a brain computer interface remote control to navigate a recreational device. Probl. Eng. 2013, 2013, 823736. [Google Scholar] [CrossRef]
  3. Chamola, V.; Vineet, A.; Nayyar, A.; Hossain, E. Brain-Computer Interface-Based Humanoid Control: A Review. Sensors 2020, 20, 3620.
  4. Li, G.; Zhang, D. Brain-computer interface controlled cyborg: Establishing a functional information transfer pathway from human brain to cockroach brain. PLoS ONE 2016, 11, e0150667.
  5. Kübler, A.; Holz, E.; Kaufmann, T.; Zickler, C. A user centred approach for bringing BCI controlled applications to end-users. Brain-Comput. Interface Syst. Recent Prog. Future Prospect. 2013, 1, 19.
  6. Holz, E.M.; Botrel, L.; Kaufmann, T.; Kübler, A. Long-term independent brain-computer interface home use improves quality of life of a patient in the locked-in state: A case study. Phys. Med. Rehabil. 2015, 96, S16–S26.
  7. Sharma, V.; Sharma, A. Review on: Smart home for disabled using brain-computer interfaces. Inf. Sci. Comput. Technol. 2015, 2, 142–146.
  8. Hamedi, M.; Salleh, S.H.; Noor, A.M. Electroencephalographic motor imagery brain connectivity analysis for BCI: A review. Neural Comput. 2016, 28, 999–1041.
  9. Kim, Y.; Ryu, J.; Kim, K.K.; Took, C.C.; Mandic, D.P.; Park, C. Motor imagery classification usingmu and beta rhythms of EEGwith strong uncorrelated transformbased complex common spatial patterns. Intell. Neurosci. 2016, 2016, 1489692. [
  10. Brinkman, L.; Stolk, A.; Dijkerman, H.C.; Lange, F.P.; Toni, I. Distinct roles for alpha-and beta-band oscillations during mental simulation of goal-directed actions. Neurosci. 2014, 34, 14783–14792.
  11. Korovesis, N.; Kandris, D.; Koulouras, G.; Alexandridis, A. Robot motion control via an EEG-based brain-computer interface by using neural networks and alpha brainwaves. Electronics 2019, 8, 1387.
  12. Stefan, C.; Boboc, C. Interfata creier-calculator: Utilizarea semnalului electric al creierului în aplicatii practice (Brain-Computer Interface: Brain Electric Signal used in Practical Applications). Electron. Autom. 2016, 64, 91.
  13. Guger, C.; Harkam, W.; Hertnaes, C.; Pfurtscheller, G. Prosthetic control by an EEG-based brain-computer interface (BCI). In Proceedings of the Aaate 5th European Conference for the Advancement of Assistive Technology, Düsseldorf, Germany, 1–4 November 1999; pp. 3–6.
  14. Wang, H.; Li, T.; Huang, Z. Remote control of an electrical car with SSVEP-Based BCI. In Proceedings of the 2010 IEEE International Conference on Information Theory and Information Security, Beijing, China, 17–19 December 2010; pp. 837–840.
  15. Li, J.Y.; Wang, H.J. Design of the remote control car system based on Brain-computer interface. In Applied Mechanics and Materials; Trans Tech Publications Ltd.: Bäch, Switzerland, 2013; Volume 391, pp. 584–587.
  16. Long, S.; Zhou, Z.; Yu, Y.; Liu, Y.; Zhang, N. Research on vehicle control technology of brain-computer interface based on SSVEP. In Proceedings of the 2019 International Conference on Image and Video Processing, and Artificial Intelligence, Shanghai, China, 27 November 2019; International Society for Optics and Photonics: Bellingham, WA, USA; Volume 11321, p. 113212Q.
  17. Akman Aydin, E.D.A.; Bay, Ö.; Güler, İ. Implementation of an Embedded Web Server Application for Wireless Control of Brain Computer Interface Based Home Environments. Med. Syst. 2016, 40, 1–10.
  18. Nijholt, A.; Tan, D.; Pfurtscheller, G.; Brunner, C.; Millán, J.D.R.; Allison, B.; Graimann, B.; Popescu, F.; Blankertz, B.; Müller, K.R. Brain-computer interfacing for intelligent systems. IEEE Intell. Syst. 2008, 23, 72–79.
  19. LaFleur, K.; Cassady, K.; Doud, A.; Shades, K.; Rogin, E.; He, B. Quadcopter control in three-dimensional space using a noninvasive motor imagery-based brain-computer interface. Neural Eng. 2013, 10, 046003.

Интересная статья? Поделись ей с другими: