Проект

Интерфейс «мозг-компьютер» (ИМК) - новая технология, которая позволяет человеку воздействовать на окружающую среду усилием мысли — через расшифровку мысленных команд по сигналам в электроэнцефалограмме (ЭЭГ) или другим методам записи активности мозга. При этом расшифрованные с помощью специальной программы мысленные команды используются для управления каким-либо внешним устройством: манипулятором, роботом, инвалидной коляской, курсором в компьютерной программе и т. п.

Схема работы интерфейса мозг-компьютер
Схема, иллюстрирующая принципы работы интерфейса «мозг-компьютер»

Особенно важен такой путь коммуникации с внешней средой для людей, у которых из-за болезни ограничена способность к движению. При этом интерфейс «мозг-компьютер» может заменять движения — то есть человек будет полностью общаться с внешней средой через систему ИМК. Кроме того, существуют особые способы реабилитации — восстановления двигательных функций, основанные на принципе ИМК.

Даже если двигательные функции у больного полностью нарушены, часто сохраняется способность вообразить нужное движение и дать мысленную команду. Это важно для реабилитации, поскольку многими исследованиями доказано, что при воображении движений активируются те же участки мозга, что и при реальных движениях, причем совершение мысленных движений используется даже при тренировке спортсменов (так называемая «идеомоторная тренировка»). Таким образом, многократно воображая нужные движения и делая мысленные попытки их совершить, можно улучшить восстановление нервной ткани или включение в выполнение действий новых нейронов взамен поврежденных болезнью и, таким образом, ускорить процесс реабилитации.

План развития интерфейса мозг-компьютер до 2035 года

В любой случае реабилитация — длительный и трудоемкий процесс, и восстановление не всегда происходит быстро. В этом случае, когда пациент не видит реального результата своих усилий, это, может привести к потере мотивации к выполнению к упражнениям. Нужна «обратная связь» - пациент должен видеть, насколько хорошо он выполняет воображаемые движения и дает мысленные двигательные команды. Еще лучше, если мысленные команды совершить движение будут сопровождаться пассивным движением руки или ноги, совершенным за больного специальный робототехническим устройством или электрической стимуляцией мышц, которая провоцирует выполнение нужного движения. При этом в нервной системе происходит «связывание» мысленного усилия и выполненного движения (пусть пока только пассивного), что ускоряет процесс реабилитации.

Другой возможный способ обратной связи — изображение нужного движения моделью руки или ноги на экране компьютера или использование мысленных двигательных команд для управления компьютерной игрой.

Ключевая проблема для реализации такой технологии реабилитации — надежное распознавание мысленных команд. Причем чем более тонкое и сложное движение человек воображает, тем сложнее его распознать. Самым перспективным в данной области является распознавание паттернов ЭЭГ, соответствующих мысленным командам, поскольку электроэнцефалограмма — неинвазивный способ регистрации сигналов работы мозга, безопасный для пациента, мобильный и относительно дешевый.

Наша работа направлена, в первую очередь, на создание надежного классификатора моторных команд мелкой моторики — движений пальцев руки — по ЭЭГ.

Разработка системы ИМК ведется на основании собственных исследований, в процессе которых записывается ЭЭГ у здоровых добровольцев и используются разные подходы обработки и анализа ЭЭГ сигнала.

Мы применили для решения задачи распознавания моторных команд несколько новых подходов.

«Ритмическая парадигма»: воображаемые движения/ мысленные команды совершаются в заданном ритме (ритм задается с помощью звуковых сигналов) — это позволяет ускорить и сделать более надежным распознавание мысленных команд системой ИМК.

Для расшифровки мысленных команд нами разработана специальная компьютерная программа, основанная на сложных обучающихся алгоритмах - двухуровневый комбинированный классификатор сигналов ЭЭГ. Классификатор построен с использованием наиболее перспективных для работы со сложным сигналом алгоритмов - искусственных нейронных сетей (ANN) и метода опорных векторов (SVM). Для распознавания используется одновременно несколько типов признаков ЭЭГ сигнала, что позволяет классификатору подстроиться под особенности каждого испытуемого и повышает надежность распознавания мысленных команд.

Классификатор на основе искусственной нейронной сети
Схема работы классификатора ЭЭГ сигналов

Используются разные типы преобразований ЭЭГ сигнала, из которых выбирается оптимальный для каждого испытуемого. Было обнаружено, что наиболее перспективным преобразованием, позволяющим успешно распознавать мысленные команды у большинства испытуемых, является преобразование к плотности источника тока (CSD). В результате удалось добиться точности классификации моторных команд значительно выше случайного порога угадывания. Результаты для классификации мысленных команд 4 типов показаны на рисунке. Красная линия обозначает случайный уровень угадывания (25%).

Сравнение точности моторных команд 4 пальцев руки
Сравнение результатов точности распознавания моторных команд 4 пальцев руки при использовании разных типов преобразования ЭЭГ сигнала. По оси ординат - % распознавания, по оси абсцисс — номер испытуемого. Красная линия обозначает случайный уровень угадывания (25%).По данным апостериорного анализа - более высокая точность классификации при применении преобразования к CSD по сравнению с ICA (p<0.02) и WAR (p<0.05).

Таким образом, применение новых подходов позволяет успешно решать проблему распознавания моторных команд даже для сложного случая многоклассовой классификации движений мелкой моторики.

Распознавание мысленных команд с большой точностью позволит создать систему реабилитации с обратной связью — пациент будет видеть на экране монитора результаты своих мысленных усилий, распознанные мысленные команды будут использоваться для управления компьютерной игрой (приложением), 3D-моделью руки или робототехническим устройством, которое будет совершать движения, представляемые пациентом.

Полученные в процессе научных исследований результаты используются нами для разработки инновационного программно-аппаратного комплекса, основанного на интерфейсе «мозг-компьютер», для реабилитации больных с двигательными нарушениями, которая позволит сделать реабилитацию более успешной, быстрой, комфортной и доступной для пациента.

Публикации

Development of electroencephalographic pattern classifiers for real and imaginary thumb and index finger movements of one hand / Konstantin M. Sonkin, Lev A. Stankevich, Julia G. Khomenko, Zhanna V. Nagornova, Natalia V. Shemyakina // Artificial Intelligence in Medicine 2015, Vol. 63, No 2, p. 107- 123. 
В работе исследуется точность классификации ЭЭГ-сигналов воображаемых и реальных движений пальцев (большого и указательного) одной руки посредством искусственной нейронной сети и метода опорных векторов для будущих применений в интерфейсах мозг-компьютер. Примененные подходы к различению ЭЭГ-сигналов продемонстрировали различную чувствительность к накоплению данных. Точность классификации при использовании метода опорных векторов линейно увеличивалась с ростом числа накопленных попыток (в среднем 45%, максимально 62% при 20 накопленных попытках), в то время, как точность классификации с использованием нейронных сетей была выше при единичных попытках (в среднем 38%, максимально 42%), эмпирический уровень в обоих случаях был 25%. Полученные результаты демонстрируют принципиальную возможность различения воображаемых и реальных движений с помощью классификаторов на нейронных сетях и методе опорных векторов.

Классификация ЭЭГ-паттернов воображаемых движений пальцами одной руки, выполняемых в заданном ритме / Л.А. Станкевич, К.М. Сонькин, Н.В. Шемякина, Ж.В. Нагорнова, Л.А. Станкевич, Ю.Г. Хоменко, Д.С. Перец, А.В. Коваль // Физиология человека 2016, том 42, 1, с. 1-12. 
В работе приводятся результаты решения задачи классификации ЭЭГ-паттернов воображаемых движений четырьмя пальцами правой руки (мизинцем, большим, указательным, средним) у восьми здоровых испытуемых. Воображение нажатий пальцами правой руки выполнялось испытуемыми в предварительно заданном ритме. Классификация проводилась средствами разработанного двухуровневого комитета классификаторов с использованием методов опорных векторов и искусственных нейронных сетей на первом уровне и обобщающей искусственной нейронной сети на втором уровне. В качестве признаков для классификации были выбраны площадь под огибающей и длина огибающей сигнала ЭЭГ, вычисленные в скользящем временном окне для отведений по системе 10-20. Средняя точность классификации по единичным пробам 4 типов воображаемых движений для всех испытуемых для пары отведений составила - 57% (максимальная 58%), для пары отведений - 46% (максимальная 62%) при теоретическом пороге случайной классификации 25%.

Neurological Classifier Committee Based on Artificial Neural Networks and Support Vector Machine for Single-Trial EEG Signal Decoding / Konstantin Sonkin, Lev Stankevich, Yulia Khomenko, Zhanna Nagornova, Natalia Shemyakina, Alexandra Koval, Dmitry Perets // Advances in Neural Networks – ISNN 2016. Lecture Notes in Computer Science vol 9719. Springer, Cham. DOI: 10.1007/978-3-319-40663-3_12 
This study aimed to finding effective approaches for electroencephalographic (EEG) multiclass classification of imaginary movements. The combined classifier of EEG signals based on artificial neural network (ANN) and support vector machine (SVM) algorithms was applied. Effectiveness of the classifier was shown in 4-class imaginary finger movement classification. Nine right-handed subjects participated in the study. The mean decoding accuracy using combined heterogeneous classifier committee was −60 ± 10 %, max: 77 ± 5 %, while application of homogeneous classifier based on committee of ANNs −52 ± 9 % and 65 ± 5 % correspondingly. This work supports the feasibility of the approach, which is presumed suitable for imaginary movements decoding of four fingers of one hand. These results could be used for development of effective non-invasive BCI with enlarged amount of degrees of freedom.

Классификация электроэнцелографических паттернов воображаемых движений пальцами руки для разработки интерфейса мозг-компьютер / Л.А. Станкевич, К.М. Сонькин, Ж.В. Нагорнова, Ю.Г. Хоменко, Н.В. Шемякина // Труды СПИИРАН. Выпуск 30(40). - СПб., 2015 г., с. 163-180. 
В работе приводятся результаты классификации ЭЭГ паттернов кинестетического воображения движений пальцами и кистью одной руки в заданном ритме на основе метода опорных векторов и комитета искусственных нейронных сетей. Показано, что точность распознавания ЭЭГ-паттернов воображаемых движений с использованием комитета нейронных сетей в среднем была выше, чем с использованием метода опорных векторов. Выявлены возможности увеличения точности при использовании индивидуального подхода к выбору параметров классификатора ЭЭГ-паттернов.

Разработка интерфейса мозг-компьютер реального времени на основе нейрологического комитета классификаторов ЭЭГ сигналов / Станкевич Л.А., Сонькин К.М., Шемякина Н.В., Нагорнова Ж.В., Хоменко Ю.Г., Перец Д.С., Коваль А.В. // XVIII международная научно-техническая конференция "Нейроинформатика-2016" Сборник научных трудов. Ответственный редактор А.Г. Трофимов. 2016. Национальный исследовательский ядерный университет "МИФИ" (Москва), с. 172-182 
В работе рассматривается интерфейс «мозг-компьютер» (ИМК) для классификации электроэнцефалографических (ЭЭГ) паттернов воображаемых движений пальцев одной руки в реальном времени. Показано, что такая задача может быть решена при использовании биологической обратной связи и минимальных временных задержках работы системы. Представлен вариант реализации ИМК реального времени c использованием нейрологического комитета классификаторов на основе искусственных нейронных сетей и метода опорных векторов.

Классификация ЭЭГ-паттернов воображаемых и реальных движений пальцев одной руки методом опорных векторов / К.М. Сонькин, Л.А. Станкевич, Ю.Г. Хоменко, Ж.В. Нагорнова, Н.В. Шемякина // Тихоокеанский медицинский журнал. 2014,N.2,с.30-35 
Рассматривается проблема распознавания воображаемых и реальных движений пальцев одной руки по паттернам ЭЭГ. В электроэнцефалографическом исследовании приняли участие шесть здоровых испытуемых (средний возраст 34.3[SD]). Для классификации паттернов ЭЭГ была выбрана биоэлектрическая активность в сенсомоторной коре человека (отведения C3, Cz) в полосе пропускания 0.53-30 Гц и временном окне 1600 мс (450 мс после предъявления разрешающего стимула). Произведена оценка точности классификации паттернов ЭЭГ, соответствующих реальным и воображаемым движениям большого и указательного пальцев, с помощью метода опорных векторов с использованием линейной и радиальной базисной функций. Показана возможность различения паттернов ЭЭГ воображаемых движений пальцев одной руки на основе метода опорных векторов (средняя точность 44,7% при суммировании 20 проб).

Распознавание паттернов мозговой активности на основе метода символьной регрессии / Сонькин К.М. // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление 2013, том 169, с. 117-122. 
Рассмотрена задача анализа электроэнцефалограмм с целью создания эффективных средств распознавания и категоризации. Реализован метод символьной регрессии на основе генетического программирования, ключевым преимуществом которого является автоматический подбор структуры регрессионной модели. Приведены результаты исследований, показывающие, что точность регрессионных моделей сигналов малой длительности составила в среднем 86 %.

Classification of EEG Patterns of Finger Imaginary Movements Preprocessed by CSD conversion / Natalia Shemyakina, Zhanna Nagornova, Konstantin Sonkin, Julia Khomenko, Dmitry Perets, Alexandra Chevikalova, Lev Stankevich Poster OHBM 2016
INTRODUCTION: An effective and successive classification of EEG patterns is a step towards creation and improvement of mobile, cheap noninvasive brain–computer interface (BCI), that is an actual interdisciplinary problem for the rehabilitation purposes. Main problems, that have to be solved for elaboration of the effective classifiers & BCIs are the enhancement of decoding accuracy of EEG patterns (exploring new features), increase of speed and degrees of freedom for classification and existing BCI systems (http://bnci-horizon-2020.eu/community/research-groups). GOAL: to explore possibility to use current source density (CSD) conversion as the preprocessing procedure, enhancing decoding of EEG patterns of finger imaginary movements on base of previously elaborated scalable committee of classifiers.

Анализ возможности распознавания паттернов ЭЭГ воображаемых и реальных движений пальцев одной руки / К.М. Сонькин, Станкевич Л.А., Нагорнова Ж.В., Хоменко Ю. Г., Шемякина Н.В. // XVI Всероссийская НТК Нейроинформатика-2014. Сб. научных трудов, Ч.2. Москва: Изд-во НИЯУ МИФИ, 2014 г. С.12-22.

Up