Слайд 1Нейроинтерфейсы
Автор:
Валентович Валерия Владимировна
1.5.11А
ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава
России
Слайд 2Определение
Нейро-компьютерный интерфейс или нейроинтерфейс – это физический интерфейс приема
или передачи сигналов между живыми нейронами биологического организма (например, мозгом
животного) с одной стороны, и электронным устройством (например, компьютером) с другой стороны.
Слайд 3История развития (1)
В 50-е годы прошлого века появился первый нейроинтерфейс.
Им принято считать Stimoceiver – электродное устройство, которое управлялось по
беспроводной сети с помощью FM-радио. Оно было изобретено испанским и американским ученым Хосе Дельгадо и испытано в мозге быка. Демонстрация возможностей нового устройства была очень эффектной – на арене для корриды. Дельгадо вышел против быка, а когда тот побежал на него, нажал кнопку на пульте управления – впервые удалось изменить направление движения животного с помощью нейроинтерфейса.
https://rostec.ru/news/neyrointerfeys-upravlyat-siloy-mysli/
Слайд 4История развития (2)
в середине 1960-х гг. проводились эксперименты на обезьянах,
которым имплантировали мультиэлектродные матрицы для регистрации потенциалов коры и электрической
стимуляции. Было показано, что сенсомоторная кора активировалась, когда обезьяны производили движения, а электростимуляция коры, наоборот, вызывала сокращение мышц.
В 1963 г. Walter провел эксперимент, в котором был реализован первый ИМК в том смысле, как мы его понимаем теперь. Пациентам по медицинским показаниям были имплантированы электроды в различные области коры мозга. Им предлагалось переключать слайды проектора, нажимая на кнопку. Обнаружив область коры, ответственную за воспроизведение этого мышечного паттерна, исследователь подключил ее напрямую к проектору: управление осуществлялось непосредственно мозгом, причем даже быстрее, чем человек успевал нажать на кнопку.
Слайд 5История развития (3)
В 1957 г. французским ученым Djourno и Eyriès
удалось при помощи одноканального электрода, стимулировавшего слуховой нерв, вызвать звуковые
ощущения у глухих.
В 1964 г. Simmons представил многоканальный вариант изобретения. В 1970-х гг. House и Urban назвали устройство, состоящее из звукопреобразователя и многоканальногоэлектрода, кохлеарным имплантатом.
https://lornii.ru/lechenie-i-diagnostika/narusheniya-slukha/kokhlearnaya-implantatsiya/voprosy-zadavaemye-patsientami-kandidatami-na-ki/
Слайд 6История развития (4)
Бурный скачок ИМК-исследований пришелся на 1990– 2000-е гг.
Nicolelis и Chapin сконструировали ИМК, управлявший механическими конечностями. Записанную у
крыс в состоянии бодрствования активность коры и базальных ганглиев передавали на робот, который доставлял животному воду.
Слайд 7История развития (5)
В начале 2000-х гг. группа под руководством Donoghue
работала с обезьянами и людьми, в частности исследователи имплантировали мультиэлектродные
матрицы в моторную кору человека, что позволяло парализованным людям управлять курсором и роботизированными манипуляторами. В опыте с участием людей им удалось добиться максимального контроля в управлении антропоморфной роботизированной рукой
Слайд 8Классификация
Thorsten Zander предложил следующую классификацию:
Активные – пользователь инициирует команду безусловно
Реактивные
– пользователь инициирует команду в ответ на воздействие системы
Пассивные –
пользователь не дает команду, но система считывает и анализирует его состояние
Также нейроинтерфейсы можно классифицировать по способу получения сигнала:
Инвазивные (вживленные электроды, ECoG и другие)
Неинвазивные (EEG, NIRS и другие)
Слайд 9Активный нейроинтерфейс
Активный интерфейс использует изменения активности мозга, которая непосредственно и сознательно
управляется человеком. Например, человек воображает, что двигает правой ногой и правой
рукой. Это мысленное усилие приводит к изменениям в электрической активности мозга, на основе которых программа формирует управляющие команды, посылаемые на внешнее устройство, как в интерфейсе для печати текстов Hex-o-Spell.
Слайд 10Реактивный нейроинтерфейс
Реактивный интерфейс формирует управляющие команды, изучая ответ мозга на внешний
сигнал, например, свет или звук. Пример реактивного интерфейса — экранная клавиатура
с мигающими по очереди символами(спелеологии): мозг откликается, когда мигает тот символ, который задумал человек.
https://habr.com/ru/post/431574/
Слайд 11Пассивный нейроинтерфейс
Пассивный интерфейс анализирует текущую активность головного мозга, которая
возникает сама по себе, в процессе жизнедеятельности человека. Такие интерфейсы могут быть
полезны для создания систем мониторинга, которые следят за эмоциональным состоянием, обнаруживают снижение концентрации внимания или потерю контроля над системой.
https://habr.com/ru/post/431574/
Музей «молчания» для определения степени расслабления.
Слайд 12Неинвазивные нейроинтерфейсы
Запись ЭЭГ — наиболее распространенный метод, применяющийся при
разработке неинвазивных ИМК. По способу активации мозга метод может быть
независимым (эндогенная активация — воображение движения) и за- висимым (экзогенная активация — демонстрация движе- ния на экране).
+ простота, безопасность.
- арте- факты записи ЭЭГ, которые по ошибке могут быть приня- ты за нейронную активность и даже послужить управля- ющими сигналами; регистрация суммарной активности множества нейронов; считывание информации с поверхностных нейронов с потерей сигналов из более глубинных структур.
https://habr.com/ru/post/431574/
Слайд 13Неинвазивные (2)
Помимо ЭЭГ используют магнитоэнцефалографию (МЭГ). Для регистрации слабых магнитных
полей, гене- рируемых мозгом, требуется очень высокая чувствитель- ность метода,
которую обеспечивают сверхпроводящие квантовые магнитометры.
- регистрация МЭГ требует специальной аппаратуры, подготовленных специалистов и условий (в первую очередь, магнитного экранирования), дорого.
+ МЭГ обеспечивает лучшее временное и пространственное разрешение, чем ЭЭГ. Нет электродов, что упрощает работу с детьми.
https://en.ppt-online.org/183997
Слайд 14Неинвазивные (3)
Инфракрасное излучение проникает через кости черепа и прилегающие ткани в лобную
и затылочную кору мозга и позволяет оценивать степень окисления гемоглобина, то есть потребление
мозгом кислорода.
Отслеживание концентрации оксигемоглобина и деоксигемоглобина в мозговом кровотоке посредством ближней инфракрасной спектроскопии (БИКС) с временным разрешением 100 мс и пространственным разрешением 1 см.
Главный недостаток технологии — значительная задержка сигнала, до нескольких секунд.
Слайд 15Инвазивные
для инвазивного нейроинтерфейса требуется операция: электроды вживляются прямо в
кору мозга. Выглядят они как маленькая пластинка, примерно пять на
пять миллиметров, которая покрыта сотнями иголочек-электродов. Они регистрируют электрическую активность отдельных нервных клеток в том месте, куда внедрены.
+ датчики отличаются более сильным сигналом.
- инвазивное вмешательство сопряжено с последствиями для здоровья человека: риск воспалений, необходимость повторной имплантации из-за отмирания нейронов и эпилепсия. Поэтому такие интерфейсы используют в крайних случаях, для тяжелобольных пациентов, которым не могут помочь другие методы.
https://nplus1.ru/news/2019/07/17/neuralink
Слайд 17Алгоритм работы нейроинтерфейса
Этап регистрации сигнала
Манипулирование данными: взаимодействие с компьютером и
обратная связь.
Обработка сигнала: предварительная обработка, определение параметров сигнала, их
классификация.
Слайд 18Декодирование
Потенциал действия изолированных нейронов соответствует конкретным поведенческим проявлениям. К
примеру, возбуждение нейронов моторной коры определяет позицию, ускорение и угол
вращения руки. Разработчики используют такие со- ответствия для декодирования нейронных сигналов. При этом повторяемость и узнаваемость нейрональных паттернов, так называемый нейротюнинг (настройка) — клю- чевой фактор декодирования. Нейроны могут быть «плохо настроены», «зашумлены», что осложняет процесс их «рас- шифровки».
Метод популяционного вектора;
Фильтр Винера;
Фильтр Калмана
Слайд 19Применение нейроинтерфейсов
Нейропротезы
Передвижение с помощью ФЭС
Управление устройствами( инвалидные кресла, экзоскелет)
Коммуникация
(системы набора текста)
Оценка состояния человека (система, определяющая, что водитель засыпает
за рулем)
Развлечения, маркетинг
Слайд 20Ручной нейроинтерфейс
инвазивный ИМК, с помощью которого обезьяны захватывали появляющиеся в
различных местах объекты при помощи роботизированной руки. Для нейродекодирования использовался
фильтр Винера.
http://brain.bio.msu.ru/papers/Kaplan_Zhigulskaya_Kirjanov_2016_Vestnik%20RGMU_Studying_ability_control_phantom_fingers_P300_BCI.pdf
Слайд 21ФЭС
ФЭС-функциональная электростимуляция- применяется если конечность не утеряна, а только обездвиживание.
С помощью электродных матриц происходит электрическая стимуляция мышц набором импульсов,
имитирующих сигналы нервной системы. Мышцы активируются под воздействием стимуляции, и конечности приводятся в движение. Для поверхностной стимуляции мультиэлектродная матрица накладывается на кожу пациента. Такую контактную матрицу можно вшивать в одежду (перчатки, штаны и т. д.)
Слайд 22Экзоскелет
Обезьян обучили ходить по беговой дорожке. Во время выполнения задачи
регистрировали нейронную активность областей сенсомоторной коры, отвечающих за нижние конечности,
и записывали на видео движения ног обезьяны.
Niclolelis и его коллеги основали проект Walk Again Project —целью которого является разработка экзоскелета, приводимого в движение корой головного мозга. Nicolelis продемонстрировал экзоскелет, управляемый на основе ЭЭГ, на открытии чемпионата мира по футболу в 2014 г.
http://brain.bio.msu.ru/papers/Kaplan_Zhigulskaya_Kirjanov_2016_Vestnik%20RGMU_Studying_ability_control_phantom_fingers_P300_BCI.pdf
Слайд 23Виртуальная клавиатура
в одном из вариантов пользователю надо представить, что он двигает рукой
или ногой, чтобы выбрать ту или иную букву. Весь алфавит делится
изначально пополам в зависимости от типа воображаемого движения, потом снова пополам и так до выбора конкретного символа. Скорость написания сообщений в этом случае — от 0,5 до 0,85 символа в минуту.
В другой системе символы отображаются на экране в виде матрицы. Здесь задача пользователя концентрироваться на выбранном символе. Строки и столбцы символов на экране по очереди мигают, что приводит к генерации потенциала при совпадении с ожидаемым символом. Когда на экране мигает нужная строка, ЭЭГ изменяется, когда мигает нужный столбец — изменяется второй раз. Скорость набора — два символа в минуту, метод не требует длительных тренировок.
https://habr.com/ru/post/431574/
Слайд 24Список литературы
Нейроинтерфейс: как и зачем, Алексей Павлов, Александр Храмов, 2019.
Нейроинтерфейсы сегодня,
2018
Интерфейс мозг–компьютер: будущее в настоящемО. С. Левицкая , М. А.
Лебедев Вестник РГМУ 2, 2016.
НЕЙРОИНТЕРФЕЙС: ПРИНЦИПЫ ДЕЙСТВИЯ И РЕАЛИЗАЦИИА.В. СИДОРЕНКО, 2016.
!рекомендую ознакомиться с 3 ссылкой всем тем, кто хочет знать больше о системе декодирования.