Музыка и нейроинтерфейсы: энцефалофон — неврология творчества

    Сравнительно недавно СМИ опубликовали информацию об изобретении нового музыкального инструмента — энцефалофона, позволяющего исполнять музыку, используя электрическую активность мозга. По моему мнению, эта разработка, пожалуй, наиболее свежая и перспективная инновация в области экспериментальных музыкальных инструментов.

    Несмотря на относительную баянность (большинство публикаций в СМИ датируется июлем 2017), убежден, что тема достойна внимания и дискуссии. К сожалению, короткие новостные сообщения, кроме факта изобретения устройства, фамилий авторов и туманных описаний принципов работы, содержат мало полезной информации.



    Думаю, что появление рабочего прототипа энцефалофона сравнимо по значимости с изобретением, например, Терменвокса. Но следует также отметить, что эксперименты по этой теме и попытки использования электроэнцефалографии, как интерфейса для звукоизвлечения, проводились на протяжении последних 60-ти лет.

    По замыслу разработчиков, новый инструмент не только сможет изменить привычные представления о звукоизвлечении и нейроинтерфейсах, но также помочь людям с ограниченными возможностями. Под катом рассказ об истории изобретения, близких разработках, принципах работы энцефалофона, результатах исследования и перспективах развития.


    Первые шаги энецефалофонии — 30-е и 40-е


    Первое применение ЭЭГ в музыке датируется 1934-м годом, когда некими Адрианом и Мэтьюзом были замечены “музыкальность” преобразованного сигнала энцефалографии. Название энцефалофон впервые было использовано для устройства, разработанного нейрофизиологом E. Беверсом и физиком-математиком Р. Фуртом в 1943-м году. Изобретение ученых было предназначено для диагностики неврологических заболеваний, в частности, локализации поврежденных нейронов.

    Как и современный музыкальный инструмент, энцефалофон 43-го года был способен издавать определенные звуки в зависимости от показаний электроэнцефалограммы, которые свидетельствовали о поражении участков коры, ретикулярной формации и других отделов мозга. По сообщению New York Times от 2-го марта 1943-го года, изобретение Беверса и Фурта было основано на совмещении электроэнцефалографии с технологией активного сонара. В отличие от современного устройства, первый энцефалофон не позволял произвольно извлекать звуки “усилием мысли”.

    Электроэнцефалофон DIMI-T Эркки Куренниеми


    Очередным прорывом, который приблизил создание интерфейса “мысленного звукоизвлечения”, стал электроэнцефалофон, созданный сотрудником кафедры теоретической физики Хельсинкского Университета Эркки Куренниемии (Erkki Kurenniemi). Главным образом Эркки известен созданием разнообразных музыкальных устройств и синтезаторов (передовых для своего времени), а также как создатель первого финского микропроцессора.

    В 1970-м году талантливый ученый стал управляющим и техническим директором компании Digelius Electronics Finland, где инициировал создание ряда электромузыкальных инструментов с необычными интерфейсами. Серия смелых экспериментов получила название Dimi (от сокращения (digital music instrument). Так DIMI-O получил оптический интерфейс, связанный с движениями и распознаванием графического изображения нот. Dimi-S или Sexophone использовал в качестве модулятора электропроводность кожи. DIMI-T представлял собой устройство, управляемое электрической активностью мозга.



    Электроэнцефалофон DIMI-T, также как и другие устройства такого типа, был создан на основе аппарата ЭЭГ. Эксперимент можно считать относительно удачным, так как частоты сигнала, который воспроизводил инструмент путём длительной тренировки, можно было настроить на гармоничные сочетания с нотами основной композиции. По некоторым данным, для управления инструментом Куренниеми пытался использовать бета-ритм и т.н. реакцию активации.

    Другие исследования и эксперименты


    В 1965 году композитор и экспериментальный музыкант Люсьер совместно с композитором Джоном Кейджем создали устройство, позволяющее управлять ударными инструментами при помощи ЭЭГ. Ряд полезных для создания современного инструмента сведений были также получены из экспериментов Дэвида Розенбума, который в 1970-х применял энцефалограф в качестве источника музыкальных и модулирующих сигналов.

    Нейропсихолог и футуролог Ариэль Гартен в сотрудничестве с изобретателем Стефаном (Стивом) Манном в начале нулевых разработали нейроинтерфейс для управления музыкальными переменными под водой. Инструмент обладал оригинальным звучанием, но не давал точного звукоизвлечения.



    Внушительный вклад в тему внесли Юань Х. и Он Б., опубликовав в 2014-м году актуальную по сей день работу “Мозговые интерфейсы с использованием сенсомоторных ритмов: текущее состояние и перспективы”, которое в числе прочих легло в основу современного энцефалофона.

    Вклад Эдуардо Рек Миранда


    Бразильский композитор и ученый Эдуардо Рек Миранда занимается созданием нейроинтерфейсов и систем биологической обратной связи. Некоторые его исследования направлены на создание устройств, позволяющих сделать электрическую активность мозга способом звукоизвлечения. Кроме того, исследователь проводит эксперименты с нейронными сетями, генерирующими музыку.



    Новую “пищу” для продолжения разработок ученого дали опубликованные в 1999-м году исследования Робертса, Пенни и Резека об управлении компьютера с использованием ирнтерфейса на основе ЭЭГ (Temporal and spatial complexity measures for electroencephalogram based brain-computer interfacing.). Важные сведения содержались в близкой по теме работе 2000-го года Пфурстшеллера, Ньюпера, Гуггера и др. (Current trends in graz brain-computer interface (BCI) research.). В этих публикациях была отмечена эффективность применения изменений альфа-ритма (PDR — ритм зрительной коры) и mu-ритма (ритм моторной коры) для реализации компьютерных интерфейсов управления через ЭЭГ.

    Используя эти наработки и собственные исследования по статистическому анализу влияния субъективных факторов на результаты ЭЭГ, а также исследования в области точной регистрации изменений альфа, бета и мю-ритмов, Эдуардо удалось создать датчики, которые впоследствии легли в основу современного энцефалофона.

    Энцефалофон 2017


    Как я уже отмечал, наиболее успешным экспериментальным энцефалофоном стал инструмент, представленный в этом году Томасом А. Диуэлем (отделение неврологии, Шведский неврологический институт, Сиэтл, Вашингтон, США), Хуаном Пампином (Центр цифровых и экспериментальных исследований Вашингтонского университета (DXARTS), Якобом Сундстром (Музыкальная школа Вашингтонского университета) и Феликсом Дарвасом (отделение нейрохирургии, Вашингтонского университета). Результаты исследования по разработке и тестированию нового устройства биологической обратной связи были опубликованы в Frontiers in Human Neuroscience. До появления этого устройства опыты по применению нейроинтерфейсов для исполнения музыки с точным звукоизвлечением были неудачными.



    Исследователи использовали нейроинтерфейс, применяющий для управления альфа (PDR)-ритмы (зрительные — затылочные доли, характерны для состояния бодрствования без физического напряжения) и мю-ритмы (моторная кора, сопровождают состояние полного покоя). Опора на мю-ритм открывает возможности для использования инструмента пациентами с такими патологиями как боковой амиотрофический склероз, тяжелые повреждения спинного мозга, травматические ампутации, различные формы параличей, другие состояния, ограничивающие естественные возможности и двигательную активность.

    Технически устройство представляет собой 19-канальный энцефалограф, оснащенный электродами, размещенными на специальной шапке, и усилителем. Этот блок передает результаты ЭЭГ через USB-интерфейс в компьютер, который анализирует частоту и амплитуду сигналов, присваивая им значения от 1 до 8. Второй компьютер преобразовывает сигналы в ноты в режиме реального времени (синтезирует звуки фортепьяно).


    Принцип работы системы / Thomas A. Deuel et al., Frontiers in Human Neuroscience, 2017


    Интересно, что для использования инструмента почти не требуется специальной подготовки. В основном в исследовании приняли участие 15 здоровых испытуемых в возрасте от 25 до 60 лет, не имеющих опыта с другими музыкальными инструментами. Они показали очень впечатляющие результаты по управляемому точному звукоизвлечению.

    В этом опыте испытуемые практически без подготовки (не считая короткую 5-минутную калибровку), в течение 5 минут старались точно извлечь 27 нот, используя интуитивные “сознательные усилия (модуляции)”. Например, предлагалось извлечь ноты “до” и “ре” третьей и четвертой октав. В случае трехкратного успешного выполнения задания программа синтезировала мажорный аккорд и выдавала следующую задачу, а в случае неверного — неприятное дисгармоничное сочетание звуков.

    Так в режиме управления через PDR-ритм точность звукоизвлечения составляла 67,1%, а при использовании мю-ритма 57,1%. Такой результат значительно выше, чем генерация случайных нот, о которой свидетельствовала бы точность не более 19,03%. Исследование подготовленных людей, имеющих опыт в музыке, продемонстрировало существенное повышение точности при управлении альфа-ритмом, но при управлении мю-ритмом точность осталась на уровне неподготовленных испытуемых.


    Процентная точность для управления через PDR и Mu

    Ученые активно пиарят разработку через живые выступления с джазовым проектом Dr. Gyrus and The Electric Sulci Featuring the Encephalophone. Партию на эцефалофоне исполняет сам руководитель проекта Томас Диуэль. Первое выступление с опытным прототипом, эпатажно украшенным бутафорскими проводами, датируется ещё 2015-м годом (т.е. до официального релиза устройства).



    В 2017-м с этим же коллективом была проведена ещё одна джазовая презентация.



    Итог


    Исследования и доработка инструмента продолжаются. Разработчики убеждены, что возможности энцефалофона можно будет существенно расширить. Наиболее перспективным направлением дальнейшего развития темы является применение мю-ритма, в связи с высокой социальной значимостью для парализованных пациентов.

    Наиболее подробно особенности и результаты исследования описаны здесь .

    Традиционный джинсовый абзац
    До старта серийного выпуска энцефалофоны, к сожалению, не попадут в наш каталог, но между тем, там представлен широкий ассортимент других устройств для воспроизведения и создания музыки.

    В посте использован фотоконтент:
    www.ncbi.nlm.nih.gov
    neuromusic.soc.plymouth.ac.uk
    Frontiers in Human Neuroscience
    Pult.ru 132,19
    Крупнейшая сеть Hi-Fi, High End в России
    Поделиться публикацией
    Комментарии 19
    • 0
      А есть запись звучания энцефалофона в чистом виде, без джазового ансамбля? А то какой-то суп из топора получается
      • +1
        Пытался найти, но не удалось. Полагаю всё достаточно тривиально, учитывая, что пока он только 8 нот умеет воспроизводить, но это начало, когда-то, в далёкие 60-е примитивные цифровые системы и этого не могли, а сейчас подавляющее большинство синтезаторов цифровые.
        • +1
          он управляет другими музыкантами через энцефалофон)
    • +1
      image
      • +1
        тоже сразу Holophonor в голову пришел)
      • +1
        Кажется, воображаемые стимулы активируют соответствующие сенсорные области, так почему бы не послушать слуховую кору? Для начала можно попытаться перехватить не воображаемый, а реально воспринимаемый сигнал. Близкие ко входу слои как раз тонотопические, то есть сразу по точке сигнала видим частоту. Наверное там карта слишком мелкая для ЭЭГ. Но когда получится — композитор станет сам себе оркестром.
        • 0
          Начиная читать статью, представлял себе человека с проводами, а из колонок звучит что-то типа «Пинк Флойда» (У меня часто играет в голове что-то очень похожее). Но прочитав понял, что я очень сильно ошибался. Что ж, будем ждать…
          • 0

            Та же мысль у меня возникла, думал научились считывать тот участок где человек сам себе песни крутит в голове

          • 0
            Занятно сравнение с Терменвоксом, учитывая, что последняя работа Льва Термена и был ныне названный Энцефалофон :) Он об этом в последних интервью говорил и после ухода много осталось наработок.
            • 0
              Будьте добры дать ссылку на это интервью. Смотрел много, но не встречал такой информации. На сколько мне известно Лев Сергеевич в конце жизни стремился усовершенствовать концепцию Терменвокса. Не доводилось слышать о том, что термен так или иначе использовал ЭЭГ, если есть линк — буду признателен, интересно.
              • 0
                Вы знаете, перерыл кучу нынешних источников — не нашел. Это было в интервью, показывавшимся то ли в конце 90х, то ли начале- середине 2000х. Там был затемненный фон, сам Лев Сергеевич был в очках и очень энергичен и весел.В весьма непринужденном тоне разговаривал. Интервью относилось к периоду до разгрома его лаборатории. Я тогда еще поразился, как он в более, чем 90 лет был все также деятелен и энергичен.
                На вопрос о том, чем он занимается сейчас, он ответил, что много чем. Его попросили уточнить и он, как пример привел желание создать инструмент позволяющий получать музыку из головы, минуя необходимость исполнения руками. Как-то так. Он очень живо и с улыбкой говорил. Я его, честно говоря, на всех видео, что сейчас нашел, нигде таким не видел. Везде он серьезный и от части поникший.
                • 0
                  Возможно его таким преподнесли, как серьезного ученого. Об ЭЭГ он не говорил. Возможно усовершенствование терменвокса каким-то образом связано с идеей «музыки из головы».
                  • 0
                    Немного повспоминал. Вы правы, в чем я не сомневался, разговор там шел об усовершенствовании терменвокса и «музыка из головы», как раз, с этим и связывалась. Термен, отвечая на вопрос, чем занимается, упомянул об усовершенствовании терменвокса и связывал предыдущее утверждения с этим, упоминал, что это практически новое устройство будет. Жаль, что не получается интервью найти.
                    • 0
                      Я могу у правнука(Петра Термена) поинтересоваться по этому поводу, может материал получится.
                      • 0
                        Спросите, это будет интересно. Спасибо вам за вопросы, я выкопал один из корней своего интереса к неироинтерфейсам. Именно после того интервью Термена я задумался о беспроводных попытках получить сигналы. Честно говоря контактный метод все же эффективней.
                        • 0
                          По вашему вопросу. Петр подтвердил, что Лев Сергеевич действительно занимался этой темой.
                          • 0
                            Благодарю, он не уточнил о публикациях и наработках?
                            • 0
                              К сожалению нет. Ответ был лаконичным.
                              да, он занимался этими вопросами

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое