0,0
рейтинг
19 июня 2011 в 22:07

Мозгокомпьютерный интерфейс. Часть третья. Будни

Здравствуй Хабр.
Месяца три тому назад я выкладывал обзоры (текстовый и видео) по мозгокомьютерому интерфейсу Emotiv Epoc. Поступило большое количество вопросов на тему как им пользоваться, где приобрести и вообще как оно. С целью хоть как-то облегчить себе участь я сделал небольшое FAQ. Но оно лишь отчасти помогло мне.

И вот, прошло 3 месяца.

Основная волна вопросов схлынула. Но многие просят рассказать, ну как там дальше. Мысли уже читаю, или еще пока нет? Нет, не читаю. Но обещал написать статью с тем, что получилось за это время. Получилось пять минисообщений на тему.

В первую очередь, познакомился с большим количеством разработчиков в разных уголках нашей, да и не только нашей страны, которые хотели бы написать что-то под это устройство. И у них с одной стороны получается, а с другой не очень. Пока, набиваем шишки. Некоторые просто перепутали и заказали базовую версию, вместо версий разработчиков. Кто-то заказал сразу два устройства. В целом, я бы сказал, работа медленно продвигается, ведь это только начало подобных устройств. Плюс сессия, плюс лето. Лично я после диплома хочу добить свою реализацию виртуальной клавиатуры под это устройство. На подобие, клавиатуры Intendix, которую недавно показывали на CeBIT’e. Кто-то пишет аддон к клиенту для одной из ММОРПГ игрушек, кто-то экспериментирует с фото и аудио. Кто-то просто гоняет кубик и учится управлять мышкой. Потенциальных приложений много. Еще я купил пол-литра жидкости для контактных линз. Видели бы вы провизоров в аптеке, когда я покупал «флакончик».

Во-вторых, залез в несколько интересных сообществ по теме. Официальный форум, это конечно, хорошо, но явно недостаточно. Наткнулся на сайт сообщества, разрабатывающего большую универсальную библиотеку для нейрокомпьютерных интерфейсов. Там не только Emotiv Epoc, но и многие другие, о которых уже неоднократно говорилось на страницах хабрахабра. Наткнулся, в конце концов, на сайт большого отечественного сообщества, которое занимается нейронауками. Там не только нейроинтерфейсы, там много чего по теме. Дальше просто можно перейти по ссылкам этих сайтов. Про открытые сообщества типа OpenEEG уже говорилось в комментах к одной из предыдущих статей. Поэтому повторяться не буду. Еще один очень хороший знакомый дал ссылку на исходники, при помощи которых можно из своего устройства выжать немного больше возможностей, сделав небольшой хак.

В-третьих, недавно видел сей девайс по телевизору. Абзац ненависти. Журналисты такие журналисты. Дядьки с умным видом вещали про устройство. Само устройство показывают с 1:15, ошибиться невозможно. Но я советую посмотреть все видео. Если сказать откровенно, то ощущения противоречивые. Гости студии говорят о сайте, на котором следует зарегистрироваться, чтобы попробовать пользоваться устройством. Я нашел этот сайт. Заточено под Firefox. Но что-то я там ничего толкового не нашел. Собственно, обсуждение их деятельности. Не знаю, не знаю. Конец абзаца ненависти.

В-четвертых. 9 мая, в честь Дня Победы, принимал гостей с родными. Мне было торжественно поручено развлекать двенадцатилетнюю девочку. С чем я думаю и справился. В общем, нацепили мы девайс на нее и попробовали шевелить кубиком (как в одном из видео). За 15 минут она научилась делать 2 произвольных движения и их комбинацию по выбору. Еще минут через 5-10, она смогла работать уже с тремя движениями одновременно. Четвертое было с трудом и частично.
При этом. Интерфейс не был целиком подключен к голове, так как он рассчитан на взрослый размер. Поэтому работали только датчики в затылочной части и частично датчики в середине головы. И оно работало даже в таком режиме! Она за 15 минут сделала то, что я учился делать 2 недели и то у меня не всегда получается. На всякий случай проверил еще ее маму (ну вдруг у них вся семья такая). Мама показала обычный результат для начинающих. Мозг отсутствует. Одно движение и хаотически второе.
В общем, гибкий молодой мозг творит чудеса. Посовещавшись с товарищем, мы решили поймать какого-нибудь племяша помоложе и тоже попробовать что выйдет. Еще есть предположение, что из-за отсутствия сигналов с лобных долей (так как просто не дотягивалось до всей головы), не было помех сигналов, или сигнал был более простой, и поэтому так легко получалось. Вроде, с несколькими отключенными электродами ситуация с распознаванием лучше. Опять же надо проверять и советоваться с более опытными товарищами.

И последний, пятый пункт. Думаю, самый важный в сегодняшней статье. Что-то типа обкатки устройства, в боевых условиях. Так получилось, что судьба свела меня с одним удивительным человеком. Он генерирует очень хорошие идеи, ловит все на лету, добрый, душевный и понимающий. Ищет жену. И это, или подобное устройство, ему действительно нужно. Оно действительно облегчит ему жизнь. У него ДЦП довольно тяжелой формы. Друзья из Америки подсказали купить ему это устройство. Он купил его. Я помог ему настроить и научиться пользоваться этим девайсом. Только вот, получилось не очень. Хоть и очень старались. При этом заболевании энцефалограмма мозга другая. Плюс тремор, который не позволяет использовать сигналы от мышц в полной мере. Поэтому все возможности устройства мы использовать не смогли чисто физически. Но даже в этих ограниченных условиях мы смогли научиться пользоваться левым и правым щелчком мышки. И даже немного шевелить ею. Откровенно говоря, меня поразили и упорство, и скорость, с которой происходило освоение устройства. Но, к сожалению, при таком использовании требуются слишком большие усилия, при не очень большом выходном эффекте. Более традиционные для него способы ввода оказались менее трудоемки. В результате сейчас его девайс валяется без дела. Если у кого-то появилось желание приобрести устройство, стучимся мне в личку. SOLD

По его предложению, в ближайшее время попробуем с ним поэкспериментировать с системой айтрекинга или, что точнее, гейзтрекинга. Благо тут проблем не наблюдается. С меня, как обычно, отчет или обзор. Еще как вариант, он предлагает сделать датчики, прикрепляемые к векам, для имитации щелчков мыши. Но это уже надо паять железо. Есть желающие попробовать сделать такую штуку?

На этом у меня сегодня все. Спасибо за внимание.
Колесников Александр @sasha237
карма
101,2
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (54)

  • +1
    Уже есть какие-то наброски клавиатуры? Если есть, то покажите-расскажите. Заинтересовало.
    • 0
      Да что Вы, в интернете полно подобных открытых проектов, мой всего лишь один из многих будет, если получится.

      Ссылка на картинку. В комменты не вставляю, так как большая. Скрин сделал только что, включать устройство не стал — лениво. Поэтому графиков не видно, но они есть. Слева моргающая клавиатура, справа энцефолограмма и гироскопы. Писано на шарпе. Пока на сорцфорж не выложено, так как не дописано, а смысла выкладывать неготовый проект я не вижу.
      Что сделано/умеет:
      1. Делать стробоскопирование столбцов и строк, как интендикс и подобные устройства.
      2. Снимать гироскопы и сигналы.
      3. Имитировать нажатия
      Что не сделано/не умеет:
      1. Не доломаная библиотека от поставщиков имеет ограниченный функционал. Либо доломаю, либо все таки доплачу до полной версии.
      2. Естественно не умеет распознавать, а что же конкретно было послано и какую букву выводить. Нужна либо нейронка, либо хитровывернутый алгоритм. В принципе они довольно распространены, просто нужно приделать. В июле, если время появится, буду разбираться.

      • +2
        Когда я увидел клавиатуру в терминале РЖД — меня их экранная клавиатура с раскладкой «АБВГД» сначала удивила, а потом очень разозлила. Печатать на ней неудобно. Разрабатывая хорошую программу, не забывайте об удобстве ее пользователей.
        • +1
          Фишка моей клавы состоит в том, что ей без разницы какую раскладку давать
          Есть вот такой файлик настроек, в первой строке количество букв в строках и столбцах, во второй размеры букв, в третьей размеры пропусков между ними, а потом сами буквы. Можно менять раскладки и все такое прочее. Шифты и подобные вещи пока не прикрутил.
          6 8
          70 50
          20 20
          a b c d e f! @
          g h i j k l # $
          m n o p q r % ^
          s t u v w x & *
          y z 0 1 2 3 ( )
          4 5 6 7 8 9 _ -
          • 0
            Тогда совсем другое дело! Юникод поддерживается?
            • 0
              угумс
            • 0
              а чего там его поддерживать, открыл в шарпе с другим ключом и вперед =)
              • 0
                И пошел проверять не наврал ли сгоряча.
                Внезапно реализация оказалась настолько удачной, что принимает не только отдельные буквы из юникода, но даже целые слова.
                Раз и два.

                В общем, я ее определенно доделаю.
      • 0
        А это вот такая: www.youtube.com/watch?v=hJ3l1hFomLc?
        Где строчки столбцы подсвечиваются в псевдорандомальном порядке?
        • 0
          Угу, это стандартная клава для мозгошлемов. Не только интендикса, но и остальных. Просто эти ее довели немного до кондиции, ну и маркетингом занимаются.
          • 0
            Ясно. Я просто на одной конференции я видел какой-то её вариант (выглядил он по другому, но картинки я не нашел) и очень впечатлился — там на человека первый раз одели EGG шапочку, и уже минут через пять могу набирать с приличной скоростью — символ в 2-3 секунды, правда с ошибками. Ребята утверждали, что после небольшой тренировки, можно печатать 1.5-2 символа в секунду (кажется) при минимальной кол-ве ошибок.
            • 0
              Выглядит мозговзрывающе. Полностью согласен.
  • +2
    С айтрекингом, говорят, хорошо работает программа dasher для ввода текста.
    • +2
      Спасибо за инфу, будем пробовать. Оно?
      • +1
        Оно.
  • +1
    Тоже очень интересна эта тема, правда как гуманитарию)
    Не сочтите за рекламу
    sokolkov.ru/projects/brainheadphones/
    • 0
      Ну в принципе оно имеет право на существование, ждем развития технологии =)
      • 0
        Кстати у меня в пыльной голове давно валяется идея для практического использования ай-треккера, куда бы ее вам отправить?)
        • 0
          В личку, или на почту в профиле.
          • 0
            Ок, сделаю, как проснусь :)
        • +1
          А если дельно и целостно, то можно и сюда, заодно пообсуждаем на ночь глядя.
          • 0
            Идея такая.

            С помощью трекера отслеживать место куда смотрит читатель, контрастным оставляя только область прочтения, а переферическую информацию уводить в туман, чтобы не рябила.
            Читалка будущего будет с айтрекером)

            • 0
              sokolkov.ru/j/out/9.jpg

              быстрая иллюстрация «до и после»
            • 0
              Хмммм, надо будет подумать. Просто глаз вроде как воспринимает строку в целом или даже страницу, просто фокус бегает по разным частям страницы. Сложно сказать, но что-то в этом есть.
              • 0
                Возможно, удобочитаемость повысится и это может быть первый шаг к какой-нибудь динамической верстке будущего)

                Вообще интересно бы было посмотреть на это
  • 0
    Извините, что не по теме. Опубликуйте кто-нибудь эту новость: www.1tv.ru/news/techno/178847 Думаю многим будет интересно.
    • 0
      habrahabr.ru/blogs/e_gov/122208/ опубликовал и перенаправил плюсы на Вас.
      Больше не уходите в минус.
      • +1
        Спасибо. Яблоколюбы очень не любят критики или сомнений в адрес всего яблочного. Тут ничего не поделаешь.
        • +2
          Лучше Вам не надо было делать этот коммент, а то они опять набегут. Наминусуют, а потом будут разбираться. =)
          • 0
            Се ля ви. :-/
        • 0
          Ты же со всеми попрощался. Цитирую

          • 0
            Хмм. ввод как обычно. Итак цитирую Ezhan:
            >>Это мой второй и последний пост.

            >>Вы такие умные и нежные, что я не могу в своём собственном блоге написать тестовый пост, чтобы разобраться как и что тут работает? Идите в задницу, раз тут подобие ЛОРа.

            >>Удачи.

            Зачем возвращаться, раз тут подобие ЛОРа, если есть ЛОР. Там регистрация бесплатна и минусиков не ставят!
  • +1
    Ух ты, эмотив жив:). К сожалению, разработчики действительно заточили форму девайса под большую и желательно лысую мужскую голову, очевидно рассчитывали на среднестатистического бета-тестера (честно заявляя о статусе беты).

    Кстати, а попадались ли тебе, автор, испытатели сабжа из сообщества Quantified Self?
    • 0
      Неа, они? Надо будет почитать.

      А на счет живости. Почти половину заказов эмотива сделали НАСА и им подобные дядьки. Просто оно довольно дешевое, а ближайшее устройство по сходному функционалу, но профессиональное стоит уже 3000$.
  • +3
    Еще как вариант, он предлагает сделать датчики, прикрепляемые к векам, для имитации щелчков мыши.
    Не надо ничего паять.
    Закрепите датчики ЭЭГ около глаз по 2м осям и у вас будет окулографический электрод. Только про «землю» не забудьте, на «шапке» она должна быть, не знаю на такой где (на лбу?).
    И учтите 2 момента
    1- «земля» для усилителя ЭЭГ это не земля для остальных приборов, а та которая используется в схеме усилителя, если подключите к заземлению то получите только шумы и риск убить пользователя.
    2- внутри таких усилителей стоит гальваническая развязка, если собрать её не правильно — работать будет, но вот отсутствие вероятности летального исхода не гарантировано. Я к чему — в питере одного уже случайно убили забив на технику безопасности, не повторяйте их ошибок.
    P.S.
    в затылочной области хорошо регистрируются потенциалы P300 и N1
    • +1
      Чую, Вы в теме, надо Вас зафрендить и помучать в свободное время.
      Вообще, как я понял имелись ввиду датчики на механике, так как из-за тремора у него шумы сильные и тупо все забивается.
      На счет заземления усилителя согласен с Вами. Само устройство беспроводное, так что заземлять там нечего, но все равно большое спасибо за замечания.
      А «земля» для датчиков обычно делается на мочке или в районе виска, где мышцы. В данном случае это будет как базовый несущий сигнал для фильтрации.
    • 0
      >и риск убить пользователя.
      отличный план! :)
  • +1
    Пробовал. Главная проблема устройства с моей точки зрения, из-за которого оно не пойдет в массы — необходимость смачивать электроды. Вдобавок крепления жутко неудобно снимаются/одеваются. Штуки которые смачиваются постоянно выпадают. Пока настроишь до зеленых кружков устаенешь. Если надо вдруг снять и снова одеть проблемы начинаются заново. То есть девайс исключительно для хардкорщиков. =) Казуалы идут мимо.

    Так что я лично жду что-то, что можно будет просто одеть на голову в сухом виде.
    • +1
      Пятнадцать минут возни с мокротой и вы белый человек. =)
      На счет удобства, вы сравните с медицинской шапочкой для ээг или с модными сейчас сеточками (еще более неудобная модификация шапочки). По мне, гораздо удобнее. С другой стороны, электроды жестко закреплены, и их так просто не переставишь в другую зону.
      А вообще, по слухам, говорят, они приступили к разработке штукенции с сухими электродами, только вот, как это скажется на чувствительности.
      • 0
        Дык при тренировке группы нейронов на взаимодействие с девайсом лучше чтоб одна и та же группа каждый раз на датчики попадала… Жёсткость как-раз весьма уместна.
        • 0
          Ну, а если Вам охота другие нейроны задействовать. Может те, просто не пошли.
          • 0
            Ага. Резон для перенастраиваемой жёсткости тож есть :)
    • 0
      А усиление и оцифровка у таких энцифалографических девайсов далеко от головы делаются, на конце шланга тонких проводочков? Не надёжнее в смысле наводок будут системы с оцифровкой непосредственно у контактов с головой? Такие разработки микро-АЦП известны? Мож с ними и сухие контакты будут работоспособны…

      А сами контакты в шапочке я вижу в виде относительно мягких, но тонких шипиков, типа как на щетка-расчёсках, способных мимо волос достать до кожи головы и плотно в неё упереться.
      • 0
        Устройство беспроводное, поэтому оцифровка происходит прямо в нем. Но, контакты, как вы уже правильно заметили являются пассивными, то есть просто снимают сигнал.
        Устройства с активными контактами (те самые микро-ацп, как вы их назвали, там на самом деле усилители просто, в зависимости от модели), стоят намного дороже.
        На счет шипиков. Немного не по теме. Есть такая штука, как игольчатый электрод. Угадайте, куда его втыкают.
        • 0
          Что активные контакты по сути в разы дороже пассивных — оно и понятно. Но при массовом производстве они могут стоить копейки. И, говорите, уже кто-то делает? Кто?

          Игольчатый электрод — это не для массового употребления. Хотя, как стационарные импланты они сыграть могут, если альтернатив не останется.

          А вот шипики…
  • 0
    Почем приобрести можно?
    • 0
      Ответил в личку.
  • 0
    Интересно, а реально встроить такие датчики в наушники, для управления плеером/телефоном. Или в ушах никаких сигналов еще не получить?
    • 0
      Боюсь, что я не смогу ответить на этот вопрос, но мне кажется ответ отрицательный, во всяком случае по технологии ээг на ее текущем уровне развития.
  • 0
    Я правильно понимаю, что девайс и SDK сами по себе не обучаются, обучается пользователь?
    Если да, то, вероятно, это означает, что точность и скорость распознавания можно повысить, а срок обучения сократить, если прикрутить к этому нейросеть?
    • 0
      Если я правильно разобрался в этом устройстве, то ваше утверждение верно.
  • 0
    Правильно ли я понял?
    1) Чтобы получать чистые данные необходимо приобрести SDK
    2) Основная проблема в том, что в мозгу происходит очень много всего и отфильтровать то что нам нужно
    довольно сложно.

    Есть ли возможность узреть 3d визуализацию мозговой активности?
    • 0
      1. Да
      2. Да

      И как Вы хотите, чтобы она выглядела?

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.