Руководитель контент-студии ТМ
0,0
рейтинг
9 июля 2012 в 19:02

Украинские студенты создали перчатки, переводящие язык жестов в речь



Проект Enable Talk украинской команды QuadSquad. Один из шести финалистов Microsoft`s Imagine Cup в Сиднее.



Ребята создали перчатки, снабженные солнечной батареей, датчиками давления, гироскопами и акселерометрами, которые при помощи специального ПО могут переводить язык жестов в текст, а затем и в речь, используя движок text-to-speech. Система подключается к смартфону по Bluetooth.

Команда создала несколько прототипов и протестрировала их при помощи людей, знающих язык жестов. Как говорит один из членов команды, Максим Осика, идея пришла к ним в ходе общения со спортсменами, страдающими нарушениями слуха.



Как правило, подобные проекты стоят около 1200$, да и продаются по отдельности, девайсы и ПО.
Тут же стоимость необходимого для производства устройства железа — около 75$.

Ещё из особенностей — пользователи смогут добавлять в систему распознавания новые жесты, таким образом обучая ее.

via

Документация
Алексей @Sterhel
карма
90,5
рейтинг 0,0
Руководитель контент-студии ТМ
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (50)

  • –15
    Конечно интересно, но имхо набирать текст той же рукой по Т9 будет намного быстрее. Или я чего-то не понимаю?
    • +8
      Я как-то наблюдал беседу людей, которые изъяснялись на языке жестов. Они делают это очень быстро.

      Тем более, если не ошибаюсь, один жест может равняться и целой фразе, а не только одному слову.
      • +4
        С языком жестов существует огромная проблема — перевод. Дело в том, что тот же РЖЯ (русский жестовый язык) на самом деле далёк от грамматики русского. Дело в том, что на жестах болшинство предложений — это картинки. Сначала обрисовывается ситуация, а потом описывается действие.

        Проблема тут в том, что если дословно это всё воспроизвести, далеко не всегда будет понятно что именно имелось в виду.

        Более того, многие жесты имеют разные смыслы в зависимости от контекста. Возникает вопрос — каким именно словом озвучить данный жест. Возникает та же самая проблема, что и с переводом с любого языка. Т.е. применение этой игрушки почти то же самое, что и перевод речи с родного языка на незнакомый. Доверили бы вы автоматическому переводчику «говорить» за вас?

        Короче, «проиграть» на «говорящем» языке жесты — это на самом деле задача перевода, причём очень сложная. В пределах отдельных, ходовых слов и фраз такая штука может быть и пригодится. Но как полноценный «озвучиватель» — вряд ли. Слишком уж много проблем, и распознавание жеста — наименьшая из них.

        Если в итоге удастся решить эти проблемы, будет просто отлично. Хорошо, что над этим стали работать.
        • +2
          Я делал такую же перчатку и тоже в голову пришла идея озвучивать жесты, нашел преподавателя, так главная проблема на самом деле оказалась в том, что жесты могут показывать по-разному, т.е. несколько раз подряд жест будет немного отличаться, под настроение (т.е. например один раз человек помашет пальцами, как положено, а в другой раз просто покажет начало жеста — все догадаются), они идут мешаниной (не пробовал, но предположил что распознать сложнее будет), ну и конечно описанные вами проблемы, а именно так им удобнее общаться, а не по буквам. Плюс немало «сленга», это когда каждая группа выдумывает какие-то свои жесты, изменяет стандартные. А поскольку общение обычно у людей постоянное, в итоге они могут совсем далеко отойти от оригинальных жестов — получается что-то вроде русского и украинского с точки зрения белоруса.

          Поэтому да, с кучей ограничений пользоваться можно, но сложно получается и в данном контексте применения скорее всего так и не найдет.
    • +9
      Как я люблю людей которые говорят о том в чем совершенно не разбираются =)
      • –5
        Как я люблю людей, которые разбираются абсолютно во всем. Прошу экспертов минусовать далее.
        • –2
          Всего три эксперта?
    • 0
      А еще проще на бумажке написать, что многие и делают.

      Касаемо же Т9 — не многие глухие и слабослышащие умеют писать без кучи грамматических ошибок. Причем до степени что не всегда за этим вообще можно угадать слово, ибо для нас слова просто набор букв где мы путаем «а» с «о», или «з» и «с», а для них это как картинки которые приходится воспроизводить по памяти. Порой слова не поддаются запоминанию по отдельности и зазубриваются фразами. Это отчего у многих получается до кучи очень не связанные формулировки, слова не склоняются, не используются времена.
    • +1
      Представьте ситуацию — подходит к вам немой человек и пытается на мобилке набрать текст в Т9, а потом дать вам почитать. Да вы его пошлете быстрее, чем он успеет что-то набрать. А когда он подойдет, «помашет» перед вами несколькими жестами, а TTS переведет это в речь, которую вы тут же поймете — согласитесь, что такой вариант куда как удобнее
    • 0
      Вы бы еще про SWYPE написали.
  • +3
    Этой штуке бы Leap Motion вместо перчаток — было бы поэлегантнее
    • 0
      Или Touché — тоже отличное решение, даже, по-моему, более подходящее.
  • 0
    Перчатки это хорошо, а вот если бы они с камеры смогли бы жесты распознать и перевести было бы совсем прекрасно.
    • +1
      Распознавания жестов камерой — вообще КРУТО!
      Но, кто может такое сделать?
      • 0
        Японцы же сделали распознавание жестов при игре в «камень, ножницы, бумага».
        • +3
          Пока это лишь ОТСЛЕЖИВАНИЕ трёх жестов, априори заложенных в память.
          Реальное РАСПОЗНАВАНИЕ дело весьма трудное.
      • +4
        kinnect 2 вроде бы
  • 0
    Как идея, СУПЕР!
    Как реализация, интересно!
    Как реальная польза, пока сомнительно.
    • +5
      Я думаю это сомнительно, пока сам или кто-о из твоих друзей не будет нуждаться в подобных вещах. А для многих это мечта. Как применить… например человек одевает перчатки и «говорит», система распознает предложения и переводит в речь понятную людям «без неудобств».

      Я думаю это действительно хорее исследование, и к подобным открытиям должно идти человечество, а не изобретать патенты на патентованные патентные патенты.
  • +7
    Мне очень приятно, что на украине придумывают подобные вещи! Это просто супер!!!
    • +1
      Я только заметил, что ребята из Компьютерной Академии ШАГ, я учился там в детстве, прям радуюсь за них!
      Донецкий филиал наверное очень дорожит такими талантами :)
      enabletalk.com/contacts.html в контактах даже указан адрес академии.
  • +1
    Я хотел пригласить кого-нибудь из команды на Хабр, но у них неправильно настроена почта на сайте, у меня ошибка отправки постоянно.

    Если вдруг кто знает этих ребят — напишите мне.
  • +1
    Человек, который не знает язык жестов услышит text2speech речь — это круто. А как они решат проблему того, что человек не сможет на это ответить? Получается, что аппарат работает в один конец. //При условии того, что немой не может читать по губам
    • +2
      Немой, не значит глухой.
      • 0
        Я имел ввиду и немой и глухой в данном случае
        • +1
          Он может читать по губам
    • +4
      Даже связь в один конец — лучше, чем совсем ничего.
  • +1
    Идея много где мелькала, например фильм Dancer.
  • 0
    Насколько я знаю не совсем создали, а просто представили идею. Я не заметил чтобы на видео приложение реально работало, а как раз наоборот.
    Но идея очень интересная, если они ее реализуют, то это будет действительно прорыв в коммуникации.
  • 0
    Ушёл учить язык жестов…

    Неужели, вы не понимаете величину изобретения? Язык жестов — универсальный международный язык.

    Если у каждого будут такие перчатки (а цена уже позволяет), проблема языкового барьера устраняется сама собой. Нужно только настроится на язык собеседника и иметь в смарте соответствующий синтезатор речи.

    По-моему, это очень многообещающе.
    • +1
      а цена уже позволяет

      Обращу внимание, 75$ — это себестоимость, продавать устройство планируют примерно по 400$.

      Но штука классная, это да.
      • 0
        У них на сайте в бизнес-плане 20$ себестоимость, 200$ в рознице…
        enabletalk.com/business.html
        • 0
          А, это за одну перчатку… Ну тогда действительно 400$ за комплект…
    • +12
      Смею вас расстроить. В России, Украине, Америке и так далее, языки жестов разные.
      • +1
        Не знал. Жаль.
      • 0
        С другой стороны, это ведь язык ввода. Теоретически, изъясняться можно на любом из жестовых языков, звуковая расшифровка же будет на том языке, который укажет пользователь.
        • 0
          Выходит, можно хоть свой жестовый язык придумать и настроить систему таким образом, чтобы она воспроизводила его на языке собеседника. Таким образом, оказавшись в чуждой языковой среде, можно хотя бы вопросы и просьбы «произносить», что часто уже немаловажно.

          Если же интегрировать эту систему с системой распознавания речи и синхронного перевода, получается совершенно автономный коммуникационный инструмент (вспомним об очках от Гугла). В этом случае перчатки будут выполнять роль удобного средства ввода (произвести несколько жестов всё равно быстрее, чем, произнести текст на своём языке и дождаться воспроизведения перевода; да и воспринимаются жесты, думаю, лучше).

          На сегодняшний день всё это, конечно, ещё фантастика. Но идея перчаток мне раньше ни в голову не приходила, ни на глаза не попадалась. Весьма впечатлён.
          • +1
            Смею спросить почему тогда просто не переводчик голос-голос? Приехал в любую страну, говоришь, а оно переводит собеседнику :)
            Проще ведь чем изучаьт жесты. Тренироваться. Куча ПО с кучей разных языков жестов :)
            • 0
              Вы видели альтернативный ролик об очках Гугл, снятый в России? Помните, там момент, когда у парня что-то спрашивают, он повторяет очкам вопрос несколько раз, а те не реагируют. В результате выходит конфуз.

              Сказать что-то незнакомому человеку на незнакомом ему языке, а затем ещё и ждать от него выслушивания синтезированной речи — не самая удобная ситуация. Другое дело, когда вы производите интуитивно понятные жесты, которые сопровождаются речью на его языке. Лично я готов ради этого изучить какой-либо из ЖЯ.

              Кроме того, такие перчатки могут стать очень многофункциональным устройством ввода для тех же самых очков. И тут вам снова пригодится ЖЯ. По-моему, здорово.
              • +2
                «он повторяет очкам вопрос несколько раз, а те не реагируют»
                Тут же проблем не в том, что голос плохой инструмент ввода, а что очки плохо воспринимают. Правда?
                По-моему гораздо(!) проще сделать нормальный(!) голосовой ввод (я имею ввиду такой, который не будет тупить при попытках его использовать).
                Ну либо что-то вроде такого:
                Neural Impulse Actuator
                • 0
                  Как мне кажется, жестовые языки гораздо более семантически ёмкие. Они нарративно ограничены, зато должны давать гораздо более чёткие фразы для синтеза, чем переводчик ЕЯ–ЕЯ.
                  • +1
                    Как говорится «Каждый удовлетворяет себя, как ему самому нравится», я бы предпочел систему Neural Impulse Actuator'ов которые уже генерируют понятную собеседнику речь… Хотя стоп, это уже какая-то высшая степень лени :(
    • +1
      «Ушёл учить язык жестов…»

      Вам неплохой бесплатный сайт digitgestus.com
  • 0
    Умопомрачительно.

    А есть перчатка для управления приложениями на мобиле? А то с камеры неудобно руку на весу держать.
  • 0
    Я вот еще подумал:
    1. Раз база жестов хранится на телефоне — можно спокойно отправлять все новые жесты, «забитые» пользователями, в единое онлайн-хранилище, а оттуда рассылать по остальным устройствам. В этом случае обучение системы ускорится в разы.

    2. А если уж такая база жестов есть, то и в обратном направлении перевод будет сделать нетрудно. Хотя вот сейчас прикинул и не смог придумать — зачем вообще нужен этот сурдоперевод, когда есть субтитры.
  • НЛО прилетело и опубликовало эту надпись здесь
  • +4
    Ребята заняли первое место на ImagineCup 2012, и получили $25000. Так что, надеюсь, этот проект пойдет дальше прототипа!
  • +3
    Интересно, где во время разговора должен находиться телефон. С одной стороны его должно быть хорошо слышно собеседнику, с другой — не должен занимать рук, чтобы можно было жестикулировать. На видео это не показано.

    И вообще в видео рассказывается странная история. Девушка увидела как конкретный человек уронил бумажник, и, вместо того, чтобы его догнать, начала его «предлагать» другим прохожим. А потом надела чудо-перчатку, начала шевелить губами и, не показывая ни единого жеста, сразу получила какой-то ответ и нашла владельца.
    • –1
      Добрый день.

      Это презентационное виде нашего проекта в котором показана возможная ситуация человека который имеет ограничения в общении и не слышет окружающих. И при этом в ролике девочка, которая использует язык жестов с детства.
      Вот ссылочка на небольшое интервью с ней и ее мамой:
      www.youtube.com/watch?v=sm7qoBhid7U&feature=youtu.be

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.