Украинские студенты создали перчатки, переводящие язык жестов в речь



    Проект Enable Talk украинской команды QuadSquad. Один из шести финалистов Microsoft`s Imagine Cup в Сиднее.



    Ребята создали перчатки, снабженные солнечной батареей, датчиками давления, гироскопами и акселерометрами, которые при помощи специального ПО могут переводить язык жестов в текст, а затем и в речь, используя движок text-to-speech. Система подключается к смартфону по Bluetooth.

    Команда создала несколько прототипов и протестрировала их при помощи людей, знающих язык жестов. Как говорит один из членов команды, Максим Осика, идея пришла к ним в ходе общения со спортсменами, страдающими нарушениями слуха.



    Как правило, подобные проекты стоят около 1200$, да и продаются по отдельности, девайсы и ПО.
    Тут же стоимость необходимого для производства устройства железа — около 75$.

    Ещё из особенностей — пользователи смогут добавлять в систему распознавания новые жесты, таким образом обучая ее.

    via

    Документация
    Метки:
    Поделиться публикацией
    Похожие публикации
    Реклама помогает поддерживать и развивать наши сервисы

    Подробнее
    Реклама
    Комментарии 50
    • –15
      Конечно интересно, но имхо набирать текст той же рукой по Т9 будет намного быстрее. Или я чего-то не понимаю?
      • +8
        Я как-то наблюдал беседу людей, которые изъяснялись на языке жестов. Они делают это очень быстро.

        Тем более, если не ошибаюсь, один жест может равняться и целой фразе, а не только одному слову.
        • +4
          С языком жестов существует огромная проблема — перевод. Дело в том, что тот же РЖЯ (русский жестовый язык) на самом деле далёк от грамматики русского. Дело в том, что на жестах болшинство предложений — это картинки. Сначала обрисовывается ситуация, а потом описывается действие.

          Проблема тут в том, что если дословно это всё воспроизвести, далеко не всегда будет понятно что именно имелось в виду.

          Более того, многие жесты имеют разные смыслы в зависимости от контекста. Возникает вопрос — каким именно словом озвучить данный жест. Возникает та же самая проблема, что и с переводом с любого языка. Т.е. применение этой игрушки почти то же самое, что и перевод речи с родного языка на незнакомый. Доверили бы вы автоматическому переводчику «говорить» за вас?

          Короче, «проиграть» на «говорящем» языке жесты — это на самом деле задача перевода, причём очень сложная. В пределах отдельных, ходовых слов и фраз такая штука может быть и пригодится. Но как полноценный «озвучиватель» — вряд ли. Слишком уж много проблем, и распознавание жеста — наименьшая из них.

          Если в итоге удастся решить эти проблемы, будет просто отлично. Хорошо, что над этим стали работать.
          • +2
            Я делал такую же перчатку и тоже в голову пришла идея озвучивать жесты, нашел преподавателя, так главная проблема на самом деле оказалась в том, что жесты могут показывать по-разному, т.е. несколько раз подряд жест будет немного отличаться, под настроение (т.е. например один раз человек помашет пальцами, как положено, а в другой раз просто покажет начало жеста — все догадаются), они идут мешаниной (не пробовал, но предположил что распознать сложнее будет), ну и конечно описанные вами проблемы, а именно так им удобнее общаться, а не по буквам. Плюс немало «сленга», это когда каждая группа выдумывает какие-то свои жесты, изменяет стандартные. А поскольку общение обычно у людей постоянное, в итоге они могут совсем далеко отойти от оригинальных жестов — получается что-то вроде русского и украинского с точки зрения белоруса.

            Поэтому да, с кучей ограничений пользоваться можно, но сложно получается и в данном контексте применения скорее всего так и не найдет.
        • +9
          Как я люблю людей которые говорят о том в чем совершенно не разбираются =)
          • –5
            Как я люблю людей, которые разбираются абсолютно во всем. Прошу экспертов минусовать далее.
            • –2
              Всего три эксперта?
          • 0
            А еще проще на бумажке написать, что многие и делают.

            Касаемо же Т9 — не многие глухие и слабослышащие умеют писать без кучи грамматических ошибок. Причем до степени что не всегда за этим вообще можно угадать слово, ибо для нас слова просто набор букв где мы путаем «а» с «о», или «з» и «с», а для них это как картинки которые приходится воспроизводить по памяти. Порой слова не поддаются запоминанию по отдельности и зазубриваются фразами. Это отчего у многих получается до кучи очень не связанные формулировки, слова не склоняются, не используются времена.
            • +1
              Представьте ситуацию — подходит к вам немой человек и пытается на мобилке набрать текст в Т9, а потом дать вам почитать. Да вы его пошлете быстрее, чем он успеет что-то набрать. А когда он подойдет, «помашет» перед вами несколькими жестами, а TTS переведет это в речь, которую вы тут же поймете — согласитесь, что такой вариант куда как удобнее
              • 0
                Вы бы еще про SWYPE написали.
              • +3
                Этой штуке бы Leap Motion вместо перчаток — было бы поэлегантнее
                • 0
                  Или Touché — тоже отличное решение, даже, по-моему, более подходящее.
                • 0
                  Перчатки это хорошо, а вот если бы они с камеры смогли бы жесты распознать и перевести было бы совсем прекрасно.
                  • +1
                    Распознавания жестов камерой — вообще КРУТО!
                    Но, кто может такое сделать?
                    • 0
                      Японцы же сделали распознавание жестов при игре в «камень, ножницы, бумага».
                      • +3
                        Пока это лишь ОТСЛЕЖИВАНИЕ трёх жестов, априори заложенных в память.
                        Реальное РАСПОЗНАВАНИЕ дело весьма трудное.
                      • +4
                        kinnect 2 вроде бы
                    • 0
                      Как идея, СУПЕР!
                      Как реализация, интересно!
                      Как реальная польза, пока сомнительно.
                      • +5
                        Я думаю это сомнительно, пока сам или кто-о из твоих друзей не будет нуждаться в подобных вещах. А для многих это мечта. Как применить… например человек одевает перчатки и «говорит», система распознает предложения и переводит в речь понятную людям «без неудобств».

                        Я думаю это действительно хорее исследование, и к подобным открытиям должно идти человечество, а не изобретать патенты на патентованные патентные патенты.
                      • +7
                        Мне очень приятно, что на украине придумывают подобные вещи! Это просто супер!!!
                        • +1
                          Я только заметил, что ребята из Компьютерной Академии ШАГ, я учился там в детстве, прям радуюсь за них!
                          Донецкий филиал наверное очень дорожит такими талантами :)
                          enabletalk.com/contacts.html в контактах даже указан адрес академии.
                        • +1
                          Я хотел пригласить кого-нибудь из команды на Хабр, но у них неправильно настроена почта на сайте, у меня ошибка отправки постоянно.

                          Если вдруг кто знает этих ребят — напишите мне.
                        • +1
                          Человек, который не знает язык жестов услышит text2speech речь — это круто. А как они решат проблему того, что человек не сможет на это ответить? Получается, что аппарат работает в один конец. //При условии того, что немой не может читать по губам
                          • +2
                            Немой, не значит глухой.
                            • 0
                              Я имел ввиду и немой и глухой в данном случае
                              • +1
                                Он может читать по губам
                            • +4
                              Даже связь в один конец — лучше, чем совсем ничего.
                            • +1
                              Идея много где мелькала, например фильм Dancer.
                              • 0
                                Насколько я знаю не совсем создали, а просто представили идею. Я не заметил чтобы на видео приложение реально работало, а как раз наоборот.
                                Но идея очень интересная, если они ее реализуют, то это будет действительно прорыв в коммуникации.
                                • 0
                                  Ушёл учить язык жестов…

                                  Неужели, вы не понимаете величину изобретения? Язык жестов — универсальный международный язык.

                                  Если у каждого будут такие перчатки (а цена уже позволяет), проблема языкового барьера устраняется сама собой. Нужно только настроится на язык собеседника и иметь в смарте соответствующий синтезатор речи.

                                  По-моему, это очень многообещающе.
                                  • +1
                                    а цена уже позволяет

                                    Обращу внимание, 75$ — это себестоимость, продавать устройство планируют примерно по 400$.

                                    Но штука классная, это да.
                                    • 0
                                      У них на сайте в бизнес-плане 20$ себестоимость, 200$ в рознице…
                                      enabletalk.com/business.html
                                      • 0
                                        А, это за одну перчатку… Ну тогда действительно 400$ за комплект…
                                    • +12
                                      Смею вас расстроить. В России, Украине, Америке и так далее, языки жестов разные.
                                      • +1
                                        Не знал. Жаль.
                                        • 0
                                          С другой стороны, это ведь язык ввода. Теоретически, изъясняться можно на любом из жестовых языков, звуковая расшифровка же будет на том языке, который укажет пользователь.
                                          • 0
                                            Выходит, можно хоть свой жестовый язык придумать и настроить систему таким образом, чтобы она воспроизводила его на языке собеседника. Таким образом, оказавшись в чуждой языковой среде, можно хотя бы вопросы и просьбы «произносить», что часто уже немаловажно.

                                            Если же интегрировать эту систему с системой распознавания речи и синхронного перевода, получается совершенно автономный коммуникационный инструмент (вспомним об очках от Гугла). В этом случае перчатки будут выполнять роль удобного средства ввода (произвести несколько жестов всё равно быстрее, чем, произнести текст на своём языке и дождаться воспроизведения перевода; да и воспринимаются жесты, думаю, лучше).

                                            На сегодняшний день всё это, конечно, ещё фантастика. Но идея перчаток мне раньше ни в голову не приходила, ни на глаза не попадалась. Весьма впечатлён.
                                            • +1
                                              Смею спросить почему тогда просто не переводчик голос-голос? Приехал в любую страну, говоришь, а оно переводит собеседнику :)
                                              Проще ведь чем изучаьт жесты. Тренироваться. Куча ПО с кучей разных языков жестов :)
                                              • 0
                                                Вы видели альтернативный ролик об очках Гугл, снятый в России? Помните, там момент, когда у парня что-то спрашивают, он повторяет очкам вопрос несколько раз, а те не реагируют. В результате выходит конфуз.

                                                Сказать что-то незнакомому человеку на незнакомом ему языке, а затем ещё и ждать от него выслушивания синтезированной речи — не самая удобная ситуация. Другое дело, когда вы производите интуитивно понятные жесты, которые сопровождаются речью на его языке. Лично я готов ради этого изучить какой-либо из ЖЯ.

                                                Кроме того, такие перчатки могут стать очень многофункциональным устройством ввода для тех же самых очков. И тут вам снова пригодится ЖЯ. По-моему, здорово.
                                                • +2
                                                  «он повторяет очкам вопрос несколько раз, а те не реагируют»
                                                  Тут же проблем не в том, что голос плохой инструмент ввода, а что очки плохо воспринимают. Правда?
                                                  По-моему гораздо(!) проще сделать нормальный(!) голосовой ввод (я имею ввиду такой, который не будет тупить при попытках его использовать).
                                                  Ну либо что-то вроде такого:
                                                  Neural Impulse Actuator
                                                  • 0
                                                    Как мне кажется, жестовые языки гораздо более семантически ёмкие. Они нарративно ограничены, зато должны давать гораздо более чёткие фразы для синтеза, чем переводчик ЕЯ–ЕЯ.
                                                    • +1
                                                      Как говорится «Каждый удовлетворяет себя, как ему самому нравится», я бы предпочел систему Neural Impulse Actuator'ов которые уже генерируют понятную собеседнику речь… Хотя стоп, это уже какая-то высшая степень лени :(
                                        • +1
                                          «Ушёл учить язык жестов…»

                                          Вам неплохой бесплатный сайт digitgestus.com
                                        • 0
                                          Умопомрачительно.

                                          А есть перчатка для управления приложениями на мобиле? А то с камеры неудобно руку на весу держать.
                                          • 0
                                            Я вот еще подумал:
                                            1. Раз база жестов хранится на телефоне — можно спокойно отправлять все новые жесты, «забитые» пользователями, в единое онлайн-хранилище, а оттуда рассылать по остальным устройствам. В этом случае обучение системы ускорится в разы.

                                            2. А если уж такая база жестов есть, то и в обратном направлении перевод будет сделать нетрудно. Хотя вот сейчас прикинул и не смог придумать — зачем вообще нужен этот сурдоперевод, когда есть субтитры.
                                            • НЛО прилетело и опубликовало эту надпись здесь
                                              • +4
                                                Ребята заняли первое место на ImagineCup 2012, и получили $25000. Так что, надеюсь, этот проект пойдет дальше прототипа!
                                                • +3
                                                  Интересно, где во время разговора должен находиться телефон. С одной стороны его должно быть хорошо слышно собеседнику, с другой — не должен занимать рук, чтобы можно было жестикулировать. На видео это не показано.

                                                  И вообще в видео рассказывается странная история. Девушка увидела как конкретный человек уронил бумажник, и, вместо того, чтобы его догнать, начала его «предлагать» другим прохожим. А потом надела чудо-перчатку, начала шевелить губами и, не показывая ни единого жеста, сразу получила какой-то ответ и нашла владельца.
                                                  • –1
                                                    Добрый день.

                                                    Это презентационное виде нашего проекта в котором показана возможная ситуация человека который имеет ограничения в общении и не слышет окружающих. И при этом в ролике девочка, которая использует язык жестов с детства.
                                                    Вот ссылочка на небольшое интервью с ней и ее мамой:
                                                    www.youtube.com/watch?v=sm7qoBhid7U&feature=youtu.be

                                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.