Новейший 168-ядерный процессор Eyeriss — нейронная сеть в нашем смартфоне

    Приветствуем наших читателей на страницах блога iCover! На прошедшей в начале февраля в Сан-Франциско Международной конференции International Solid State Circuits Conference (ISSCC-2016) группа разработчиков из MIT (Massachusetts Institute of Technology) продемонстрировала действующий прототип чипа нового поколения Eyeriss, создававшегося как концептуальное решение, позволяющее воссоздавать возможности алгоритмов нейронных сетей в широком спектре устройств малой мощности.



    Одной из объективных причин, по которой искусственные нейронные сети не получили должного развития в наших смартфонах или планшетах – отсутствие компактного источника питания достаточной мощности. Ведь так называемые brain-like, “мозгоподобные” системы искусственного интеллекта, по крайне мере в том виде, в котором они представлены современными технологиями зависят в своей работе от мощных многоядерных процессоров, потребляющих в сравнении с нашим мозгом, невероятное количество энергии. Представить себе подобные решения на уровне устройств пользовательского класса во всяком случае до недавнего времени возможным не представлялось. Вместе с тем, идея “миниатюризации” искусственного интеллекта будоражит умы разработчиков достаточно давно и, как выясняется, уже приносит свои достаточно ощутимые плоды.

    Нейронные сети оказались в центре внимания ученых с первых дней исследования искусственного интеллекта, но в 1970-х, они были несколько забыты. В последнее десятилетие, технологии, связанные с использованием возможностей нейронных сетей изучаются на уровне программ «глубокого обучения» (Deep learning).

    «Глубокое обучение имеет множество сфер применения, таких как распознавание объекта, речи или лиц» — отмечают Вивьен Зи (Vivienne Sze) и Эмануэль Е. Ландсман (Emanuel E. Landsman) — доцент кафедры Массачусетского технологического института электротехники и компьютерных наук, группа которого разработала новый чип. «Сейчас, нейронные сети довольно сложны и, работают, в основном, на мощных чипах. Представьте себе, что вы сможете перенести эту функциональность на свой мобильный телефон или встроенное устройство и затем обрабатывать колоссальные массивы информации не используя Wi-Fi — соединение. Обработка больших массивов данных на вашем смартфоне позволит избежать задержки, возникающей за счет обмена данных с сетью, что, в свою очередь, позволит многим приложениям работать значительно эффективнее. А кроме того, предложенное решение позволит обеспечить новое качество защиты конфиденциальной информации».

    Нейронные сети, как правило, реализуются на базе многоядерных графических процессоров (GPU). На Международной конференции в Сан-Франциско исследователи MIT представили новый 168-ядерный чип, разработанный с целью реализации алгоритмов искусственного интеллекта на основе нейронных сетей. В сравнении с мобильным GPU (не указывается, в сравнении с каким именно) процессор продемонстрировал в 10 раз большую эффективность, что позволяет использовать пользовательское мобильное устройство для локального запуска мощных алгоритмов искусственного интеллекта без необходимости отправки данных для облачной обработки. Основные моменты разработки отражены в пресс-релизе MIT от 3 февраля 2016 года.

    Новый чип, названный разработчиками «Eyeriss», может найти широкое применение в «Интернете вещей», носимой электронике, самоуправляемых транспортных средствах, производственном оборудовании, и даже в сельском хозяйстве, помогая с решением и координацией текущих задач. С алгоритмами искусственного интеллекта на борту мобильные устройства смогут принимать решения на локальном уровне, предоставив пользователю в качестве руководства к действию уже готовый результат, а не набор “сырых” данных из сети интернет. И, конечно, одно из применений локальных нейронных сетей – их использование при создании автономных роботов самого разного назначения.

    Разделяй и властвуй


    Нейронные сети, как правило, имеют многослойную структуру и каждый слой содержит большое количество обрабатывающих узлов. На начальном этапе обработки данные приходят и распределяются между узлами нижнего слоя. После обработки полученных данных каждым из узлов результат передается для обработки узлам следующего слоя. На выходе последнего слоя формируется результат решения поставленной задачи. Соответственно, для решения масштабных задач по описанному алгоритму потребуются значительные вычислительные ресурсы.

    Требования, изначально предъявленные к чипу самими разработчиками поставили их в достаточно жесткие рамки: с одной стороны решение должно оказаться энергоэффективным, с другой – оперировать простыми блоками информации. Наконец, чип должен располагать возможностью моделирования различных типов нейронных сетей с учетом поставленных перед ним текущих задач. Все эти требования были успешно реализованы в процессоре Eyeriss.

    Чип, разработанный в лаборатории MIT, представляет собой уже сформированную нейронную сеть, локализованную на уровне 168-ядерного процессора, который в перспективе сможет быть встроен в мобильные устройства.

    Ключ к эффективности Eyeriss — минимизация частоты обмена данными между ядрами и внешними банками памяти, операции, связанной с большим энергопотреблением и временными затратами. В то время как ядра традиционных GPU завязаны на один общий банк памяти, каждое ядро Eyeriss располагает собственной памятью. Помимо этого, данные, перед оправкой на соседние ядра проходят процедуру сжатия.

    Еще одно достоинство реализуемого алгоритма — возможность ядер “общаться” друг с другом напрямую, минуя “посредника” в виде шины системной памяти. Это критически важная особенность для имитации работы «сверточной нейронной сети» (Convolutional Neural Network – CNN). Вся вычислительная работа, необходимая для распознавания образов и речи, выполняется в Eyeriss локально, без необходимости обращения к сетевым ресурсам, что позволяет обеспечить возможность эффективного функционирования устройства даже в условиях отсутствия внешней сети.

    Наконец, еще одним достоинством Eyeriss становится принцип “умного” распределения отдельных вычислительных задач между ядрами в рамках единой решаемой задачи. В своей локальной памяти ядро должно хранить не только данные обрабатываемые узлами, но и данные, описывающие сами узлы. С целью обеспечения максимальной производительности процесса обработки данных, а также для загрузки Eyeriss максимальным объемом данных из основной памяти алгоритм распределения данных обоих типов оптимизируется специально предназначенной для этой цели микросхемой в режиме реального времени с учетом особенностей актуальной нейронной сети.

    На мероприятии International Solid State Circuits Conference в Сан-Франциско команда разработчиков, использовав возможности чипа Eyeriss «пользовательского» уровня, продемонстрировала реализацию алгоритма распознавания образов в пределах локальной нейронной сети. Аналогичная задача – отмечается в пресс релизе – была реализована ранее, но на уровне государственных проектов самых современных из созданных нейронных сетей.

    «Эта работа очень важна, поскольку демонстрирует, насколько эффективно встроенные процессоры для глубокого изучения способны обеспечить требуемую мощность и производительность оптимизации и принести сложные вычислительные процессы из облака на мобильные устройства» — говорит Майк Полли, старший вице-президент лаборатории мобильных процессоров Innovations Lab Samsung, дополняя: «В дополнение к инновационному комплексу аппаратных решений, исследование специалистов MIT наглядно демонстрирует, как можно сделать встроенное ядро полезным для разработчиков приложений с использованием стандартной сетевой архитектуры AlexNet и Caffe».

    Финансирование проекта Eyeriss, начиная с создания подразделения на базе лаборатории MIT, частично осуществлялось на средства американского оборонного ведомства DARPA. Не удивительно, что первым, кто откликнулся на анонс процессора внушительным редакционным материалом, стал известный военный аналитик Патрик Такер (Patrick Tucker). Новые процессоры Eyeriss, установленные на мобильные девайсы солдат США, по его убеждению, будут способны решать сложнейшие вычислительные задачи, связанные с обработкой колоссальных объемов информации без подключения к общей сети.

    Так, в настоящее время ВВС США ежесуточно получают с дронов, парящих над Афганистаном, до 1500 часов HD-видео и до 1500 фотографий сверхвысокого разрешения. Причем весь этот нескончаемый поток информации приходится по старинке визуально анализировать операторам, поскольку существующее компьютерное ПО не в состоянии отличить крестьянина, бредущего с палкой по горной тропинке, от террориста с пусковой установкой для управляемых ракет. Для решения подобных задач изначально и начинали создаваться методы машинного обучения, основанные на репрезентационном обучении.

    Процессоры Eyeriss идеально подойдут для установки на беспилотные военные дроны, поскольку позволят проводить интеллектуальную обработку массива изображений и видео с применением технологий «глубокого обучения» непосредственно на борту летательного аппарата. При этом отсеянные полезные данные можно было бы отсылать непосредственно в боевые подразделения, действующие в указанном регионе минуя центр анализа оперативной информации.

    Краткое резюме

    В ходе экспериментов чип Eyeriss продемонстрировал уровень энергоэффективности, в десять раз превосходящий показатели современных мобильных графических чипов. При этом с его помощью оказывается технологически возможно обеспечить работу алгоритмов искусственного интеллекта на устройствах, обладающих компактными размерами – от смартфонов и планшетов — до носимой электроники. Задержки, создаваемые сетями при обмене данными для такого процессора оказываются сводятся к минимуму, поскольку большинство вычислений чип сможет выполнить локально. На базе Eyeriss можно будет создавать не только всевозможные «умные устройства», но и роботов, обладающих некоторой степенью самостоятельности в принятии решений.

    Конкретных временных интервалов в течение которых Eyeriss сможет трансформироваться в коммерческий продукт и во всей мощи раскрыть свои возможности на уровне потребителя разработчики из MIT пока не называют. Определенный оптимизм внушает причастность к разработке ведущих специалистов NVIDIA и живой интерес ответственных научных сотрудников из Samsung.

    Источник



    Уважаемые читатели, мы всегда с удовольствием встречаем и ждем вас на страницах нашего блога. Мы готовы и дальше делиться с вами актуальными новостями, обзорными материалами и другими публикациями, и постараемся сделать все возможное для того, чтобы проведенное с нами время было для вас полезным. И, конечно, не забывайте подписываться на наши рубрики.

    Специальная подборка подарков на 23 февраля и 8 марта от iCover

    Другие наши статьи и события

    iCover.ru 43,60
    iCover.ru — магазин инноваций
    Поделиться публикацией
    Никаких подозрительных скриптов, только релевантные баннеры. Не релевантные? Пиши на: adv@tmtm.ru с темой «Полундра»

    Зачем оно вам?
    Реклама
    Комментарии 27
    • –4
      Демократия возникла, когда масса народа победила всех. Новый мир, где небольшая высокотехнологичная армия берет вверх над массой, все реальнее
      • +4
        Вы про пулемёт?
      • 0
        Извините, но так и напрашивается комментарий: "Теперь придётся его постоянно держать на зарядке".
        • 0
          Теперь он сам сможет следить за своей зарядкой, находить розетки и заряжаться без участия пользователя… J
          • 0
            Угу. А еще если будешь регулярно забывать зарядить, примкнет к "обществу защиты андроидов от притеснений техношовинистов" и будет требовать равноправия.
        • –1
          Круто. Теперь ватсап с телеграмом будут работать еще быстрей.
          • 0
            А я с вами согласен, железо развивают, а идей и спроса на технологичный софт очень мало. Нейронные сети это круто, но как и зачем их продать моей жене и ребенку я не знаю. А значит этого чипа не будет в серийных устройствах.
            Так что суть статьи — мы разработали чип под наши требования, мы молодцы, а вы о нас больше не услышите ни когда.
            • 0
              4 годя назад я слышал заявления о том что на мобильных платформах 4 или 8 ядер не нужны.
              Сейчас это вполне обыденное решение.
              Я думаю найдут для чего использовать.
              • 0
                Нейронные сети, насколько мне известно, используются для распознавания предметов, печатного и рукописного текста и речи. Это может понадобиться любому пользователю. Например для уменьшения задержек при работе голосового помощника или дополненной реальности с медленным каналом связи. Но что-то подсказывает мне что нейросети в смартфонах — это в первую очередь развитие технологий для создания автономных роботов (в первую очередь боевых) на деньги массового потребителя. Как и сами смартфоны.
            • +1
              Мне бы таких чипов да побольше на мой стационарник, а то моя GPU, вон, уже третьи сутки молотит жалкие 2000 нейронов в SAE на выборке всего в миллион блоков 15x15 пикселей.
              • 0
                помнится IBM разрабатывала подобный чип. ничего не слышно от них?
                • 0
                  он называется TrueNorth.

                  последние новости https://www.technologyreview.com/s/542366/ibm-making-plans-to-commercialize-its-brain-inspired-chip/
                • 0
                  Чип, разработанный в лаборатории MIT, представляет собой уже сформированную нейронную сеть, локализованную на уровне 168-ядерного процессора, который в перспективе сможет быть встроен в мобильные устройства.
                  Ничего не понял. Какую они сеть в чип встроили? Что она делает, чему обучена? Зачем вообще обучать нейронные сети на мобильном? А уже обученные сети должны вроде быстро справляться с вычислениями. Там дальше речь об "образах и речи", но это как-то мне ни о чем не говорит.
                  • 0
                    Я так понял, речь идёт о фиксированной структуре сети, сформированной так, чтобы справляться с обучением и расчётом за минимальное время. Сеть можно доучивать на устройстве клиента, скажем, для того, чтобы приспособиться к голосу клиента. Причём, скорость обучения можно установить достаточно низкой: у нас будет постоянный поток сырых данных с микрофона при каждом звонке.
                    • 0
                      Сразу оговорюсь, я имею только общее представление о НС и уж тем более не знаком с последними достижениями в этой области.
                      Так вот: разве уже придумали сети, которые умеют обучаться как распознаванию речи, так и распознаванию образов? Еще и с заранее заданной структурой.
                      А по поводу обучения — как можно обучить какую-либо систему машинного обучения, если есть только входные данные (голос) и нет выходных (распознанный текст)? Ну и в целом, обучение должны конфигурировать знающие люди и его эффективность гораздо выше, если данных реально много.
                      • 0
                        По первому вопросу: графика и звук — это одни из основных целей Deep Learning. Их обработка на классических сетях была несколько затруднительна, но на текущий момент есть очень хорошие результаты как на классике (в силу роста вычислительных мощностей), так и на современных алгоритмах. По второму вопросу: это называется обучением без учителя, решает задачи кластеризации; также может применяться в качестве метода предобработки данных для регрессии. Касательно сложности конфигурации: да, это очень серьёзный недостаток даже современных сетей: от конфигурации зависит многое. Скажем, свёрточные сети часто критикуют за слишком большое число входных параметров обучения. Тем не менее, если мы имеем предварительно обученную на подобных данных нейросеть, которую надо доучить, проблемы решаемы.
                        • 0
                          Речь не о целях, а о сети, которая решает две задачи одновременно. Касательно кластеризации — зачем она нужна конечному пользователю? Это ведь промежуточный шаг.
                          • 0
                            Мне Вам рассказать о возможных способах реализации многозадачности? Достоверных данных о реализации в данном чипе у меня, конечно, нет, но подходы всегда одинаковы.

                            Кластеризация — это, конечно, промежуточный шаг, но это важный промежуточный шаг в адаптации, скажем, к особенностям голоса конкретного пользователя. *здесь была шутка о ненужности оконного интерфейса и мыши*
                            • 0
                              Было бы интересно, я слабо представляю как одна сформированная сеть может решать разные задачи.
                              • 0
                                В простейшем случае подгружаете ей другую матрицу весов, и вуаля, переключение контекста в чистом виде. Или вообще процессоры отвязаны от конкретных нейронов и у них есть очередь выполнения.
                    • 0
                      А еще, скорее всего, такие чипы в паре с обычными можно будет задействовать для создания объектов литературного и музыкального творчества (рисуют же роботы, пишут картины?). Конечно, шедевров класса премии «Букер» или «Грэмми» ждать пока не приходится — но для того, чтобы почитать и послушать в метро — вполне. Любовные романы, детективы…
                      Я говорю абсолютно серьезно, и вот на каком основании.
                      У меня есть радио, которое кнопочками позволяет «скакать» по предустановленным программам.
                      И я неоднократно замечал, что, переключаясь с монолога на одной программе, на другой, словно слышишь его продолжение. Причем, тема может быть и другая — но фраза, начатая на одной радиостанции, и как бы «продолженная» на другой, все равно имеет смысл!
                      Поэтому предположу, что создание несложного «культурного наследия» машинами, в требуемом количестве и приемлемым для потребления качестве — это реально.
                      И это будет отличной новостью для правообладателей — по мере продвижения ИИ их права будут нарушаться все меньше и меньше.
                      • 0
                        а кто сказал, что произведения ИИ будут в общественном достоянии?
                        • 0
                          Я.
                          :) :) :)
                          Шутка, конечно. Причина такого предположения в том, что свободное распространение творений от ИИ позволит быстрее познакомить с ними читателей/слушателей и, как следствие — выяснить, насколько они востребованы. На этом основании можно выяснить, насколько хорошо ИИ взаимодействует с человеком через написанную им книгу, например.
                          Поясню.
                          Создается «N» алгоритмов написания произведений. Они «пишут» и публикуют для свободного доступа, каждый под своим псевдонимом. В зависимости от того, произведения какого автора (т.е. алгоритма) больше скачиваются — тот алгоритм и является предположительно наиболее эффективным.
                          Во-вторых, это позволит реально конкурировать с человеческими писателями (и/или с их «литературными рабами». Относится и к музыке). Конечно, с действительно талантливыми произведениями это не прокатит — но и не надо. Зачем «сталкивать на обочину» действительно талантливых авторов? Совершенно ни к чему! А вот произведения для прочтения/прослушивания в метро — станут бесплатными, а творческие алгоритмы получат бесплатных тестировщиков.
                          :) :) :)
                          Просто исхожу из того, что захватывающую литературу/музыку лучше поглощать в уединении и наедине с собой. Как говорится, «Служенье муз не терпит суеты».
                          Не претендую на правильность точки зрения на подачу творчества ИИ к человеческому столу. Но до обкатки алгоритмов, выявлению лучших из них и т.д. требовать с людей деньги просто глупо — на это способны только люди, но они затрачивают хоть какой-то труд на создание, а в данном случае авторы ИИ получают бесплатных тестеровщиков, как я уже сказал.
                          А потом — «пиратства» никто не отменял! — и зачем усложнять потребителю получение желаемого, если он все равно будет стремиться к халяве? К тому же, полагаю, что скорость творчества ИИ вполне позволит такую роскошь, как бесплатность.
                          P.S. Ну, не умею я кратко писать, и никогда не умел, извините уж…
                      • 0
                        Зачем? В первую очередь — для голосового управления без доставляющих дискомфорт задержек, неизбежных при использовании для распознавания речи удалённого сервера. Обычный пользователь может и не счесть голосовое управление более удобным, чем обычное, зато в разработках тематики "IT для пожилых" оно может оказаться весьма востребованным.

                      • 0
                        наверное для андроида, в случае если не откажутся от ява-машины.
                        • 0
                          > Соответственно, для решения масштабных задач по описанному алгоритму потребуются значительные вычислительные ресурсы

                          Как раз для решения задач ресурсы требуются относительно небольшие. Основная сложность — обучение.

                          В устройство, содержащее 168 процессорных ядер, можно поместить огромное количество нейронов. Настолько огромное, что его правильное обучение вряд ли вообще будет возможно при текущем развитии технологии. (Если, конечно, там не по нейрону на ядро, но тогда это профанация).

                          Если же эти 168 процессоров нужны именно для обучения, то непонятно, по какой методике это обучение будет происходить. Вряд это под силу простому пользователю смартфона.

                          Изобретение пока кажется недостаточно продуманным.
                          • 0
                            Скайнет всё ближе.

                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                            Самое читаемое