Учёный-исследователь, химик и нанотехнолог
3,2
рейтинг
18 августа 2014 в 21:01

This is Science: Что внутри нейроморфного чипа?



После недавнего анонса нейроморфного чипа от IBM на Хабре, настало время познакомиться с тем, как работа реальных нейронов переносится в железо нейроморфных чипов. А поможет нам в этом статья, опубликованная в ACSNano, о трёхмерном электронном синапсе.

Начнём с небольшой предыстории. Некогда мы узнали, откуда учёные черпают информацию об устройстве мозга, затем был большой пост с ответами на вопросы читателей о проекте The Human Brain, недавно же на Хабре появился анонс нейроморфного чипа от IBM. В череде этих публикаций хотелось бы также уделить время и тому, как на базовом уровне устроены нейроморфые чипы.

Одной из основных компонент нейроморфным вычислений, в общем, и нейроморфных чипов, в частности, является синапс или система передачи возбуждения от нейрона к нейрону, ибо сам нейрон зачастую представляет собой лишь металлическую ленту, проводник. Синапс в нервной ткани – место контакта между двумя нейронами или между нейроном и получающей сигнал эффекторной клеткой, которое служит для передачи нервного импульса.


Основные элементы нервной клетки

По механизму передачи такого импульса синапсы можно разделить на химические – то есть с помощью молекул нейромедиаторов – и электрические – то есть за счёт «пробоя» межклеточной жидкости электрическим импульсом. Электрические синапсы представляют собой пару клеточных мембран, находящихся на очень близком расстоянии (всего несколько нм) друг от друга за счёт особых белков, которые и выполняют функции по переносу возбуждения.

Обычно данные о конкретном устройстве или используемой модели нейроморфного чипа и типе соединений в нём нейронов в сеть является ноу-хау и предметом NDA (not-disclosure agreement), однако в чисто научных, не относящихся к индустрии публикациях можно подчерпнуть немало информации об их устройстве.

Итак, группа китайских и американских учёных из Пекинского университета, Станфорда и Аризонского университета опубликовали статью в журнале ACSNano, посвящённую разработке нового трёхмерного и потребляющего ультра малые количества электроэнергии электронного синапса, схема которого представлена на рисунке:


(a) Обычный 2D массив для электрической нейросети, где каждый синапс находится на пересечение проводящих линий пре-нейрона и пост-нейрона. (b) Электрическая схема концепта с синапсами на основе устройства с переключаемым сопротивлением (resistive switching device). (с) Максимально компактная схема расположения синапсов (high-density application). (d) Схема расположения синапсов для вычислений с максимальной точностью (high-accuracy computation). (e) TEM-изображение поперечного среза полученного электрического синапса.

Основой разработки стали материалы с переключаемым сопротивлением, например, HfOx или HfOx/AlOy, которые в зависимости от длительности и амплитуды приложенного напряжения могут изменять свои резистивных свойства в широких пределах – потенциально более 3 порядков от 103 до 106 Ом. Происходит такое переключение за счёт миграции и перестройки кислородных вакансий внутри оксидов.

И для того, чтобы проверить электронные синапсы в деле, был создан двухслойный нейроморфный чип, первый слой которого состоял из 32 x 32 нейронов, чувствительных к яркости пикселей, а второй – из 16 нейронов кортекса, соединённых обычными или трёхмерными электрическими синапсами. Результаты на лицо: трёхмерный электронный синапс даёт лучшее распознавание по сравнению с обычным за счёт меньшего отклонения сопротивления. При этом тренировка проходит при пониженном электропотреблении импульсами в 50 нс, при напряжении ниже 2.5В и токе ниже 0.3 мкA


(a) Обилие кислородных вакансий приводит к низкому сопротивлению и, наоборот, (b) их недостаток означает высокое сопротивление и низкий ток. (с) Отклонение сопротивления в зависимости от затраченной энергии. (d) Паттерн, используемый для тренировки системы. (e-f) Паттерны, полученные с помощью обычной нейросети и созданной на базе трёхмерных синапсов, соответственно. (g) Точность распознавания.

В сравнении с примитивной двумерной нейросетью синапсов, разработанное устройство выглядит неимоверно сложно, однако используемые материалы относительно дёшевы и повсеместно распространены в электронной промышленности, что, по уверениям авторов работы, делает возможным производство подобных нейроморфных чипов с крайне низкой себестоимостью.

Оригинальная статья в ACSNano (DOI: 10.1021/nn501824r)



Полный список опубликованных статей This is Science на GeekTimes:
This is Science: Простая и дешёвая солнечная энергетика
This is Science: Графен – жизнь или смерть?
This is Science: Вдувай и получай электроэнергию
This is Science: Кремниевая электроника: согни меня полностью!
This is Science: Эластичный дисплей на квантовых точках
This is Science: Поставить трибоэлектричество на службу человечеству
This is Science: 3D оптическая печать переезжает на микроуровень
This is Science: Что внутри нейроморфного чипа?
This is Science: Новости с графеновых полей
This is Science: 3D электронная литография в массы
This is Science: Разряд щелочных батареек или почему батарейка подпрыгивает
This is Science: микропушки и наноядра
This is Science: носимая электроника и трибоэлектричество. Часть 1
This is Science: носимая электроника и трибоэлектричество. Часть 2
Как Вы думаете, когда мы увидим первый нейроморфный чип в настольных ПК/ноутбуках/планшетах/смартфонах?

Проголосовало 663 человека. Воздержалось 125 человек.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

Евгений @Tiberius
карма
591,5
рейтинг 3,2
Учёный-исследователь, химик и нанотехнолог
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (30)

  • +6
    Как много здесь пчол (узнать бы еще, кто это. а то вдруг и я тоже О_о).
  • +1
    Нет промежуточного ответа для интервала больше семи лет, но меньше бесконечности. «7 лет или никогда» — слишком жесткие рамки имо
    • 0
      Окей, под 5-7 лет подразумевает дальная перспектива: от 5 лет и далее
  • +2
    Буквально в этом году на конференции «Нейроинформатика 2014» был доклад о том, что в реальном мозге кодирующими являются не только частота и общее количество спайков, но и расположение интервалов между ними. А ещё, например, такая сеть заведемо не сможет выстрадать «Нейрон Дженифер Анистон», а значит с ростом количества выученного количество потребных нейронов будет расти катастрофически.

    Мы пока что более чем приблизительно представляем себе работу реальных нейронов, и пока что вся существующая математика неспособна сымитировать даже нервную систему нематоды. Подобные чипы, конечно, полезны как задел для будущей работы, но место им, пока что, в экспериментальных лабораториях, а никак не в настольных ПК.

    Тем более, что это даже не свёрточные сети. те хоть нашли уже какое-то практическое применение.
  • +1
    Да, согласен, не всё в мире совершенно, но! Вспомните каким были компьютеры 50 лет назад и какими они стали сегодня.

    На счёт имитации я бы поспорил, так как уже смоделировали полностью нервную систему червя, а по сведения из HBP в 2015 году должен быть представллен прототип мозга мыши, что является существенным прорывом.
    • 0
      Фокус в том, что смоделировать то они немотоду смогли, воспроизвели полный коннектом, но к поведению реального червяка и близко не приблизились по возможностям и сложности его поведения. А ведь там всего лишь 302 нейрона. Ну да, воспроизведут они коннектом кошки, а дальше что? У получившейся модели будет разум как у червяка, это ещё в лучшем случае.
      • 0
        на сколько мне известно, то подразумевается полная симуляция. Т.е. по идее, коннектом мыши должен воспринимать сигналы, как мозг реальной мыши.
  • 0
    Все это, конечно, хорошо, но чип от IBM ничего общего с этой поделкой на резистивно переключаемых элементах не имеет.
    • 0
      Так вроде нигде и не сказано, что это именно IBMовский чип, он приведён, как пример.
      • +2
        Если подходить к анализу текста строго логически, то да. Но при прочтении возникает очень сильное (естественно ложное) впечатление, что все «нейроморфные» чипы работают образом, подобным описанному, что никоим образом не соответствует действительности. Посмотрите сами:
        После недавнего анонса нейроморфного чипа от IBM на Хабре, настало время познакомиться с тем, как работа реальных нейронов переносится в железо нейроморфных чипов. А поможет нам в этом статья, опубликованная в ACSNano, о трёхмерном электронном синапсе.

        Последний IBMовский чип — это вообще массив цифровых процессоров.
  • 0
    Было бы прекрасным дополнением к статье: примерный расклад где и какие
    используемые материалы относительно дёшевы и повсеместно распространены в электронной промышленности
    • 0
      Например, окисд гафния — high k затвор в современных процессорах, диоксид кремния — вообще «наполнитель» в любом чипе, вот с Pt могут возникнуть некоторые проблемы, но её необходимо очень и очень мало — слои толщиной в 20-25 нм.
      • 0
        вопрос в том и стоит, что и платину в том же числе не так уж и легко использовать, и «наполнитель» — оксид кремния. К вам это видится? Разбирать микросхемы и советские 818КТ?
        • 0
          Да, платину не очень легко пылить — согласен. А в чём трудности с диоксидом кремния? Вроде отработано все технологические изыски нанесения: хочешь аморфный — пожалуйста, хочешь потравить — пожалуйста, хочешь покрытие или объёмный материал — пожалуйста.

          По своему опыту разбора скажу, что травятся микросхему фторводородом только в путь:)
          • 0
            Хрен бы с ней пылить, это не проблема. Для этого есть магнетроны, а еще ее можно гальванически осаждать. А вот паттернировать платину очень затруднительно.
            • 0
              Почему сложно? По паттерну она наносится двумя способами, как и остальные: либо маской, либо lift-off…
              • +1
                Травить ее особо нечем, поэтому маски бесполезны. А взрывная литография в промышленной электронике не используется, потому что это сравнимо с валянием пластины в песке — после этого ее уже не очистишь, особенно от кусков платины. Если электроника того уровня, когда чистая комната особо не нужна, то можно и lift-off конечно.
                • +1
                  Хорошо, открыл, ещё раз посмотрел статью: multilayer stacked Pt (22 nm) and SiO2 (33 nm) are deposited by e-beam evaporation and plasma-enhanced chemical vapor deposition, respectively. То есть испарение электронным пучком.

                  PS: возможно, про lift-off я подзагнул, извиняюсь.
  • 0
    А каков критерий настоящей нейроморфности чипа? «NeuroMatrix» nm6403 в 1998 году выпекли, он правда, по факту применяется для другого(БПФ и пр.), но задумывался как нейроморфный. В принципе, любой SIMD умеющий делать умножение с накоплением, желательно с нормализацией, подойдёт.
    В статье правда, более специализированное устройство, где каждый логический синапс реализован физически, а оно надо? Благодаря скорости кремния, имеет смысл разделять физические ресурсы по времени, например, при обработке видео: вместо того, чтобы делать свой физический канал для каждого пикселя, обычно используют свёрточные сети.

    • 0
      Если хотите, то нейроморфный чип — такое устройство, которое будет работать, не складывая 1 и 0, а реализуя работу нейронов в живом организме.

      Alizar про это ещё давно писал.
      • 0
        А из чего следует, что описываемое устройство больше похоже на биологию, чем цифровые конкуренты? Цифру можно гибко подстроить под модель, а свойства аналогового компьютера обусловлены элементной базой.
        Чему здесь соответствует уровень возбуждения нейрона? Как я понимаю, аналоговые ячейки с гистерезисом соответствуют весу синапса, это не то.
        Напряжение? Это мгновенная характеристика, а уровень возбуждения должен накапливаться, например в процессе принятия спайка импульсов.
        • 0
          Здесь вопрос в том, сколько потребуется цифровых компонентов, чтобы реализовать один такой электронный синапс?

          Да, накопление проводимости соответсвует весу синапса.

          Про уровень возбуждения — да, Вы правы, но нет ничего совершенно прямо с листа. Думаю, что доработают конструкцию: добавят, быть может, диффузный конденсатор или что-то около того.
          • +2
            Цифровых компонентов понадобится много, но их можно разделять по времени. Ну да, потенциально данная схема может выиграть по разным параметрам, но пока это всё «преждевременная оптимизация». Другое дело, авторы утверждают, что их прототип работает лучше традиционной ИНС в эксперименте. Если это правда, то надо показать в математике за счёт чего.
            • 0
              «Традиционной» в том смысле, что расположение синапсов довольно простое (Рис.2а)
              • 0
                В смысле фраза "(e-f) Паттерны, полученные с помощью обычной нейросети и созданной на базе трёхмерных синапсов, соответственно." относится к двум аналоговым устройствам? А можно тогда пояснить фразу «за счёт меньшего отклонения сопротивления»?
                • +1
                  Фактически да, к двум аналоговым устройствам.

                  В оригинале «resistance variation», т.е. при подаче напряжения в течение некоторого времени изменяется сопротивление с R0 до R1, при этом R1 имеет некоторую дельту, которая в случае с 3D-синапсом меньше, соответственно, ток после «акта записи» измеряется точнее.
                  • 0
                    Интересно, они это планировали или вышло «мы хотели поднять плотность упаковки, но неожиданно ещё и качество распознавания выросло». Всё таки у меня такое мнение: может быть аналоговые системы тут и перспективны, но насколько же приятнее работать с предсказуемыми и воспроизводимыми системами цифровыми.
                    • 0
                      Всё-таки полагаю, что наоборот: увеличим количество задействованного/площадь самих электродов материала и уменьшится дельта сопротивления

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.