Компания IBM создала первые в мире стохастические нейроны с фазовым переходом


    Художественная интерпретация внешнего вида стохастического нейрона от IBM

    Разработчики из компании IBM создали первые в мире стохастические нейроны с фазовым переходом, что сулит нам создание нейроморфического чипа, который позволит значительно ускорить вычисления и обработку информации. О попытках создать подобную технологию сообщалось еще в 2012 году, но тогда этим вопросом занималась корпорация Intel. Спустя четыре года уже разработчики из IBM смогли добиться результатов в данной области.

    Чем же принципиально отличается чип из стохастических нейронов с фазовым переходом от классического кремниевого?

    Фазовый переход в термодинамике — переход вещества из одной термодинамической фазы в другую при изменении внешних условий. Фактически, создание стохастического нейрона с фазовым переходом позволит создать искусственную модель такой биологической системы, как мозг.

    Соответствующее исследование было получено журналом Nature еще в мае 2015 года, а опубликовано в апреле 2016.

    image
    Схема стохастического нейрона с фазовым переходом, IBM

    Как и свой биологический собрат, искусственный нейрон от IBM имеет то же строение. В нем присутствуют дендриты (входы), мембрана (липидный бислой), ядро и аксон (выход). Отличительной особенностью искусственного нейрона является его нейрональная мембрана. В реальном нейроне это липидный бислой, который, по факту, работает как резистор и конденсатор: сигнал пропускается только при накапливании достаточного заряда на дендрите, что приводит к всплеску генерации заряда и прохождению сигнала далее — к другим нейронам.

    image
    Динамика поведения нейрона при фазовом переходе, IBM

    Фазовый переход в искусственном нейроне важен тем, что с его помощью ученые и инженеры смогут добиться эмуляции познавательного процесса обучения, присущего реальному биологическому мозгу. Фактически, данная разработка может активно использоваться в уже существующих проектах нейросетей для проведения обучения сети и когнитивных вычислений, что значительно ускорит процесс обработки информации, например, анализ данных в сети Интернет.

    В нейроне производства IBM мембрана заменена на сплав германия, сурьмы и теллура (GeSbTe или GST). GST уже ранее использовался в производстве перезаписываемых компакт-дисков по причине того, что подвержен фазовому переходу. Это означает, что он успешно может существовать в двух различных состояниях (кристаллическом и аморфном) и легко переключается между ними при поступлении тепла, что косвенно подтверждается перезаписываемыми RW-дисками. В случае с GST материал имеет принципиально различные свойства в зависимости от своей фазы. В кристаллической — это проводник, в аморфной — изолятор.

    image
    Наглядная демонстрация разницы в поведении нейрона в течении нескольких секунд, IBM

    Особое внимание также уделялось и стохастичности в работе чипа. Ученые предположили, что успешная длительная работа нашего мозга при несравненно меньших напряжениях электромагнитных импульсов в сравнении с искусственными нейронными сетями обеспечивается за счет образования случайных связей между нейронами. Именно эта «случайность» и была реализована инженерами IBM в новой технологии благодаря, в том числе, и использованию в технологии материалов, подверженных фазовому переходу, а именно GST.

    В состоянии покоя оболочка искусственных нейронов находится в аморфном состоянии. При подаче сигнала (разряда) она начинает кристаллизоваться, что в итоге делает нейрон из изолятора проводником. После прохождения сигнала нейрон проходит через «сброс», т.е. его мембрана возвращается в свое аморфное состояние.

    Где же здесь стохастичность, присущая живым организмам из-за шумов, окружающей среды и прочего? Стохастичность вознакает на этапе обратной аморфизации после кристаллизации оболочки. Для каждого нейрона время возвращения к исходному состоянию и итоговая аморфность мембраны всегда разная, что и приводит к созданию примерно той же степени «случайности» в их работе, что и у биологических аналогов. Именно поэтому инженеры не могут точно предугадать, какие конкретно нейроны будут готовы в нужный момент и задействованы в передаче информации.

    image
    Проект нейроморфического компьютера IBM

    Инженеры IBM уже собрали 5 кубиков 10 на 10 нейронов и объединили их в сеть из 500 штук. Этот блок показал то же поведение в плане популяционного кодирования, что и биологические нейроны, а также обошел ограничения для обработки цифровых сигналов сформулированные в теореме Котельникова.
    Поделиться публикацией
    Никаких подозрительных скриптов, только релевантные баннеры. Не релевантные? Пиши на: adv@tmtm.ru с темой «Полундра»

    Зачем оно вам?
    Реклама
    Комментарии 50
    • +1
      Надеюсь не надо напоминать, что в живых нейронах нет никакого глобального оптимизатора весов синапсов, который настраивает сеть выдавать нужные значения. А почти на всех технических построениях такая настрока единственный способ получить нужную сеть. Также существуют сложные пространственные взаимодействия между синапсами и дендритами близко расположенных нейронов. А в технических построениях ничего такого нет.
      • НЛО прилетело и опубликовало эту надпись здесь
        • –2
          Самолёты прекрасно летают, не махая крыльями как птицы.
          Пока самолетами управляют люди. Либо пока люди проектируют маршруты.
          • НЛО прилетело и опубликовало эту надпись здесь
            • +2
              Вы не поняли смысл аналогии.

              Чтобы летать — не обязательно целиком имитировать птиц. Главное уловить суть аэродинамики.

              Чтобы думать как человек, не обязательно целиком имитировать мозг. Надо уловить суть мышления.
              • 0
                Некорректная аналогия.
                Чтобы летать — не обязательно целиком имитировать птиц.
                Чтобы думать — не обязательно целиком имитировать мозг.
                • 0
                  Это вы мне отвечали?
                  • 0
                    Целиком имитировать точно не обязательно. Но существующие имитации менее, чем примитивны. Даже модель «мозга» червя сделать на достаточном уровне не смогли. А уже про ИИ мечты…
                    • 0
                      Так и не нужно модель мозга червя. нужно сделать работающий аналог синапсических связей, и тогда оно легко масштабируется от червя до скайнета.
            • +2
              Они машут лопастями пропеллеров/турбин =)
              • НЛО прилетело и опубликовало эту надпись здесь
                • +3
                  Природа не осилила подшипники и вращающиеся оси.

                  Я просто оставлю это здесь: АТФ-Синтаза и Жгутики простейших
                  • НЛО прилетело и опубликовало эту надпись здесь
                    • 0
                      Ну просто базальное тело жгутика — это самый настоящий электродвигатель, выполненный на подшипнике скольжения.
                  • 0
                    Да, но суть то в том что «махание» никуда не исчезло, как кажется на первый взгляд. Вместо этого его компактно упрятали и ускорили, улучшив таким образом эффективность всего процесса.
                    • НЛО прилетело и опубликовало эту надпись здесь
                      • 0
                        Личинки стрекоз передвигаются на реактивной тяге, как и кальмары — но только в воде. Масштабировать до позвоночных и для передвижения в воздухе не получилось.
                        • 0
                          Дрожь земли 3. Ассбластер :)
                  • 0
                    Нет, они используют для полета законы аэродинамики!
                    Вся ловушка машинного обучения в том, чтобы открыть эти законы нам нужны хорошие алгоритмы машинного обучения :-)
                  • 0
                    Только у птиц и маневренность повыше будет и при этом у них двигатели не отказывают в полёте.
                    • +1
                      Отказывают, ещё как, и навигация тоже. Только после каждого «крушения» птицы не проводят расследование и не трубят об этом по всем СМИ.
                      • 0
                        буквально на днях перед моими глазами птица со всей дури врезалась в щит магазинчика и упала замертво
                        • 0
                          Видел (давно, правда), как птица на «ровном месте», просто в полёте, затрепыхалась и упала замертво. Так что всякое бывает, и говорить, что у них «ничего не отказывает», не есть правильно.
                      • +3
                        Если бы была птица размером с самолет, маневренность у нее бы сильно упала.

                        Ну а квадракоптеры более маневренные чем какие-нить аисты.
                    • +1
                      А модель руки во многом устроена не так как настоящая рука. Что не мешает ей быть моделью руки.
                      • +3
                        Если только-что родившуюся живую нейронную сеть оставить наедине с собой (запереть человечка в замкнутой комнате, без общения с себе подобными), она тоже вряд ли будет выдавать нужные значения.
                        • +2
                          Также существуют сложные пространственные взаимодействия между синапсами и дендритами близко расположенных нейронов. А в технических построениях ничего такого нет.

                          @aigame написал статью на гиктаймс, где моделировал нейронные сети с учетом взаимного расположения нейронов.

                          • 0
                            Ну почему же? Если я правильно понял вашу идею, аналогичное действие оказывает гуморальная регуляция — мелатонин, половые гормоны, эндорфины, адреналин и производные. Затем концентрация некоторых веществ в крови, например глюкозы, кислорода. Затем алкоголь, психотропные вещества.
                          • 0
                            Модель Маккалока-Питтса тем и хороша, что из неё выброшено все лишнее, что позволяет легко обучать нейросети градиентными методами. Природа, понятное дело, до такого не додумалась бы. Зачем повторять все её костыли?
                            • +2
                              Зачем повторять все её костыли?

                              для создания человекоподобного интеллекта, не?
                              • +2
                                А зачем человекоподобный интеллект, если люди уже есть?
                                • 0
                                  Чтобы не писать программу, а просто по-человечески пообщаться.
                                  • 0
                                    А зачем нам компьютеры, если есть счеты? Зачем нам роботы и т.д.?
                                    • 0
                                      Компьютеры не повторяют все костыли счётов.
                                      • 0
                                        Вы сразу хотите создать что-то лучшее чем человеческий мозг?
                                        • 0
                                          Не лучшее, другое. По одним критериям будет лучше, по другим — хуже. Человеческое сознание эмулировать хуже будет, например.
                                    • 0
                                      Это все жажда славы и финансовой наживы.
                                  • 0
                                    Ну, как я понимаю, у Макаллока и Питтса нет встроенной обучалки, и её приходится реализовывать, как уже здесь упоминали, глобально, совсем не нейроморфными методами. Тогда как у наших нейронов (вроде как) такая обучалка присутствует. Грубо говоря, сейчас мы вынуждены каждый раз думать сами, как лучше учить нейронную сеть, а ежели бы у нас был «совсем локальный» нейрон — можно было бы отвесить килограмм нейронов и пойти пить чай. А ежели недостаточно обучилась — то навалить ещё килограмм (возможно, к той же самой сети). То бишь была бы аддитивность, а возможно, ещё и иерархичность (то бишь сеть сама бы могла выделять подзадачи и обучать свои малые части отдельно, а не в виде спагетти-кода). Хотя, конечно, не вполне ясно, при чём здесь обсуждаемое изобретение.
                                  • +12
                                    image
                                    Не удержался.
                                    • +11
                                      Я бы тоже не удержался, если б не поел на обеде.
                                    • 0
                                      А я думал про выращивание мозга из стволовых клеток.
                                      Выращиваем мозг.
                                      Подключаемся к зрительному тракту для передачи визуальной информации (а остальное лишнее).
                                      Подключаем различные датчики к разным частям мозга, чтобы он мог натренироваться взаимодействию с виртуальной реальностью.

                                      Все. Теперь мы можем приступить к обучению.

                                      Представьте себе сотни тысяч искусственно выращенных мозгов, которые создавали бы софт=)
                                      • 0
                                        Будет много возмущений про гуманность
                                        • +2
                                          Угу.
                                          • 0
                                            Можно просто вытаскивать уже развитые.
                                            • 0
                                              А можно и не вытаскивать. Правда зарплату платить придется
                                            • 0
                                              И получится вуаля — Warhammer 40000
                                            • +5
                                              также обошел ограничения для обработки цифровых сигналов сформулированные в теореме Котельникова.

                                              это как?
                                              • 0
                                                Я так и не понял чем новые стохастические нейроны лучше прежних детерменированных. Их же обучать сложнее будет, повторяемость результатов будет хуже.
                                                • 0
                                                  Лучше чтобы их вообще бесполезно обучать стало когда-нибудь)

                                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.