Пользователь
0,0
рейтинг
12 января 2012 в 14:47

Иерархическая Темпоральная Память (НТМ) и алгоритмы ее самообучения перевод

Привет всем Хабражителям, кто интересуется вопросами искусственного интеллекта! Всех с Прошедшими праздниками! Пора двигаться дальше.

В конце прошлого года я закончил перевод последней версии документа о «Hierarchical Temporal Memory» (HTM), который теперь можно найти рядом с оригиналом на сайте Numenta.com.

Что это такое и зачем оно все? Это последняя разработка весьма небезысвестного Джеффа Хокинса сотоварищи, моделирующая работу отдельных слоев коры головного мозга. Эта штуковина позволяет (если не накосячить все сделать правильно) выделять из входного потока данных сходные события, их последовательности, проводить их распознавание и предсказание. Всех, кого интересуют подробности, милости прошу под хабракат.


О самом Джеффе рассказывать здесь в сотый десятый раз бессмысленно, но если кто еще не прочитал его книжку «On Intelligence» («Об Интеллекте», Интернет доставляет), то желательно ее таки прочитать, иначе «лирический» контекст всего этого дела может быть для вас туманен (если он вам вообще нужен).

В представленном документе полностью описана конструкция Иерархической Темпоральной Памяти (НТМ) и ее кортикальные (то бишь «мозгоподобные», прости меня, о Великий и Могучий) алгоритмы (само)обучения. Авторы (и переводчик) стремились все описать очень ясно и подробно, в духе «бери и эксперементируй», что и рекомендуется. Вроде никаких предварительных знаний контакта с Высшим Разумом для этого не требуется. Более того, по опыту обкатки данного перевода на одном из ИИ форумов, наличие осколочных знаний по теме порождает излишнюю (со)мнительность и позволяет ничего не делать на практике, что ведет к загниванию ЕИ, хабраюзер.

Тем не менее, для всех интересующихся нейрофизиологией «а как оно там в реальном мозге устроено?», в документе есть пара (самых) интересных приложений, объясняющих, по мнению авторов (на самом деле, самого Хокинса), как их НТМ соотносится с работой реальных нейронов в натуральном, мыслящем мозге. В частности, выдвинута гипотеза, а зачем вообще в коре мозга 6 (или около того, местами) слоев и что они там вообще делают.

В общем, весьма интересный труд по теме ИИ и для теоретиков и для практиков. Я рискну высказать предположение, что он со временем станет своего рода «классическим» в данной области, как, например, SOM Кохонена. Компания Numenta продолжает разработку описанных систем и алгоритмов, рекламирует их где это возможно и надеемся удивит нас всех своими достижениями в этой области (стартап между прочим).

Все Авторы как один и примкнувший к ним переводчик искренне надеются, что представленный документ будет полезен вам в ваших разработках в области ИИ и не только.

(Если что, прошу сильно не пинать, первая публикация на Хабре.)
Перевод: Джеф Хокинс (Jeff Hawkins) с коллегами
Михаил Нетов @mihnet
карма
31,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (39)

  • НЛО прилетело и опубликовало эту надпись здесь
    • +2
      Да, ничего, все делается, если потихоньку. Началось все с желания разобраться самому (еще год назад, когда там была версия документа 0.1 и называлось все Zeta алгоритм HTM), а потом созрело внутреннее убеждение, что и другим может пригодиться, по крайней мере, натолкнуть на новые мысли. В общем, 5 копееек и от меня в общее дело создания ИР. «Если не мы, то кто же?» (С).
  • НЛО прилетело и опубликовало эту надпись здесь
  • +1
    Благодарю покорнейше. Полезный материал.
  • +1
    Полезно будет полистать, спасибо!
  • –6
    Скачал на iPad — интересно будет прочитать. Огромное спасибо!
  • +4
    Всем заинтересовавшимся крайне советую ознакомиться с рецензией тов. Плахова — довольно известного спеца по АИ из Яндекса.
    • 0
      Спасибо за рецензию, т.к к стыду своему, спутал автора с Хокингом (который «физик, в инвалидной коляске»).
      Читать теперь буду с меньшим интересом :)
    • +3
      Спасибо за ссылку, раньше не видел. Хочу уточнить: там — рецензия на книгу «Об Интеллекте», она действительно совсем научно-популярная, а хорошие книги в этой области очень мало кому дано написать. Это было уже дастаточно давно, можно сказать первым опубликованным шагом на пути к НТМ, поэтому я ее обозвал «лирическим контекстом» приведенного документа. Неудивительно, что такой спец. как Плахов был разачарован — ответов на его вопросы в данной книге, конечно нет.
      Пара быстрых комментариев.
      1. Насчет зашкаливания ЧСВ у Хокинса. Вопрос субьективный и спорный. Я видел ряд его выступлений. Может такм и есть некоторое «забегание вперед», но это неизбежно, когда рекламируешь новую технологию, которую считаешь перспективной.
      2. Данная технология (НТМ) не претендует на объяснение работы всего мозга и уж тем более психических феноменов человека. В приложении Б довольно ясно сказано — это только отдельные слои зон коры мозга. Причем слои скорее зон коры воспринимающих и интегрирующих информацию. Насчет остальных слоев и моторных зон написаны некоторые мысли (в приложениях) но алгоритмов там пока не опубликовано. А, например, вопросы базовых инстинктов вообще не затрагиваются, как и везде впрочем.
      3. Из других источников мне тоже известно, что нейрофизиологи, например, идеи Хокинса ни в пенс ни ставят и вообще в серьезных журналах о них мало публикаций. Так что все это «свободное предпринимательство» как и МММ, например :) Пока не попробуешь — не раскусишь.

      • +1
        Был несколько удивлён рецензией Плахова. Читал книжку Хокинса дважды — никакого зашкаливания ЧСВ не заметил. Также как и претензий на универсальную теорию разума (уж тем более на то, что касается эмоций). Просто предложена вполне реалистичная модель.
        • +5
          Упоминание конечных автоматов и регулярных грамматик в его рецензии — типичная проповедь с Mount Stupid.
          • 0
            А есть столь же меткие русскоязычные упоминания сей закономерности познания?
    • +4
      Тов. Плахов пишет о чем знает: работаешь в яндексе — пиши о грамматиках. Но почему-то мне работа Хокинса кажется интереснее, чем рецензия.

      О перспективности единого алгоритма, по которому работает мозг (по крайней мере, его значительная часть, связанная с восприятием) говорят многие факты. Например, у людей, потерявших зрение, наклеивали матрицу электродов на язык (!), и на нее подавали видеопоток. Через какое-то время человек обучался видеть языком (конечно, с учетом малого количества мегапикселов в матрице :-)

      Еще о перспективности: я недавно постил на хабре изложение алгоритма разреженного энкодера, который самостоятельно без учителя обучается на видео- или аудиоданных обнаруживать такие же элементы изображения или звука, какие обнаруживает мозг и сетчатка человека и животных. Недавно попалось выступление Ng, где он в сжатом виде наглядно эти результаты демонстрирует.

      Ищу добровольцев-единомышленников для экспериментов в этой области. Имеется в виду не ослепление и использование языка для зрения, а исследование иерархических алгоритмов самообучения.
      • 0
        Я как раз тоже чем-то подобным занимаюсь, в смысле «иерархических алгоритмов самообучения». У нас что-то похожее на HTM, правда про них я еще не дочитал, но смысл такой же.
  • +2
    Присоединяюсь к благодарностям. А в более «электронном» варианте нет возможности опубликовать?
    • 0
      Нежелательно. Все таки это «одобренный» перевод официального документа компании Numenta (Джефф написал, что кто-то рускоязычный там у них прочитал его и сказал, типа, «Замечательно»). Подобные вещи принято публиковать в ПДФ, это общепринятая практика.
      • +3
        Глупости это всё. Пережитки компьютерной и юридической безграмотности узкоспециализировавшихся научных сотрудников. В применимости и возможностях форматов не разбираются, и верят всяким россказням типа «PDF — это единственно надёжный формат»…

        Одобренность или неодобренность перевода никакого отношения к формату файла иметь не должна. Аутентичность перевода — даже в случае защищённого PDF, может быть подтверждена исключительно местом его публикации. Совпадает с текстом и иллюстрациями на сайте автора — значит, авторский вариант.

        PDF полезен лишь в случае хитрой вёрстки, которая уместна лишь в печатных журналах и комксах.

        Опубликуйте книжку для скачивания в fb2.zip и для постраничного онлайн-просмотра в HTML, так она будет прочитана куда более широкой аудиторией!
  • +2
    Тоже присоединяюсь к благодарностям. Принимаются ли замечания по русскому переводу? Пока бегло пробежал, наткнулся на пару опечаток\странных оборотов речи, вы часом не за рубежом последние несколько лет живете? :) Если интересно, напишу в личку.
    • +1
      Лучше на мейл указанный в переводе — mih.net yandex. У меня там коллекция на доработку.
      Не за рубежом, если говорить физически.
  • +1
    Все равно не пойму, почему ИИ должен быть похож на человеческий мозг. К примеру, самолеты совсем не похоже на птиц :).
    • +2
      В принципе, он не должен. Он должен быть так сказать «разумным» и, очень желательно, изготавливаться быстрее чем ЕИ (естественный интеллект человека). Просто мы даже первого делать не умеем, потому и стараемся разобраться как это природа (с помощью общества) умудряется все это делать. Это только один из перспективных путей решения задачи. Есть и другие, «неестественные» или «алгоритмические» подходы, например, я к ним отношу схему Рапопорта — Герца (описана в их книгах 2005, 2010, в интернете не находил пока).
      • 0
        Имеете возможность привести названия книг? Пожалуйста!
        • 0
          Прошу: 1) Рапопорт Г.Н., Герц А.Г. Искусственный и биологический интеллекты. Общность структуры, эволюция и процессы познания. URSS. 2005.
          2) Биологический и искусственный разум: Сознание, мышление и эмоции. Ч.1
          2011. 3) Биологический и искусственный разум: Модели сознания. Может ли робот любить, страдать и иметь другие эмоции? 2011.
          Все книги есть на сайте издательства URSS с описаниями. Я бы сказал, они скорее для специалистов — теоретиков ИИ. Поскольку, хотя там рассмотрена предлагаемая ими когнитивная архитектура, до конкретных программ там все же далеко.
    • +1
      Самолеты очень похожи на птиц :)
    • НЛО прилетело и опубликовало эту надпись здесь
  • +1
    Если у кого есть примеры реализаций системы, напишите. Сам сейчас пытаюсь на php написать, но возникли затруднения на первых двух этапах (Инициализация и Фаза №1).
    • +1
      Там псевдокод на питоне. Я пописываю в свободное время на питное с использованием numpy, но небыстро. Есть большой недостаток псевдокода: работает только с бинарными данными, т.е. в случае зрения — только ч/б. Они подводят определенную базу под это, но в целом, это сильно ограничивает.
      • 0
        Я написал на php этап инициализации региона, может кому пригодится или выскажет своё мнение по поводу реализации:
        pastebin.com/D5UH3GCP
  • +4
    Хотелось бы посоветовать автору уменьшить количество слов в скобках и зачеркнутого текста. От злоупотребления такими приемами существенно страдает читабельность.
  • –1
    >>(Если что, прошу сильно не пинать, первая публикация на Хабре.)
    о да!, выйду из минуса обязательно диз поставлю, за попрошайничество.
    • –1
      подпись — двайт шрут.
  • 0
    На будущее, обратите внимание: топик-перевод на хабре как правило содержит сам перевод, а не статью про то, что перевод сделан и где-то лежит.

    P.S. За сам перевод — спасибо.
  • 0
    Большое спасибо, как раз недавно интересовался этой темой!
    Правда немножко мозолит глаз вёрстка, но это ничего :-)

    Читаю, очень интересно!
  • 0
    Есть кто это уже реализовал или кого интересует реализация? (пробую тут реализовать на C#)
    • 0
      Успехи есть?
      • 0
        Пока застряло… времени нет :)
  • 0
    кто-то пробовал реализовать алгоритм?
    • 0
      планируем пробовать с товарищами прикрутить HTM к новой версии этого: habrahabr.ru/post/153169/. если получится, Хабру расскажем.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.