26 ноября 2015 в 20:34

Видео: нейросеть описывает прогулку по Амстердаму

Американский артист продемонстрировал возможности нейросети NeuroTalk, описывающей сцены видео в режиме реального времени. Система делала ошибки, исправляла себя, но иногда правильно рассказывала о происходящем. «Мужчина держит сосиску в булочке с горчицей и кетчупом», «ножницы сидят на столе рядом с кошельком» и «вид поезда из окна поезда» — на видео под катом.



В последние несколько лет компьютеры неплохо научились распознавать объекты на изображениях, будь то лица, животные или мебель. Нейросети, способные со временем обучаться, могут описывать сложные сцены. Из видео, снятого американским артистом и программистом Кайлом Макдоналдом, понятно, что системы далеки от стопроцентной точности. Макдоналд модифицировал нейросеть, разработанную исследователями из Стэнфорда и Google, чтобы анализировать видео, снятое на веб-камеру на улицах Амстердама.

Артист использовал открытое программное обеспечение NeuralTalk. Оно способно описывать сцены в режиме реального времени. Программа делает ошибки, иногда поправляет себя. Иногда подобные системы относят к искусственному интеллекту, но делают это с натяжкой: описывая изображения и видео, ПО не понимает, что на картинке — оно просто ищет связи между объектами.



Над похожей системой работает Facebook. Компания разрабатывает систему, которая распознаёт объекты и людей на фотографиях, в том числе — чтобы сделать социальную сеть доступнее для людей с ограниченными возможностями. Об анализе видео Facebook пока не вела речь, но можно предположить, что компания рассматривает эту идею для интеллектуальной настройки ленты новостей.


С помощью таких фотографий разработчики Facebook обучают систему распознавать породу собак
Иван Сычев @ivansychev
карма
81,7
рейтинг 45,5
Редактор Geektimes
Самое читаемое

Комментарии (12)

  • +5
    Кого-то мне эти парни напоминают.
    • +12
      Не знаю кого они вам там напоминают, но почему Боб сбрил бороду?!
  • 0
    А нельзя ли подобную систему адаптировать для людей потерявших зрение, чтобы она описывала препятствия на пути?
    • +1
      Кое-что подобное было. В апреле 2014 года в продаже появилась система OrCam — это, по сути, «искусственное зрение». Специальная камера крепится на очках, она распознает предметы и лица, а также печатный текст, но рукописный ей непонятен. В этом видео – то, что разработчики ждут от камеры, не всё из представленного возможно.

      image
  • –1
    NeuralTalk Find me a terrorist!
    NeuralTalk Find a man with a gun ))
  • +1
    Ну да, а потом система попросит одежду, ботинки и мотоцикл
    • +2
      Только не будет понимать, что это такое.
      • +1
        смотря что значит понимать
  • 0
    Похоже на автоматизированное создание текстового квеста,
    как с актеров записывают движения игровых персонажей.
  • 0
    Под словом «артист» у вас скрывается калька с английского artist? Тогда в случае вашего текста это переводится как «художник».
    • –1
      Википедия подсказывает:
      «Артист в широком смысле — деятель искусств, человек, занимающийся творчеством в какой-либо области искусства, художник (живописец, скульптор и т. д.), музыкант (певец), актёр»

      Всегда был уверен, что это определение разделяет большинство людей.
      • 0
        Формально это определение верно, но в русском языке слово «артист» обычно используется в более конкретном значении. Артист — это представитель определённого круга зрелищных искусств (актёр, певец, музыкант), например, артист театра драмы, артист цирка и т.д. Использование этого слова в том контексте, в котором оно идёт у вас, является, по сути, стилистической ошибкой.

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.