Мудрость толпы под управлением компьютера: гибридный интеллект учится предсказывать непредсказуемое

    Гонка искусственных интеллектов началась: нейросети осваивают всё больше неожиданных и интересных задач, которые они могли бы решать, и всё больше компаний и стартапов пытаются вывести их на качественно новый уровень, за которым лежит прохождение теста Тьюринга и сингулярность. Пока одни сыплют щедрыми обещаниями для тех, кто мечтает всех обойти («Первым триллионером станет тот, кто занимается ИИ»), другие стращают ужасами сингулярности и непредсказуемости отношений человечества и ИИ. Однако и те, и другие рассуждают в рамках одной парадигмы: ИИ неизбежен — вопрос только в том, принесёт нам он беды, процветание или сложную смесь того, и другого — тогда в каких пропорциях?

    image

    Но есть и третий путь, альтернатива миру безальтернативного превосходства ИИ, в котором мы сдаёмся ему на милость — надеясь, что это, и правда, будет милость. Это возможности самого человеческого мозга. В статье «Люди даже не поймут, как стали киборгами» я обрисовал идею теоретически: нейроинтерфейсы, разработка которых ведётся с не меньшим успехом, но меньшим апломбом, чем идёт развитие нейросетей, способны вывести человека и человечество в целом на новый уровень интеллектуальной мощи, который вполне способен отсрочить для нас наступление момента, когда мы превратимся в домашних питомцев на заботливом попечении роботов и «Скайнета», и продлить нам время, когда мы можем ещё позволить себе ощущать себя венцами творения — теперь уже собственного, а не эволюции, богов или Инженеров.

    2017 год уже заслужил место в будущем описании истории киборгизации человека хотя бы тем, что Илон Маск, человек, идеи которого всегда становятся новостью номер один в мире технологий, запустил компанию Neuralink, которая должна сплести «нейрокружево» — имплантируемую электронную оболочку мозга. Электромобили, автопилоты, освоение Марса или новые технологии общественного транспорта — Маск обозначает главные тренды прогресса один за другим. Но это не значит, что до Маска там жизни не было — просто Илон может разогнать любую тему, на которую обратил внимание, одним фактом попадания в орбиту его мощнейшего медиавлияния.

    Так, команда российских математиков и трейдеров Cindicator внезапно оказалась на острие прогресса: ребята просто делали своё дело, пока запуск Neuralink не обозначил объединение свойств человеческого мозга с вычислительными мощностями и коммуникационными возможностями компьютеров как один из топовых трендов. И Cindicator, внезапно для самого себя, оказался среди лидеров этого тренда.

    Что делает Cindicator?


    Cindicator — это платформа, которая совмещает возможности коллективного разума в самом прямом смысле (так называемую «мудрость толпы») с аналитической мощью компьютерных систем для прогнозирования будущих событий, в первую очередь — в финансовом секторе.

    Мудрость толпы — многократно замеченный и подтверждённый эффект, когда среднее арифметическое результатов угадывания любым большим количеством людей, оказывается близким к правильному ответу. Помните, как Рэймонд Бэббитт, сыгранный Дастином Хоффманом в фильме «Человек дождя», с одного взгляда точно посчитал количество рассыпанных официанткой зубочисток? Обычному человеку такое не под силу, но, если сотня человек запишет свои прикидки, сделанные с одного взгляда, то среднее арифметическое, скорее всего, окажется близким к правде.

    Если зайти совсем издалека, то любое массовое волеизъявление, проведённое корректно — это то самое выражение коллективного бессознательного, которое можно «отливать в граните»: глас народа — глас Божий.

    Но выйти за рамки занятных лабораторных экспериментов и найти практическое применение «мудрости толпы» пока никому не удавалось. Во-первых, по понятным логистическим причинам: техническая возможность вовлекать неограниченно большое число людей в решение задач таким методом, возникла относительно недавно. Именно бум смартфонов и мобильного интернета сделал «толпу» максимально доступной для тех, кого интересует её «мудрость» — а самому процессу угадывания позволил придать игровую форму.

    Во-вторых, в соответствии с математическим принципом «правильная постановка задачи содержит половину решения», надо уметь ставить вопрос перед коллективным разумом — чтобы не вышло, как в «Автостопом по галактике»:


    Ответ на главный вопрос жизни, вселенной и всего такого: после тщательнейшего размышления, я могу сказать — это 42

    Исследования мудрости толпы говорят, что лучшим применением для неё являются задачи с конкретным однозначным ответом — математические или географические. Иными словами, места или цифры. А поскольку место — это всего лишь точка в системе координат — то всё сводится к цифрам. Парадокс: мало кто в школе любил математику — но коллективно мы оказываемся неплохими счетоводами. Интересно, что будет, если школьники начнут сдавать экзамены, голосуя всем классом за те или иные варианты ответов?

    А благодаря «подключению» к коллективному разуму через мобильное приложение, Cindicator достигает полной децентрализации своего коллективного разума, что является одним из принципиальных условий — участники группы должны избегать любого общения и обмена мнениями внутри коллектива, во избежание влияния одних индивидуумов на других.

    Как заработать на прогнозах


    Когда персонаж фильма «Назад в будущее» решил подзаработать на знании грядущего, он решил зарабатывать на спортивных ставках. Cindicator же, выбирая сферу приложения своих усилий, начал с финансового рынка, который дал самую многообещающую обратную связь: в нём сошлись и острая, повседневная необходимость в прогнозах (что там говорить, когда отдельные финансовые инструменты самим названием говорят, что они требуют Нострадамусов), и чёткая обратная связь, позволяющая оценивать качество своих прогнозов — и, конечно, возможность эффективно монетизировать получаемые данные.

    Усилив команду математиков и дата-аналитиков опытными трейдерами с серьёзным опытом управления крупными позициями, торговли на глобальных фондовых, фьючерсных, валютных и крипто-рынках, Cindicator начал нащупывать «особый путь» в жестоком мире финансовых торгов.

    Практическое применение мудрости толпы в торгах на фондовых и валютных рынках в реальности выглядит немного сложнее, чем ежедневные попытки коллективно угадать завтрашний курс доллара. Cindicator постоянно тестирует различные типы вопросов, данных, новые торговые стратегии и модели для оптимизации использования полученных данных для создания торговых роботов и аналитических продуктов (индексы, ценовые уровни, сантименты и другие); постоянно проводит бектесты и форвардтесты для адаптации моделей в условиях постоянно меняющихся рынков.

    Помимо работы с результатами прогнозов толпы, Cindicator настраивает и саму машину предсказаний: как показывает опыт Cindicator, тонкая настройка вполне способна разгонять эффективность её двигателя в разы. Один из примеров этого — совместный эксперимент с Московской биржей, в ходе которого торговый робот Cindicator в течение трёх недель совершал сделки на основе коллективного мнения 863 пользователей приложения, из которых 40% никогда ранее не совершали сделки на бирже. Всего в ходе эксперимента робот смоделировал 27 сделок, 17 из которых были прибыльными. В результате за время конкурса модельный портфель вырос на 2,8% в валюте (47% годовых).

    Для повышения своей результативности, электронике Cindicator требуется анализировать не только точность каждого коллективного прогноза, но и эффективность каждого из тысяч и десятков тысяч прогнозистов, его сильные и слабые стороны — это та самая big data, о которой так много говорят в последние годы, но едва научились к ней подступаться.

    Работа Cindicator с большими данными включает в себя систему и методы определения веса прогноза каждого пользователя приложения на основе личного табеля точности по различным типам вопросов (время на принятие решения, история прогнозов по каждому типу инвестиционного инструмента, взаимосвязи между ответами, тип применяемого способа анализа и т.д.), динамическую обратную связь после каждой сделки, учитывающую как сам факт прибыли или убытка, так и его размер по итогам каждого его прогноза.

    Сон разума рождает чудовищ. Анализ коллективного разума — суперфоркастеров


    Таким образом, вычислительная мощь Cindicator не только настраивает саму машину коллективных предсказаний. Она выделяет среди толпы — индивидуальности. На первый взгляд, это может показаться идущим вразрез с самой идеей мудрости толпы, когда большое количество шума, ошибок, субъективизма компенсируется его разнородностью и разнонаправленностью (самый простой пример – распределение Гаусса), но практика Cindicator показывает, что небольшой дирижизм, выполняемый с высокой математической точностью, позволяет не только настраивать стихийную силу коллективных предсказаний, но и, чего совсем нельзя было ожидать заранее — выделять людей, стабильно оказывающихся на деле сильными прогнозистами самими по себе — суперфоркастеров.

    Суперфоркастеры — супергерои реального мира


    До последнего времени, феномен «мудрости толпы» оставался, по сути, глубоко не изученным. Экспериментов, подтверждающих его наличие, было проведено достаточно. А вот вычислительных и организационных мощностей, чтобы копать глубже, просто не было.

    Cindicator — не исследовательский проект, но побочным эффектом практического применения «мудрости толпы» становится как раз более глубокое понимание принципов этого явления — и новые открытия. Как случившееся вскоре после запуска платформы подтверждение теории суперфоркастеров (супер-прогнозистов) — людей, которые в большинстве случаев делают более точные прогнозы по определённым активам и вопросам, чем остальные. Доля суперфоркастеров среди всех пользователей Cindicator составляет приблизительно 2%. Дальнейший анализ показал, что и они неоднородны — одни суперфоркастеры универсальны как прогнозисты, у других точность выше медианной проявляется в предсказании только определённого типа событий. Причины как уникальности этих 2%, так и специализации некоторых из них ещё предстоит определить — это может быть и природный талант, и наработанная компетентность — в упомянутом ранее примере эксперимента с Московской биржей, автором самых точных прогнозов стал инвестор с 10-летним стажем. Впрочем, это не обесценивает саму идею: его персональный результат торговли составил бы +1,48% за три недели (25% годовых), что в почти два раза ниже доходности, обеспеченной коллективной мудростью форкастеров Cindicator (2,8% в валюте за 3 недели/47% годовых).

    В комедийных шоу нередко встречается гэг, когда жена-домохозяйка угадывает результаты спортивных матчей лучше мужа-болельщика. В реальной жизни, самые неожиданные люди могут являться носителями таланта предсказывать курсы валют или погодные условия будущего, даже не подозревая об этом — как и о том, чего они могли бы добиться, используя эту свою суперспособность.

    Вперёд, к ноосфере


    Корректируемую машинами мудрость толпы Cindicator называет «гибридным интеллектом» (ГИ). Команду проекта даже не совсем корректно называть разработчиками — потому что разрабатывают они только часть системы. Её основная сила, в буквальном смысле — живая. Так что Cindicator больше подошло бы определение управляющих гибридным интеллектом. Находящихся в самом начале пути по его освоению, изучению, приручению.

    Если совместить знания Cindicator о мудрости толпы и опыт по направлению стихийной мощи коллективного интеллекта на решение прикладных задач с разработками той же Neuralink, если Илону Маску будет сопутствовать с ними такой же успех, как с электромобилями, то гибридный интеллект Cindicator, в сочетании с нейроинтерфейсом, может и вовсе обеспечить людям прорыв на новый технологический, интеллектуальный, социальный уровни, который до этого связывался исключительно с изобретением ИИ.

    Физический (точнее, биоэлектронный) интерфейс, создаваемый Neuralink, потребует программных наработок, позволяющих уже непосредственно реализовывать появившиеся возможности — точно так же, как современный смартфон без богатого набор программ, оказывается не более, чем дорогостоящим фонариком. Разработка железа сложнее и дороже, но выигрывает, в итоге, тот, у кого лучший софт — да будет пример так и не взлетевшего Windows Phone вечным напоминанием об этом.

    Развернув свои технологии на платформе Neuralink или любого другого аналогичного проекта, который придёт к финишу раньше, Cindicator сможет преодолеть грань условности в определении «гибридного интеллекта» и создать гибрид человеческого разума с вычислительными мощностями машин безо всяких кавычек. Фактически, это будет означать переход к ноосфере Вернадского. И пока что, изо всех доступных нам альтернатив, именно возможности человеческого разума, разогнанные интеграцией с электронными мозгами, объединённые, возможно, в некий сверхразум — выглядят лучшей защитой от угроз ИИ, реальных или мнимых. По крайней мере, это сохранит возможность человеческого разума познавать реальность — отложив ещё на какое-то время наступление сингулярности — то есть момента, когда скорость и сложность развития технологий опередит возможности человека осознавать происходящее. Гибридный интеллект — пока что наш лучший шанс сохранить своё место на вершине пищевой цепочки.
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама
    Комментарии 13
    • +1
      «Мудрость толпы» уже давно формализована и широко используется в практических решениях. Давно известно, что можно добиться высокой предсказательной силы модели, собирая её из субмоделей, каждая из которых имеет предсказательную силу лишь незначительно больше 0.5. Например, можно взять несколько различных архитектур нейросетей, обучать их по-разному и на разном наборе данных, затем выбрать из них те, которые «угадывают» больше половины прогнозов на тестовых данных и объединить их в одну «кворумную» модель, у которой предсказательная сила будет значительно выше 0.5. Естественные нейросети (мозги) тоже уже давно (если сильно обобщить, до, например, ставок на спорт, — то задолго до появления компьютеров) объединяют в такие модели — так называемые «биржы мнений» (озвучивается событие и его возможные исходы, а люди ставят деньги на эти исходы с плечом, соответствующим всем сделанным на бирже ставкам). Тут экономика выступает в качестве эволюционного принципа — плохо предсказывающие мозги теряют деньги и, в итоге, возможность ставить в следующих вопросах, на биржах остаются мозги с эффективностью больше 0.5, а вся биржа, в итоге, получает ещё большую предсказательную силу. Даже была на Гиктаймсе, вроде бы, статья о такой бирже внутри компании Гугл.

      Проблема в приложении этой идеи к торговле на бирже заключается в том, что сама по себе биржа ценных бумаг — точно такая же «биржа мнений», и борьба двух бирж превращается в игру с нулевой суммой (за вычетом комиссий брокеров и самой биржи). Потому в своём математическом пределе Cindicator как и любой другой алгоритм может показывать прибыль только на (сравнительно) небольших отрезках времени, а затем рынок автоматически подстроится, и издержки на новые адаптации Cindicator'а будут примерно равны как раз величине этой прибыли. И так по кругу.
      • 0
        Немножко критики. «Подтверждено научными статьями» без референсов на научные статьи — моветон. На статье вики (Экспериментов, подтверждающих его наличие, было проведено достаточно.)
        есть ссылка на книгу (не научную работу), и вывод из нее:
        It reports on the treasure trove of data coming from The Good Judgment Project, showing that accurately selected amateur forecasters (and the confidence they had in their forecasts) were often more accurately tuned than experts
        вольный перевод
        В ней описан бесценный источник информации из Проекта Здравого Суждения, показывающий, что тщательно отобранные начинающие аналитики часто делали более точные прогнозы, чем эксперты

        Браво. Из тысячи людей, занимающихся аналитикой, мы выбрали одного с наименьшим среднеквадратичным отклонением от постериорных результатов. И назвали его Суперпредсказывателем. Чё?

        Теперь к альтернативе доминирования АИ над людьми. Мы не хотим, чтобы нами управляли роботы! Поэтому мы будем нейрончиками, дающими роботам пережеванные данные (наши суждения), как овечки, а роботы будут сами выбирать, кого из нас слушать а кого считать белым шумом. Нууу.

        И про мудрость толпы. Исследований ЗА в статье нет. Зато полно исследований, опровергающих это заблуждение (чтобы дать источник и не выглядеть голословно самому: первая половина Overcoming Bias Элизера Юдовски содержит в футноутах к каждой главе ссылки на тексты социологических научных статей и препринтов). В статье не предложено ни одного объяснения или гипотезы, почему и как усредненное мнение должно быть хорошим предсказанием. Все равно что сказать, что LES fitting — наилучший универсальный способ аппроксимации произвольного набора данных.
        А еще если бы на самом деле мудрость толпы в интерпретации этой статьи существовало, то из этого можно было бы сделать вывод, что в голове человека есть какой то магический источник Истины, не требующих свидетельств, на который наложен гауссоподобный шум. Только в таком случае усреднение гипотез можно считать максимально вероятной гипотезой! А предмет, выдающий больше Истины чем потребил свидетельств фактически эквивалентен Вечному двигателю.

        Я бы резюмировал статью так:
        Имея достаточно большую выборку людей, можно найти тех, кто имеет лучшие навыки анализа. Кроме того, для стационарных случайных процессов можно подобрать такую весовую функцию из мнений лучших аналитиков, которая будет лучше отдельных аналитиков. Использовать нейросетку чтобы по тестовой выборке выбрать лучших аналитиков — интересная идея, если предположить, что скрытые закономерности, которыми пользовались аналитики, универсальны и неизменны для предсказываемого процесса. И уж точно ничего хорошего не выдет, если сделать репрезентативный соцопрос населения о том, каковы простые множители числа 16634527. Как ни усредняй.

        Так может не вносить лишние сложности, и научить нейросеть на чистых данных, вместо того, чтобы мучать аналитиков вероятно бесполезной для них работой?
        • 0
          Как-то появилось ощущение, что при достаточно большом количестве белковых участников в такой сетке, модель из «сделать усредненное предсказание на базе лучших оценок» выподится в «сделать предсказание на базе оценки общего поведения белкового социума». Ведь «плохих» оценщиков в любой массе всегда больше и благодаря своему количеству и, соответствующему поведению, они тоже являются частью условий задачи. Грубо говоря, если в такую сеть подключить каждого (ну или репрезентативное число), то можно не оценивать мнения, а просто моделировать реальность.
          • НЛО прилетело и опубликовало эту надпись здесь
            • 0

              Да у ИИ большое будущее, и мы сейчас только на ранней стадии его развития..

              • 0
                отложив ещё на какое-то время наступление сингулярности — то есть момента, когда скорость и сложность развития технологий опередит возможности человека осознавать происходящее.
                Но еще раньше наступит момент, когда скорость и сложность развития технологий опередит возможности человека ПРАВИЛЬНО осознавать происходящее. И именно это обстоятельство сулит очень многие беды. Потому что прямое негативное воздействие на общество — это, безусловно, плохо. Но когда общество реагирует таким образом, что тем самым встает на неверный путь развития — это вряд ли лучше.
                Что до «мудрости толпы» — … Сомневаюсь я. В частных применения — вполне возможно. Но как универсальный метод вряд ли доказуемо. Если уж обобщать возможности людей, то в большой массе всегда есть вероятность наличия человека с необычными способностями, который скорее создает определенное будущее, нежели предсказывает его. А, создавая — просто описывает.
                Что до ИИ, то к нему есть несколько весьма актуальных вопросов:
                1. Насколько вероятно, что человеческий интеллект — это тоже ИИ?
                2. Насколько вероятно, что Реальность — это Матрица?
                3. Каков должен быть алгоритм симбиоза человека и ИИ/машины, чтобы в случае [глобальной катастрофы и] внезапной потери ИИ-симбиота человечество не скатилось до неандертальцев?
                Последний вопрос возник из соображения, что человек, как представитель животного мира Земли, возник и эволюционировал в естественных условиях. Ему не нужны были для этого заводы, энергетика, и прочее. Сорвал/поймал — съел — переварил — усвоил. С ИИ дело обстоит совсем иначе. Поэтому резонный вопрос: какова должна быть «подушка безопасности» на случай, если вдруг ИИ нас оставит?
                • 0
                  А чем вам неадертальцы не понравились? Последние исследования и расшифровка генома неадертальцев показала, что они были более высокоразвиты чем хомо, у них был больше мозг, сложные технологии. И они не вымерли, а растволрились при сходе хомо из африки, ибо их было гораздо меньше. У всех белых людей от 2.5-до 3.5 % генома неадертальца. У африканцеф этих генов нет. Они чистые хомосапиенс. От неадертальцев, европецы унаследовали белую кожу, прямые волосы, иммунитет, большой мозг и интеллект. Что касается ИИ, все что сегодня есть это варианты комбинаторики, а не интеллект. Он не может адаптироваться и ничего создать. На это способен только человеческий мозг. Все остальное PR и шумиха. ИИ может обыграть гроссмейстера в шахматы, но не может открыть электричество или теорию относительности. Ибо шахматы это комбинаторика. Так что вернее сказать, что мы скатимся до хомосапиенс, а не до неандертальцев.
                • 0
                  Большинство участников торгов ценными бумагами на биржах остается в аутсайдерах и «кормит» меньшинство. Стратегия «Мнение толпы» на ФР не работает…
                  • 0
                    Показалось, что Cindicator хочет набрать «толпу», а потом вычленить и использовать предсказания наиболее эффективных «предсказателей» в своих целях
                    • 0
                      Это не так. Практика показывает, что точность предсказаний «всей толпой» в среднем вдвое выше, чем попадания самых точных из её отдельных участников.
                      • 0
                        А есть ли какие-нибудь ссылочки по этому делу?
                        На первый взгляд это должно выглядеть так: самые точны участники должны «окупать» неверные предсказания «толпы» — если, скажем, профессионалы дают 80% правильных ответов и составляют 10% толпы, а непрофессионалы дают 20% правильных ответов и составляют 90% толпы — мы будем «по нулям» — т.е. точность предстказаний будет 50\50…
                        Всё-таки непонятно за счет чего «толпа» должна быть «умнее» отдельно взятых — значит, статистически «толпа» должна быть «умнее» опять же, среднестатистического индивида…
                        Ведь предполагается что «толпа» делает предсказания не на основе «брейншторминга» или каких-то других методов, где синергетический эффект может проявиться.
                        • 0
                          А есть ли какие-нибудь ссылочки по этому делу?

                          В статье есть ссылка на конкретный пример:

                          Всего в ходе конкурса на основе прогнозов участников робот смоделировал 27 сделок, 17 из которых были прибыльными. В результате за время конкурса модельный портфель вырос на 2,8% в валюте (47% годовых).

                          Автором самых точных прогнозов стал инвестор с 10-летним стажем, он получит главный приз — iPhone 7, еще 24 участника получат денежные призы от организаторов конкурса.

                          Интересно, что у победителя конкурса результат торговли составил бы +1,48% (25% годовых), что в почти два раза ниже доходности, продемонстрированной гибридным интеллектом.
                    • 0
                      По результатам 27-и сделок делается вывод?.. Статистика грустно смеется в уголку)

                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.