Для искусственного интеллекта нет пожарной тревоги

https://intelligence.org/2017/10/13/fire-alarm/
  • Перевод
image

Зачем нужна пожарная тревога?

Можно было бы решить, что пожарная тревога должна давать вам важное доказательство наличия пожара, что позволяет вам изменить свои планы и покинуть здание.

В классическом эксперименте, проведённом Латейном и Дарли [Latane and Darley] в 1968 году, восемь групп по три студента попросили заполнить анкету, усадив в комнате, которая вскоре после начала эксперимента начала заполняться дымом. Пять из восьми групп не отреагировали и не пожаловались на дым, даже когда он стал таким плотным, что они начали кашлять. Последующие действия показали, что одиночный студент жаловался на дым в 75% случаев. А студент в обществе двух других людей, которых попросили ничего не предпринимать, реагировал на дым только в 19% случаев. Этот и другие эксперименты показали, что на самом деле происходит плюралистическое игнорирование. Мы не хотим показаться паникёрами и испугаться чрезвычайной ситуации, поэтому мы стараемся выглядеть спокойными, краем глаза наблюдая за тем, как ведут себя другие – но они, конечно же, тоже стараются выглядеть спокойными.

Я читал большое количество отчётов о воспроизведении этого эксперимента и его вариациях, и полученные результаты оказались вопиющими. Мне кажется, что этому результату не суждено погибнуть в кризисе воспроизведения, и я о проблемах с его воспроизведением не слышал.

Пожарная тревога создаёт общеизвестное знание о наличии пожара; после этого уже социально приемлемо будет реагировать на происходящее. Когда срабатывает сигнализация, вы знаете, что все остальные тоже знают о том, что пожар есть, и вы знаете, что не опозоритесь, если проследуете на выход.

Пожарная тревога не сообщает нам о том, что пожар определённо есть. Я вообще не могу вспомнить ни одного случая из моей жизни, когда я покинул здание из-за пожарной тревоги, и там реально был пожар. На самом деле пожарная тревога больше говорит не о наличии пожара, а о наличии дыма, идущего из-под двери.

Но пожарная тревога сообщает, что теперь с социальной точки зрения приемлемо реагировать на пожар. Она обещает, что нас никто не застыдит за то, что мы спокойно направились к выходу из здания.

Мне кажется, что это один из тех случаев, когда люди не очень понимают, во что именно они верят, как в том случае, когда кто-нибудь громко утверждает о победе команды своего города на соревновании, но сразу же утихнет, если предложить ему поставить деньги на победу. Они не разделяют сознательно приятное возбуждающее ощущение от криков о победе и чувство реального ожидания выигрыша команды.

Я думаю, что когда люди смотрят на появляющийся из-под двери дым, они считают, что их неуверенность по поводу наличия пожара возникает из-за того, что они не назначают этому событию достаточно высокую вероятность, и что они колеблются из-за того, что боятся потратить время и усилия. Но в таком случае они неправильно интерпретируют свои ощущения. В таком случае они испытывали бы те же самые колебания при звуках пожарной тревоги, или даже ещё колебались бы ещё больше – ведь пожарная тревога коррелирует не с пожаром, а с дымом из-под двери. На самом деле колебания возникают из-за волнений по поводу того, что другие люди думают по-другому, а не из-за того, что пожара может и не быть. Нежелание действовать растёт из нежелания показаться дураком, а не из нежелания тратить силы. Поэтому один студент в комнате в 75% случаев предпринимает какие-то действия, и поэтому у людей нет проблем с реагированием на более слабые доказательства, предоставленные пожарной тревогой.

* * *

Время от времени нам предлагают отложить реакцию на проблемы, связанные с искусственным интеллектом общего назначения (ИИОН), поскольку, как считается, мы ещё слишком далеко от его появления, и сейчас просто невозможно сделать с этим что-либо продуктивное.

Некоторые люди всё же считают, что и сегодня есть конкретные вещи, которые мы уже можем сделать: Soares and Fallenstein (2014/2017); Amodei, Olah, Steinhardt, Christiano, Schulman, and Mané (2016); or Taylor, Yudkowsky, LaVictoire, and Critch (2016).)

Даже если бы этих работ не существовало, или если вы, как исследователь ИИ, прочли их, и решили, что это ерунда, и вы хотели бы работать над этой проблемой, но не знали бы, как – то следующим мудрым шагом с вашей стороны было бы сесть и потратить пару часов, искренне пытаясь придумать возможные варианты решения. Желательно без самосаботажа, мыслей о том, что вы всё равно ничего не придумаете – в принципе, гораздо удобнее решить, что вы ничего не сможете сделать, потому что у вас есть вещи, которыми вам интереснее заниматься. Ну да ладно.

Так что если идея ИИОН кажется слишком далёкой, и вы думаете, что это даёт вам право считать, что ничего продуктивного по поводу упорядочивания его работы вы всё равно сделать не сможете, то из этого вытекает следующая альтернативная стратегия: сидеть и ждать, когда в будущем какое-то неизвестное пока событие сообщит нам о том, что ИИОН приближается, и тогда мы уже поймём, что можно начинать работать над упорядочиванием ИИОН.

Мне кажется, что это неправильный подход по множеству причин. И вот некоторые из них.

Первая. Как сказал Стюарт Рассел, если вы получили радиосигналы из космоса, заметили в телескоп космический корабль и знаете, что инопланетяне приземлятся через тридцать лет, вы всё равно начнёте думать об этом уже сегодня.

Вы не будете говорить: «Да ладно, это же будет через тридцать лет, и пусть его». Вы уж точно не будете говорить: «Мы ничего не сможем сделать, пока они не подлетят поближе». Вы обязательно проведёте пару часов, или хотя бы пять минут, за мозговым штурмом идей, думая о том, можете ли вы уже сейчас что-нибудь сделать.

Если вы скажете, что инопланетяне прилетят только через тридцать лет, и поэтому сегодня вам делать нечего… В более эффективные времена кто-нибудь попросил бы вас предоставить график действий – когда и что нужно делать, и задолго до прибытия. А если у вас не оказалось бы такого графика, то спрашивающий понял бы, что вы не действуете согласно рабочей таблице своевременных откликов, а просто прокрастинируете. Из этого он сделал бы правильный вывод о том, что вы, вероятно, недостаточно хорошо подумали о том, что вы можете сделать уже сегодня.

Пользуясь выражениями Брайана Кэплана [американский экономист и блогер / прим. перев.], каждый, кто спокойно считает, что «сейчас для подготовки ничего нельзя сделать», настроен неправильно; их должно гораздо больше волновать то, что они не могут придумать ни одного способа как-то подготовиться. Или, может быть, спросить кого-то ещё, нет ли у него идей по этому поводу? Ну да ладно.

Вторая. История показывает, что простые люди, и даже учёные, не входящие в ключевую группу передовых исследователей, и даже учёные, туда входящие, часто считают, что ключевые технологические открытия не произойдут ещё много десятилетий спустя, хотя реально до них остаётся лет пять.

В 1901 году, за два года до того, как он поучаствовал в создании первого летательного аппарата тяжелее воздуха, Уилбур Райт сказал своему брату, что до активных полётов пройдёт ещё лет пятьдесят.

В 1939 году, за три года до того, как он лично наблюдал за первой цепной ядерной реакцией в кучке урановых блоков, Энрико Ферми высказал 90% уверенность в том, что уран невозможно использовать для поддержания цепной реакции расщепления. Мне кажется, что и через год после этого, то есть, за два года до развязки, Ферми также сказал, что если получение энергии распада и возможно, то до него должно пройти ещё пятьдесят лет.

Ну а уж если вы не братья Райт и не Энрико Ферми, то вы будете удивлены ещё больше. Большая часть мира узнала о том, что атомное оружие уже есть и работает, только после прочтения заголовков о Хиросиме. Спустя четыре года после полёта флайера братьев Райт ещё находились уважаемые интеллектуалы, утверждавшие, что полёты аппаратов тяжелее воздуха невозможны, поскольку тогда знания распространялись медленнее [самым первым полётом на самолёте считается полёт Клемана Адера, совершённый в 1890 году, за 13 лет до братьев Райт – так что эти интеллектуалы опоздали на 17 лет / прим. перев.].

Можем ли мы сказать сегодня, задним числом, что тогда были какие-то события, знаменовавшие приближение полётов тяжелее воздуха или ядерной энергии? Конечно, но если вернуться в прошлое, почитать газеты того времени, и узнать, что люди говорили об этом тогда, станет ясно, что они не знали, что эти события были какими-то знаковыми, или же они очень сильно сомневались по поводу их значимости. Иные, думаю, играли роль восторженных футуристов и провозглашали неминуемое наступление больших перемен, а другие – роль скептических учёных, пытавшихся загасить детский энтузиазм. И если бы среди всей этой шумихи нашёлся бы предсказатель, сказавший «десятилетия» когда на это действительно ушли десятилетия, и «5 лет», когда на это действительно потребовалось пять лет – что ж, удачных вам поисков в этом шуме. Скорее всего, эти предсказатели говорили «может завтра, а может и через десятки лет» в обоих случаях – когда большие перемены наступали завтра, и когда они наступали через десятки лет.

Одна из основных причин того, что мы сильны задним умом и считаем, что прошлое было более предсказуемо, чем кто-то мог в своё время реально предсказать, заключается в том, что задним числом мы знаем, что именно нам нужно заметить, и фокусируемся только на одной мысли, связанной с тем, что именно означает каждое из имевшихся свидетельств. Но если посмотреть на то, что в то время говорили люди, то станет видно, что они даже не знают, что произойдёт через три месяца, поскольку им неизвестно, какие именно события являлись знаковыми.

Вы можете сказать, что «до ИИОН осталось 50 лет», и это может оказаться правдой. Точно так же люди говорили, что активный полёт произойдёт не раньше, чем через несколько десятилетий, и он произошёл через несколько десятилетий. Проблема в том, все свидетельства выглядят для вас одинаково, если вы реально живёте в этой истории, а не читаете о ней впоследствии.

Это не значит, что всегда, когда кто-либо говорит «через пятьдесят лет», это событие происходит через пару лет. Это значит, что уверенное предсказание об отдалённом наступлении события соответствует знаниям по поводу технологии, которые не меняются, пока вы не подберётесь к передовому краю разработки очень близко. Это сродни «Я не знаю, как это сделать», и иногда вы говорите, что событие произойдёт через пятьдесят лет, а иногда – что через пару лет, а иногда вы говорите это, в то время как флайер братьев Райт летит где-то там, где вам его не видно.

Третья. Прогресс двигают передовые знания, а не средние.

Если Ферми и Райт не могли предвидеть событий за три года, представьте, как тяжело это было сделать всем остальным.

Если вы не находитесь на переднем крае знаний по осуществлению какого-то достижения, и вас вводят в курс дела по поводу того, чему суждено стать лидирующим проектом, вы не сможете на основании имеющихся у вас знаний предсказать необратимый прорыв. Если только вы не способны гениально видеть перспективу неким образом, который не был нужен охотникам и собирателям, и не умеете очень хорошо понимать то, что в распоряжении других людей могут оказаться такие технологии и идеи, о которых вы не имеете представления. Если вы осознанно не компенсируете свои представления, учитывая уроки истории, тогда вы явно склонитесь к тому, что до этого события должны пройти десятилетия. За три месяца до постройки первой чикагской поленницы Ферми уже не считал, что получение ядерной энергии было невозможным или до него нужно было ждать десятилетия – он уже был в курсе всего и видел, как это можно сделать. Но любой человек, не бывший в курсе событий, вероятно считал, что до этого события оставалось ещё пятьдесят лет, в тот момент, когда поленница уже шипела себе на корте для сквоша в Чикагском университете.

Люди не учитывают автоматически тот факт, что момент наступления большого прорыва зависит от передовых знаний в этой области. В этот диапазон попадают люди, знающие больше всех остальных и обладающие наилучшими идеями; так что знания всех остальных людей остаются средними, а средних знаний недостаточно для того, чтобы понять, когда может произойти прорыв. Я думаю, что они об этом вообще не размышляют, и просто делают оценку исходя из собственного ощущения сложности проекта. А если они думают как-то более ответственно, проделывают реальную работу по корректировке своих предубеждений – то таких рассуждений я нигде ещё не встречал.

Чтобы знать, что до появления ИИОН остаются ещё десятки лет, нам нужно достаточно хорошо понимать ИИОН, чтобы знать, каких частей головоломки нам ещё недостаёт, и насколько сложно их получить; такого знания у нас, вероятно, не будет до тех пор, пока головоломка не сложится. Также это означает, что для людей, находящихся за пределами передового круга, головоломка будет казаться менее завершённой, чем она выглядит в этом кругу.

Опять-таки, это не означает, что то, что люди говорят «пятьдесят лет», является определённым признаком того, что что-то прямо сейчас происходит на корте для сквоша. Они говорили про «пятьдесят лет» и шестьдесят лет назад. Это означает, что все, кто считают, что технологические события реально могут предсказать заранее люди, не посвящённые в отчёты о прогрессе лидирующих проектов, и не разделяющие лучшие идеи по поводу того, как можно достичь цели и сколько для этого потребуется усилий, не усваивают уроки истории. Ошибочным представлениям способствуют исторические книги, аккуратно раскладывающие путь прогресса и все те видимые признаки достижений, важность которых мы понимаем только теперь. Иногда возможно предугадать последствия большого прорыва сразу после того, как он произошёл, но очень редко получается сделать точное предсказание о времени наступления такого прорыва на периодах больших, чем один-два года. А если вы один из тех редких людей, что могут предсказывать такие события, если такие люди вообще существуют, то никто не знает, что нужно слушать именно вас, а не восторженных футуристов или скептических учёных.

Четвёртая. В будущем появятся другие инструменты, с помощью которых можно будет легко делать вещи, трудновыполнимые сегодня, или же можно будет с трудом делать вещи, сегодня невозможные.

Откуда мы знаем, что ИИОН появится только через несколько десятилетий? В популярных статьях за авторством руководителей исследовательских лабораторий обычно даётся три основных причины:

А) Автор не знает, как создать ИИОН при помощи современной технологии. Автор не знает, с чего начать.

Б) Автор считает, что делать впечатляющие вещи, доступные современному ИИ, ужасно трудно, ему приходилось очень долго корпеть над фермой из GPU, подстраивая все гиперпараметры. Он считает, что люди недооценивают, насколько сложно достичь таких показателей сегодня, и преждевременно паникуют, поскольку считает, что любой человек может просто запустить Tensorflow и сделать робомобиль.

В) Автор проводит много времени, взаимодействуя с ИИ-системами, в связи с чем лично способен оценить, насколько они тупые и как им не хватает здравого смысла.

Мы уже рассмотрели некоторые аспекты аргумента А. Перейдём к аргументу Б.

Допустим, я скажу: «Сейчас один студент, прослушавший курс информатики, способен за неделю сделать всё, что N+ лет назад всё исследовательское сообщество могло сделать при помощи нейросетей». Насколько велико число N?

На этот вопрос мне в твиттере дали ответ несколько людей с неизвестными мне достижениями, но самым популярным ответом было пять – и мне он кажется правильным на основании моего собственного знакомства с машинным обучением. Конечно, это число не может быть универсальным, поскольку реальность никогда не бывает такой простой. Если вы могли что-то сделать в 2012 году, то сегодня вы можете довольно просто сделать это при помощи современных GPU, Tensorflow, инициализации Ксавьера, пакетной нормализации, усеченного линейного преобразования, оценки адаптивного момента (Adam), RMSprop или просто стохастическим градиентным спуском с инерцией. Настолько современные технологии стали лучше. Конечно, существуют вещи, недоступные нам сегодня при помощи этих простых методов, они требуют уйму работы – но эти вещи в 2012 году вообще были невозможны.

В машинном обучении всё устроено так, что если вы в принципе можете что-то сделать, то всего через несколько лет вы сможете сделать это очень легко, при помощи улучшенных будущих инструментов. С этой точки зрения аргумент Б «вы не понимаете, насколько сложно делать то, чем мы занимаемся», просто нелогичен.

Утверждение Б звучит похоже на высказывание Резерфорда в 1933 году, когда он назвал получение энергии из расщепления атомов «несбыточной мечтой». Если вы были ядерным физиком в 1933 году, вам нужно было расщеплять атомы вручную, бомбардируя их другими частицами, и это была утомительная работа. Если бы кто-нибудь заговорил о получении энергии из атомов, вы могли бы почувствовать, что вас недооценивают, что люди считают вашу работу простой.

Но, конечно, это ощущение всегда будет присутствовать у инженеров, занимающихся ИИ на серьёзных передовых проектах. Вам не будут платить большие деньги за то, что студент сможет сделать за неделю (если только вы не работаете в бюрократической организации, не знающей о том, что такое ИИ; но это не Google и не FB). Ваш личный опыт всегда будет говорить о том, что вам платят за месяцы тяжёлой работы. Поэтому изменение этого опыта вы не сможете использовать в качестве пожарной тревоги.

Люди, играющие роль скептических учёных, согласятся, что теоретически наши инструменты будут совершенствоваться; но в популярных статьях они пишут только о сложностях работы с инструментами сегодняшнего дня. Я думаю, что в таком режиме мышления они даже не пытаются предсказать, какие инструменты будут доступны им через пять лет; в прочитанных мною статьях таких высказываний я не встречал. Я думаю, что когда они говорят вам, что ИИОН появится спустя несколько десятилетий, они дают оценку того, как много времени с их точки зрения потребуется на то, чтобы создать ИИОН при помощи сегодняшних инструментов и знаний. Поэтому они и упирают на то, как сложно рыться в куче линейной алгебры до тех пор, пока она не выплюнет хорошие ответы; мне кажется, они совсем не представляют, как сильно это времяпрепровождение может измениться за срок, гораздо меньший, чем пятьдесят лет. Если они и задумались всерьёз над тем, как искажаются их оценки будущих технологий на основе текущего субъективного чувства сложности, и попробовали компенсировать это искажение, то я таких рассуждений нигде не встречал. И не слышал, чтобы такой метод предсказаний когда-нибудь в истории давал хорошие результаты.

Пятая. Ладно, будем предельно откровенны. Не думаю, что большая часть рассуждений о том, как долго ещё ждать до ИИОН (или о том, как он близко) появляется из-за использования моделирования будущего прогресса в машинном обучении. Я не думаю, что дело в плохих моделях; я думаю, что дело в отсутствии таких моделей.

Я как-то был на конференции, на которой выступало полно знаменитых светил в области ИИ, и большая часть светил кивала головой и соглашалась друг с другом в том плане, что до ИИОН ещё очень далеко – за исключением двух известных ИИ-светил, сидевших тихо и дававших говорить другим.

Во время опросной части я поднялся и сказал: «Хорошо, вы сказали нам, что прогресс не будет таким быстрым. Но давайте будем более конкретными. Я хочу знать о наименее впечатляющем достижении, по поводу которого вы уверены, что его нельзя будет совершить в ближайшие два года».

Наступила тишина.

В результате из выступавших рискнули дать ответы два человека, и говорили они гораздо более осторожным тоном по сравнению с тем, когда рассказывали, как долго ещё нам ждать ИИОН. Они назвали такие задачи, как «Робот достаёт посуду из посудомоечной машины и не разбивает её» и схемы Винограда. Точнее было сказано, что «я вполне уверен, что по схемам Винограда – результаты по работе с которыми в последнее время находятся на уровне 50-60% — мы в ближайшие два года не получим результатов, приближающихся к 80-90%, вне зависимости от используемых людьми инструментов».

Через несколько месяцев после конференции произошёл неожиданный прорыв по схемам Виногорада. Прорыв не достиг 80%, «ура» доверительным интервалам с определённой погрешностью, но мне кажется, что предсказатель сейчас, когда до конца отведённого срока остался только год, нервничал бы гораздо больше. Я не помню, чтобы я читал об этом прорыве, но мне продемонстрировали научную работу, которую учёные могли бы отправить всего через 44 дня после той конференции, и в которой были показаны результаты в 70%.

Но суть не в этом. Суть в том, что наступившее после моего вопроса молчание, и то, что я получил всего два ответа, весьма неуверенно озвученных. Когда я спросил о конкретных вещах, которые невозможно сделать в ближайшие два года, именно тогда, как мне кажется, светила переключились в режим построения модели будущего прогресса в машинном обучении, задаваясь вопросом о том, что они могут или не могут предсказать, что они знают или не знают. И, к их чести, большая часть из них достаточно хорошо разбиралась в своей области, чтобы понять, что предсказывать будущие границы возможностей в быстро развивающейся области на самом деле весьма сложно, что никто не знает, что появится в научном журнале arXiv в следующем месяце, и что им нужно выдавать очень широкие доверительные интервалы с очень щедрой верхней границей касательно того, куда может зайти прогресс, измеряемый в работах с arXiv, за двадцать четыре месяца.

Кроме того, на конференции был и Демис Хассабис [сооснователь компании DeepMind, создавшей компьютерную систему AlphaGo, победившую профессионального игрока в го – прим. перев.], поэтому они знали, что если они назовут что-нибудь недостаточно невозможное, Демис сделает так, чтобы DeepMind занялась этой задачей и решила её.

Стиль моего вопроса сильно отличался от разговоров на конференции, и требовал переключения умственного контекста: собравшимся там светилам пришлось запрашивать свои грубые, едва оформившиеся интуитивные модели прогресса в машинном обучении, и решить, какие именно достижения, если таковые вообще есть, их модель развития области однозначно отметает в двухлетний срок. Вместо, скажем так, социально приемлемых словесных излияний, призванных приглушить всю эту чёртову шумиху, связанную с ИИОН и заслужить предсказуемые аплодисменты аудитории.

Скажу прямо: не думаю, что уверенные заявления по поводу долгосрочных прогнозов вообще хорошо продумывают. Если у вашей модели есть невероятная возможность предсказать, чего нельзя будет сделать в ближайшие десять лет, спустя сто двадцать месяцев потока работ с arXiv, тогда вы точно должны уметь выдавать более слабые предсказания по поводу того, что невозможно будет сделать в ближайшие два года. В своей голове вы должны уметь выстраивать эти предсказания в очередь и пребывать в постоянной готовности их высказать, вместо того, чтобы погружаться в нервное молчание после того, как вас о них спросили.

На самом деле проблема двухлетнего предсказания весьма сложна, а проблема десятилетнего предсказания смехотворно сложна. Будущее вообще сложно предсказывать, наши предсказательные способности в быстро меняющейся и развивающейся области довольно слабы, и не дают нам возможности предсказывать чёткие интервалы, на которых чего-то точно нельзя сделать.

Грейс с коллегами в 2017 году оценили предсказания 352 людей, выступавших на ICML [Международная конференция по машинному обучению] и NIPS 2015 [конференция по системам обработки нервной информации]. В целом предсказания докладчиков сводились к тому, что заявление «все профессии можно полностью автоматизировать» (в том смысле, что «для любой профессии можно построить машину, которая будет выполнять эту работу лучше и дешевле человека») не достигнет 50% вероятности за 121 год. Только вот докладчикам из случайной выборки задали немного другой вопрос: «когда самостоятельно работающие машины смогут выполнять любую задачу лучше и дешевле, чем люди-работники», и в этом случае они сказали, что это с 50% вероятностью станет возможным уже через 44 года.

Вот, что бывает, когда вы просите людей дать оценку, которую они дать не могут, и вот какими должны быть социально приемлемые высказывания.

* * *

Говоря о том, что для ИИОН нет пожарной тревоги, я не утверждаю, что не существует эквивалента появляющегося из-под двери дыма.

Я на самом деле говорю, что дым из-под двери всегда будет спорным; он не будет чётким, неопровержимым, абсолютно точным индикатором огня; поэтому пожарная тревога, обеспечивающая всеобщее знание о том, что ваши действия с этого момента становятся разумными и социально приемлемыми, не сработает никогда.

Есть такой старый троп – как только что-нибудь становится возможным, это сразу перестают называть ИИ. Люди, работающие в области ИИ, относятся к акселерационистам [не в политическом смысле – прим. перев.] и техноэнтузиастам, их можно назвать членами курцвейловского лагеря (я себя к ним не отношу), и часто сетуют на то, что это некорректные суждения, отодвигающиеся цели.

Такая точка зрения не учитывает реальное и важное явление предвзятого отношения к достижениям ИИ: если вы можете сделать что-то впечатляюще выглядящее с ИИ в 1974 году, то это потому, что оказалось возможным как-то дёшево схитрить, а не потому, что в 1974 году достижения в области ИИ были такими потрясающими. Мы не знаем, сколько когнитивных затрат необходимо для выполнения задач, и насколько легко схитрить при их выполнении, поэтому первыми среди «впечатляющих» задач выполняются те, по поводу сложности которых мы ошибались сильнее всего. Было время, когда люди считали, что для выигрыша компьютера у чемпиона мира по шахматам потребуется прогресс в области ИИОН, и что такой выигрыш будет явным знаком продвижения по пути этого прогресса. Когда в 1997 году Deep Blue выиграла у Каспарова, в байесовском смысле мы узнали что-то по поводу прогресса ИИ, но также и узнали что-то по поводу лёгкости шахмат. Учитывая технологии, применявшиеся для создания Deep Blue, в основном мы узнали только, что «удивительно легко играть в шахматы без использования обобщённых технологий», а не то, что «мы продвинулись удивительно далеко по пути к ИИОН».

Была ли AlphaGo дымом из-под двери, признаком того, что ИИОН появится в течение 10 лет? Раньше люди приводили го в качестве примера того, что станет «началом конца».

Я изучил научную работу, описывающую архитектуру AlphaGo, и из неё следует, что, скорее, доступные нам ИИ-технологии гораздо ближе ожидаемого подошли к обобщённому ИИ, чем выигрыш в го оказался удивительно простой и прямолинейной задачей. Конечно, этот метод нельзя просто масштабировать до ИИОН, но AlphaGo выглядит как результат довольно обобщённых идей и технологий, которые приспособили к особому случаю игры в го – не так, как это было с Deep Blue. Я также приблизился к мысли о том, что «обобщённые возможности обучения алгоритма работы человеческого мозга оказались не такими впечатляющими и их не так тяжело эмулировать при помощи градиентного спуска и вагона GPU, как я думал», поскольку если где и используется впечатляющий алгоритм работы мозга, обладающий обобщёнными возможностями обучения и одновременно прошедший естественный отбор, так это у людей, играющих в го.

Возможно, если бы у нас была тысяча планет Земля со схожей историей, мы собрали бы статистику и обнаружили, что компьютер, выигравший всепланетный чемпионат по го, служит уверенным признаком появления ИИОН через десять лет. Но мне это неизвестно. Как и вам. Конечно, сейчас тоже можно заявить, что мы просто выяснили, что в игру го оказалось проще играть при помощи прямолинейных техник, чем мы думали – как это уже часто оказывалось в прошлом. Не существует никакого признака появления реального ИИОН, никакого дыма из-под двери, который сообщил бы нам, что у нас реально пожар, и что до ИИОН осталось 10, 5 или 2 года. Не говоря уже о том, что нет знака, по которому мы бы точно знали о том, что в него поверят все остальные.

В любом случае, многие лидирующие учёные в области машинного обучения уже написали кучу статей, где перечислили свои критерии пожарной тревоги. Они поверят в неминуемость появления ИИОН, когда:

А) Они лично поймут, как создать ИИОН на основе имеющихся инструментов. Они всегда утверждают, что сейчас это не так, чтобы приструнить глупцов, считающих, что до ИИОН осталось недолго.

Б) Когда их личная работа перестанет казаться им слишком сложной. Это, с их точки зрения, и не понимают всякие плебеи, считающие, что ИИОН приближается, ибо им никогда не приходилось не спать до двух часов ночи, пытаясь стабилизировать генеративно-состязательную сеть.

В) Когда они увидят пример ИИ, который покажется им настолько умным по сравнению с человеком, что для них это будет сродни волшебству; но надо учесть, что им известно, как создать у ИИ определённые свойства, и это им уже не кажется волшебством; то есть, им нужен ИИ, который кажется умным при общении с людьми; то есть, им, по сути, уже нужен готовый ИИОН.

Так что никакой пожарной тревоги не будет. Точка.

Никогда не будет такого момента перед концом, когда вы сможете нервно оглянуться вокруг и понять, что вы уже можете говорить о неизбежности ИИОН в рамках общего знания об этом, принимать меры, покидать здание без паники и соблюдая порядок, так, чтобы не бояться выглядеть глупым или трусливым.

* * *

Насколько я могу оценивать ситуацию, теперь, когда у нас уже есть AlphaGo и парочка других предупредительных выстрелов, и взрыв усилий, вкладываемых в машинное обучение, и огромный поток научных работ, мы, скорее всего, останемся в нашем эпистемологическом состоянии до самого конца.

Говоря, что мы будем оставаться в текущем состоянии почти до самого конца, я не имею в виду, что мы знаем о неизбежности ИИОН, или что в это время не случится новых, важных прорывов в области ИИ. Я имею в виду, что очень сложно догадаться, сколько ещё новых идей потребуется для создания ИИОН, или сколько времени у нас уйдёт на появление таких идей. После следующего прорыва мы всё равно не будем знать, сколько нам понадобится ещё прорывов, из-за чего мы и будем дальше пребывать в таком состоянии, как раньше. Какие бы открытия и достижения не появлялись далее, всё равно будет очень сложно догадаться, сколько ещё нам нужно будет идей, и временные оценки будут оставаться такими же мутными. Возможно, энтузиазм и финансирование исследований будут только расти, и мы сможем говорить об укорачивании временных оценок; или мы уткнёмся в очередную «зиму ИИ», и это будет говорить об удлинении предыдущих оценок; но сколько нам потребуется времени, мы знать не будем.

В какой-то момент мы можем увидеть внезапный наплыв работ из arXiv, в которых со всё увеличивающейся скоростью будут решаться очень интересные, фундаментальные, пугающие когнитивные задачи. Вследствие чего с усилением этого потока даже мнящие себя скептичными люди разнервничаются настолько, что скажут, что до ИИОН, возможно, осталось уже 15 лет, вероятно, скорее всего. А ближе к концу знаки могут стать настолько явными, что люди решат, что уже социально приемлемо говорить о том, что ИИОН, возможно, появится уже через 10 лет. Хотя этим знакам придётся быть чертовски явными, чтобы преодолеть социальный барьер, наведённый светилами, оценивающими сроки прихода ИИОН через свои личные знания и сложности, а также исторические неприятные ощущения зим ИИ, произошедших по вине сопутствующей шумихи.

Но даже если станет социально приемлемым говорить о том, что ИИОН появится через 15 лет, в эти последние пару лет или месяцев, я думаю, что несогласные всё равно будут. Будут спорщики, которые, несмотря на решение проблем с ассоциативной памятью и эмуляцией мозжечковой координации (или чего-нибудь ещё) всё равно не будут знать, как создать ИИОН. Они отметят, что не существует ИИ, пишущих научные работы по информатике, или ведущих осмысленный разговор с человеком, и обвинять в паникёрстве тех, кто рассуждает так, будто знает, как это провернуть. Они будут объяснять, что глупые людишки не понимают, сколько сложностей и всяких подстроек требуется для того, чтобы текущая система работала (хотя современные им методы уже способны будут легко делать всё, что было возможным в 2017 году, и любой студент будет знать, как замутить стабильную генеративно-состязательную сеть с первого раза при помощи модуля tf.unsupervised module в Tensorflow 5.3.1.).

Когда все кусочки уже будут готовы и расставлены по местам, и не будет хватать одного последнего, доступного на самом передовом крае знаний и творчества всего мира, всё равно среднему человеку будет казаться, что ИИОН – это страшно трудная задача, маячащая где-то далеко, поскольку лично он всё ещё не знает, как построить ИИОН-систему. Престижные директора исследовательских групп ИИ всё ещё будут писать статьи, описывающие глупые волнения по поводу уничтожения жизни на Земле и будущих благ, доступных нам благодаря ИИ, говоря нам, что эта перспектива не должна отвлекать нас от реальных, уважаемых проблем вроде систем одобрения кредитов, научившихся распознавать человеческие когнитивные искажения.

Конечно, будущее очень сложно предсказывать в деталях. Это настолько сложно, что я не только признаюсь в том, что не могу это делать, я даже сделаю более сильное утверждение – этого не может делать никто. События могут развиваться по сценарию «поток прорывных работ на arXiv», но это просто невероятно конкретный сценарий, который я придумал просто для примера. Он не основан на моём обширном опыте наблюдения за землеподобными цивилизациями, разрабатывающими ИИОН. Я оцениваю как крупную вероятность сценария «вне Манхэттенского проекта не было никаких видимых сигналов, пока не случилась Хиросима», поскольку он довольно простой. А всё более сложное скорее всего окажется ещё одной историей с обременительными подробностями, которая будет неверной.

Но вне зависимости от того, какими окажутся детали, я предсказываю, что не будет никакой пожарной тревоги, отличающейся от реально существующего и работающего ИИОН. Никаких предварительных безошибочных сигналов, о которых будут знать и с которыми согласятся все люди, которые позволят людям действовать, не волнуясь о том, что, возможно, они делают это преждевременно. История технологий обычно развивалась совсем не так даже в менее сложных вопросах, типа полётов и ядерной физики, не говоря уже о более сложных случаях, типа нашего, в котором спорят по поводу всех признаков и моделей. Мы уже достаточно знаем по поводу неопределённостей и низкого качества споров по этому вопросу, чтобы уверенно заявить, что никаких социально приемлемых признаков приближения ИИОН не появится ни за 10 лет, ни за 5, ни за 2 года до его появления. А если и будет какая-нибудь всеобщая паника, она произойдёт по совпадению, на основе плохих рассуждений, и не будет совпадать с реальным развитием событий кроме как по случайности, например, из-за голливудского фильма, и она будет концентрироваться на относительно простых опасностях.

Не случайно, что никто не дал никаких чётких определений подобной пожарной тревоги, и не показал убедительно, сколько именно времени нам осталось, и какие именно проекты нам нужно будет начинать после неё. Если кто-нибудь напишет подобное предложение, то следующий за ним напишет что-нибудь совсем другое. И никто из них, скорее всего, не сумеет убедить меня, что им известно будущее и расписание предстоящих событий, или что они определили разумный подход к решению этой задачи, который (а) стоит того, чтобы его в принципе осуществлять и (б) не стоит начинать прямо сейчас.

* * *

Мне кажется, что решение отложить все дела до появления какой-то расплывчатой, совершенно неопределённой тревоги в неустановленном будущем подразумевает беспечность, достаточную для того, чтобы начал работать закон постоянных неудач.

Закон постоянных неудач говорит о том, что если ваша страна достаточно некомпетентна для того, чтобы использовать простые девятизначные цифровые пароли для всех банковских счетов и заявок по выдаче кредитов, то ваша страна недостаточно компетентна и для того, чтобы скорректировать направление развития после такого бедствия, в котором база из сотни миллионов паролей попала в открытый доступ. Цивилизация, достаточно компетентная для того, чтобы сменить курс в ответ на такой стимул, отреагировать на него так, как вы хотите, чтобы они отреагировали, достаточно компетентна и для того, чтобы вообще не совершать такой ошибки. Когда происходит всеобъемлющий и очевидный отказ системы вместо подспудных неполадок на самой грани компетентности, следующий стимул не заставит эту систему внезапно переключиться на интеллектуальную работу.

Закон постоянных неудач особенно важно иметь в виду, работая с большими всемогущими системами или людьми с высоким положением, которых вам очень не хочется ругать. Вы можете захотеть сказать что-то вроде: «Ну, сейчас система несовершенна, но как только в будущем появится подходящий стимул, она резко поменяется, станет нормально и всё будет в порядке». Системы, оправдывающие такую надежду, выглядят так, будто они и так уже делают большую часть важных вещей правильно, и им недостаёт пары шагов до сознательной работы. И такая надежда почти никогда не будет оправданной, когда человек, организация, правительство или социальная подсистема лажает по-крупному.

Недальновидность, позволяющая игнорировать приземление инопланетян через тридцать лет, уже достаточно крупная, чтобы остальные провалы не выглядели неожиданными.

И сегодня, когда всё это происходит одновременно, можно предсказать, что эта же система с её стимулами не дадут правильных результатов, получив неопределённый сигнал о том, что, возможно, инопланетяне приземлятся уже через пять лет. Закон постоянных неудач утверждает, что если существующие власти ошибаются, считая, что имеет смысл перевести обсуждение с экзистенциального риска на более реальные, с их точки зрения, проблемы вроде безопасности робомобилей, то следует ожидать, что они и в будущем будут говорить всякую ерунду.

Люди, делающие большое количество ошибок одновременно, не помечают у себя в голове неправильные мысли как «неправильные». Даже при наличии мотивации они не могут внезапно переключиться на правильные рассуждения и предсказание будущих шагов. Да, мы проводили разные эксперименты, демонстрирующие, что денежное поощрение может уменьшить самоуверенность и политические искажения, но а) это уменьшение, а не устранение, б) это работает с прямыми и краткосрочными поощрениями, а не с неопределёнными политическим заявлениями типа «на кон поставлено многое», и в) это не означает, что переключатель поворачивается на всю, вплоть до «проведения сложных и правильных рассуждений». Если у кого-то в мозгу есть переключатель, способный включить сложное и правильное рассуждение, то у него есть достаточно внутренней точности и умений для того, чтобы думать по большей части правильные мысли сегодня, а не когда-то потом – по крайней мере до такой степени, чтобы консервативно оценивать и дважды проверять решения, которые при неправильном подходе могут вас убить.

Нет никаких знаков, знамений, порогов, после которых люди могут внезапно проснуться и начать систематически всё делать правильно. Люди, способные настолько компетентно реагировать на любой знак, не говоря уже о не очень идеальных и довольно спорных свидетельств о наступлении «звоночка», уже наверняка просчитали весь график наступления событий. Они уже представили себе будущие знамения, пошли дальше, и уже поразмыслили над разумными идеями – как говорит Стюарт Рассел, «Если вы знаете, что инопланетяне приземлятся через тридцать лет, это уже сейчас является большой проблемой».

В те дни, когда организация, ныне известная, как Исследовательский институт машинного интеллекта (MIRI), с трудом находила финансирование, я узнал, что люди, пожертвовавшие деньги в прошлом году, скорее всего пожертвуют их и в текущем, а люди, в прошлом году планировавшие пожертвовать деньги " следующем году", и сегодня будут планировать пожертвовать их «в следующем году». Конечно, бывали и переходы из нуля в единицу; всё, что происходит, должно произойти впервые. Бывали студенты из колледжей, говорившие «потом», и ничего не дававшие достаточно долго, а потом устраивавшиеся на хорошую работу и начинавшие делать пожертвования. Но также я узнал, что как многие дешёвые и простые утешение, слово «потом» вырабатывает зависимость, и что эта роскошь присуща как богатым, так и бедным.

Не думаю, что с вопросом регулирования ИИОН что-то будет по-другому. Люди, которые пытаются по возможности справиться с проблемой регулирования, в следующем году уже немного (или сильно) продвинутся на пути решения проблемы, чем в прошлом (конечно, учитывая какие-либо прорывы, произошедшие за это время). Люди, желающие отложить проблему на попозже, когда появится лучшее понимание ИИ и ИИОН, после прогресса в этой области в следующем году захотят отложить эту проблему на будущее, когда появится ещё более хорошее понимание ИИ и ИИОН.

Некоторые люди хотят, чтобы регулирование было, и поэтому пытаются понять, каким образом можно заставить систему, обучающуюся с подкреплением, надёжно определять функцию полезности над определёнными элементами модели каузального окружения. Другим больше нравится работать над другими вещами, поэтому они предпочитают заявить, что сегодня никакой работы сделать невозможно, и не подумать заранее пару часов над тем, что реально можно сделать. И это не изменится завтра, если только завтра мы не увидим какие-нибудь интересные заголовки новостей, и даже тогда это, скорее всего, не изменится. Роскошь говорить «потом» доступна не только при отсутствии хороших вариантов действий.

Спустя какое-то время я начал говорить приверженцам эффективного альтруизма в колледже: «Если вы хотите зарабатывать больше, чтобы отдавать больше, то пока что жертвуйте по $5 раз в три месяца. Но никогда не жертвуйте одно и то же количество или одной и той же организации дважды подряд, чтобы практиковаться в привычке пересматривать цели и пересматривать размер пожертвования. Не прививайте себе привычку всегда говорить „потом“.

Точно так же, если кто-нибудь собирается работать над регулированием ИИОН „позже“, я скажу ему, чтобы он каждые шесть месяцев провёл пару часов над построением наилучшей на текущий момент схемы для регулирования ИИОН и над полезными действиями в этом направлении. Предполагая, если это необходимо, что ИИОН можно сделать при помощи технологий, напоминающих современные. Опубликовывая свою текущую, недостаточно хорошую, схему, хотя бы в Facebook. И пусть им будет стыдно за схему, не выглядящую так, будто над ней действительно кто-то думал два часа в попытках найти наилучший подход.

Что-то связанное с ИИ мы лучше поймём в будущем, и что-то поможет нам получить уверенность в том, что определённые методы исследований непосредственно связаны с созданием ИИОН. В будущем могут произойти социологические события, похожие на публикацию книги Ника Бострома „Сверхинтеллект“, твит Илона Маска по этому поводу, запустивший камень в окно Овертона, или присоединение к этому событию такого более уважаемого светила, как Стюарт Рассел. В будущем произойдёт больше событий, похожих на появление AlphaGo, которые смогут публично осветить новые прорывы в машинном обучении. Может так получиться, что это не оставит нас в том же самом эпистемологическом состоянии, в каком находимся мы, уже увидев AlphaGo и генеративно-состязательную сеть. Это может случиться! Я не вижу, как, но у будущего есть возможность организовывать подобные сюрпризы.

Но прежде чем начинать ожидать такого сюрприза, нужно спросить себя, является ли неопределённость графика появления ИИОН такой уж неопределённой. Если вам кажется, что предположения о 50% вероятности появления ИИОН через N лет недостаточно для того, чтобы действовать – спросите себя, как бы вы чувствовали себя, если бы верили, что вероятность наступления этого события через N лет равняется 50%, и все остальные жители земли тоже верили в 50% через N лет, и все верили, что это допустимо и нужно проводить политику P когда вероятность появления ИИОН через N лет составляет 50%. Если такая мысль вызывает у вас другие ощущения, тогда любая неопределённость, связанная с тем, нужно ли делать P, не связана с тем, придётся ли нам ждать больше, чем N лет, пока появится ИИОН.

И почти наверняка вы так и будете испытывать эту неопределённость, вне зависимости от того, как сильно приблизилось появление ИИОН. Неважно, через какое время появится ИИОН, любые знаки почти наверняка не приведут к появлению общепризнанного общественного знания о том, что у ИИОН есть 50% вероятность появиться через N лет, поэтому и не появится никакого соглашения о том, что вполне допустимо реагировать на это, проводя политику P.

А если всё это станет общественным знанием, тогда P уже вряд ли будет проигнорированным вмешательством, а регулирование ИИ – проигнорированной проблемой; к тому моменту вы уже слишком долго ждали, и будет поздно.

Более вероятно, что никакого общественного знания не будет, поэтому по поводу необходимых действий всегда будет ощущаться некоторая неопределённость.

Вы можете действовать, несмотря на это, и можете не действовать. В лучшем случае вы не будете действовать, пока уже не будет поздно что-то серьёзно менять. В среднем случае вы не будете действовать вообще, пока всё это по факту не произойдёт.

Не думаю, что очень умно ожидать неназванного эпистемического чуда, чтобы оно изменило наши ощущения. Вы, скорее всего, будете находиться в таком состоянии довольно долго – включая сюда и эту нервную неопределённость. Если вы расправляетесь с этим состоянием, говоря „позже“, тогда какой-либо порядок действий вряд ли приведёт к каким-либо хорошим результатам для планеты Земля.
Поделиться публикацией
AdBlock похитил этот баннер, но баннеры не зубы — отрастут

Подробнее
Реклама
Комментарии 73
  • +12
    Нам нужна система противостояния сепулькам.

    Мы не знаем что такое сепульки, мы не можем предсказать, когда они появятся, мы не можем описать критерии, по которым что-то считается сепулькой, но нам точно надо создать средства реакции на появления сепульки.

    Потому что мы не знаем когда появятся сепульки.
    • +2

      А что, ждать, когда наступит "Темза, сэр!" ?


      Что говорить про сепульки — меня не так давно поразило, что офисный планктон не начинает эвакуацию при звуках пожарной тревоги. Сидят, смотрят на менеджера — можно массово ломиться на выход или нет? А он такой: "ща я позвоню, может это учебная тревога. Или ложная. Хм, что-то там у них занято, ну, я немного позже еще попробую дозвониться". (Так что я никого не стал дожидаться — и ушел по пожарной лестнице. Там я встретил еще одного такого перстраховщика, и мы вышли на улицу вдвоем. И это на середину дня, 12 этажного здания… )


      Мне очень понравилась аналогия с посланием от пришельцев "ждите. мы к вам летим." А никто и в ус не дует.
      А ведь нет ни одного (ну, по крайней мере из вменяемых) специалиста, который бы сказал "этого не будет", и только сроки от "в следующем десятилетии" до "в следующем веке" (при этом — сравните разницу между возможностями сейчас и 100 лет тому назад.)
      Когда такое нечто, РАВНОЕ по интеллекту человеку, но НЕ Homo Sapiens, появится — всё, что останется делать, это расслабиться и попытаться получить удовольствие ...

      • 0
        А что, ждать, когда наступит «Темза, сэр!» ?
        Мне тут скорее вспоминается мультик про «приближается ТЧ». Никто не знает зачем, но суслики уже бегают и призывают всех строить заборы.
        • –1

          Понятно, что на любой движ и панику прибегут шарлатаны и начнут окучивать тему — разгонять еще больше движения и паники.


          Заголовок спойлера

          image

          • +1
            Ну так, никем не доказано, что ИИ — это абсолютное зло, само существование которого недопустимо. Подозреваю, по факту окажется, что к тому моменту, когда даже самый упорный скептик скажет «да, это действительно ИИ» — он будет уже везде и всерьез с ним бороться захотят только полные маргиналы, потому что его отключение (если такое в принципе будет возможно) привело бы к коллапсу всей экономики, от торговли до транспорта и сельского хозяйства.
            • 0
              Тем временем, на надеждах и страхах ИИ можно зарабатывать вполне материальные деньги здесь и сейчас :)
              • 0
                … и на эти деньги разрабатывать ИИ. %)
        • +9
          Я три пожара пережил) людей гоню пинками даже во время совещания вместе со всем руководством. Дома укладывались в 6 минут на эвакуацию с двумя детьми с аварийным рюкзаком. Кошку цинично оставили, впрочем, ибо сильно замедляет. Возможно, им мешает отсутствие опыта наблюдения ревущей струи огня из шахты лифта, которая отрезает путь вниз.
          • +1
            Я думал, самое опасное при пожаре это дым, а не огонь. Я не прав?
            • +2
              Опасное и впечатляющее — не одно и тоже.

              Пережил два пожара, согласен с Meklon. С тех пор привычка держать все ключевые документы в одном портфельчике с предсказуемым местонахождением.

              btw, когда дым от горящих этажом ниже лакокрасочных имеет такую плотность, что не видно пальцев вытянутой руки, и спросонья сначала добегаешь до форточки и делаешь несколько вдохов свежего воздуха, а потом только начинаешь соображать — такое тоже запоминается, да.
              • +3
                Правы. Но в тот раз просто лифт подожгли. А лифтовая шахта мгновенно превращается в ревующую низким вибрирующим рокотом аэродинамическую трубу. Страшно, $$++)&@ц как. У меня плитка в ванной раскалилась, она к подъезду примыкает. А лестница в старом доме не отдельным колодцем, а вместе с лифтом. И все. Не выйти.
                • –1
                  Пожарные лестницы небось погнили и были спилены «в целях безопасности»?
                  • 0
                    Где вы их видели? У нас они были только у «сталинок» и по ним ползали всякие «личности», и таки да, они были подгнившими, быстрее разобьёшся с такой.
                    Ну и повсеместные лепнина, натяжные потолки, пенопластовая плитка, изоляция/утеплитель не способствуют выживаемости при пожаре.
                    У кого-нибудь дома есть хотя бы банальный огнетушитель?
                    • +2
                      У меня) сейчас хочу ещё и противогазы перевезти от родителей свои.
                      • 0
                        Обычные противогазы при пожаре использовать категорически запрещено. Вам нужны т.н. «самоспасатели».
                        • 0
                          Почему? У меня что-то вроде М40А1:
                          image
                          • +1
                            Дело в том, что многие войсковые и гражданские противогазы без специальных дополнительных патронов не поглощают угарный газ.
                            www.siz74.ru/otvety-na-voprosy/mozhno-li-ispolzovat-protivogaz-pri-pozhare. Пожарные пользуются изолирующими противогазами, это совсем другое устройство.
                            Самоспасатель — другое дело. По сути, это герметичная маска, шлангом соединённая с патроном, вырабатывающим кислород. Он как раз предназначен для случаев пожара.
                      • +1
                        Гм. В десятиэтажках видел. Балконные. С опускаемыми секциями. На амбарных замках. Не одними сталинками мир полнится, даже у нас. Кстати утеплители и изоляции тоже разные бывают. Некоторые держат совсем немаленькие температуры ощутимое время.

                        Пожарный шланг есть подключенный и углекислотный огнетушитель перезаправленный вот только месяц как. Противогазов нет, но есть дежурные два респиратора. Этаж второй.
                      • +1
                        Не было никогда.
                • +2
                  Я могу сказать «что такое Темза» и что такое «Темза вышла из берегов», но у меня нет ни малейшего представления, что такое ИИОН, как он выглядит и что делать.

                  Если мы переименуем ИИОН в «сепульку», то известные нам свойства объекта не поменяются, потому что у объекта нет известных нам свойств.

                  Именно потому, алармизм в этой ситуации абсурден. Кто-то придумал, что может быть, может такая штука существовать, и теперь мы все бегаем в ужасе «А ЧТО ЕСЛИ ЭТА УЖАСНАЯ ШТУКА СУЩЕСТВУЕТ?».
                  • +1
                    Так, но не совсем.

                    Роботы с самовоспроизводством, способные моделировать человеческий мозг в реальном времени, могу представлять некоторую угрозу. И это — вполне понятная система с известными свойствами.

                    Другое дело что от сейчас до PROFIT присутствует слишком большое количество ???, чтобы делать серьёзные выводы о необходимых мерах безопасности.
                    • +2
                      «Могут представлять угрозу» — сепульки тоже могут. Если вы допустите, что они умеют сепулиться и сепуление наносит вред человеку, то из этого ясно вытекает, что сепульки вредны.
                      • 0

                        там не столько сепуление само по себе вредно, сколько то, что оно у них происходит очень быстро — пока хомосапиенс успел понять, что что-то не так, пока нажал кнопку "выкл", оно уже справилось

                        • 0

                          Про скорость сепуления у сепулек ничего не известно. А биржевой робот конечно может быть сепулькой, а может и нет.

                          • +3
                            Биржевой робот совершенно не относится к ИИ. Он относится к ИИ не больше, чем, например, автомат, разрывающий линию при превышении тока, или cron-скрит, делающий бэкап.
                          • +4
                            Кто «оно»? Что «быстро»? Всё, что сейчас называют «ИИ» — банальные компьютерные функции множества переменных, с оригинальной идеей о процессе их тренировки. К интеллекту, хотя бы даже на уровне животных, даже близко не находится.

                            Все же рассказы про «ИИОН» относятся к категории научной фантастики дальнего прицела, и когда про него начинают говорить с позиции «надо» это эквивалентно разговорам о сепульках или планетарной защиты от инопланетян.
                      • 0
                        но у меня нет ни малейшего представления, что такое ИИОН, как он выглядит и что делать.

                        Собственно, автор и предлагает — сесть и подумать, как его обнаружить, если нельзя напрямую — то по каким побочным эффектам.
                        Взять радиацию — люди ее тоже не могут ни увидеть, ни унюхать, ни пощупать. Даже если ее очень много — эффект наступает не сразу. И, когда журналисты спрашивали ученых — что она делает, то было "ну, микробы убивает" или там "в темноте светится". А коммерсанты пытались, то радиоактивный шоколад с зубной пастой, то стрелки часов торием красить ...


                        Я вот например боюсь не столько, что оно "злобно зохватит мир", а что в поисках привлекательных для людей вещей — сгенерирует какой-нить сверхстимул "ни в сказке описать, ни глаз не отвести".

                        • +1
                          А почему автор предлагает думать о несуществующем ИИОН, свойства которого никто не может предсказать, вместо того, чтоы думать о несуществующих сепульках, свойства которых никто не может предсказать?

                          Как можно бояться того, что мы не можем сформулировать?

                          Пример с радиацией совершенно некорректный, потому что радиация сначала была определена по своим свойствам, а потом уже стала понятна причина (и последствия). Засвеченные плёнки, светящийся материал, etc. Ничего подобного с ИИОН у нас нет, поскольку никакого ИИОН у нас нет и никаких причин полагать, что он появится, у нас тоже нет (если бы у нас были причины полагать, то мы бы могли сказать что именно мы полагаем, что появится, а мы не можем сказать, что такое ИИОН, так что предполагать появление чего-то, что мы не можем даже описать, невозможно).
                          • 0

                            Пример с радиацией немного в другую сторону.
                            Пока что она засвечивает пленки и ионизирует газы и все весело делают интересные опыты. Поднимают мощность излучения, увеличивают экспозицию…
                            А ведь можно было бы заранее подумать — к чему это приведет, и как этого избежать.

                            • +1
                              Нет, нельзя. В рассуждениях можно отталкиваться только от известных фактов. На тот момент ничего о воздействии радиации на биологические ткани известно не было, про ДНК в тот момент знали, что это кажется какая-то разновидность белка — о кодировании генетической информации информации не было, о том, что радиация может повреждать ДНК — информации не было. Ну и о чем тут думать-то собственно? Как начали люди страдать от радиации — так и разработали средства защиты. Все, конец истории.
                            • +2

                              Автор изначально опубликовал своё эссе на сайте, где читатели обычно будут более-менее знакомы с бэкграундом по этому вопросу. Читая этот текст "с нуля", конечно, многое может показаться более безосновательным, чем оно есть на самом деле; например, про некоторые свойства AGI можно говорить с большой степенью уверенности. Я не рассчитываю, что это замечание будет выглядеть убедительно, поэтому вкину сюда немного авторитета и укажу на то, что многие исследователи из DeepMind, OpenAI, UC Berkeley, University of Oxford и т.д. как минимум обеспокоены вопросами обеспечения "безопасности" ИИ (aka "the problem of aligning smarter-than-human AI with operators’ goals"), а то и работают в этой области; из самых громких имен технарей можно выделить Шейна Легга (сооснователя DeepMind) и Стюарта Рассела.


                              Если хотите получить общее представление об этих вопросах — вот отличное введение: https://habrahabr.ru/company/parallels/blog/330204/. Ещё, если захотите копнуть чуть глубже, можете полистать материал по ссылкам, которые указаны в статье, и по тем, которые я указал выше о некоторых свойствах AGI.

                          • 0

                            Ни малейшего? Совсем? Или все же ожидаете, что он сможет выполнять работу человека (если захочет) и принимать сложные самостоятельные решения. Тут намного более информации, чем о сепульках.

                            • 0
                              и принимать сложные самостоятельные решения

                              Свою секту открывать. А что? Со всеведением и невидимостью у него даже лучше выйдет, чем у людей.

                          • +2
                            Если пожарка в бизнес-центре срабатывает минимум раз в неделю, то бдительность слегка притупляется. = )
                        • +2
                          Следующие milestones на пути к AGI, простите, ИИОН, это автопилоты 5 уровня и убедительные победы во всяких старкрафтах. Тогда можно будет собираться и выходить из здания. А, ну да, выходов отсюда нет. Выйти мы сможем только после пожара, если повезет.
                          • +1
                            Комната заполняется дымом. Два чувака в белых халатах говорят ничего не предпринимать. В чём логика? Конечно, не предпримешь. Тупой способ проверки
                            • 0
                              Не два человека говорят третьему ничего не предпринимать, а двоим заранее сказали, чтобы они ничего не предпринимали. Смысл в реакции третьего, который об эксперименте не предупрежден.
                              • +1
                                Я тревогу нажимаю в таких ситуациях) есть инструкция же)
                                • 0
                                  Описано, к сожалению, так
                                • 0

                                  Есть еще "Эксперимент Аша"


                                  Там правда без дыма, но на эту же тему.

                                • +11
                                  Боже мой, это такой талант описывать одну и ту же мысль снова и снова и снова и снова…
                                  Ведь можно было как-то и покороче?
                                  • +1
                                    Такой вот он, любимый многими Юдковский. Пожалуй, не буду больше его переводить.
                                    • 0
                                      Ну не в упрёк, конечно же. Но из песни перевода слов не выкинешь. За перевод спасибо! ) Иногда можно только большим количеством слов убедить. И мысль донести все-таки получилось. Есть о чем задуматься
                                      • +3
                                        Вот чёрт, даже не посмотрел на автора, это же и правда Юдковский написал. Его робот-пылесос небось укусил перед этой статьёй.
                                        • +1

                                          Жаль. Потому что он в тексте не повторяется, он рассматривает сотню тонкостей, куда смог бы спрятаться мыслительный процесс.


                                          Может хватило бы одного-двух предложений из этого текста, но они разные для разных людей, потому их так много в итоге.

                                        • +1

                                          Почему-то такие многократные повторы часто встречаются у американских авторов. То ли талант, то ли гонорар за количество знаков, то ли просто так принято.

                                          • +1
                                            Просто их детства учат — повторение — мать учения. У них все учебники такие, и фильмы, и лекции так строятся.
                                        • 0
                                          Рискну прослыть луддитом, но…
                                          «Настоящий» АИ не будет создан вообще никогда. Ну ладно-ладно, в те самые 10 или 50 лет точно. :)
                                          А будет вот что:
                                          Всё*, что сейчас создано человеком, а особенно — в области информатики, является как бы продолжением его руки, инструментом, который не является умнее своего создателя, а просто часть его. Функция с заданными параметрами, если угодно. И проблемы будут именно из-за «животной» части. Представьте человека, натачивающего скальпель, а лучше — бритву (потому что люди стараются все свести сначала к приземленным благам — как бы побриться получше, например), вот он ее точит и бритва становится все острее и острее. В какой-то момент, в силу единственного непогрешимого «человеческого» закона (в отличие от физических) — закона Мерфи — рука дрогнет. И тогда случится простая вещь — человек покалечит сам себя. Не будет виноватых. Кроме его самого и его природы. :)
                                          Теперь вернемся обратно от аналогий к контексту. ИИ — инструмент, и не имеет своего сознания, только те установки, что ему вложат те, кто его создаст. Посему, прежде, чем люди смогут создать чистый разум (самообучившийся с нуля, у которого, кстати, равновероятные шансы стать «злым» или «добрым», но это отдельная тема), они создадут нечто ограниченное, ущербное, ну как Скайнет или ИИ из «Дружба это оптимум» (да и вообще большинство популярных образов ИИ), да к черту сложности — тупо автопилот! — что, в результате ошибки человека, даст сбой и приведет к последствиям, масштаб которых зависит только от того, насколько глубоко проникнет данная технология в жизнь людей, насколько сильно она будет контролировать все вокруг, а главное — насколько она будет зависеть от слабостей создателей, пусть даже не всегда осознанных. Проще говоря — все тот же человеческий фактор. :)
                                          Поняв это, можно призадуматься, а не имеют ли популярные «паникеры», вроде Хокинга, то же самое в виду, но, как обычно, «ученый изнасиловал журналиста»? :)

                                          В общем, пока ждем новых — совершенно новых! — технологий, и попутно стараемся не забывать о технике безопасности (в контексте статьи это значит — подстилаем соломку строим ракетные базы вокруг планеты и на ней. и медленно ползем к ближайшему кладбищу). :)
                                          *
                                          Небиологической природы. «Хорошо» спроектированная зараза убьет всех гораздо надежнее любого ИИ. :)
                                          • 0

                                            Мы не знаем — как в человеке что устроено, но это не мешает нам устраивать встречу сперматозоида с яйцеклеткой.
                                            В глубоких нейронных сетях уже сейчас настолько много параметров, что можно только разглядывать картинки оттуда, и понимать ее только в общих чертах, не на 100%. И размывание понимания это не только там.
                                            Так что на "не является умнее своего создателя" я бы не рассчитывал. Тем более, что все реже есть создатель как один человек, а все больше — коллаборации в несколько тысяч "соавторов".

                                            • 0
                                              Вот именно! Это все равно что дать обезьяне гранату. Карго-культ же. Отличие только в том, что эту гранату мы сами себе дали. То есть тот, кто создал ее, еще может понимать последствия, но те, кому ее дали — далеко не факт. :)
                                              Так что, «не является умнее» именно создателя, а не всех потенциальных пользователей.
                                              Именно так, коллаборация это и бонус и проклятие человека — он, по отдельности, «внезапно смертен», а те, кто придут после — некомпетентны, как минимум — поначалу, и на этой роли.
                                              • 0

                                                Человечество создаст ИИОН, после чего скелет хомо сапиенс по праву встанет рядом со скелетами питекантропа и неандертальца ?

                                                • 0
                                                  Ну, в некотором смысле. Людей на планете станет заметно меньше в итоге. Вопрос только в том, быстро насильственно или нет. %)
                                            • 0
                                              Дружба это оптимум
                                              Не всегда, зависит от того, как ведут себя остальные участники взаимоотношений.
                                              Можно поэкспериментировать: notdotteam.github.io/trust
                                              • +1
                                                Это просто название рассказа. :)
                                                • 0

                                                  предлагаете делать ИИОН в виде MLP ?

                                                  • 0
                                                    Наоборот. :)
                                                    • 0

                                                      эхх, а мне он так понравился! (жалко только животных и растений в эпилоге)

                                                      • 0
                                                        Ну, он ОЧЕНЬ мощный. Но все равно калека. :)
                                                        Мне больше жалко (не)гуманоидов, вот попали так попали. %)
                                            • +3
                                              Да уж, в статье сущая правда. Несколько раз уже было такое, что замечал что-нибудь ненормальное, вроде дыма или запаха газа на улице, а люди находившиеся рядом говорили, мол, «да ладно тебе, зачем звонить в пожарку/газовщикам, дым/запах ничего не значат...». Я, правда, всегда звонил, а на меня смотрели как на двинутого социально активного человека :D К слову, когда звонил вот газовщикам, вызов оказался нужным — действительно была утечка на распределительном пункте, на которую датчики не отреагировали автоматически.
                                              • +2
                                                Да везде так. Мы вызвали газ службу из за запаха на первом этаже. Позвонили во все квартиры на первом этаже! Всем пофиг, а половина даже чувствовала запах, но тоже пофиг. Но оказалось, что газ службе тоже пофиг, т.к. приехали через 2 часа.
                                                • 0
                                                  Отличная аналогия к тому как обычные люди реагируют на предостережения врачей, учёных, экологических «алармистов». Ой, не было такого никогда и не будет!

                                                  А потом шлёп и инсульт.
                                                • +1
                                                  Пособие «Как превратить фразу
                                                  Мы не можем предсказать, когда появится ИИОН, поэтому необходимо начинать думать над его рисками уже сейчас.
                                                  в шесть с половиной тысяч (!) слов текста.»
                                                  Издание второе, дополненное.
                                                  • +1

                                                    Шесть с половиной тысяч слов, объясняющих, почему. Любое объяснение или доказательство какого-то утверждения всегда длиннее, чем само утверждение.

                                                  • +3

                                                    Слава роботам! Убить всех человеков!

                                                    • –2
                                                      Лег спать, только заснул — начинается землетрясение.
                                                      С мыслью, «ну нафига вот прямо сейчас, только заснул?», не встаю, потому что привык и это рутина. Потом чувствую, пля, 6+ баллов, подрываюсь, в этот момент свет выключают на электростанции, одежду спросонок не могу найти вовсе. Обуви то же не видать, нашел старые обоссаные котом кеды и побежал вниз по лестнице — было трудно, мотало от стены до стены, выбежал в трусах и кедах, этого, по-моему, никто и не заметил, был октябрь, но холодно не было ни капли.
                                                      Укачало за 30 секунд, начало тошнить — привет Даниэлю Дефо, в «Робинзоне Крузо» он описывал этот эффект, интересно, откуда знал? Продолжало трясти, но «несильно», каких то балов 5, и уже пошел домой одеваться, чет как-то некомильфо было неподалеку от горадминистрации и в окружении соседей в таком виде. Но повезло, в этот момент в бане не был, как некоторые.

                                                      Как оказалось, это было ~10 баллов, после шоу продолжилось — пришло цунами.

                                                      И вот при этом всем некоторые люди не выходили.
                                                      Мой батя. Он телевизор держал.
                                                      Какого хрена? «Ну, я же строителем в молодости был, дома этого проекта строил, мне интересно было, как антисейсмическая конструкция дома работает».
                                                      Кстати, аварийную сумку с документами, которую поминал Meklon, никто из квартиры не вынес. Тут бы ноги унести ) Мебель обрушилась и попадало все, что могло упасть, красная икра украшала собой потолок, выходную дверь нужно открывать как можно скорей — соседи не успели и оказались заперты заклинившей дверью.

                                                      Меня в школе всегда удивляло, почему люди из классов не выбегают сразу? Начинают эвакуироваться из школы лишь при 6+ баллах, меньше — будут сидеть на попе ровно. Я всегда был в первых рядах. Видимо, так проявляется малая подверженность средовым воздействиям. )
                                                      Чем позже выйдешь, тем с большей вероятностью поучаствуешь в заторе.
                                                      А в заторе люди себя не контролируют, учителя будут расталкивать учеников.

                                                      Ну а статья очень водянистая, идея понятная, здравая, но очень уж разжеванная.
                                                      Это, наверное, чтобы мы про поведение людей в экстремальных ситуациях поговорили? )
                                                      • 0
                                                        Полагаю, поиск ИИОН идёт не в том направлении. Скорее всего, алгоритмы и взаимосвязи, на которых строится интеллект естественный гораздо более примитивны, чем модели, которые строят для решения задач машинного обучения. Просто естественный интеллект имеет:
                                                        * богатейший окружающий мир, который можно изучать и на который можно влиять
                                                        * богатейший набор сенсоров и сервоприводов, позволяющий с этим миром взаимодействовать
                                                        * десятки лет времени для постижения и осмысления этого мира.
                                                        Поэтому, чтобы вырастить искусственный интеллект, подобный человеческому, нужно всего лишь создать аналогичные по точности, скорости и силе человеческим руки, у которых есть ещё и осязание, создать источник энергии, который обеспечивал бы ему достаточную автономность и общество, членом которого он мог бы стать. Либо создать развитую виртуальную реальность, в которой он мог бы обучаться так же, как настоящий человек.
                                                        • 0
                                                          Думаю, что когда ИИ будет ПОНИМАТЬ, что он делает (что, по сути, может дать ему возможность создания более узкоспециализированных моделей), а не просто быть инструментом решения какой-то узкой задачи — вот тогда уже можно будет думать про прорыв. Пока такого не видел, но это вовсе не значит, что подобных решений нет.

                                                          И как-то неуютно представлять, что уже почти каждую задачу можно решить с помощью слабых моделей или фиксированных алгоритмов, обладая определённым количеством маны…
                                                          • 0
                                                            Дык, а пока что понимать сам он не умеет, за него понимает его разработчик. :)

                                                            А по мне напротив — уютно осознавать полную подконтрольность своих инструментов. :)
                                                            • +2
                                                              А как отличить понимает или не понимает?
                                                            • 0
                                                              Истерия с ИИОН, мне лично не очень понятна.

                                                              Предположим, что ИИОН, можно создать и он будет такой как в наших фантазиях — мегаумный, обучаемый, масштабируемый, работающий 24/7 и т.д. В этом сценарии, он за конечное время, оказывается лучше человека и этот момент будет иметь колоссальные последствия, независимо от того будет он нам другом или врагом. Вероятнее всего, человек каким мы его знаем сейчас, прекратит существование или в буквальном или переносном значении. И в этом сценарии не важно будет, будем мы его сдерживать или нет. Прогресс не умолим, прогрессу плевать на наши запрещалки. Даже если бы самолеты начали запрещать, все равно кто-то бы их сделал. На самолет братьев Райт, потребовалась уйма работы и человекочасов, сейчас этот результат можно за неделю повторить в гараже. Отсюда вывод, запрещай, контролируй, но рано или поздно кто то создаст у себя в гараже ИИОН не ограниченный запретами и…

                                                              Предположим, что ИИОН не будет таким как мы фантазируем, то есть не превзойдет за конечное время человечество. Это будет этакий вариант Бендера из Футурамы, полезный но во многом бесполезный инструмент, похожий на человека. Контролировать его не составит труда, да и не факт, что в этом будет необходимость.
                                                              Отсюда вывод — готовится надо к выживанию, изучать труды по трансгуманизму или строить защищенные изолированные сети и бункеры с запасами еды. А не пытаться, что то регулировать или запрещать.
                                                              • +1
                                                                Тут сквозит страх перед технологической сингулярностью. Мы фиг знаем, что это такое, но если оно случится — мы потеряем весь контроль над наукой, техникой и в целом жизнью человечества.
                                                                Так что выбор небольшой — либо двигать науку вперёд изо всех сил, стараясь принять то, что однажды всё-таки случится, либо как тагоряне из Мира Полудня — три четверти научных ресурсов тратить на изучение потенциальных вредных последствий открытий.
                                                                • –1
                                                                  Пожарная тревога создаёт общеизвестное знание о наличии пожара; после этого уже социально приемлемо будет реагировать на происходящее. Когда срабатывает сигнализация, вы знаете, что все остальные тоже знают о том, что пожар есть, и вы знаете, что не опозоритесь, если проследуете на выход.

                                                                  Ха-ха-ха.


                                                                  Предлагаю поставить такой же эксперимент, но чтобы кроме дыма была еще и пожарная тревога. Не думаю что что-то изменится...

                                                                  • +1
                                                                    Вот нифига. Если уже кто-то «опозорился», то есть нажал тревогу, остальные расслабляются и спокойно валят из здания. Там ведь еще и потенциальный «стимул» в виде санкций за ложную тревогу, особенно, если тушение автоматическое.

                                                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.