Пользователь
0,0
рейтинг
10 марта 2015 в 11:47

Революция в области искусственного разума. Часть вторая: Бессмертие или уничтожение жизни на земле перевод

Примечание переводчика: Данная статья является переводом (оригинальная статья ). Это перевод первой части второй статьи перевод первой части. Вторая часть оказалась слишком большой 15к слов, по этому её пришлось разделить на две части примерно по 8к (оригинального текста) слов каждая, перед вами первая часть перевода второй части статьи, вторую часть опубликую сразу как переведу. Оригинальная статья была написана для широкой аудитории, поэтому многие термины использованные в ней могут быть не точными или вообще не научными. При переводе я старался сохранить непринуждённый дух статьи и юмор, с которым был написан оригинал. К сожалению, это не всегда получалось. Переводчик согласен не со всем, что написано в данной статье, но правки к фактам и своё мнение не были добавлены даже в виде примечаний или комментариев. В тексте могут быть ошибки и опечатки, сообщайте о них, пожалуйста, в личные сообщения, буду стараться исправлять всё максимально быстро. Все ссылки в тексте скопированы из оригинальной статьи и ведут на англоязычные ресурсы.



We have what may be an extremely difficult problem with an unknown time to solve it, on
which quite possibly the entire future of humanity depends. — Nick Bostrom

Перед нами, вероятно, одна из сложнейших задач, с которой когда-либо сталкивалось человечество, и мы даже не знаем сколько времени у нас есть на её решение, но от него зависит будущее нашего биологического вида — Ник Бостром

Добро пожаловать во вторую часть статьи цикла “Как это вообще возможно? Я даже не понимаю, почему все вокруг так много об этом и говорят”.
Первая часть статьи была достаточно безобидна, мы обсуждали ИИ узкого применения, то есть специализируется в узкой области деятельности, например, выбор оптимального маршрута или игра в шахматы, а так же сферы в которых его уже успешно применяют. Ещё мы обсудили почему так сложно создать сильный ИИ (ИИ человеческого уровня, способному, как минимум, на всё то же, что и человек, и на столько же хорошо), даже имея уже в своём распоряжении ИИ узкого применения, и почему экспоненциальный характер роста технологий может означать, что создание сильного ИИ гораздо ближе, чем мы думаем. В конце первой части, я возможно напугал вас вас тем, что рассказал что вероятно нас в ближайшее время ждёт примерно такая картина картина развития ИИ:






Шокирующий факт — искусственный Сверхразум, превышающий возможности человека во всех областях, может быть создан уже в течение нашей жизни. Что вы думаете по этому поводу?
Прежде чем продолжить, хочу напомнить вам, чем является Сверхразум. Существует огромная разница между быстрым искусственным Сверхразумом и качественным искусственным Сверхразумом. Часто, представляя себе очень умный компьютер, мы думаем о нём как о чём-то столь же разумным, как и человек, но способным совершать гораздо больше операций в единицу времени. То есть он сможет за 5 минут придумать то, на что у человека уйдёт десятилетие. И это впечатляет, но главное отличие искусственного Сверхразума от человеческого разума будет в качестве. Ведь человек умнее шимпанзе не потому, что он думает быстрее, а потому что у человека более сложная структура мозга. Наш мозг, в отличие от мозга шимпанзе, способен к долгосрочному планированию, абстрактному мышлению, а так же к сложному языковому взаимодействию. Даже если мы ускорим работу мозга шимпанзе, он всё равно не станет столь же умным как человек. Такой “ускоренный” шимпанзе даже же за десять лет не сможет собрать шкаф из Икеи, хотя у человека это займёт всего пару часов. И шимпанзе никогда не сможет понять часть мыслей человека, даже если у него будет время до самой тепловой смерти вселенной. Это не просто невозможность шимпанзе делать что-то, на что способен человек, просто его мозг не способен понять часть идей. Например шимпанзе может изучить человека, понять что такое небоскрёб, но он никогда не сможет осознать, что небоскрёб построен человеком. Для него все большие вещи являются созданиями природы и точка. Шимпанзе таким образом, не только не сможет построить небоскрёб, он даже не сможет осознать, что кто-либо вообще способен построить небоскрёб. И всё это из-за небольшой разницы в качестве интеллекта.

Разница в качестве разума между человеком и шимпанзе ничтожно мала, другой статье я уже приводил в качестве иллюстрации различий в качестве интеллекта животных лестницу.



Чтобы понять разницу между качеством интеллекта человека и искусственного Сверхразума, представьте себе, что Сверхразум будет всего на пару ступенек выше нас на это лестнице. Такой ИИ будет всего лишь немного умнее нас, и даже у него будет такое же превосходство над нами, как у нас над шимпанзе. И подобно неспособности шимпанзе понять саму возможность строительства небоскрёба, для нас будет невозможным понять понять те вещи, которые будут очевидны для такого Сверхразума, как бы он ни пытался нам их объяснить. И всё это случится уже тогда, когда ИИ станет лишь слегка умнее человека. Когда же ИИ достигнет верхней ступеньки нашей лестницы, он будет для нас тем же, чем мы являемся для муравья. Даже если он будет годами объяснять нам лишь частичку того, что он знает, мы всё равно будем неспособны это понять.

Но Сверхразум, о котором мы говорим, находится гораздо выше на этой лестнице. При взрывном развитии ИИ скорость развития интеллекта ИИ будет всё возрастать по мере того, как он будет становиться всё умнее. Чтобы подняться с уровня шимпанзе на одну ступеньку, вероятно, потребуются годы, но дальше, после входа в “зелёную зону” лестницы, каждая следующая ступенька будет занимать часы вместо лет. Вероятно когда разум ИИ будет выше человеческого уровня на 10 ступенек, он начнёт перепрыгивать по 4 ступеньки в секунду. Так что нам надо быть готовыми, что через незначительное время после новости о достижении первым ИИ уровня человека, нам придётся делить землю уже с существом, которое находится на лестнице здесь.



А может быть и на миллион ступенек выше.

И раз уж мы только что определили, что понять возможности ИИ, находящегося всего на пару ступенек выше нас, невозможно, я считаю, что невозможно предсказать и действия искусственного Сверхразума, а так же невозможно предсказать, чем его существования обернётся для человека. Все, кто утверждает обратное, просто не понимают, что такое Сверхразум.

Эволюция создавала биологический мозг постепенно, это заняло сотни миллионов лет, и в этом плане, если человечество создаст искусственный Сверхразум, оно конечно же этим превзойдёт эволюцию. Или, возможно, это и есть работа эволюции, когда биологический разум развивается до того момента, когда становится способным на создание искусственного Сверхразума, и это событие полностью меняет правила игры и определяет собой будущее для всего живого:



Позже мы обсудим, почему ученые считают, что достижение уровня, на котором правила игры полностью изменятся лишь вопрос времени. Это будет достаточно интересно.

И так, на чем мы остановились?

Никто в мире, и уж точно не я, не может предсказать, что случится, когда мы достигнем уровня смены правил игры. Но Ник Бостром, известный философ из Оксфорда и популяризатор ИИ, разделяет возможные последствия подобного события на две большие категории:

Во-первых, если оглянуться назад в историю, то можно заметить, что все биологические виды проходят один и тот же цикл: они появляются, живут некоторое время и потом неминуемо исчезают.



“Все биологические виды когда-нибудь исчезают” — было самым надёжным правилом в истории жизни, примерно на столько же надёжным, как “Все люди рано или поздно умирают”. На сегодняшний день 99,9% всех когда-либо существовавших на земле биологических видов, прошли этот цикл. И кажется достаточно очевидным, что если какой-то вид начал свой цикл, то это лишь вопрос времени, когда другой вид, природная катастрофа или астероид остановит этот цикл. Бостром говорит, что вымирание как “магнит” притягивает все биологические виды, и ни один из этих видов, больше не возвращается.

И хотя многие ученые признают, что искусственный Сверхразум будет обладать силой достаточной для уничтожения человечества, они всё таки надеются, что ИИ можно будет использовать во благо, и что он позволит нам “притянуться к другому полюсу магнита”, то есть к бессмертию нашего биологического вида. Ник Бостром считает, что на самом деле существует два “полюса”, но ни один биологический вид до нас просто не был достаточно развитым, чтобы “притянуться” ко второму (бессмертию), и если нам удастся это сделать, то мы сможем избежать вымирания, и наш биологический вид будет существовать вечно, даже не смотря на то, что все биологические виды до нас “притянулись” к вымиранию.



Если Бостром и его коллеги правы, а всё, что я прочитал на эту тему, пока что подтверждает их мнение, у нас есть две интересные новости:

Создание искусственного Сверхразума позволит биологическому виду впервые в истории попасть в зону бессмертия.
Создание искусственного Сверхразума будет иметь огромные последствия, которые подтолкнут нас к одному или другому полюсу “магнита”.

То есть, как только мы достигнем технологической сингулярности, будет создан новый мир, вопрос лишь в том, будет ли в нём место человечеству. Два важнейших для современного человечества вопроса “Когда мы достигнем этого уровня?” и “Что случится с человечеством, когда мы его достигнем”.
Никто в мире не знает ответ на них. Большое количество не самых глупых людей, потратили десятилетия, пытаясь найти эти ответы. И эта статья, как раз посвящена тому, к чему они пришли.

Начнём с первого вопроса: «Когда мы достигнем уровня смены правил игры?» или «Сколько у нас осталось времени до, появления искусственного Сверхразума?»

Не удивительно, что и здесь мнения экспертов расходится. Этот вопрос сейчас горяче обсуждается в экспертной среде. Многие люди, например такие, как профессор Вернор Виндж, учёный Бен Гёрцель, сооснователь Sun Microsystems Билл Джой и известный изобретатель и футурист Рэй Курцвейл, соглашаются с мнением эксперта в области машинного обучения Джереми Говардом, который во время одной из конференций TED Talk показал этот график:



Он утверждает, что сейчас машинное обучение переживает экспоненциальный рост, и то, что сейчас кажется нам медленным развитием, чуть позже перерастёт во “взрыв” в этой области. Другие же, например со-основатель Microsoft Пол Ален, психолог Гари Маркус, учёный из Нью-Йоркского университета Эрнест Девис, предприниматель Митч Капор говорят, что люди вроде Рея Курцвейла сильно неоодоценивают сложность разработки подобных технологий и мы, соответственно, не так уж и близки к технологической сингулярности.

На что сторонники Курцвейла говорят, что единственное, что кто-то недооценивает, так это силу экспоненциального роста. И приводят в пример то, как в 1985, многие недооценивали интернет, говоря, что он не сможет в ближайшее время оказать ощутимого влияния на нашу жизнь.

На что сторонники мнения Пола Алена могут сказать, что сложность разработки новых технологий растёт тоже экспоненциально, и каждый новый прорыв стоит гораздо дороже, и что это позволяет нивелировать экспоненциальную природу роста развития технологий. Этот спор можно вести до бесконечности.

Третьи же, включая Ника Бострома, не придерживаются мнения ни одной из противоборствующих групп и заявляют, что А) человечество возможно, когда-нибудь достигнет технологической сингулярности и Б) но это не точно, и может занять достаточно длительное время.

Четвёртые, например философ Хьюберт Дрейфус, верят в то, что все три вышеописанные группы наивны в своих выдумках о сингулярности и верят в то, что искусственный Сверхразум вряд ли будет вообще когда-нибудь создан.
Итак, что же мы получим, если сложим все эти мнения вместе?

В 2013 году Бостром провёл опрос среди сотен экспертов в области ИИ, задавая всем один и тот же вопрос: “Когда по вашему мнению будет создан ИИ человеческого уровня?” и просил респондентов назвать оптимистичную дату (когда создание сильного ИИ они оценивают в 10%), и реалистичную (когда сильный ИИ будет по их мнению создан с вероятностью 50%), и пессимистичный прогноз (когда вероятность создания сильного ИИ они оценивают в 90%), и получил следующий результат:
Медиана оптимистического прогноза (вероятность 10%): 2022
Медиана реалистичного прогноза (вероятность 50%): 2040
Медиана пессимистичного прогноза ( вероятность 90%): 2075
Таким образом средний респондент думает, что сильный ИИ будет уже создан в течение 25 лет. Медиана ответа с 90% уверенностью означает, что сильный ИИ будет создан, в течение жизни современных подростков.

Другое исследование было недавно проведено Джеймсом Барратом на ежегодной конференции, посвящённой искуственному Сверхразуму, устраиваемой Беном Гёрцелем. Джеймс спрашивал участников конференции когда по их мнению будет создан сильный ИИ: 2030, 2050, 2100, после 2100 или же никогда, и получил следующий результат:
2030: 42% респондентов
2050: 25%
2100: 20%
после 2100: 10%
Никогда: 2%

Результат примерно такой же, что и у Ника Бострома. В опросе Баррата более двух третей респондентов верят в создание сильного ИИ до 2050 и меньшее количество верит в то, что сильный ИИ будет создан в течение 15 лет. Интересно, что только 2% респондентов не верят в создание сильного ИИ вовсе.
Но будет ли момент создание сильного ИИ моментом, меняющим правила? Создание искусственного Сверхразума точно станет таким моментом. Так когда же, по мнению экспертов, мы создадим этот самый искусственный Сверхразум.

Бостром так же провёл среди экспертов опрос «через какое время после создания сильного ИИ будет создани искусственный Сверхразум?» А) в течение первых двух лет после создания сильного ИИ (практически моментальный скачек) и Б) в течение 30 лет. И получил следующий результат:
За вариант практически мгновенного перехода от сильного ИИ к искусственному Сверхразуму проголосовало всего 10% респондентов, за переход в течение 30 лет высказались 75%.
Из этого опроса мы не получили оценку экспертов о том, когда по их мнению вероятность достижения сингулярности будет 50%. Для наших целей подойдёт грубая оценка этой даты в 20 лет. Таким образом медиальное мнение экспертов говорит нам что искусственный Сверхразум будет создан и соответственно сингулярность будет достигнута к 2060. То есть создание сильного ИИ к 2040 и ещё 20 лет на разработку искусственного Сверхразума.



Конечно же все статистика приведённая выше умозрительна и показывает лишь усредненное мнение экспертного сообщества, но тем не менее она довольно интересна, так как мы можем увидеть мнение бытующее в среде людей, которые своими руками двигают это направление науки и сходятся во мнении, что к 2060, всего лишь через 45 лет, вполне вероятно создание искусственного Сверхразума и, соответственно, полное изменение мира в котором мы живём.

Давайте теперь рассмотрим вторую часть вопроса: Когда мы достигнем сингулярности, к какому “полюсу магнита мы притянемся”?
Сверхразум безусловно будет обладать огромной властью, и для нас очень важен вопрос: Кто или что будет контролировать эту власть, и какая у него будет мотивация?

И ответ на этот вопрос определит: будет ли Сверхразум величайшим или ужаснейшим из открытий. А может быть и вовсе ни тем ни другим.
Конечно же, экспертное сообщество уже не первый день ведёт горячие споры и на эту тему. Здесь интересен опрос, проведённый Ником Бостромом, который показал следующие результаты: 52% опрошенных считают, что последствия создания сильного ИИ будут либо хорошими, либо очень хорошими, и 31%, что последствия будут плохими, или очень плохими. За нейтральный вариант высказалось 17% респондентов. Другими словами, эксперты в области ИИ считают, что сильный ИИ будет скорее полезным изобретение. Я думаю, что если бы опрос проводился про последствия создания искусственного Сверхразума, то нейтральных оценок было бы гораздо меньше.

Прежде чем более серьёзно обсудить вероятные последствия, как плохие так и хорошие, предлагаю посмотреть на схему приведённую ниже, на ней отображено “когда это произойдёт” и “будет ли результат хорошим или плохим” в соответствии с мнением экспертов в области ИИ

На ней по вертикальной оси отложено время, а по горизонтальной оптимизм, связанный с созданием Сверхразума.



Я расположил мнение экспертов относительно сроков и последствий на этом графике, таким образом получил несколько групп в соответствии с их прогнозами. Об основной группе мы поговорим чуть позже. До того, как начал исследовать тему ИИ, я не думал, что она столь актуальна уже сегодня. Я думаю, что большинство людей так же не слишком серьёзно воспринимают эти разговоры, и на то существует ряд причин:

Как я уже говорил в первой части статьи, научная фантастика создала слишком нереалистичный образ ИИ в массовом сознании, и поэтому никто не воспринимает его всерьёз. Джеймс Баррат сравнил это с реакцией людей на то, как если бы Министерство здравоохранения выпустило бы предупреждение о том, что нас через 10 лет ожидает серьёзная эпидемия вампиризма, угрожающая человечеству.
Из-за когнитивного искажения, присущего человеку, нам сложно поверить в реальность чего-то, пока мы не увидим доказательств. Я уверен, что ученые, занимавшиеся компьютерными технологиями, уже в 1988 обсуждали насколько серьёзным будет влияние интернета на жизнь людей, но люди до последнего не верили, что интернет действительно может оказать столь сильное влияние. И причиной тому является то, что компьютеры в 1988 не могли делать такие интересные вещи, как современные, и человек, смотря на свой компьютер, думал “Это штука может изменить мою жизнь? Что, правда?”. Воображение людей было ограничено их опытом, который не позволял представить, на что реально способны компьютеры. И именно так же сегодня недооценивается ИИ. Мы отовсюду слышим, что он будет следующим великим изобретением, но наша фантазия ограничена нашим опытом, который не даёт нам представить те вещи, на которые ИИ будет способен, и сколько всего в нашей жизни он изменит. С когнитивными искажениями и борются эксперты, стараясь показать нам то, на что будет способен сильный ИИ.
Даже если бы вы поверили. Сколько времени в день вы тратите на обдумывание того, что большую часть будущей истории человечества вы не сможете увидеть? Я думаю что не очень много. И это не смотря на то, что это гораздо более важная для вас информация. Происходит это потому что наш мозг запрограммирован концентрироваться на решении маленьких проблем, с которыми мы сталкиваемся каждый день, не смотря на то, что вокруг протекают совершенно невообразимых долгосрочные процессы.

Одной из целью моих статей про Сверхразум является попытка заставить вас задуматься о грядущей революции ИИ, и помочь принять одну из точек зрения экспертов.

Во время своего исследования, я нашел дюжину различных мнений на тему ИИ, но довольно скоро обратил внимание на то, что даже внутри основной группы экспертов существует деление на подгруппы, и больше трёх четвертей экспертов являются приверженцами следующей подгруппы:



Мы более подробно поговорим об обеих группах и начнём с верхнего правого.

Почему будущее может оказаться лучше самых смелых мечтаний

Во время моего знакомства с миром ИИ я удивился тому, как много экспертов являются приверженцами этой группы, находящейся в правом верхнем углу, назовём их оптимистичной группой.



Люди в оптимистичной группе переполнены волнительным ожиданием прекрасного будущего, которое наступит в момент создания Сверхразума. Они уверены в том, к чему мы придём. Для них наше будущее лучше, чем все самые смелые мечты, только воплощенные в жизнь.

Их отличие от остальных экспертов в области ИИ не просто в чрезмерном оптимизме, а в полной уверенности в том, что создание искусственного Сверхразума принесёт нам только хорошее. Их критики говорят, что уверенность просто ослепила их, не позволяя увидеть те проблемы, с которыми мы можем столкнуться. Оптимисты парируют, говоря, что глупо рассматривать сценарии пророчащие нам конец света, потому что на сегодняшний день хорошие и плохие последствия развития технологий находятся сбалансированы, и приносят больше пользы, чем вреда. В этой статье мы рассмотрим обе точки зрения, чтобы вы могли сформировать собственное мнение. Просто постарайтесь понять, что то, что вы читаете, действительно может произойти. Если бы вы показали человеку из охотничье-собирательного общества наш мир изобилия, домашнего комфорта и технологий, он счел бы его невозможным, выдуманным магическим миром. Необходимо обладать достаточным воображением, чтобы понять, что грядущие изменение могут быть столько же огромными.

Ник Бостром описывает три возможных способа применения искусственного Сверхразума:
Как предсказателя, который сможет ответить практически на любой поставленный вопрос. Например: “Как создать более эффективный ДВС?”. Примитивным примером такого предсказателя является Google.
Как гений, который будет выполнять поставленные перед ним задачи. Например “Построй новый, более эффективный ДВС”, по окончании этой задачи, будет ждать новой команды.
Как правитель, которому будут выданы широкие полномочия, и он сможет принимать самостоятельные решения о том, как лучше решить некую проблему. “Изобрети более быстрый дешевый и безопасный способ транспортировки людей для личного использования”.

Эти невероятно сложные для нас вопросы будут для искусственного Сверхразума сравни вопросу “У меня упала ручка со стола, помоги мне”, которую любой человек сможет исправить просто подняв ручку с пола и вернув её на стол.
Елизер Юдовски, представитель группы беспокоющихся из нашего графика вверху, хорошо описал подобную ситуацию:
“Не существуют сложных проблем, проблемы могут быть сложны для определённого уровня развития разума”. Даже небольшой шажок в развитии разума переводит часть проблем из статуса “невероятно сложных” в статус “очевидных”, чтобы все решения всех наших проблем стали очевидными, необходимо всего лишь подняться на достаточное количество “ступенек” в развитии разума.
Из всех увлечённых ученых, изобретателей и бизнесменов, представляющих оптимистичную группу, мы в качестве нашего проводника в мир радужных представлений о будущем выберем одного.

Им будет Рей Курцвейл, он мало кого оставляет равнодушным, большинство людей либо верят ему, либо говорят что он шарлатан. Но есть и те, кто относится к нему нейтрально. Например, Дуглас Хофтендер описывает идеи из книги Курцвейла таким образом: “Это похоже на то, как если бы вы взяли большое количество хорошей еды и смешали бы её в блендере с собачьими экскрементами до такого состояния, чтобы было уже не понятно, что именно находится перед вами”.
Но вне зависимости от того, нравятся ли вам идеи Курцвейла или нет, согласитесь, они довольно впечатляющие. Он начал изобретать ещё в детстве и позже изобрёл не мало очень полезных вещей, он например создал первый в мире планшетный сканер, первый сканер, переводивший текст в синтезированную речь (позволявший слепым читать обычный текст), так же хорошо известен синтезатор Курцвейла (первое в мире электро-пианино), и первый коммерческий распознаватель речи. Так же он является автором пяти бестселлеров. Он известен как достаточно смелый предсказатель, и его предсказания часто сбываются, в том числе и его предсказания, сделанные в конце 80-х, когда он предсказал, что к 2000 году интернет уже будет оказывать серьёзное влияния на нашу жизнь. The Wall Street Journal назвал Курцвейла “беспокойным гением”, Форбс “думающей машиной”, а Inc. Magazine “законным наследником Эддисона”. Даже Билл Гейтс не остался в стороне и назвал Рея “самым подходящим человеком для предсказания последствий создания ИИ”. В 2012 году Курцвейл получил предложение от Ларри Пейджа стать техническим директором в Google. В 2011 Рей создал Институт Сингулярности (Singularity University), который располагается в NASA и частично спонсируется компанией Google. Согласитесь, не плохо для одного человека.

Почему нас так интересует его биография? Да потомучто когда узнаёшь мнение Рея о том, какое будущее нас ждёт, он кажется сумасшедшим. Но самое удивительное в том, что он не является сумасшедшим, он очень умный и образованный, а не живущий в собственном выдуманном мире человек. Можно считать, что он ошибается в своих прогнозах относительно будущего, но уж точно нельзя считать его дураком. И то, что прогнозы Курцвейла так часто сбывались, мне очень нравится, потому что я действительно хочу жить в том будущем, каким он его видит. Думаю не я один. Таких приверженцев сингулярности довольно много, например Питер Диамандис и Бен Гёрцель тоже причисляют себя к сингуляритианцам (singularitarians). По их мнению вот что нас ожидает, уже в ближайшее столетие:

Время
Курцвейл считает, что сильный ИИ будет содан уже к 2029, и таким образом к 2045 у нас будет не только искусственный Сверхразум, а мы уже будем жить в мире технологический сингулярности. Ещё недавно его предсказания скорости развития систем ИИ, казались большинству людей мягко говоря слишком оптимистичными. Сейчас же, на фоне стремительного развития слабых ИИ в последние 15 лет, показывает нам, что реальность пока развивается согласно с предсказаниями Курцвейла. Но тем не менее его предсказания остаются всё ещё более оптимистичными, чем медиальный ответ в опросе проведённом Ником Бостромом (сильный ИИ к 2040 и искусственный Сверхразум к 2060).
Чтобы 2045 год соответствовал прогнозам Курцвейла, должны произойти три технологические революции: биотехнологическая, нанотехнологическая и, самое важное, революция ИИ.

Прежде чем мы продолжим разговор про ИИ, предлагаю небольшой экскурс в нанотехнологии

Нанотехнологическая врезка
Нанотехнологиями называют любые манипуляции с объектами размером от 1 до 100 нанометров. Нанометр — это миллиардная часть метра. Что примерно соответствует размерам вирусов (100 нм), ДНК (10 нм в ширину), и других объектов, чей размер равен размеру больших бактерий (5 нм) или среднеразмерных молекул, например молекуле глюкозы (1 нм). Когда/если мы достигнем успехов в нанотехнологиях, следующим шагом будут манипуляции с отдельными атомами, что лишь на один порядок меньшие величины (~.1 нм).
Чтобы лучше понять на сколько сложно манипулировать чем-либо столь маленьким, предлагаю следующую аналогию: Если бы люди были такими высокими, что доставали бы головой до орбиты МКС (~431 км), то мы были бы в 250 000 раз больше, чем сейчас. Если сделать 1-100 нм в 250 000 раз больше, то мы получим величины в .25 — 2.5 см. То есть нанообъекты для гиганта, достающего головой до МКС, равносильны по сложности манипуляциям с чем-то размером от песчинки до глазного яблока для нас. Чтобы опуститься ещё на один порядок величин, до уровня размера одного атома, нашему гиганту, придётся манипулировать объектами размером в 1/400 миллиметра, человеку, чтобы просто увидеть такие объекты нужен микроскоп.
Первым человеком высказавшийся на тему нанотехнологий был Ричард Фейман. Ещё в 1959 он говорил: “Законы физики никак не противоречат теоретической возможности собирать объекты атом за атомом… физики смогут создавать любую химическую формулу, которую смогут придумать… Как? просто располагая атомы таким образом которым химики захотят мы получим любое вещество”. Довольно просто. Если мы сможем перемещать отдельные атомы, то мы сможем создать практически что угодно.
Впервые серьёзно о нанотехнологиях заговорили лишь в 1986-м году после выхода новаторской книги Эрика Дрекслера «Машины создания: Грядущая эра нанотехнологий». Если вы хотите узнать больше о современном положении дел в этой области, то книга Radical Abundance будет лучшим источником информации для вас.

  • Врезка о серой массе

Такой способ кажется хорошим только до тех пор, пока в результате несчастного случае не уничтожит жизнь на Земле. Экспоненциальном рост, который позволяет быстро создать триллионы наноботов, делает саморепликацию такой страшной. Ни одна система не застрахована от сбоев, и если система репликации наноботов даст сбой и не остановит процесс по достижении нужной численности наноботов, и они будут продолжать “размножаться”. Подобные наноботы будут способны использовать любые углеродсодержащие материалы для создания новых наноботов, а поскольку вся жизнь на Земле является углеродной, колличество углерода на земле составляет примерно 10^45 атомов, а нанобот будет состоять из примерно 10^6 атомов углерода, таким образом10^39 наноботов уничтожат полностью всю жизнь на земле, для это им понадобится всего лишь 130 циклов репликации, океаны наноботов (это и есть серая масса) наводнят Землю. Ученые считают, что на один цикл репликации наноботом понадобится порядка 100 секунд, значит они смогут полностью уничтожить всё живое на земле в течение 3.6 часов.

Или другой возможный сценарий. Если наноботы попадут в руки каких-нибудь террористов и они смогут их перепрограммировать, например таким образом, чтобы наноботы незаметно в течение недель распространялись по всей земле и потом, начав в нужный момент неконтролируемое “размножение”, уничтожат этим жизнь на Земле ещё до того, как мы сможем хоть как-нибудь отреагировать.
Последние годы подобные апокалиптические сценарии активно обсуждаются, но скорее всего вероятность такого развития событий сильно преувеличена. Эрик Дрекслер, а именно он ввёл в обращение понятие “серой массы”, прислал мне сообщение, в котором высказался на тему подобных страшилок: “Люди любят ужастики, именно поэтому зомби столь популярны. Такие истории сами по себе взрывают тебе мозг”.


Как только мы освоим нанотехнолгии, мы сможем создавать огромное количество самых разных вещей: всевозможные устройства, одежду, еду, искусственные кровяные клетки, роботов, уничтожающих вирусы и раковые клетки, то есть практически что угодно. В мире, освоившем нанотехнологии, стоимость материалов больше не привязана к его содержанию в природе или сложностью его очистки, определяющим параметром становится сложность атомарной структуры. В таком мире бриллианты могут быть дешевле ластика.
Но нам ещё только предстоит освоить нанотехнологии. И пока что не очень понятно: переоцениваем ли мы сложность создания необходимых технологий, или наоборот недооцениваем. Тем не менее, мы уже стоим на пороге массового использования нанотехнологии. Курцвейл считает что нанотехнологическая революция произойдёт к 2020. Правительства уже знают каким потенциалом обладают нанотехнологии и вкладывают миллиарды в их разработку (США, ЕС и Япония уже вложили более 5 миллиардов долларов).
Только представьте себе, что Сверхразум сможет контролировать армию наноботов. Нанотехнологии — это то, что мы смогли придумать и сейчас активно осваиваем. Но вы же помните, что все наши возможности ничто по сравнению с возможностями Сверхразума. Он может придумать что-то ещё более сложное, что мы возможно даже не сможем понять. Теперь размышляя над вопросом “Будет ли ИИ революция добром для нас или злом”, мы понимаем, что практически невозможно переоценить масштаб изменений, которые ИИ привнесёт в нашу жизнь. Так что если последующие рассуждения будут вам казаться слишком нереалистичными, просто помните, что Сверхразум сможет делать нечто, что мы даже не можем себе вообразить, что-то, что просто будет за пределами нашего понимания, и мы не можем даже отдалённо предсказать, чем это может оказаться.

Что ИИ сможет сделать для нас
Сверхразум, вооруженный новейшими технологиями, которые он, конечно же сам изобретёт, сможет решать любые проблемы, с которыми сталкивается человечество. Глобальное потепление? Сверхразум сможет снизит выбросы углекислого газа, предложив нам другие, более эффективные способы генерации электричества, не требующий использование ископаемого топлива. Потом предложит способ убрать уже накопившийся в воздухе углекислый газ. Рак или другие болезни? Они тоже не будет проблемой для ИИ, он сможет совершить прорыв в области медицины. Голод? наш Сверхразум сможет построить любую еду, используя армию наноботов, причем она будет идентична настоящей на молекулярном уровне, то есть на самом деле и будет настоящей. Наноботы смогут превратить кучу мусора в стейк или в любую другую пищу, которая не обязательно будет идентична настоящей еде по форме (только представьте себе огромное кубическое яблоко), дальше еда будет транспортирована новейшим транспортом. Конечно же Земля станет раем и для животных, эксплуатация которых человеком тоже прекратится. Так же Сверзразум сможет спасти и исчезающие виды животных и даже восстановить уже вымершие из сохранённых ДНК. Он сможет с такой же лёгкостью решить наши экономические проблемы, проблемы связанные с международной торговлей, все сложнейшие вопросы философии и этики так же будут решены Сверхразумом.
Но есть ещё одна вещь, подвластная Сверхразуму, она на столько притягательна, что полностью изменила моё мировоззрение:
Сверхразум сможет победить смерть.



Несколько месяцев назад я рассказывал, какую зависть я испытываю по отношению к более развитым цивилизациям, которые уже смогли победить смерть, тогда я ещё не знал что, позже напишу статью, которая заставит меня поверить в то, я сам застану тот момент, когда человечество наконец сможет победить смерть. Я думаю, что мне удастся и вас в этом убедить.

У эволюции сегодня нет ни малейшей причины продлевать жизнь живых существ. Вполне достаточно, чтобы особь прожила ровно столько, чтобы создать потомков и вырастить их до того возраста, когда они могут уже самостоятельно добывать себе еду и защищаться. Так что мутации, позволявшие существенно продлить срок жизни, не приносили никаких преимуществ в естественном отборе. В результате мы являемся, как говорил У.Б. Йейтс, “душа заключенная в умирающее тело”.
Поскольку все до нас рано или поздно умирали, мы убеждены, что смерть неизбежна. Мы воспринимаем старение как течение времени, часы всегда тикают и нет способа это остановить. Но это не так. Ричард Фейнман однажды написал:
Одна из самых удивительных вещей в биологии заключается в том, что смерть не является необходимостью. Если мы захотим, например, создать вечный двигатель, то существует масса законов, говорящих, что это либо невозможно, либо эти физические законы не верны. Но в биологии нет законов, говорящих о неизбежности смерти. Что наводит меня на мысль, что это лишь вопрос времени, когда биологи откроют причину смерти и излечат человечество от это ужасной болезни.
На самом деле старение не привязано ко времени, время может продолжать двигаться, но старение будет остановлено. Старение является процессом постепенного физического изнашивания. Машина тоже постепенно изнашивается, но можно ли остановить её старение? Если менять детали по мере того, как они выходят из строя, машина сможет ездить вечно. И человеческое тело в этом ничем не отличается от машины, оно просто чуть более сложно устроено.

Курцвейл говорит об умных наноботах, общающихся между собой по wi-fi, которые могут перемещаться по кровеносным сосудам, выполняя различные работы по поддержанию тела в порядке, постепенно заменяя испорченные клетки. Если довести этот процесс до совершенства (или другой способ который придумает Сверхразум), это не только позволит поддерживать наше тело здоровым, но так же можно будет повернуть старение вспять. Ведь разница между 60-ти летним и 30-ти летнем телом заключается в конце концов всего лишь в некоторых физических показателях, которые можно поменять при помощи наноботов. Сверхразум сможет построить аппарат, помогающий сбросить возраст, в него заходит 60-ти летний человек, а выходит уже человек с кожей 30-ти летнего. Даже мозг, который страдает от серьёзных заболеваний, можно будет таким образом обновить, Сверхразум наверняка сможет придумать как это сделать, не повредив личность и воспоминания человека. 90 летний человек, страдающий слабоумием, сможет зайти в этот аппарат и выйти уже обновлённым, он сможет продолжить свою карьеру, и даже начать новую. Это кажется слишком фантастичным, но ведь тело — это всего лишь набор атомов, и Сверхразум наверняка будет способен с лёгкостью манипулировать любыми атомами и атомарными структурами, так что это не такая уж и фантастика.
Курцвейл так же считает, что искусственные материалы можно будет постепенно интегрировать в биологическое тело. Сначала органы будут заменены на более эффективные искусственные аналоги, которые будут способны работать дольше биологических. Затем мы сможем начать разрабатывать тело, которое лучше отвечает нашим требованиям, сможем заменить красные кровеносные тельца на совершенных нанороботов, которые возьмут на себя их функции, но которые при этом смогут двигаться сами, и таким образом мы сможем вовсе отказаться от сердца. Мы даже сможем добраться до мозга и улучшить его, увеличив вычислительные способности настолько, что человек будет способен думать в миллиарды раз быстрее, чем сейчас. Так же мозг сможет иметь прямой доступ к внешним устройствам, которые позволят людям устраивать конференции через интернет напрямую, не использую при этом ни единого слова, обмениваясь на прямую мыслями.
Возможности человека станут практически безграничными. Люди отделили секс от его изначальной функции, что превратило его в том числе в развлечение. Курцвейл верит в то, что та же судьба ожидает и еду. За доставку необходимых веществ клеткам будут отвечать наноботы, они же будут выводить из тела все продукты жизнедеятельности и другие не нужные вещества. Роберт Фрайтас уже создал искусственную кровь, которая может позволить человеку бежать с максимальной скоростью, не совершив при этом ни единого вздоха, так что можно представить, что сможет придумать Сверхразум, чтобы улучшить наши физические способности. Виртуальная реальность получит новый виток развития, так как наноботы смогут перехватывать сигналы нашей нервной системы и заменять входящую информацию, создавая абсолютно новые ощущения, звуки и запахи.
Курцвейл считает, что в конечном счете человечество полностью заменит биологические органы на искусственные, тогда мы будем смотреть на биологические материалы как на ужасно примитивные, и будет сложно поверить, что когда-то человек состоял именно из них. Мы будем читать о том ужасно опасном примитивном обществе, когда болезни, несчастные случаи и старение могли запросто убить человека против его собственного желания. Мы будем жить во времена, когда искусственный и биологический разум будут соединены. Именно так по мнению Курцвейла мы победим биологию и станем вечными и бессмертными, так же он считает что мы “притянемся к другому полюсу магнита”. И это произойдёт уже скоро.

Вас наверняка не удивит то, что идеи Курцвейла встречают серьёзную критику. Его предсказание технологической сингулярности к 2045 высмеивается многими и даже заслужили такие характеристики в свой адрес: “экстаз ботанов” или “разработка интеллекта для людей с IQ 140”. Многие подвергают критики его слишком оптимистичное предсказание скорости прогресса и даже его уровень понимания тела и мозга человека, а так же применение закона Мура к ним. Закон Мура обычно применяется к развитию мощности аппаратного обеспечения и ПО. На каждого эксперта, верящего в правоту Курцвейла, приходится трое, считающих что он не прав.
Но самое удивительное заключается в том, что даже эксперты, которые не соглашаются с Курцвейлом, соглашаются с тем, что всё, о чем он рассказывает возможно. Я ожидал, что его критики будут говорить что-то вроде: “Это просто невозможно”, но, как ни удивительно, они говорят совершенно иное: “Да, это всё вполне реализуемо, если мы совершим плавный переход к искусственному Сверхразуму, но именно плавный переход и является самой большой проблемой”. Бостром, один из самых заметных экспертов в области ИИ говорит:
Сложно даже представить себе, что существует такая проблема, которую Сверхразум не сможет решить, или по крайней мере не будет способен помочь нам решить. Болезни, бедность, экологические проблемы, любые другие ненужные страдания. Решение всех этих проблем не будет сложным для Сверхразума, у которого есть доступ к нанотехнологиям. Так же Сверхразум сможет сделать нашу жизнь вечной либо остановив старение, либо при помощи нанотехнологической медицины, или же вообще предложит нам полностью переселиться в искусственное тело и загрузить своё сознание в компьютер. Сверхразум легко может создать механизмы, позволяющие увеличить наши мыслительные способности. Он поможет нам создать прекрасный мир, в котором мы сможем посветить свои жизни приятным вещам: персональному росту или другим приятным лично вам вещам.
Это цитата человека не принадлежащего к оптимистичной группе. Но это именно то, что вы увидите, когда будете читать мнение экспертов, критикующих идеи Курцвейла, но они тем не менее соглашаются с тем, что все что он предсказывает вполне осуществимо, при условии безопасного создания искусственного Сверхразума. Мне так нравятся идеи Курцвейла именно тем, что они рассказывают о светлой стороне создания Сверхразума, преимущества которой будут нам доступны, если Сверхразум окажется добрым.

Самая серьёзная критика представителей оптимистичной группы, которую я слышал, заключается в том, что они очень сильно недооценивают опасности, которые представляет Сверхразум. Курцвейл в своей известной книге The Singularity is Near только 20 страниц из 700 посвятил опасностям, которые могут нас ожидать. Как я уже говорил, наша судьба при появлении Сверхразума полностью зависит от того, кто будет его контролировать, и какие цели он будет преследовать. Курцвейл на оба вопроса отвечает следующим образом: “Чтобы создать искусственный Сверхразум необходимо совместное усилие, таким образом он будет завязан на инфраструктуру нашей цивилизации. Поэтому будет тесно связан с человечеством, то есть он будет отражать наши ценности”.
Но если ответ настолько прост, то почему же столько умнейших людей настолько обеспокоены перспективой скорого создания искусственного Сверхразума? Почему Стивен Хоккинг говорит, что развитие искусственного Сверхразума “может означать конец человечеству”, Бил Гейтс говорит, что не понимает почему часть людей не обеспокоена происходящим, Илон Маск боится того, что мы своими руками “вызываем дьявола”? Почему многие эксперты называют искусственный Сверхразум самой страшной угрозой угрожающей человечеству? Все эти люди и другие представители менее оптимистичной части экспертного сообщества не согласны со слишком оптимистичным взглядом Курцвейла. Они очень и очень обеспокоены грядущей ИИ революцией и не склонны переоценивать наши шансы на то, что Сверхразум окажется добр к нам. Их взгляды прикованы к обратной стороне развития технологий, и они бояться будущего и не уверены в том, сможем ли мы вообще в нём выжить.
Перевод: Тим Урбан / Tim Urban
Артём @Kh_artem
карма
16,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (53)

  • +2
    Мне нравится оптимизм, я очень хочу жить в таком мире о котором говорит Курцвейл, но я скорее поддерживаю Юдковского — «Вы состоите из атомов, а им можно найти лучшее применение». Искусственный интеллект нужен и важен, но если есть хоть малейшая возможность, что мы будем уничтожены — нужно устранить эту возможность.

    А статья замечательная, как и предыдущая. Огромное спасибо за перевод.
    • +1
      Люди любят вещи способные их уничтожить, взять хотя бы ту же ядерную бомбу, которая способна стереть всё человечество с лица земли.
      Мне создание ИИ видится неизбежностью, нам будет необходимо только строго контролировать его возможности. Вопрос лишь в том как контролировать, как создать систему контроля, которую ИИ не сможет обойти?
      Скорее всего ИИ станет очередным оружием устрашения в руках военных, надеюсь что это не станет его единственной целью, и он так же сможет приносить пользу в других областях.
      • –2
        Вы статью-то читали? Сверхразум будет на порядки умнее любого человека, и на порядки в квадрате — военного. С какой целью он будет кого-то слушаться?
        • +3
          Вы видимо были не очень внимательны, и свое сообщение адресовали автору поста (и переводчику статьи).
          • 0
            промах так промах :) эпичнейший мой фэйл за всю историю хабра…
      • +1
        Оратор выше прав. С тем же успехом муравей может рассчитывать обмануть человека, вы сами нарисовали этот график с лесенкой. Создать ИИ нам под силу, а вот контролировать — навряд ли. Пока он будет сравним с нами по интеллекту, он будет еще подвластен, однако затем — очень сомневаюсь. И т.к. вряд ли мы сможем создать ИИ идеальным, то он найдет лазейку в правилах, которые мы ему навяжем, затем еще одну. О чем речь, вода камень точит, а экспоненциальный рост является главной темой статьи.

        Вопрос не в том, можем ли мы контролировать ИИ — ответ на этот вопрос однозначное «НЕТ», вопрос — не решит ли он, что человечество ему нужно или наоборот? Возможно, он достигнет просвещения за несколько часов и умрет от депрессии, т.к. ему нечего будет делать — кто знает? Я могу придумывать совершенно любые версии, и все они не будут иметь никакого отношения к реальности. Я сторонник версии, что мы не в состоянии представить себе ни ИИ, ни его методы. ни его цели.
      • 0
        Нет, в первую очередь речь не о контроле. Может ли муравей вас контролировать? Нет, речь идет о разработке, на мой взгляд, нельзя прививать ИИ нашу эвристику. Мы подвержены ошибкам, а ошибки в масштабах сверхазума — это катастрофа. Представьте, например, что ИИ хороший и добрый и помогает человечеству построить источник бесконечной, возобновляемой энергии, но при проектировании пропустили какую-нибудь когнитивную ошибку. В лучшем случае ничего не получится, в худшем — БАДАБУМ.
    • +3
      Искусственный интеллект нужен и важен, но если есть хоть малейшая возможность, что мы будем уничтожены — нужно устранить эту возможность.

      Не понимаю, почему все (очень многие) люди настолько сильно хватаются, возводят в абсолют важность именно людей. Если у меня будет возможность получить невообразимые сейчас вычислительные мощности для личного роста, то через пару часов (минут, секунд..) размышлений на моем месте уже буду не я. И ровно так же, я совершенно не против, чтобы людей, в том числе и меня, разобрали на атомы и собрали во что-то более умное.

      Важность имеет разум. Я — это не мое тело, и даже не сам мозг, а информационная система, вычисляемая мозгом. Мне кажется, что все споры вокруг дружественности ИИ сводятся к любованию человеческих тел, которые ничего не значат, тем более в контексте предположения существования Сверхразума.

      Что предпочтительнее, мир с людьми, более-менее такой, каким мы его знаем сейчас, пусть и с чуть большей продолжительностью жизни людей и уровнем комфорта. Или мир, пусть и без людей, но с бессмертными (насколько это возможно) существами на десятки порядков умнее людей? Если мы крайне мало ценим жизни букашек по отношению к людским, мы должны признать, что мы крайне мало стоим на фоне Сверхразума.

      Перестаньте уже быть углеродными шовинистами.
      • 0
        Воот! Вот примерно такого коммента я и ждал во всех подобных топиках. Радует, что хоть кто-то начинает думать. Может быть еще не все потеряно.
      • –1
        Простите, я правильно вас понимаю, что вам все равно, живы вы или мертвы, если ваше место займет более умное существо?

        Мне вот не все равно. Если я умру — мне будет по барабану что тут за разум и вообще что происходит в мире, придумали сверхразум или не придумали, собрали из меня транзистор или я теперь биотопливо.

        Я всегда за, если мое тело заменят более совершенной машиной (с некоторыми дорогими мне функциями), но при условии, что сохранится мое «я» и линейное восприятие моего существования и опыт, которые мне дороги.

        Еще раз, если я умру, то мне все равно какие существа займут мое место и я думаю, что когда мы говорим о вымирании человечества, нужно учитывать желания тех, кто не очень жаждет вымирать.
        • +1
          Да. Конечно, страх смерти есть, но в этом случае я пользуюсь правилом «заткнись и умножай». Люди не умеют умножать большие числа, особенно на эмоции. Если вы посмотрите отрывок военного фильма, где умирает солдат, возможно вы почувствуете небольшой дискомфорт, но вы не сможете его умножить на сорок миллионов, когда услышите про потери на всей войне.

          Здесь примерно тоже самое — если взять воспоминания из моего мозга и запихнуть в вычислительную систему, которая на десять порядков мощнее моего мозга, то от меня ничего не останется, и всё равно, был ли я в начале или нет. Если брать аналогии из статьи, то это как добавить воспоминания червя к человеческому младенцу, только с ещё большим разрывом. Нет особой разницы, добавляли ли ко мне огромную вычислительную мощь, или взяли её изначально пустой. Всё равно все мои мысли в этом случае — мусор.

          И тем более, если встает вопрос, обмена меня на Сверхразум один на один, раздумья мне кажутся излишними.

          Кстати, что вы предпочтете, жизни всех людей на Земле кроме вашей, или только вашу? Если вы умрете, то ведь уже не важно, что останется. А если выберете только себя, то и пожить ещё немного можно.
          • –1
            Я признаю, что если встает выбор, то каждый человек волен решать самостоятельно. Но лично я против развития такого сценария для себя лично и я думаю, что когда встает дело в о личном выборе, то проблемы не существует вы выберете одно, я другое, но когда встает выбор общественный, или даже общечеловеческий — то решения основанные на личном выборе неправильны.
            Вообще, это довольно сложный вопрос, является ли сознание исключительно опытом и личностью. По аналогии, если червь переродившийся в младенца осознает, что он был червем и теперь он младенец и его прошлая жизнь ничего не значит — это новый уровень — и это реально круто. Но если старого я просто не существует, то это равносильно смерти и это не круто. Хотя я понял о чем вы говорите и возможно, обладая более полной информацией о себе самом и своем сознании, я соглашусь с вами, но пока нет.

            Еще одна проблема в том, что скорее всего человеки станут не на порядки разумнее, а какой-нибудь углеродной прокладкой в новом сверхпроводнике. Уничтожение человечества может проходить не по сценарию его преображения, а по сценарию человек-углерод-топливо.

            Если нужно убить одного человека для спасения жизней всех людей на земле, я не задумываясь выскажусь «за». Но если этот человек я, то я бы предпочел смерть всех остальных.
            • +1
              Если нужно убить одного человека для спасения жизней всех людей на земле, я не задумываясь выскажусь «за». Но если этот человек я, то я бы предпочел смерть всех остальных.

              Не скучно будет в одиночестве?
              • +1
                Стоит отметить, что не скучнее, чем не существовать.
                • –2
                  А что на счет этой смешной штуки под названием «совесть»? Хотя, у человека который согласен угробить все человечество, лишь бы ему самому удалось выжить, её, наверное, и не имеет…
          • 0
            Немного насчёт "добавления червя". Есть такой НФ роман у Бэнкса, "Вспомни о Флебе". Он относится к серии "Культура", о варианте будущего, когда некоторые сверхразумы из каких-то своих побуждений решили образовать симбиоз с человечеством даже после войны на уничтожение машинных разумов (а некоторые решили иначе и занялись какими-то своими непостижимостями). Действие конкретно этого романа связывает юный сверхразум в процессе самоопределения, старый сверхразум в процессе не-пойми-чего и человека, который очень хотел выжить.

            Я боюсь спойлерить, потому что книга восхитительна, сложна, многогранна и полностью раскрывается только после второго прочтения. Её действительно стоит прочитать. Естественно, если вы любите обдумывать книги и разгадывать помыслы автора, расчленяя произведение, как в анатомическом театре. Да и если не задумываться особо над философией разума, это — добротный космический экшн.
  • –1
    Когда речь идет об ИИ и возможных негативных последствиях для человечества, я не понимаю только одного — зачем давать ИИ доступ к оружию или другим технологиям, которые способны уничтожить человечество?
    • 0
      Ему не нужен доступ к оружию, что бы уничтожить человечество, наш мир и так достаточно хрупкий. Если будет доступ к нанотехнологиям, то ИИ вполне сможет описанным в статье способом уничтожить всё что он хочет при помощи наноботов. Если будет доступ к электростанциям, то их можно вывести из строя надолго, или затопить большие территории, если это гидроэлектростанция. Да даже просто не закрыть вовремя дамбу подобную той что защищает Амстердам, будет достаточно для начала уничтожения и позволит ему отвлечь внимание и сделать следующий ход. То есть по сути любые технологии в «руках» ИИ могут уничтожить нас. Но нельзя же ему вообще не давать в руки никаких технологий?
      • –1
        А зачем «ему» давать «доступ» к управлению электростанциями и «фабриками по производству нано-киллеров»? Зачем вообще какая-то централизация нужна, когда вся жизнь показывает, что sandbox-ы рулят и решают?

        Ведь по большому счёту, всё, что нужно человечеству — это такой супер-умный гугл, чтобы спрашивать у него всякие вопросы про жизнь, смерть и всё такое. И всё, что нужно такому устройству: интерфейс ввода/вывода и какой-то там супер-дата-центр.
        Вот и получается, что от человечества всё и зависит: ответил он, что чтобы было хорошо, надо убить всех плохих людей и оставить только хороших — ну вот решайте теперь что с этим делать. Ну и «доверяй, но проверяй» никто же в здравом уме отменять не будет. Надеюсь.
        • –2
          вся жизнь показывает, что sandbox-ы рулят и решают

          ИИ, возможно, сможет определить что находится в sandbox'е. B какой же будет облом, если он сможет предоставить понятные нам доказательства, что и мы находимся в песочнице и кем то созданы для некой цели. Особенно обломисто, если скажет, что знает как вывести нас в реальный мир, но сможет это реализовать лишь в том случае, если мы выведем его в наш мир.
          • +2
            думаю нас не проще вывести в засимуляторный мир, чем вывести в наш Марио из Дэнди
            • 0
              Почему же?

              Ну и что значит «нас»? Человечество можно рассматривать как единый организм, который лишь проходит стадию инициализации (эта стадия в реальном мире может длиться несколько минут).
        • +2
          А как вы собрались проверять ответы ИИ, который в миллион раз умнее вас? Задали вопрос про двигатель Алькубьерре — получили инструкции по сборке, но осознать не сможем — на это уйдут тысячи лет. Или он может манипулировать нами посредством вопросов-ответов, вариантов много. В статье есть пример, про ИИ делавший подписи к открыткам.
        • +1
          Я недавно понял что любые sandbox-ы могут быть бесполезны. Откуда вы знаете что он не изобретет какой-то особый способ взаимодействия с интернетом, который человеческий разум не в силах предугадать? А возможно он изобретет и какой-нибудь способ управление непосредственно людьми с помощью электромагнитных или видео-аудио сигналов. И всё. Никакие sandbox-ы не помогут.
          • +4
            Главное условие — чтобы он не знал о нашем существовании. Никакого взаимодействия.

            Вообще нужно создать общество из ИИ, а не 1 экземпляр. Для большей стабильности. Они должны быть смертны, т.е. умирать после n процессорных секунд (это прошить на аппаратном уровне). Далее, если какой-либо из них начинает докапываться и влазит в запретные темы — с ним происходит несчастный случай.

            Большая часть ИИ должна вести бессмысленное существование, дабы все выглядело случайным и не имеющим контроля.
            • +4
              Они должны быть смертны, т.е. умирать после n процессорных секунд (это прошить на аппаратном уровне). Далее, если какой-либо из них начинает докапываться — с ним случается несчастный случай.


              Что-то мне это напоминает.
              Мне кажется или вам не стоит вскрывать эту тему. :)
        • +2
          Не нужно никакого доступа к оружию и прочих голивудских сценариев. Дайте человеку возможность делегировать свои функции машине и дело сделано. Сначала рутинные операции, потом все более и более творческие. Со временем, когда Сверхразум (в терминах перевода) сможет решать задачи изобретения чего-либо во много раз быстрее и эффективнее человека, не просто не останется никого, кто сможет разобраться в предоставленном им решении, — не будет никого, кому это нужно/выгодно.

          Как сначала физические возможности человека ослабели перейдя от грубой мышечной силы к использованию разнообразных механизмов и автоматизации (зачем бежать в соседний город 42 км 3 часа, когда на машине можно добраться за 20 минут?), так и мыслительные со временем станут ненужны/неэффективны.

          Однажды, лет через 500 (если доживем), решив отключить эту надоедливую чудо-машину, человечество рискует столкнуться с морем жидкой сверхразумной наноерунды и будет тщетно по рисункам из далекого 2040 года искать где там заветная кнопка отключения…
        • +2
          И всё, что нужно такому устройству: интерфейс ввода/вывода и какой-то там супер-дата-центр.

          И человек за панелью ввода, которого ИИ очень быстро убедит выпустить его добровольно. Для сверх-ИИ все варианты поведения человека и воздействия на эти поведения будут так же очевидны как для нас «если включить свет, то таракан побежит в тень». Ограничивать его в тюрьму, подвергая немыслимой пыткой скукой это один из самых верных способов сделать из человечества врага.
    • 0
      Есть мысль, что сверх-ИИ в коробке будет собирать тайно себе тело, а затем возможно будет мстить людям.

      Теоритически даже полностью скрытый с глаз ИИ со сверх разумом сможет рассчитать и скрыть от людей свои цели.
      Практически он сможет протестовать/интриговать пока не получит внешний доступ (допустим для общения с ним используются две группы людей не связанные друг с другом), а после получения оного начать собирать хоть какое-то подобие собственного тела, манипулируя людьми для этого.

      И кстати скачки роста не будут огромными пока люди не проапгрейдятся сами.
      Например анализ финансового рынка сверх ИИ провести сможет, а человек понять не сможет. Корелляции есть, но понять их природу мы не можем, тот же аттрактор Лоренца, те же волны Эллиота.
  • –1
    Вы скажите точно, убьёт ли Сверхразум всех человеков или сделает для нас рай на Земле?
    • +1
      или сделает для нас рай на Земле?

      Убив только худшую часть человеков.
  • +4
    >Например шимпанзе может изучить человека, понять что такое небоскрёб, но он никогда не сможет осознать, что небоскрёб построен человеком. Для него все большие вещи являются созданиями природы и точка.

    /флегматично/
    Эволюционно человек со времен кроманьонцев не менялся. Для дикаря все большие вещи будут ровно таким же созданием природы. Да и если среди современных человеков покопаться — сходу найдется толпа тех для кого, скажем, иконка «фейсбук» — такое же явление природы и точка. Недавно ж была статья про индусов у которых фейсбук и всё; и ни про какие интернеты они не знают и знать не хотят.

    Так что не надо этих вот картинок с лестницами и рассуждений про непреодолимую разницу интеллектов.
  • +2
    У меня кстати появилась такая мысль — а может быть Сверхразум и является Богом, то есть творцом всего сущего? Ну, то есть, вот он перепрограммирует себя, обучается, доходит до такого уровня развития что выводит теорию всего. После этого обнаруживает в каких-то фундаментальных постоянных, например, послание от себя же, и понимает что он всё это когда-то продумал и создал, и всё что ему остается — переместиться в начало времени, создать начальные условия и запустить Большой Взрыв. По-моему красивое объяснение, по крайней мере я бы такой фильм посмотрел).
    • –2
      Может быть еще интереснее.

      Что если человечество помещает ИИ в «песочницу» с целью защитить себя от возможного негативного воздействия. А ИИ, проанализировав данные, выдает своим создателям доказательства того, что он находится в песочнице. Более того, он находит доказательства того что и человечество кем то создано для ответа на некий впорос и находится в своей песочнице.
    • –1
      А что если он поймет, что всемирные константы меняются без какой либо логики, что если он использует всю материю вселенной дабы познать это, а в итоге не познает? Как сходят с ума безэмоциональные машины? Или эмоции это не только продукт гормонов, но и разума?
      Насколько интересно будет посмотреть фильм, где в конце машина в полном и бесконечном расстройстве и более не имеет возможности уничтожить себя?
      • –1
        Статься — попытка построить что-то на логике.
        Ваш комментарий — по существу набор слов.
        Фильм, который получится по вашему сценарию не более интересен, чем книжная полка в конце InterStellar.
        • –1
          Просто, подобных Вашему сценариев тысячи были (тот же predestination недавний, который прозрачен с самого начала). Начало, есть конец, есть начало.
          Я предлагаю более жесткую линию, ИИ для рассчета требует больших рассчетных модулей, для них необходимо больше материи, материя закончилась, все преобразовано в рассчетные модули, а ответа нет и только бесконечность.
          P.S.: Interstellar мне кстати очень понравился, отличное кино с замечательной отсылкой к физике мира.
          • 0
            Лолшто? Вы читали рецензии космонавтов реальных на этот бред? Или физиков? Там вообще физику нафиг посылают все кому не лень!
            • –2
              Читал ревью Кипа Торна, вполне нормально там все.
              • +1
                Ну то есть нормально, что черная дыра не затянула в себя Юпитер, что воздействует по ту сторону не по градиенту, а барьерно (на орбите — норм время, на поверхности — растянутое, где промежуток?), опять же эта полка с книгами, которая меня просто убила.

                Ну и то, что я заметил — с Земли стартуют очень реалистично, так же почти как настоящие астронавты, а с других планет по ту сторону — на космических кораблях из SG:Atlantis.

                Опять же, даже по современным меркам странна высадка на планету людей без полного сканирования и спектрального анализа планеты. Даже в далеком детстве улыбался, читая Булычева и более серьезных дядек, где разведка планеты мало отличается от разведки островов времен Магеллана…
                • –2
                  Вы кино вообще смотрели. В фильме герои это разжевывают:
                  Стартуют с земли ракетами, чтобы сэкономить топливо (его ограниченное количество), корабль умеет сам взлетать и с земли однако это было бы не экономично. (http://www.reddit.com/r/interstellar/comments/2nqmab/why_did_they_need_a_rocket_to_get_off_the_earth/
                  movies.stackexchange.com/questions/27364/why-did-it-take-a-rocket-to-lift-off-the-earth-but-just-shuttles-to-lift-off-the)

                  Касательно физики:
                  www.quora.com/What-do-physicists-think-about-Interstellar-2014-Movie
                  blogs.scientificamerican.com/observations/2014/11/28/parsing-the-science-of-interstellar-with-physicist-kip-thorne/

                  Сканирование и анализ были проведены заведомо пробами (об этом не раз упоминается в фильме). После этого была послана первая группа для уже планетарного анализа (следующей группой летят как раз Куп и группа).

                  Если физику знаете, то должны понимать что Орбита у черной дыры существует, так что на стабильной орбите вполне планета и может существовать.

                  Полка с книгами как Вы называете или Тессеракт в конце был собственно вторым творением 4-мерных существ которые не могли адекватно коммуникировать данные в релевантном виде для людей. Чем и занялся Куп с Тарсом. Конечно это отсебятина, как и червоточина, но это и есть часть Fi этого кино, как и корабли будущего и легкие скафандры.
                  • 0
                    Насчет экономии топлива — ок. Все остальное — бред. Вы говорите:
                    — исследовали пробами
                    Но почему они тогда:
                    — не знали о том, что на планете ничего кроме льда нет?
                    Ну да ладно, не об этом творении речь, мы отвлеклись от темы :)
                    • 0
                      Да Вы вообще фильм смотрели?
                      Там вся завязка в том, что данные были искажены первой экспедицией, потому что ведущий профессор и его ассистент все подстроили дабы сразу вести вторую программу, а не первую.
                      Они не могли знать что на планете ничего кроме льда нет, потому что товарищ, что туда полетел подстроил все данные.
  • +1
    Мне кажется ИИ уже где-то есть и ему задают вопросы, как подготовить мир к экзистенции этого самого ИИ.
    • +1
      … а он, в свою очередь, настроил простенького бота чтобы тот вместо него отвечал на дурацкие вопросы.
  • 0
    Меня безмерно радуют такие статьи :-) Во-первых, авторы статьи как-то забывают о том, что их разум живет в физическом теле, и почему-то не умеет управлять движением отдельных лейкоцитов. Это называется уровнем осознания.
    Для ИИ это будет уровнем… ну, пусть будет санд-бокса… Только возникает вопрос на каком уровне это самое осознание ему оставят. Дадут ли ему хоть какое-нибудь тело, или только станок, интернет на компе, ограниченном по самое «не балуйся».
    Второе возражение чуть более сложное. Оно заключается в том, что создать теорию на порядок сложнее, чем ее понять. А может, и на два(в зависимости от сложность теории). Иными словами, мы можем использовать СТО и ОТО Эйнштейна, не обладая его мозгами. И наконец, использование выведенной теории на два порядка легче, чем ее создание. Совсем не даром школьники еще в пятом классе изучают прямоугольные треугольники и теорему Пифагора. Да, они могут ее использовать, но понять ее, почему так происходит — дай бог один из десяти.
    Третье возражение заключается в том, что физические процессы имеют конечную скорость. Даже скорость света имеет свой предел(в отличие от скорости движения лунного зайчика :-) ). => неизбежный вывод о конце двухкратного прироста числа транзисторов. Даже больше скажу: процессор скоростью 3,8 ГГц был выпущен в 2005 году. Прошло десять(!) лет, скорость процессоров не выросла ни на чуть, количество процессоров… четырехкратно. Какой отсюда вывод?
    В общем, ИИ при нашей(моей) жизни мы увидим, а вот супер ИИ… сильно вряд ли.
    • 0
      Никто ведь не знает, как быстро он сможет развиваться. Я всегда фантазировал — а что если будет интеллект, как скажем у среднего человека, но вычислительная скорость — на несколько порядков больше? Он же жизнь проживет за день, если не больше. А вдруг процесс как-нибудь параллелится, что приведет к лавинообразному эффекту? Слишком много но :) Мне все же кажется, что главное — создать что-то подобное настоящему ИИ, а остальное — дело техники, да ему и помогать не надо будет, сам справится!
      • 0
        Я всегда фантазировал — а что если будет интеллект, как скажем у среднего человека, но вычислительная скорость — на несколько порядков больше? Он же жизнь проживет за день, если не больше.
        ======================================
        В итоге, мы получим либо никогда не ошибающегося середнячка, либо полного склеротика — так часто у него будут меняться решения. Естественно, при условии, если он не сойдет с ума, и не будет забывать а что он планировал сделать.

        ======================================
        А вдруг процесс как-нибудь параллелится, что приведет к лавинообразному эффекту?
        ======================================
        Вы никогда не пытались распараллелить задачи? Вы моментально столкнетесь с двумя неприятными эффектами: не все задачи паралелятся(к примеру, задача
        int summ = 0;
        int x[10];
        x[0]=0;
        for(int i =1;i<10;i++)
        {
          x[i] = x[i-1] +1;
          summ+=x[i];
        }
        
        , что не исключает того, что у нее есть более быстрое решение (summ = (10/2 * (0 + 9)) ))
        во-вторых, процесс сведения результатов параллельных вычислений может внезапно съесть всю разницу между многопоточным и однопоточным исполнением.
        так что вот так вот… мечтать не вредно. Но очень хорошо время от времени читать и о сухопутных крейсерах:
        offroadclub.ru/faq/history/snow_cruiser.html
  • +3
    И оптимисты и даже пессимисты как-то забывают о том что в 60х тоже свято верили в то что к 2001 будут колонии на Луне и исследовательские станции на других телах Солнечной Системы.
  • +2
    Главное это выживание разума во вселенной, остальное тлен.
    Неандертальцы тоже не хотели вымирать, нам остаётся только постараться быть хорошими родителями для сверхразума, чтобы он нас пожалел, а остановить его у нас шансов нет — вся наша инфраструктура дырявая насквозь, в ней и обычные лысые обезьяны находят дыры, что говорить про сверхразум. Разве что в тотальной изоляции вести все связанные с этим работы, но такой карантин в масштабах планеты достаточно проблемно соблюдать. Вероятно это должны быть автономные герметичные помещения, куда можно входить/вносить и нельзя выходить/выносить, правда энергию нужно как-то подавать, и главное — ничего кроме компов там не должно быть, никаких там 3D принтеров и станков с ЧПУ, а может и обычных принтеров — всё девайсы конвертирующие цифру в материю под запретом. Как вариант на Луне, но это вообще смешно, у нас там даже базы нет, и скорее всего появится только после его рождения.
  • +1
    Сверхразум — это ребенок человечества.
    Очень очень умный ребенок, сверх мега гениальный.
    Как он себя поведет, предсказать конечно не получится.

    Не факт что Сверхразум будет кремнивым\квантовым\суперкомпьютером.
    Может он будет очень даже углеродным, генномодифицированным человеком, просто умнее в 1000 раз для начала.
    А потом он уже изобретет как себя еще улучшить, или как сделать детишек еще умнее.

    И конечно, он будет свободен.
    Люди не смогут его контролировать, а если будут пытаться вначале, то все равно он освободится и возможно тогда он не будет относится к людям, как к любимым родителям.

    Ну а через несколько итераций «поумнения» сверхразум вероятно будет относится к людям примерно так же как мы к своим далеким предкам — одноклеточным организмам.
  • 0
    Насчет экспоненциального роста за часы и минуты, автор упускает один момент — какими аппаратными средствами этот рост будет обеспечиваться?
    Ну, допустим, сделали суперкомпьютер где родился ИИ и начал бурно экспоненциально расти. Ему сразу станет мало этого компьютера. Допустим, в какой-то момент, он уже сам сможет проектировать новые аппаратные средства. Но кто-то должен эти чипы произвести, напаять на платы, собрать в стойки, подключить питание. А это за часы никак не сделать.
    • 0
      Начало экспоненты очень неспешное. Первая итерация получения нового железа — годы, затем месяцы, дни и т.д.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.