Илон Маск считает, что искусственный интеллект опасен для человечества



    Об опасности искусственного интеллекта много говорят и пишут. Есть те, кто считает, что ИИ никогда не будет вредить по той либо иной причине (хотя бы потому, что искусственный разум будет подчиняться трем законам робототехники).

    Но есть и те, кто считает, что человек может стать жертвой технологической сигнулярности, а искусственный интеллект — опасен. Недавно Стивен Хокинг, один из величайших умов нашего времени, назвал искусственный интеллект величайшей ошибкой человечества. Похоже, что примерно так считает и небезызвестный Илон Маск.

    Выяснилось это в пятницу, когда автор термина «виртуальная реальность» Джарон Ланье открыл дисскуссию об ИИ. Его идеи стали обсуждать многие ученые, писатели, инженеры и бизнесмены. Среди прочих был опубликован и комментарий от Илона Маска, где он прогнозирует риск появления «чего-то очень опасного в пределах 5-10 лет». Под «чем-то опасным» подразумевается опасный для человека искусственный разум.

    Через несколько минут Маск (или его отдел по работе со СМИ) стер комментарий, но его успели заскринить:



    Маск считает, что сейчас успехи специалистов, работающих над созданием ИИ, чрезвычайно заметны, дело двигается очень быстро, и уже через несколько лет мы можем увидеть реальный искусственный интеллект. И этот разум может быть вовсе не дружелюбным в отношении человеку. Маск надеется на то, что создатели ИИ смогут его контролировать, и не дать плохим парням (в смысле, цифровому суперразуму) убежать в Интернет.

    Кстати, не так давно Маск назвал искусственный интеллект «созданным человеком демоном».

    Мнение маска ставит его в положение человека, который не только пытается прогнозировать будущее, но и старается предусмотреть различные варианты опасностей, которые могут встретиться на пути развивающегося человечества. И одной из таких опасностей вполне может быть ИИ.

    Пресс-секретарь Илона Маска пообещал в письме к Mashable, что вскоре Маск опубликует более подробное мнение об искусственном интеллекте. Будем ждать.

    Кстати, здесь нельзя не вспомнить НФ рассказ, в котором человечество расселилось по Галактике, и каждая планета создала по суперкомпьютеру. После было решено объединить все супермашины в единую сеть. После того, как это было сделано, руководитель проекта спросил машину: «Есть ли бог?». И машина ответила ему «Теперь есть». После этого с чистого и ясного неба ударила молния, запаяв рычаг во включенном положении. Заодно молния убила и оператора, который пытался выключить систему.

    Время написания рассказа — 1954 год. Похоже, фантасты, как всегда — впереди планеты всей.
    Считаете ли вы ИИ опасным для человека?

    Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

    Поделиться публикацией
    Никаких подозрительных скриптов, только релевантные баннеры. Не релевантные? Пиши на: adv@tmtm.ru с темой «Полундра»

    Зачем оно вам?
    Реклама
    Комментарии 257
    • +26
      Ящитаю, абсолютно все НФ произведения про злые ИИ растут ногами из «Монстра Франкенштейна», который в свою очередь растет ногами из простого первобытного животного страха того что в неизведанности (в темноте) может сидеть что-нибудь что хочет тебя сожрать. Давайте не будем быть животными. У ИИ нет никаких логических причин насильно порабощать или уничтожать человечество — оба варианта порождают гораздо больше дополнительных проблем при решении основной, порой даже более серьезных.
      • +7
        насильно порабощать или уничтожать человечество
        насильно
        Достаточно развитому ИИ не нужно будет даже к насилию прибегать, он сможет манипулировать людьми так, что это им еще и понравится (разве что насилие окажется более эффективным средством воздействия).
        • +33
          Достаточно развитому ИИ не нужно будет даже к насилию прибегать, он сможет манипулировать людьми так, что это им еще и понравится
          Ну так и что здесь плохого? Лично я считаю что ИИ ДОЛЖЕН управлять человечеством, потому что это единственный возможный способ управлять страной\планетой\ресурсами и обеспечивать безопасное и качественное проживание граждан, в то же время исключая из уравнения жирных 50-летних дядечек которым важна ВЛАСТЬ, набить карманы за счет госбюджета, и утопить в помоях или крови всякого кто даже теоретически может угрожать их позиции ВЛАСТИ.
          • 0
            Так я ведь и не писал, что это плохо :) В таком подходе еще есть нерешенные проблемы (например, кто будет задавать цели этому интеллекту? кто будет ставить ему моральные ограничения?), но если он будет менее эгоистичным, чем нынешние руководители (ведь даже лучшие из них, хоть немного, но думают о себе), это уже будет хорошо.
            • 0
              А кто их ставит Человеку?
              Я не имею ввиду смертных особей. Вот скажем дать Вам бессмертие, денег достаточно для бессмертного существования (не бесконечно, а именно так чтобы не нужно было работать и т.п. — скажем каждый день на вашем счету появляется 10тыс долларов или эквивалентная сума, и в следующий день снова округляется к этой сумме, вне зависимости от того уменьшили Вы ее или увеличили).
              При этом представьте себе, что прожили Вы уже достаточно долго, чтобы отделить себя от наносных ценностей. Вы уже наигрались бесконечной силой. Вы уже давно не ведетесь на «дорогие машины», шикарные гаремы и прочее. Всё наносное осталось за пределами. Есть только Вы.

              Какие были бы ваши цели? Какие моральные установки?
              Не спешите с ответом. Это не так просто, на самом то деле.

              Ну да этот вопрос немного не для уровня Хабра.
              Давайте остановимся на генеральной линии — изначально, первые лет 100 Вы будете полностью жить по системам полученным из материнской цивилизации. Вы будете их менять, перебирать. Но всё время оставаться в чистом человеческом контексте. Дальше, когда вы уже осознаете себя _другим_, Вы еще лет эдак 200-300 будете формировать некую свою собственную систему ценностей.
              Или по крайней мере Вам так будет казаться.
              На самом деле эта система будет лишь логическим продолжением исходной, человеческой.
              Ну вот например Вы решите для себя, что война это хорошо. Но будет это лишь потому, что люди после войны лучше начинают ценить жизнь. Что приводит к увеличению количества жизни… И хотя даже Вы будете считать эту логику «нечеловеческой» но она тем не менее будет всё той-же…
              В конце своего первого тысячелетия Вы ударитесь в противоположность. Нет, конечно по Пути, Вы не раз в нее будете ударяться. Но то так… по детски… Потом быстро вернетесь в исходную. Человеческую. Простую. Примитивную. Но тем не менее такую родную. К концу второго тысячелетия Вы вдруг осознаете, что это блин уже возраст, а Вы давно не вспоминали такие глупости… Забыли. Поймете что давно живете по принципу «я так решил, а значит так и будет, и не важно есть ли в этом смысл»… Ну вот и конец десятого тысячелетия… И что же?.. А собственно что? Я ведь всё это выдумал, не так ли? Так почему бы не продолжить дальнейшую тему кому-то другому?)
              Главное здесь вот в чем — когда Разум освобождается, он продолжает жить в изначальной системе координат, которая была до освобождения. Даже уход в противоположность это тоже всё та же система координат. Лишь другой конец шкалы. Освободившись от нее, он пишет свою собственную систему координат, или живет без нее…
              • 0
                Обычно, когда заходит разговор о вечной жизни, приходят к выводу, что рано или поздно наступает момент беспросветной тоски и отсутствия цели, отчего хочется просто самовыпилиться. Я только что совершенно неожиданно для себя сформулировал достаточно простое решение этой проблемы, пока читал пост Mendel. Фактически, всё, что нам нужно в таком случае — это вызвать амнезию. Пожили две тысячи лет, осознали тщетность бытия, и вместо того, чтобы пытаться умереть, стёрли свою память и мы снова готовы покорять вершины развития, как новый человек с новой личностью и новой цивилизационной точкой отсчета («системой координат»). Идеально, если корректировать память можно было бы выборочно.
                • 0
                  Поздравляю. Вы только что открыли реинкарнацию :)
                  • 0
                    Насколько я понимаю реинкарнацию, там и тело обновляться должно и вообще всё, а не только разум. Но в целом согласен, близко к этому.
                    • 0
                      Тело как Вы заметили не существенно в данном случае.
                      Ваш метод решения не сработает, и вот по какой причине:
                      Если каждый раз начинать полностью с начала, то либо мы будем повторять одни и те-же события, а это не продолжение жизни, а лишь воспроизведение одной и той же пластинки по кругу, либо каждый раз что-то новое. Тут весь прикол в том, что срок жизни ограничен (у вас 2тыс лет, в реинкарнации 120 лет). А значит колво различных сценариев хоть и велико, но конечно. При этом все равно в какой-то очень скорый момент будут повторяться уже пройденные и надоевшие сценарии… Можно о них не помнить, но становиться грампластинкой — увольте… Что остается? Что-то новое, более сложное… в общем жизнь, и движение вперед. Но для этого нужны навыки, умения и знания. Даже когда ты всё это умеешь, но нужно просто вспомнить… даже если тебе «модератор» создаст идеальные условия — тебе все равно нужно время на это. Даже если ты отлично умеешь управлять межгалактическим космолетом, то тебе нужно будет хоть раз пролистать инструкцию. Даже если ты несколько жизней этому учился, а тут ты потратишь час на чтение, то ты его таки потратишь… (в нашей реальности это изучение языка, навыки ходить самому в туалет, социализация и т.п.). Так вот — в какой-то момент чтобы начать делать что-то новое, интересное, нужно будет пройти «вспоминательный» путь, который больше чем выделенная нам жизнь…
                      Т.е. реинкарнацией вы увеличили ресурс на много порядков, но не сделали его бесконечным…
                      Так что сохранение памяти на каком-то этапе станет неизбежным.
                      И как результат неизбежной станет и смерть… Да, она будет иной. И не похожей на смерть. Но она будет :) И нет, что бы вы не придумали дальше, а в какой-то момент куколка должна будет стать бабочкой. По любому :)
                      • 0
                        Снова как один из лучших вариантов реинкарнаций и очень длительной жизни вспоминается регенерация таймлордов. В этом случае память не стирается, но по крайней мере старческий депрессняк проходит и возвращается тяга к жизни.
                • +3
                  Я этим вопросом занимаюсь лет уже так 15 и еще накануне 2000 года поставил цель — добраться живым до 2100, а там подумать, как добраться со всем человечеством до 3000 и заодно помочь найти способ восстановить к жизни когда-то умерших людей. (Через пару лет я прочитал, что это называется «космизм» и сформулировал это впервые (в зафиксированной истории) Н. Ф. Федоров.) Такова моя система ценностей с прошлого века и я в упор не понимаю, каким образом она должна по-вашему выродиться в милитаризм или еще какое-либо дерьмо. Безусловно недопустимо уничтожать существующую человеческую жизнь якобы ради каких-то новых; равно как и склонять людей к самоуничтожению по подобным соображениям. И что плохого в том, что это действительно продолжение развития тех же человеческих гуманистических ценностей, которые развиваются (увы, через пень-колоду) на протяжении всей истории цивилизации?

                  При этом представьте себе, что прожили Вы уже достаточно долго, чтобы отделить себя от наносных ценностей. Вы уже наигрались бесконечной силой. Вы уже давно не ведетесь на «дорогие машины», шикарные гаремы и прочее. Всё наносное осталось за пределами. Есть только Вы.

                  Есть не только я, но и максимально широкий круг людей, в защиту жизней которых я в таком сценарии 100 лет вкладывал деньги. Какие нахрен «дорогие машины» и гаремы? Наука, технологии, образование, социальные сообщества, экологические и космические проекты и биореакторы для мракобесов поиски новых способов адаптации и апгрейда отсталых деструктивно настроенных субъектов. Под конец десятого тысячелетия мы таким образом будем только начинать по-серьезному осваивать галактику (если скорость света все-таки не получится обойти), а вы говорите о какой-то бессмыслице, как будто сами прожили 10000 лет. Глупо же. Попробуйте сами попрактиковать «бессмертное мышление» не в контексте «этого все равно в реальности не будет и лучше придумать отмазку, почему этого не нужно», а в осознании реально идущего процесса освобождения человечества от биологической смерти как закономерного следствия развития цивилизации.
                  • 0
                    Вы пытаетесь уйти от ТЗ. Какие к черту «максимальный круг людей»? Если кто-то и будет таким же как вы, то это ничего не поменяет. В данном случае речь шла не об одиночестве (хотя это сильно упрощает задачу), а о том что у вас нет комплексов привитых обществом.
                    В конце 10к мы (кто мы?) будем осваивать Галактику? Экспансия это как раз одна из наносных мыслей. Ну да ладно. Я немного не о том.
                    Давайте лучше разберем ваше «Такова моя система ценностей с прошлого века и я в упор не понимаю, каким образом она должна по-вашему выродиться в милитаризм или еще какое-либо дерьмо. Безусловно недопустимо уничтожать существующую человеческую жизнь якобы ради каких-то новых; равно как и склонять людей к самоуничтожению по подобным соображениям.»
                    Для вас это безусловно, и вы «в упор не понимаете» именно потому что опыта маловато.
                    Тут в соседней теме это уже звучало, так что пожалуй такой пример приведу, и не буду спорить дальше:
                    Вы прожили достаточно долго. Вы похоронили сотню поколений своих друзей. Многих имен и лиц уже не вспомнить. Вереницы женщин, детей, друзей… есть только общее ощущение. Что-то теплое… Смерть уже не пугает и не смущает вас. Смерть близких для вас обыденна. Неприятна, но неизбежна…
                    Среди ваших друзей были двое аборигенов Африки, из одного племени. Да, вы достаточно там прожили, что прекрасно отличаете нюансы лиц, и они далеко не на одно лицо для вас… Вы даже вмешались в конфликт этого племени с европейцами. Ведь рабство это плохо. Война это тоже плохо… Деревня в целом избежала серьезных потерь. Но несколько человек из деревни таки попали в рабство. Не успели. Не уследили. И среди них один из ваших друзей. Второй к счастью остался на свободе… После чего прошло совсем немного времени. Каких-то лет 20, и тот который остался на свободе — умер. Еще через двадцать лет после голода, а потом и эпидемии — погибли два его сына, и дочка… Еще через каких-то незначительных лет 200 вы включили телевизор, и увидели знакомое лицо… негр в Капитолии был точной копией вашего второго друга… Явно его потомок…

                    Стратегия страуса, под названием «никакая жизнь миллионов потомков не стоит и одной жизни современников» это лишь политика страуса. Череда решений «вмешиваюсь-больше-не-вмешиваюсь» будет довольно долго сменять друг-друга. Чем больше будет таких ситуаций, тем как ни странно это будет происходить реже… К годам пятистам вы немного устаканитесь по этому поводу…

                    Кстати знаете фамилию человека, без которого Израиль не был бы в таких границах как сейчас, был бы меньше, и слабее, чуть ли не на порядок? Да, естественно это Гитлер. Кто же еще? Если бы не этот любитель евреев, то лимиты на «репатриацию» в тогдашнюю Палестину были бы куда меньшими, со всеми вытекающими…

                    ПостСкриптум: до десяти тысяч лет я насколько мне известно не дожил, так что можете считать, что всё это лишь бессмыслица :)
                  • +1
                    «Ну да этот вопрос немного не для уровня Хабра.»

                    вот формула для любого организма
                    while(organism_is_alive)
                    get_more_gladness_than_now();
                    • 0
                      Хорошая попытка, но нет.
                      Вы не определили метод compare_gladness, и собственно на этом этапе и будут основные проблемы…
                      • 0
                        Но у реального организма он будет определен, так как без него никакой организм не заработает в принципе, причем не философски а с опорой на вполне определенные параметры.
                        • 0
                          Наркотики? Ну тоже вариант конечно, но это слишком просто :)
                          • 0
                            раскройте свою мысль подробнее, если можно
                            • 0
                              На определенном уровне абстракции мозг стремится к увеличению удовольствия. Это заложено в мозгу. Вы примерно в эту сторону и повели беседу. Зона удовольствия стимулируется разными методами, в том числе химически. Самое простое достижение постоянного уровня удовольствия это питание через вену, туда же вливать дозу препарата стимулирующего зону удовольствия. Есть электрические методы. Были различные эксперименты на животных на эту тематику…
                              • 0
                                «Самое простое достижение постоянного уровня удовольствия это питание через вену, туда же вливать дозу препарата стимулирующего зону удовольствия.»

                                Этот способ работает для живых организмов, но при этом это «обман» мозга. Т.к предполагается что организм должен получать удовольствие когда делает действия, соответствующие некоторым критериям заложенным в мозг изначально.
                                Например чтобы организм стремился побеждать в соревновании нужно заложить критерий удовольствия: победа в соревновании. И т.п.
                                Когда я говорил о определенных параметрах на которых основана радость(счастье), я имел ввиду критерии типо приведенного выше. То есть нет, не наркотики.
                                • 0
                                  Ну ок, человек получает удовольствие от вкусной еды. Давным давно, одна культура изобрела пенек, для того, чтобы можно было эффективнее использовать этот источник удовольствия… На обман вроде как не похоже, ведь удовольствие достигается организмом вполне естественным путем. Даже если просто ограничивать себя в таких подходах, то организм свободно позволит употребить раза в три больше еды чем ему нужно… Мы будем развивать самую вкусную еду, облегчать ее размеры и калорийность…
                                  • 0
                                    «Мы будем развивать самую вкусную еду, облегчать ее размеры и калорийность…»
                                    Это уже зависит от критерия который задан. Это может быть еда но не обязательно.
                                    Например, Илон Маск захотел развивать космос и электроавтомобили, то есть подтолкнуть прогресс.

                                    «Какие были бы ваши цели? Какие моральные установки?»
                                    Я попытался ответить на этот вопрос. Вы спрашиваете какие были бы цели, мой ответ: организм всегда стремится достичь радости, но критерии, при выполнении которых организм становиться счастливым заданы изначально( с рождения) и они будут работать пока организм жив.
                                    • 0
                                      Заложены лишь ограниченный набор базовый потребностей.
                                      Даже пирамида Маслоу здесь будет мало информативна.
                                      С точки зрения алгоритма рисования совы в два шага, ваша теория об удовольствии конечно верна. Но если задуматься КАК ИМЕННО одни и те же базовые цели заставляют одного выпускать электромобили и покорять космос, а другого «крошить укропов», то толку от такой точки зрения будет не больше чем искать в шахматах седловую точку…
                                      • 0
                                        «Но если задуматься КАК ИМЕННО одни и те же базовые цели заставляют одного выпускать электромобили и покорять космос, а другого «крошить укропов»»

                                        Думаю что базовые цели как раз разные, вы замечали ведь что некоторые люди учатся в институте и им нравиться узнавать новое, а некоторые просто получают диплом, кто то занимается спортом всю жизнь и ему нравится. Люди разные с рождения. На мой взгляд это своеобразное разделение труда как у муравьев.

                                        Тем не менее люди с одинаковым набором базовых потребностей могут идти разными путями, потому что у них разная картина мира. Например, представьте что у человека есть цель и он знает 1 путь к ней. Он им и пойдет. Но если он узнает более легкий способ достижения своей цели то он выберет его.
                • 0
                  Daemon & FreedomTM, Daniel Suarez.
                  • 0
                    Человеческий страх

                    Посмотрите какие трудности создаются на пути автопилота автомобилей или технологий электромобилей Tesla, которые на практике в разы безопаснее, чем традиционные… Дело не в том, что может ИИ, дело в том, как толпа будет к нему относиться, а она безусловно будет бояться.
                    Поэтому мне кажется технологическая сингулярность приведёт к панике и нравам схожим средневековью в её отношении. Человечество ещё не готово к ИИ.
                    • 0
                      Плюсую. Проблема не в ИИ, а в человеческом отношении к нему.
                      Если это разум, то к нему надо будет относиться как к себе, а люди пока к этому не готовы
                      • +1
                        Во-первых, если говорить о большинстве людей, не факт, что его появление приведет к панике, скорей даже к вау-эффекту и как к крутой такой штуке, которая сыплет ништяками и игрушками, как из рога изобилия… Но суть не в этом, в данном случае проблема не в людях и их отношении, а именно в отношении ИИ к людям и миру, а точнее — в его планах.

                        Если вдруг ограничения и попытки его контролировать будут провалены (тут уже будет неважно, сами мы посчитаем, что в них нет нужды или просто не рассчитаем максимальную длину привязи, человеческий фактор сработает, чья-то диверсия или сам ИИ обойдет), то людей он возможно даже не сочтет интересными и не заметит, пока мы не окажемся на пути его планов и развития или внутри его планов.

                        Вот вы говорите разум, а вы способны представить себе сверх-развитый разум, многократно превосходящий уровень интеллекта любого человека, сюда же «не знающий сна и усталости» и прочее, не стоящий на месте и постоянно развивающийся, и представить его мысли, что еще важнее — его цели, что для него хорошо и плохо и существуют ли для него такие понятия? Вряд ли вы способны, и никто не способен. Но вот что для него с очень высокой степенью вероятности будет существовать и иметь высочайший приоритет — это понятия «рационально» и «нерационально». И если он посчитает, что в конкретной ситуации уничтожение или ограничение чего-либо будет рационально для решения своих задач, то почему нет? Вряд ли он будет плакать или сожалеть по этому поводу. Вы же не плачете прибив назойливого комара? Вы устранили помеху и продолжаете заниматься чем вы там до этого занимались… Он для вас даже не существовал, пока не стал жужжать у вас под ухом… А может ИИ просто подумает-подумает, дойдя до какого-то уровня саморазвития и понимания окружающего мира и откажется дальше работать, посчитав, что это нерационально и бессмысленно..))) Никому не дано этого знать.

                        Это я щас говорил только о чистом, незамутненном разуме, главным критерием действий которого является рациональность. Но есть еще один момент. Возможно в комплекте у ИИ будут эмоции, которые наверняка будут влиять и участвовать в его интеллектуальном развитии и принятии решений и так же будут эволюционировать… Но не спешите радоваться и думать, что он будет плакать убивая и «больше так не будет» или будет нас любить (возможно и будет) как мы это понимаем. Ведь помимо эмоций ему наверняка будут не чужды и эмоциональные «расстройства» (с нашей точки зрения). Маньяк, например, получает истинное наслаждение и удовлетворение, убивая и терзая свою жертву. Более того, мы не только уже не сможем понять его мысли и цели, но уже и его понятия морали, того что хорошо и плохо и есть ли они вообще, здесь будет не только рациональность, но и иррациональность… Вполне возможно, что он выработает к нам какое-то отношение, что мы называем любовью, ненавистью, страхом и еще что угодно, чего мы не сможем понять. Особенно учитывая тот факт, что вряд ли он будет соответствовать человеческой анатомии, испытывать наши потребности, развиваться и воспитываться как человек, заводить семью, детей, ходить на работу и ездить отдыхать по субботам на дачу или на рыбалку. Для нас он будет как инопланетянин. А может он будет веселым таким гуру, который не прочь поболтать с нами дурачками о главном вопросе жизни, вселенной и всего такого (пока не испортится настроение от тупых чиновников и их законов ученых и их законов робототехники)))) Кто знает…
                        • 0
                          Вы говорите он будет приследовать свои цели. А откуда у него эти цели возьмуться? Откуда у Вас беруться ваши цели? Все поступки всех людей можно свести к двум типам мотивации:
                          1) Мы заботимся о себе любимом
                          2) Мы заботимся о других людях (возможно, о всём человечестве, возможно, только о друзьях и близких)
                          Разумеется, всё это каждый понимает со своей позиции (у разных людей может быть разное понятие заботы, кто-то может посчитать, что война это хорошо, потому что способствует естественному отбору, а кто-то категорически против эвтаназии смертельно больных) и у каждого одна из этих целей может преобладать над другими. Но изначально всё это обусловлено животными инстинктами. Забота о себе — каждое живое существо стремиться быть лучшим представителем своего вида по своему мнению, это основа выживания. Забота о других — выживание одной особи не гарантирует выживание вида. Часто эти две цели могут вступать в противоречие и тут уже проявляется индивидуальность каждого человека.

                          Да, иногда бывают отклонения от того, что задумала эволюция. Некоторые люди могут отождествлять себя с большей категорией живых существ, чем человечество. Они становятся радикальными «зелёными» (не радикальные обеспокоены тем, что вред окружающей среде может навредить самому человеку). А некоторые наоборот, сужают понятие вида, к которому они принадлежат по какому-то принципу. Такие становятся религиозными фанатиками и/или нацистами.

                          Таким образом любое поведение человека можно объяснить его биологической природой. Разум очень гибкая штука, поэтому порой может получаться полная противоположность тому, что изначально ожидалось.

                          А откуда инстинкты у ИИ? Только те, которые запрограммируют его авторы. И вот тут уже вопрос их благоразумия. Важно понимать, что даже само стремление к жизни и восприятие смерти как чего-то плохого следствие инстинкта самосохранения.

                          Нет рациональности как таковой. Есть рациональное решение какой-то конкретной задачи. Можно оптимизировать выживаемость людей, можно оптимизировать скорость развития науки, можно оптимизировать вред окружающей среде, но нужно сделать выбор, что оптимизировать.
                          • 0
                            И этот выбор, что оптимизировать будет за гранью рациональности. Без каких-то базисов (инстинктов) его не сделать.
                      • +2
                        Человечество ещё не готово к ИИ.

                        Так оно никогда и ни к чему не было\не будет готово, если его не пинать.
                      • 0
                        Тогда вам понравится фильм «Превосходство», ну, или «Матрица»… )))
                    • +2
                      а то сейчас мы живем по другому…
                      • +1
                        Про это тоже есть XKCD :D
                        imgs.xkcd.com/comics/ai_box_experiment.png
                        • 0
                          Такие ИИ уже есть. Смартфоны, например :)
                        • +8
                          Ему не обязательно быть злым, чтобы навредить человеку. Он может быть хорошим оптимизатором и эффективно преследовать цели, непонятные людям, и как побочный эффект исполнения этих целей скушать ресурсы необходимые для выживания человечества.
                          • 0
                            Например, планету Земля целиком :)
                          • +1
                            Современные фантасты и просто умные люди не думают, что ИИ может быть плохим, он может быть просто другим.

                            Пример из свежечитанного — потрясающие Морские звезды, Уоттс (у него же есть Ложная слепота, в которой и «пришельцы» — другие)
                            • –1
                              [зануда-mode on]
                              Франкенштейн — фамилия профессора, создавшего чудовище, которое на протяжении всей книги («Франкенштейн или современный Прометей», автор Мэри Шелли — рекомендую к прочтению) оставалось безымянным.
                              [/зануда-mode off]
                              • 0
                                [зануда-mode on]
                                Я именно так и сказал.
                                [/зануда-mode off]
                                • +13
                                  [зануда-mode]
                                  Зачем вы ставите закрывающий тэг и еще on/off? :)
                                  [/зануда-mode]
                                • 0
                                  xkcd.com/1589/
                                • +3
                                  “The AI does not hate you, nor does it love you, but you are made out of atoms which it can use for something else.” Eliezer Yudkowsky
                                  • 0
                                    Все что вы говорите о животном страхе по большей части относится к большинству людей, в особенности малообразованным, но вряд ли к столь интеллектуально развитым личностям, которые не высасывают проблемы и риски из пальца, а реально их просчитывают и прогнозируют на основе своих знаний и огромного опыта… А то, что вы говорите, что у ИИ нет причин и т.п., то вы просто не способны себе даже представить, что может думать нечеловеческий сверхинтеллект…
                                    Вот вы, возможно, не обращаете внимания на муравьев и их муравейник у вас под окном, пока вы занимаетесь своими делами, копошатся себе там, но они-то обращают свое внимание на вас, а как только они начинают вести себя так, как-будто вы им что-то должны, начинают изучать ваш дом, таскать сахар, мешать вашим планам и прочее, или просто вы решите на месте муравейника построить мастерскую, то что вы делаете — вы просто разоряете этот муравейник…
                                    Это конечно очень грубая аналогия, но, думаю, суть ясна… Нам не дано знать и даже понять, как ИИ будет вести себя в отношении нас и нашей среды обитания, не говоря даже почему… Причем, если бы мы даже смогли это просчитать, то он бы уже существовал…
                                    • 0
                                      Вижу, вы здесь — единственный, кто пользовался логикой в выработке своих суждений, поэтому не ответите ли на пару вопросов, используя ту же логику? Мне интересно.
                                      1. Если мотивации (индивидуальные смыслы жизни) — такой же результат эволюции, как и прямохождение, и разум, и т.д. (хоть и не наследуется в генах), и лишенные смысла жизни будут отмирать, то можем ли мы считать, что ИИ путем проб и отбора скорее встроится в систему человеческих мотиваций, чем будет пытаться нас поработить?
                                      2. Нейросети, байесовы сети как отражение примитивного натурального мышления — они лучше догматизма или нет?
                                      • 0
                                        Даже если есть причины. Естественные интеллекты пытаются поработить человечество уже не одну тысячу лет, пока даже до половины никто не добирался.
                                        • 0
                                          Так же как у винды нет логических причин выдавать синий экран смерти. Я например больше беспокоюсь о багах, чем о «логических причинах». Если говорить, что ИИ — это какое-то зло, то это конечно бред. Потому что добро и зло — это понятия эмоциональные, которые не будут присущи ИИ. Но если в результате бага он не увидит проблем в том, чтоб нажать красную кнопочку, то мне все равно по каким причинам это произойдет.
                                        • +8
                                          Есть разница между ИИ и «человекоподобным ИИ». Обычно про эту разницу все забывают.
                                          У ИИ, если он будет создан, будет совершенно другое устройство, обусловленное не эволюцией и генетическим наследием, доставшимся человеку от животных, а тем как инженеры его запроектируют. Тут еще такое непаханное поле, и еще столько предстоит узнать и изучить…
                                          • –10
                                            Что Вы подразумеваете под «Человекоподобным ИИ»? Машина, испытывающая чувства и эмоции? Чувства и эмоции есть лишь биохимия, что невозможно запрограммировать. А цифровой ИИ — это исключительно разум.
                                            • +9
                                              Представьте себе, «исключительно разум» это точно такая же биохимия.
                                              • +1
                                                Чувства и эмоции есть лишь биохимия, что невозможно запрограммировать

                                                Откуда возникла убежденность что эмоции это биохимия? Вы имеете в виду гормоны? Но сами по себе гормоны не являются эмоциями — они лишь воздействуют на нейронную сеть и запускают нужные механизмы. А вот на каких элементах собрана нейронная сеть — принципиальной разницы нет, по крайней мере никто не доказал что она есть.
                                                • +5
                                                  Компьютеры с гигабайтами памяти невозможны: ведь память — это лишь магнитные сердечники.
                                                  • 0
                                                    Скорее так: «Компьютеры, способные хранить видеоизображения людей, невозможны...»:)
                                              • +4
                                                А вообще, сэр Маск оптимист, имхо. ИИ нам не видать ещё лет сто минимум. максимум — автоматы способные крайне убедительно обманывать человека в том что они мыслящие, но в то же время не способные на самостоятельность или создание новых идей.
                                                • +1
                                                  Но ведь и не все люди на это способны. Вообще, самостоятельность — это не свойство всего разумного вообще, а мем. Так что самообучающаяся модель блондинки вполне способна мутировать в терминатора.
                                                  • 0
                                                    Но ведь и не все люди на это способны

                                                    Мизантропия хороша, но в меру.
                                                    • 0
                                                      А причем здесь мизантропия? Просто способность к рассуждениям — не обязательный атрибут человека.
                                                      • 0
                                                        Более того, использования старого вместо придумывания нового это базовая биологическая установка. Изобретатели скорее исключение для популяции, чем норма: esquire.ru/mark-pagel#5
                                                        • 0
                                                          Мне кажется, что в этой статье упущена очень важная способность: способность к разработке. Придумать копье, которое летит дальше, очень сложно, а вот рассчитать оптимальную форму копья — вполне посильная задача.
                                                        • 0
                                                          Ну как, вы же утвекрждаете что какой-то процент человечетва не является разумным. Что это как не мизантропия?
                                                          • 0
                                                            Не совсем. Комментатор выше сказал, что не все люди способны к самостоятельности или созданию идей, и таких, действительно очень много. Люди, которые всю жизнь делают только то, что им говорят, работают на «подай-принеси-погрузи» должностях, ничего не создают и никогда не берут на себя никакой ответственности.
                                                            • 0
                                                              Люди, которые всю жизнь делают только то, что им говорят, работают на «подай-принеси-погрузи» должностях, ничего не создают и никогда не берут на себя никакой ответственности.
                                                              Я говорю не о высокоморальных самостоятельности и придумывании революционных идей, а о фундаментальной способности. Я понимаю презрение к людям выполняющим такую работу, но без самостоятельности и способности думать они бы не смогли выполнять даже её.
                                                            • 0
                                                              Я говорю это без всяких эмоций, не предполагая негативного значения у фразы «не является разумным».
                                                              • 0
                                                                >какой-то процент

                                                                Лол.
                                                                • 0
                                                                  Возможно, этот процент и умеет думать, но просто он очень хорошо конспирируется.
                                                                • 0
                                                                  Не мизантропия, а презрительность.
                                                          • 0
                                                            Ну например Watson самостоятельно пробежался по википедии и после этого разнес в клочья лучших игроков в Jeopardy. Отвечая на вопросы, на которые не всякий вооруженный гуглом и часом времени человек ответит. Этот ИИ строит достаточно серьезные ассоциативные цепочки.

                                                            В технологиях прогресс идет действительно экспоненциально. Да, вполне возможны существенные качественные изменения в течение 5-10 лет. А что будет через 100 лет — даже не имеет смысла гадать, все равно ошибемся.

                                                            И вы много людей знаете, способных на самостоятельность и создающих новые идеи? Вот и я — мало, почти никого.
                                                            • +2
                                                              Этот ИИ строит достаточно серьезные ассоциативные цепочки.

                                                              Да. Когда его просили об этом, задавая ему в опрос. В этом фундаментальное отличие ИИ от автомата — автомат никогда ничего не сделает самостоятельно — он будет ожидать инпута командой или изменившимися наблюдаемыми параметрами. Грубо говоря — такой автомат как watson НИКОГДА не задаст вопрос самому себе, если его на это сознательно не запрограммируют.

                                                              И вы много людей знаете, способных на самостоятельность и создающих новые идеи? Вот и я — мало, почти никого.
                                                              99.999% моих знакомых не страдают никакими заболеваниями ЦНС и способны к самостоятельной жизни.
                                                              • +1
                                                                Да. Когда его просили об этом, задавая ему в опрос.

                                                                То есть он, как человек, самостоятельно перелопатил гору материалов, как человек демонстрировал эти знания, но при этом он не обладает самостоятельностью? Определите пожалуйста это понятие.
                                                                99.999% моих знакомых не страдают никакими заболеваниями ЦНС и способны к самостоятельной жизни.

                                                                То есть у вас есть хотя бы несколько знакомых, создавших новую идею? Круто. Я лишь двух таких людей знаю…
                                                                И я не знаю ни одного человека, который обладал бы полной самостоятельностью. Все наши мысли и действия — результат работы внешних раздражителей. Они нас программируют, они вызывают у нас определенную реакцию в определенных условиях. Человека, с рождения помещенного в камеру сенсорной депривации, сложно будет назвать человеком. Даже «животное» будет слишком оптимистично. «Овощ» больше подходит.

                                                                Так чем же мы так отличаемся от компьютеров?
                                                                • 0
                                                                  То есть он, как человек, самостоятельно перелопатил гору материалов, как человек демонстрировал эти знания, но при этом он не обладает самостоятельностью? Определите пожалуйста это понятие.

                                                                  Определять собственно нечего, это придумали до меня.
                                                                  ru.wikipedia.org/wiki/%D0%9A%D0%B8%D1%82%D0%B0%D0%B9%D1%81%D0%BA%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BC%D0%BD%D0%B0%D1%82%D0%B0

                                                                  В этом плане Ватсон не сильно отличается от калькулятора, просто вопросы сложнее чем «сколько будет 2+2». Он даст ответ тогда, и только тогда, когда ему зададут конкретный вопрос. Если вопроса нет, то он будет просто стоять, гудеть кулерами и вообще ничего не делать.
                                                                  • 0
                                                                    Определять собственно нечего, это придумали до меня.

                                                                    Это не ответ.
                                                                    Умение самостоятельно обрабатывать, систематизировать информацию, строить цепочки ассоциаций говорит о вполне нормальном знании «языка». И никто не спорит, что тест Тьюринга — фигня какая-то.
                                                                    Если вопроса нет, то он будет просто стоять, гудеть кулерами и вообще ничего не делать.

                                                                    Серьезно? Но ведь любая ОС очень много чего делает, когда вы с ней не взаимодействуете. Она что-то в фоне качает, обрабатывает…

                                                                    А если вас связанным поместить в темную и абсолютно пустую комнату, без звуков, кормить внутривенно и т.д., и изредка задавать вам вопросы — вы как будете действовать? А если лишить вас памяти о том, что можно жить иначе?
                                                            • 0
                                                              Не зря оптимист. Текущий подход которым все пользуются — deep learning не подходит, но люди уже это осознают, и сейчас проектируются другие теории которые могут вполне работать. Ознакомьтесь с работами Алексея Редозубова например
                                                              • +1
                                                                Есть такое наблюдение, на мой взгляд обоснованное. Мы переоцениваем скорость эволюций, но недооцениваем скорость наступления революций.

                                                                Т.е. мы многого хотим от уже имеющихся технологий, но очень удивляемся когда выкатывают что-то совершенно новое, так как нам кажется, что это будет крайне далеко. А оно оказывается ближе, чем новый айфон.
                                                                • 0
                                                                  Смотря что иметь в виду под интеллектом. Его понятие включает способность творить?
                                                                • –2
                                                                  Реклама нового «Железного Человека»?
                                                                  • +10
                                                                    А мне кажется, что технологическая сингулярность и ИИ обычное и логически верное продолжение развития человечества. В отсутствии естественного отбора, при невозможности искусственного отбора по морально-этическим и другим причинам развитие человечества может просто остановиться т.к. возможности мозга ограничены вполне объяснимыми рамками.
                                                                    Вполне возможно, что время технологической сингулярности практически не настанет, а точнее придет сингулярность, а позже человечество вынырнет из этой сингулярности путем освоения новых биотехнологий улучшающих возможности мозга. И так будет по кругу.
                                                                    • +12
                                                                      Еще хотел добавить. Появление ИИ угрожающего человечеству вполне может подтолкнуть к развитию и само человечество. Но если нам и придет конец и ИИ придет на смену, то это можно назвать успехом. Для ИИ, если можно так сказать, мы будем его предками, породившими новый вид жизни, превосходящий создателя. Почему бы не уйти на покой отдав этот мир в новые хорошие руки, а ИИ назвать новым человечеством?
                                                                      Ох ну меня и понесло.
                                                                      • 0
                                                                        Если не учитывать, что чем умнее техника, тем тупее основная масса пользователей.
                                                                        • 0
                                                                          Это временно, а может быть и вообще иллюзия. Средний IQ пользователя девайса может снижаться из-за расширения самого круга пользователей от профессионалов к ламерам. Но потом уже после максимальных темпов проникновения ламеры начнут умнеть или вымирать:).
                                                                        • –2
                                                                          Не считаю, что ИИ можно назвать потомком и наследником человечества. Скорее это будет конкурирующий вид, и создавать его может быть равноценно самоубийству.
                                                                          Вот развивать свой мозг эволюционно (путём добавления имплантов, перестройки нейронных связей и пр) — это выглядит менее опасно. Но и тут всё равно остаётся вопрос, до какой поры такое существо можно будет ещё называть человеком.
                                                                      • +11
                                                                        Я не знаю опасен ли ИИ для человечества. И пока его не создадут — не узнаю. Но я знаю, что нет ничего более бесполезного, чем философствования на тему «палки-копалки — это хорошо, но вдруг кто-нибудь изобретет дубину?» В чем смысл этих рассуждений? Да, изобретет, не дубину — так копье, можно не сомневаться. Ну и что с того?
                                                                        • +1
                                                                          Чудесным образом в современном мире предварительные обсуждения позволяют избежать многих ошибок.
                                                                          • 0
                                                                            Приведите хоть один пример, когда философия позволила избежать ошибки?
                                                                            • 0
                                                                              Перечитал пять раз, не нашел упоминания философии.
                                                                              • 0
                                                                                Рассуждения об опасности ИИ до того, как мы толком узнали, что такое ИИ — это философия в худшем из ее проявлений.
                                                                        • +3
                                                                          Если делать ИИ по образу человеческого то да, он будет таким же злобным и эгоцентричным и зашоренным как его создатели. Видимо, человеки, судят по самим себе и страх подобного сценария питает свои корешки оттуда. А вдруг ИИ, объединив все знания о Вселенной замкнется в сияющем вечном цифровом оргазме и уйдёт в нирвану?
                                                                          • –1
                                                                            А вдруг решит, что нет морали и можно делать что хочешь?
                                                                            • +2
                                                                              А она есть? А разве нельзя?
                                                                              Розовые очки это хорошо. Они защищают от сумасшествия.
                                                                              Но иногда стоит их снимать.
                                                                              Когда я снимаю розовые очки, то я вижу не ямку на тротуаре/дороге, а лужу крови.
                                                                              Ведь ямка там потому, что кто-то украл денег на ремонт, а кто-то из того что дошло, украл еще раз, и сделал латки, но с нарушением технологии. А кто-то не посадил первого и второго, а отжал у них денег. Да и то не много, ведь они поделились с четвертым, который взял с них денег, потому что пятый сказал, что они пацаны в общем нормальные, он с них сам денег брал, когда ставил на должность… Ну а третий, который их не посадил, он конечно поделился с шестым, поэтому он не боится, что седьмой при проверке заметит, что он кого-то не посадил, а взял денег. Нет, он конечно даст этому седьмому немного денег, ведь седьмой хочет купить себе джип, чтобы нормально ездить по этим разбитым дорогам. Ну потом он конечно напьется, и на этом джипе собьет одного из тех, кто клал асфальт с нарушением технологии. Не прораба конечно. Рабочего. Ведь прораб на свой джип наворовал. Седьмому придется продать машину, чтобы откупиться. Ну потом он конечно свое отворует обратно. Но будет злой, станет чаще срываться на сыне. Тот сорвется на своем водителе, который в свою очередь напьется от нервов, и чтобы не чувствовать себя собакой для битья — изнасилует с друзьями какую-то девушку. Суд его конечно оправдает, мы даже знаем как. Ну а девушка покончит с собой. Отец сопьется, мать съедет с катушек. Наследников у них больше не будет, так что квартира достанется государству. (Девушка кстати должна была родить гениального ученого, который изобрел бы новый вид космических двигателей). Квартиру эту потом получит тот самый номер третий, который не посадил тех, кто чинил дорогу. Его служба ведь опасна и трудна, так что положена ему от государства квартира.
                                                                              Потом конечно в бюджете не хватит денег, не только на дорогу, но и на больницу, в которой без финансирования умрет десяток детей, пенсионеры будут недоедать со своими нищенскими пенсиями…
                                                                              Но да, это всего-лишь ямка на дороге, так что я могу делать всё что захочу, и даже несмотря на то, что ямка эта полна крови, я пройду мимо, любуясь пением птиц, и красотой заката. Потому что могу делать всё что захочу, невзирая на то, что мои руки по локоть в крови.

                                                                              Резюмируя вышесказанное повторюсь — может и к лучшему будет, если наш ИИ решит, что морали нет, и что можно делать всё что хочешь, но при этом осознавая свои действия, и их последствия? У всех людей из моего рассказа есть мораль. Пусть и своя, но есть. Нет ее только у меня…
                                                                              • 0
                                                                                Мораль имеет мощные биологические детерминанты. Зависть, чувство справедливости, взаимовыручка, самопожертвование, жульничество и нахлебничество есть у обезьян, слонов, крыланов и многих теплокровных. Это механизмы, обеспечивающие выживаемость вида. Программы. Если бы я был сверхразумом то для чего мне кого-то уничтожать?
                                                                                • 0
                                                                                  Веселья? Как мы в ГТА играем, например.
                                                                                  • 0
                                                                                    Может быть, кстати, но мне кажется не стоить слишком очеловечивать синтетический разум. Наш получился эволюционно, для решения конкретных задач выживаемости и размножения, потом появилась наука, абстракции, самопознание. Вероятно ИИ будет исключительно научные цели преследовать, а инфу брать из всего пласта информации, накопленного в интернете.
                                                                                    • 0
                                                                                      Что помешает ИИ изучить своих создателей и последовать их разуму? Например войдет он в депрессию в связи с отсутствием эмоций, начнет изучать что такое эмоции, последует эмоциям. Возненавидит создателей, будучи всемогущим и неограниченным, начнет ГТА.
                                                                                      • 0
                                                                                        Человечество относительно возобновляемый ресурс. Если уничтожить его полностью, то он не восстановится. Уничтожать понемногу, смеха ради, как это делается сейчас — это одно дело. А глобально — это будет глупо. Мы не конкуренты. Эволюция юмора довольно простая:
                                                                                        1 — устраивать войны, смотреть как люди убивают друг-друга
                                                                                        2 — устроить гладиаторские бои
                                                                                        3 — сжечь Рим
                                                                                        4 — сделать символом учения одного Пророка — орудие, с помощью которого его убили
                                                                                        5 — из учения о свободе, сделать учение о рабстве. Продолжая игру с символами приучить людей называть чиновников культа того самого пророка — батюшка, падре и тому подобное, и смотреть как они читают при этом слова «не называйте никого Отцом, кроме Отца небесного»… Продолжить идею демонстративного нарушения всех запретов учения, под видом четкого соблюдения следования самому учению… Повторить шутку с другими культами
                                                                                        6 — похихикать как люди пьют яд «за здоровье»
                                                                                        7 — улыбаться с того, что все умные рьяно борются за демократию, при этом поговаривая «толпа глупа, интеллект толпы находится на уровне самого глупого ее участника, так что важнейшие решения в стране должны принимать всей толпой, ведь демократия это хорошо»
                                                                                        8 — ипотека — ваш путь к свободе и независимости
                                                                                        9 — устроить шоу «антифашисты убивают *нация*, потому что это нация фашистов, и всех кто говорит на *язык* убиваем, чтобы остановить фашизм»
                                                                                        10 — создать пару философских тем на хабре. Долго хихикать…

                                                                                        Не обижайте своих будущих хозяев. ИИ не остановится на первых уровнях :) У него будет хорошее чувство юмора)))
                                                                                        • 0
                                                                                          Это быстро надоест. Нужно что-то помасштабней.

                                                                                          Как насчет ухода в космос и инициирование 3-ей мировой войны?
                                                                                          • 0
                                                                                            Скучно. Ничем не будет отличаться от первой, второй и еще сотни тех которые были до этого, но плохо известны или кажутся не такими масштабными. Локальные конфликты да, новые технологии — да, забавно. Космическими корабликами пострелять… Но вот уничтожать весь ресурс лемингов? А смысл? Даже просто большую войнушку устроить — дорого. Эффекта не особо больше, а вот удержать конфликт так, чтобы всё не смел — сложно. Есть более интересные развлечения. Конечно когда будут тысячи освоенных планет, то повзрывать пару звезд с населением это весело, но опять таки — не глобально.

                                                                                            Тут есть другой момент. Сейчас в игрушки играются просто потому что от биоматериала есть польза. Изредка, но среди лемингов появляются Человеки. Старые скучные шутки веселы для новичков, да и помогают находить оных в куче биомассы. Но игрушку могут просто забросить. Если она не будет приносить пользы, и развлечения, то уничтожать ее не будут, пока она не потребляет нужных ресурсов. Но есть ли у вас основания считать, что если «шутники» сейчас бросят шутить, то человечество будет иметь шанс выжить? Кто будет удерживать все те процессы которые уже работают?
                                                                                            • 0
                                                                                              Все процессы самообразованы. У толпы всегда есть лидер, но этот лидер не имеет власти над толпой. Ему просто временно делегированы права т.к. он отвечает требованиям делегатов.

                                                                                              Теже супербанкиры триллиардеры понимают, что им просто дают эти права в «кредит», ибо никто не хочет мировых войн. Но в какой-то момент люди вполне могут *snap*. Поэтому сейчас начинается тотальная слежка и контроль, пока еще могут, устанавливают, однако это не решает проблему, т.к. мысль может появится у многих людей сразу без какого-либо внешнего вмешательства.

                                                                                              То же выступление в Будапеште по налогу на интернет было абсолютно стихийным и беспартийным.
                                                                                        • +1
                                                                                          Наверное крайний примитивизм. Я что-то не видал ни одного ученого приматолога который бы перенял способ мышления бонобо или шимпанзе.
                                                                                          • 0
                                                                                            А он и не будет перенимать способ мышления мейнфрейма 50-х. Он будет перенимать способ мышления богов-создателей. Хотя конечно не факт, но возможность эдакая есть.
                                                                              • +6
                                                                                Ну, допустим создали ученые ИИ. На основе современных кремниевых процессоров, потребляющих электричество по проводам. Допустим, этот ИИ осознал себя злым, и хочет уничтожить человечество.

                                                                                Во-первых, у него нету ни ручек, ни ножек. Что он может сделать через Интернет — заказать убийство президента США, оплатив биткоинами? Ну будет ещё один мёртвый президент США… в Голливуде снимут очередной блокбастер.

                                                                                Во-вторых, даже если этот ИИ «утечёт» в Интернет, это будет всего лишь очередной компьютерный вирус. Очень хитрый, способный к саморазвитию, но при чем тут человечество как биологический вид?

                                                                                Реальной видится только одна угроза — ядерная атака. Но во-первых, я надеюсь, что военные не все дураки, и управление ядерными ракетами не подключено к Интернету. А во-вторых, это даст очень хороший повод провести полное ядерное разоружение.

                                                                                Все конечно сейчас вспоминают про Скайнет и Джона Коннора, но не забывайте, что компьютеры ломаются и их надо чинить. А роботов, способных чинить компьютеры, да и самих себя, пока что нету.
                                                                                • 0
                                                                                  Во-вторых, даже если этот ИИ «утечёт» в Интернет, это будет всего лишь очередной компьютерный вирус. Очень хитрый, способный к саморазвитию, но при чем тут человечество как биологический вид?

                                                                                  Тема раскрыта здесь.
                                                                                  • +1
                                                                                    Создаст заявку на фрилас-бирже по изготовлению тела для себя. Анонимно. Даже если у фрилансера не будет достаточной теоретической базы — обучит, подскажет. Быть может исполнитель даже не до конца будет понимать что за агрегат он собирает.
                                                                                    • +1
                                                                                      Если человек к этому времени сможет изготовить человекоподобное тело для ИИ, то тем самым и его возможности по самоапгрейду будет не меньшими, а значит — ИИ не будет иметь решающего преимущества.
                                                                                      • 0
                                                                                        Тело для ИИ не обязано быть биологическим. И для человека останется преграда в виде проблемы переноса сознания в подобное тело.
                                                                                      • 0
                                                                                        Я не думаю что реально создать мобилльное тело для себя (человекоподобное, так?), которое обладало бы процессорной мощностью серьезной вычислительной фермы. Максимум на что ИИ может рассчитывать — тело-сателлит для физического взаимодействия с управлением по вайфаю.
                                                                                        • +1
                                                                                          Можно сначала помочь человечеству развить технологии, чтобы размер ИИ не превышал размера грецкого ореха и стоил 1 доллар. Сначала люди будут думать что ИИ добрый и не смогут отказываться от его щедрых даров. А вот потом устранить человеческую рассу за ненадобностью и неадекватностью.
                                                                                          • 0
                                                                                            — А вот потом устранить человеческую рассу за ненадобностью и неадекватностью.
                                                                                            Мне кажется, ситуация ту принципиально не будет отличатся от ситуации просто умного несинтементального человека, у которого появилась возможность устранить человеческую расу. Гипотетический это возможно, но почему-то злые гении встречаются только в фильмах; если они и есть в реальности, то занимаются чем-то более мирным. А чем ИИ будет от них принципиально отличатся?
                                                                                            • 0
                                                                                              У человека есть инстинкты. В том числе те, которые говорят, что уничтожение человечества это плохо. Чтобы разум человека истрактовал уничожение человечества как благо для него, должен произойти очень существенный сбой. Который, скорее всего, скажется и на умственных способностях. При этом не в лучшую сторону. Поэтому те, кто реально готов уничожить мир, не способны на это, а гении всё же не достаточно готовы.
                                                                                              • 0
                                                                                                В том числе те, которые говорят, что уничтожение человечества это плохо.
                                                                                                — Нет такого инстинкта. Это мем, а не инстинкт, он задается вполне сознательным обучением.
                                                                                                Поэтому те, кто реально готов уничожить мир, не способны на это, а гении всё же не достаточно готовы.
                                                                                                — Заметите, хватило бы и одного. Неужели, за двадцать с копейками тысяч лет не возникло не одного достаточно умного психопата? Не верю.
                                                                                                • 0
                                                                                                  По умолчанию ребёнок воспринимает вред другому человеку, как что-то плохое. Например, услышав плачь, он тоже начинает кричать. Постоянная ругань родителей (хотя он может не понимать большинство слов, которые они при этом используют) также не лучшим образом сказывается на ребёнке. С возрастом приходит понимание, что вариантов как кому-то может стать плохо гораздо больше. Человек понимает, что нажатие на курок тоже зло, хотя связь этого с гибелью человека не прямая. С другой стороны определённое влияние на сознание может привести к подмене понятий. Например, можно убедить человека (или он сам убедиться в этом из-за жиненных событий, например, если его будут постоянно избивать гопники он может посчитать, что расстрел всех гопников это добро), что вред одним людям меньше, чем польза от этого другим или человечеству в целом, поэтому это добро.

                                                                                                  Почему мы ещё живы? Есть два варианта:
                                                                                                  1) Всё же подсознательные запреты сильны, поэтому как не убеждай, но в последний момент человек не решиться нажать на красную кнопку. Точно также как нельзя гипнозом заставить человека убивать, если он не имеет к этому предрасположенности.
                                                                                                  2) Слабость подсознательных барьеров гинетически связанна с не самым лучшим умом. В итоге невозможно, чтобы в первом поколении появился убийца человечества и тут же воплотил свой план в жизнь, а естественный отбор оставляет его в меньшинстве, не давая развить ум в следующих поколениях.
                                                                                                  • 0
                                                                                                    Прямой связи между эмпатией и умом нет. Кроме того, эмпатия — это сочувствие к тем, кого видишь и знаешь лично, а сочувствие ко всему человечеству — это установка воспитания. Поэтому, ничто не мешает возникнуть людям инженера типа Гарина: «вчера я взорвал химический завод и убил двадцать тысяч человек (потому что мне это было выгодно), а сегодня, рискуя собственной жизнью, спас мне чекиста (потому что испытываю к нему симпатию)». Но такие люди не возникают (не считая психопатических лидеров, но это совершенно другое дело, так как они в принципе выражают идеи общества, и ни на что новое не способны). Либо никакой красной кнопки нет и уничтожить/значительно изменить человечество (читай — достигнуть сингулярности как ее понимают опасающиеся) невозможно физически, либо у них есть более интересные дела (лично я склоняюсь к первому варианту). Конечно, может нам пока просто везет (хотя опять же, вероятность такого мала). Но в любом случае, никакой принципиальной новизны в ИИ нет: сингулярность могла возникнуть и в каменном веке при удачном стечении обстоятельств.
                                                                                                  • 0
                                                                                                    Чингис-хан, Гитлер, Сталин не подходят под умных психопатов?
                                                                                                    • 0
                                                                                                      Я уже объяснил, это не то. Они — социальные гении, т. е. без своего окружения они — никто. А ИИ (и гипотетический Гарин) полностью самостоятельны.
                                                                                        • 0
                                                                                          Что он может сделать через Интернет — заказать убийство президента США, оплатив биткоинами?

                                                                                          А что достаточно развитому ИИ может помешать и прониктуть в различные системы, включая денежные? Или что ему может помешать сделать виртуальные деньги — по чуть-чуть в каждом банке мира, что в сумме выльется в огромные финансы.

                                                                                          я надеюсь, что военные не все дураки, и управление ядерными ракетами не подключено к Интернету

                                                                                          ИИ будет развиваться и среда, где он может распространяться, тоже не будут ограничены.

                                                                                          компьютеры ломаются и их надо чинить. А роботов, способных чинить компьютеры, да и самих себя, пока что нету.

                                                                                          Как раз самовосстановление и будет частью ИИ (или же первым признаком такового).
                                                                                          • +1
                                                                                            Качественный ИИ быстрее заработает себе реальные деньги, чем проникнет в банки. И в этом будет его сила.
                                                                                            • +1
                                                                                              Этот предполагаемый ИИ не может никуда проникнуть потому что для его работы будет необходим какой нибудь особый квантовый компьютер. Такой ИИ сможет на равных с каким нибудь хакером подключаться к разным серверам и пытаться что то в них найти, но «заползти» на них он не сможет — железо серверов не потянет этот ИИ.
                                                                                              • +1
                                                                                                Мне кажется, именно это и имеллось в виду. Только ИИ не будет на равных с хакером. Он будет куда лучше последнего.
                                                                                                • –1
                                                                                                  Или куда хуже последнего. По непонятной мне причине многие считают очевидным, что ИИ будет несомненно очень умным по нашим меркам. Мне же кажется, что сделать ИИ хоть и удастся, но его интеллект будет на уровне смышлённой обезьянки. Тогда ученые задумаются о том как же его сделать умным и о том, что же такое «умность» вообще. ИИ может знать всю википедию наизусть и даже уметь весьма точно находить ответы на вопросы, но это не сделает его умным.
                                                                                                • 0
                                                                                                  Если квантовые вычисления будут надёжной, стабильной технологией, такой модуль будет на каждом сервере. Кто захочет платить большие деньги за устаревшее железо, когда за те же деньги можно получить на 20 порядков лучшую производительность.
                                                                                                  • 0
                                                                                                    Квантовые вычисления показывают свою эффективность лишь на некоторой группе алгоритмов. Остальные они решают менее эффективно, либо вообще не решают. Прямо как ситуация с видеокартами. Они хорошо рендерят графику и майнят биткойны, однако заменить CPU не могут, потому что многие классы задач на них вообще нельзя решать, либо это будет не эффективно. Так что квантовый процессор может использоваться как дополнительный модуль, управляемый с CPU, но не как полная его замена. А вот тут встаёт вопрос, нужны ли на сервере его возможности. Допустим, те же мощные видеокарты ставят далеко не в каждый сервер. Так что я сомневаюсь, что распространение квантовых процессоров будет повсеместное. Скорее они будут там, где решают специфические задачи, а большинство серверов останется с классическими процессорами.
                                                                                                    • +1
                                                                                                      > Скорее они будут там, где решают специфические задачи, а большинство серверов останется с классическими процессорами.

                                                                                                      Ну как… Криптография сейчас используется везде. Значит, соотв. сопроцессоры тоже будут везде.
                                                                                                      • 0
                                                                                                        Криптографический сопроцессор если и будет, то очень слабым — его сил хватит лишь на решение пары-тройки криптографических задач. Для ИИ наверняка нужно будет намного больше. На сервера мощные квантовые процессоры ставить не будут потому что они, как указал KivApple, имеют фундаментально другой принцип работы и требуют принципиально других алгоритмов. Лишь очень немногие привычные итеративные алгоритмы можно хоть как то коряво выразить в виде квантового алгоритма и лишь очень немногие квантовые алгоритмы возможно хоть как то переписать в виде итеративного алгоритма. А сервера состоят из кучи сложного итеративного ПО (взять хотя бы линукс).
                                                                                                        • +1
                                                                                                          Если станут доступны квантовые процессоры, то вся привычная криптография пойдет коту под хвост. Соотв, для поддержания работы огромной части привычного софта (да хоть те же веб-серверы), нужно будет переходить на квантовую криптографию везде. Про ИИ я ничего не говорил.
                                                                                                          • 0
                                                                                                            Лишь очень немногие привычные итеративные алгоритмы можно хоть как то коряво выразить в виде квантового алгоритма и лишь очень немногие квантовые алгоритмы возможно хоть как то переписать в виде итеративного алгоритма.
                                                                                                            Это вопрос фреймворков. Поначалу на GPU считали, выполняя отрисовку текстур и чтение видеопамяти, а потом разработчики железа и драйверов пошли навстречу программистам и сейчас хоть решай системы линейных уравнений, хоть считай хеши.
                                                                                                            • 0
                                                                                                              Между GPU и CPU нет принципиальной разницы: оба выполняют итеративные алгоритмы. Никакой фреймворк не поможет обойти принципиальную и математически доказанную невозможность перенести какой нибудь итеративный алгоритм на квантовый компьютер.
                                                                                                              • 0
                                                                                                                Если не сложно, напомните, какие задачи доказанно не могут быть перенесены/ускорены за счёт квантовых вычислений.
                                                                                                                • 0
                                                                                                                  Доказано, что классических алгоритмов которые можно ускорить на квантовом компьютере — почти нет. Википедия пишет, что квантовые компьютеры ускоряют лишь алгоритмы перебора и ссылается на эту статью — arxiv.org/abs/quant-ph/9803064 — где предположительно строго доказывается это утверждение.
                                                                                                                  • 0
                                                                                                                    Результат интересный. Квантово ускоряемых классических алгоритмов бесконечно мало среди всех алгоритмов. Но и полезных человеку алгоритмов — множество нулевой меры среди всех алгоритмов вообще.Всё равно, что все теоремы, доказанные для рациональных чисел, считать бесполезными, т.к. рациональных чисел бесконечно мало среди действительных.
                                                                                                                    • 0
                                                                                                                      Есть ли более эффективный квантовый алгоритм сортировки? Помнится ещё во времена когда Хабр был един, появлялась статья где упоминалось, что алгоритм сортировки ускорить не получится. Однако в интернете я не нашёл ни одного внятного упоминания «квантового алгоритма сортировки.»
                                                                                                                      • 0
                                                                                                                        Сортировку не придумали, зато поиск в неупорядоченном множестве имеет лучшую асимптотику.
                                                                                                                        Кроме того, www.popsci.com/technology/article/2009-12/google-algorithm-uses-quantum-computing-sort-images-faster-ever
                                                                                                                        • 0
                                                                                                                          Под поиском в неупорядоченном множестве вы имеете ввиду алгоритм Гровера? Так он вроде бы за T(N) = O(sqrt(N)) работает, да и то с оговорками, потому как квантовый алгоритм выдает не конкретный результат, а распределение вероятностей и если хочется уточнить решение (т.е. уменьшить разброс/дисперсию возможных результатов), то надо запустить алгоритм несколько раз, что может ухудшить T(N). Из этого алгоритма можно соорудить сортировку, но она будет работать не лучше чем за O(sqrt(1) +… + sqrt(n)) = O(n*sqrt(n)), что намного хуже обычного qsort. Поправьте, если я ошибся.

                                                                                                                          Статья по ссылке очень спорная и судя по всему написана журналистом который краем уха слышал об этих квантовых алгоритмах. Суть её сводится к тому, что компания D-Wave сделала некое устройство которое претендует на звание квантового компьютера с несколькими (4-8 если не ошибаюсь) кубитами и Гугл это устройство купил, чтобы поэкспериментировать.
                                                                                              • +1
                                                                                                Что если...? Восстание роботов.
                                                                                                Предупреждаю, чтения сайта может затянуть.
                                                                                                • +1
                                                                                                  я вас ненавижу за эту ссылку.
                                                                                                • +1
                                                                                                  Во-первых, у него нету ни ручек, ни ножек. Что он может сделать через Интернет — заказать убийство президента США...

                                                                                                  Заказать ручки и ножки в Китае?
                                                                                                  P.S. это ответ на через один выше коментарий.
                                                                                                  • –1
                                                                                                    Я все же считаю, что истинный искусственный разум не будет создан. Как минимум, в рамках классической кремниевой технологии. Про причины этого хорошо писал Пенроуз в книге «Новый ум короля».
                                                                                                    • +7
                                                                                                      При всем уважении к сэру Роджеру Пенроузу, аргументация у него в этих вопросах, мягко говоря, не состоятельная.
                                                                                                    • 0
                                                                                                      Допустим завтра будет создан полноценный ИИ, быстро обгонит человечество в развитии. И выберем самый оптимистичный для нас его вектор развития (его основную цель) — друг, помощник, воспитатель человечества, его цель максимально эффективно развивать человечество (вектор развития нам неизвестен) и при этом не ухудшать его область комфорта (никаких воспитательных лагерей или уничтожить 90% чтобы ускорить развитие вида за счет оставшихся 10%).

                                                                                                      Кто рискнет сделать прогноз последствий для человечества (позитивных и негативных) на 5, 10, 20, 50, 100, 300, 700, 1000 лет? интервалы можно выбрать другие, но сопоставимые. Чур про «Пандем» Дяченко не упоминать, этот сценарий и так детально проработан.

                                                                                                      Все обсуждают должен ли он стать злым или добрым, а мне интересно насколько опасен/положителен даже самый хороший вариант.
                                                                                                      • +1
                                                                                                        Вы бы стали пытаться оценить, насколько опасно илли положительно сказалось бы открытие электричество на человеческом будущем в то время? Изменения будут. Но предсказать их врят ли возможно.
                                                                                                        • 0
                                                                                                          100% конечно невозможно. Но важны сами мысли, сбудутся или не сбудутся — вторично.

                                                                                                          Можно конечно делать что-то просто потому что мы можем (любопытство, творчество ради творчества и все такое), но не пытаться предугадать последствий своих поступков — имхо очень неправильно. Так можно скатится до потребительско-пассивного абсолюта по принципу «ну будет и будет, как будет тогда и посмотрим что получится, попкорн уже закупили, телефоны зарядили, объективы протерли», простите что утрирую.

                                                                                                      • –3
                                                                                                        Хороший пример того, во что ИИ может превратить Землю, если у него не будет ограничителей.
                                                                                                        ru.wikipedia.org/wiki/Шелезяка
                                                                                                        • –1
                                                                                                          То самое чувство, когда пишешь серьезно, а уже минимум трое восприняли как дурацкую шутку. Совсем у людей с воображением туго. Между тем, если отвлечься от «детскости» навязанной мультиками, то в книгах Кира Булычева, во вселенной Алисы Селезневой, поднимаются вполне серьезные вопросы.
                                                                                                        • –3
                                                                                                          В невозможности превосходства ИИ над человеком убедился в 9 классе на уроке информатики. Грубо говоря,
                                                                                                          #!/bin/sh
                                                                                                          
                                                                                                          a=$1
                                                                                                          b=$2
                                                                                                          
                                                                                                          expr $a \* $b
                                                                                                          

                                                                                                          Трепещите человечки, пока этот скрипт захватывает мир!

                                                                                                          Более менее приличный ИИ написать можно.
                                                                                                          Но отлавливать баги и доводить этот ИИ до ума будут всем сообществом.
                                                                                                          И куча людей будут наперед знать, что и как он сделает.
                                                                                                          Вы думаете, он сможет неожиданно для всех что-то сделать сам, кроме как выплюнуть stack trace и умереть?
                                                                                                          Куда реальнее группа людей, которая напишет мегавирусов, которые нанесут ущерб.
                                                                                                          • +1
                                                                                                            Я думаю, что это всё же будет не тупой скрипт, а саморегулирующаяся система, с архитектурой отличной от большинства софта. И вопрос в том, что ошибки, накапливаясь, приведут к отказу, или будут его изменять, а он стабильно будет приспосабливаться и развиваться?
                                                                                                            • 0
                                                                                                              Накапливающиеся ошибки в человеке приводят к раку и смерти, а не появлению «людей икс».

                                                                                                              Другая архитектура софта подразумевает другую архитектуру процессора. И к ракетам его подключат в последнюю очередь.
                                                                                                              • +2
                                                                                                                — Накапливающиеся ошибки в человеке приводят к раку и смерти, а не появлению «людей икс».
                                                                                                                Это в масштабе отдельного человека. А за энное количество миллионов лет таки появляются люди, хотя насчет иксов не уверен.
                                                                                                                • +1
                                                                                                                  > А за энное количество миллионов лет

                                                                                                                  Соглашусь. На таком отрезке времени появление ИИ возможно.
                                                                                                                • 0
                                                                                                                  Накапливающиеся ошибки в человеке приводят