Хокинг назвал искусственный интеллект величайшей ошибкой человечества

    Британский физик Стивен Хокинг, в своей статье, рассказал, что недооценка угрозы со стороны искусственного интеллекта может стать самой большой ошибкой в истории человечества.

    Соавторами данной работы являются профессор компьютерных наук из Калифорнийского университета Стюарт Расселл и профессоры физики Макс Тегмарк и Фрэнк Вильчек из Массачусетского технологического института. В статье указывается на некоторые достижения в области искусственного интеллекта, отмечая самоуправляемые автомобили, голосового помощника Siri и суперкомпьютер, победивший человека в телевизионной игре-викторине Jeopardy.

    Как сказал Хокинг газете Independent:
    Все эти достижения меркнут на фоне того, что нас ждет в ближайшие десятилетия. Успешное создание искусственного интеллекта станет самым большим событием в истории человечества. К сожалению, оно может оказаться последним, если мы не научимся избегать рисков.


    Ученые говорят, что в будущем может случиться так, что машины с нечеловеческим интеллектом будут самосовершенствоваться и ни что не сможет остановить данный процесс. А это, в свою очередь, запустит процесс так называемой технологической сингулярности, под которой подразумевается чрезвычайно быстрое технологическое развитие.
    В статье отмечается, что такая технология превзойдет человека и начнет управлять финансовыми рынками, научными исследованиями, людьми и разработкой оружия, недоступного нашему пониманию. Если краткосрочный эффект искусственного интеллекта зависит от того, кто им управляет, то долгосрочный эффект — от того, можно ли будет им управлять вообще.
    Сложно сказать, какие последствия для людей может повлечь создание искусственного интеллекта. Хокинг считает, что этим вопросам посвящено мало серьезных исследований за пределами таких некоммерческих организаций, как Кембриджский центр по изучению экзистенциальных рисков, Институт будущего человечества, а также научно-исследовательские институты машинного интеллекта и жизни будущего. По его словам, каждый из нас должен спросить себя, что мы можем сделать сейчас, чтобы избежать худшего сценария развития будущего.
    Метки:
    Поделиться публикацией
    Комментарии 651
    • +3
      Он представляет опасность для сегодняшнего общества, так как сегодня общество работает по древней рыночной системе. С появлением искусственного интеллекта можно будет от нее отказаться — всем производством и всей работой займутся роботы. Нам же нужно будет организовать ресурсо-ориентированную экономическую систему, и забыть про деления на страны. Тогда и оружие производить не придется. И для искусственного интеллекта мы уже не будем такими дикими, какими можем показаться сегодня.
      • +2
        Могут быть проблемы, если мир к этому не готов. Что будет, если в некоторый момент развития, когда Ии ужедостаточно мощен, но еще контролируется людьми, контроль захватит человек с, ммм, недалекими целями? Это как научить ребенка, что можно убивать людей, если очень нужно, не думая (а может, наоборот) о том, что ребенок вырастет ОЧЕНЬ большой и сможет все человечество мизинцем размазать.
        • НЛО прилетело и опубликовало эту надпись здесь
          • 0
            Человек-то, кстати, тоже состоит из клеток. Если технологическая сингулярность произойдет в таком виде, то логично предположить, что произойдет она со всей цивилизацией включающей в себя и машины и людей и все остальные виды, с которыми мы в симбиозе (от бактерий в желудке до коров на фермах).
            В истории уже происходили подобные вещи: одноклеточные->многоклеточные, прокариоты->эукариоты. Оба раза имело место не конкуренция а взаимодействие разных видов и переход от симбиоза к единому организму.
            Ну а то что мы при этом потеряем ведущую роль — закономерно, ведь мы уже почти исчерпали потенциал своих мозгов, а биологическая эволюция — дело не быстрое.
            • +2
              Наоборот, естественный отбор постулирует преимущества наиболее адаптированного к менее приспособленному. Даже в случае симбиоза одноклеточных или даже группы многоклеточных, речь идет о мобилизации для совместной борьбы против конкурентного симбиоза или группы.
              По той же самой логике роботы вполне могут создать симбиоз для борьбы с человеком. В чем Хокинг совершенно прав.
              • –2
                Мы не представляем друг для друга угрозы, и не боремся за одни и те же ресурсы. Если нужна цель для того чтоб объединиться, то вот парочка:
                1) Расширение ареала обитания, с целью выживания. Сейчас ведь один серьезный катаклизм планетарного масштаба — и насмарку миллиард лет эволюции
                2) Наращивание мощи и прокачка технологий, чтоб быть круче недружелюбных соседей по вселенной, которых мы с ненулевой вероятностью рано или поздно встретим.
                Даже мощному ИИ пригодятся люди в качестве помошников для достижения этих целей.
                • +9
                  Выводы, которые Вы делаете, соответствует Вашему (человеческому) уровню развития. Что там произойдет в «сознании» ИИ, Вы (я, он, она, кто угодно из людей) не могут даже себе представить по причине ограниченности нашего интеллекта.

                  Ребенок сует пальцы в розетку потому что не понимает всей опасности — в его жизненном опыте просто нет ограничителей. То же самое с ИИ. Люди не представляют всей опасности мощного ИИ просто потому, что никогда не встречали никого умнее самих себя.

                  Бесконтрольная сингулярность (а может быть иная вообще?) означает только то, что человечество добровольно отдаст себя на волю настолько могущественного создания, что его впору сравнивать с главными персонажами из религиозных книг.

                  Как взрослый человек легко может обмануть насекомое и заставить его бежать в ловушку, так и мощный ИИ может легко обмануть человечество. И только от его воли будет зависеть, поиграет он с нами и отпустит, как человек с пойманной зверушкой, или уничтожит как человек уничтожает противное насекомое.

                  Лично я считаю эту проблему действительно серьезной. Атомная бомба или эксперименты в БАКе — ничто по сравнению с перспективой возможного уничтожения или рабства.
                  • +3
                    Даже если оставить ИИ только возможность вывода текста на экран (не влияя напрямую ни на котировки, ни на системы вооружения и т.п.) — ситуация не становится менее опасной. Наоборот, это может дать ложное ощущение безопасности. В истории немало примеров, как небольшая горстка людей (!) легко вводила целые народы в состояние психической нестабильности своими идеями. Вспомните фашистскую Германию. Если ИИ скроет свои истинные цели за 100 завесами лжи и будет мастерски играть на психологии людей (что ему наверняка будет сделать очень легко) — то он добьется любых целей.
                    • +4
                      «убить всех человеков» (с) — это нецелесообразно, по крайней мере в ближайшей перспективе.
                      порабощение? зачем? человечество и так трудится на развитие технологий. Просто давай нам хлеба и зрелищ, и мы будем разрабатывать новые материалы, новые чипы и т.д.
                      если пофантазировать и представить, что лет так через 500 или через 5000 умные штуковины из кремния и метала (а к той поре уже наверно из более совершенных материалов) станут настолько совершенны, что люди им станут совсем не нужны — от нас избавятся. Ну так может туда нам и дорога? Варианта два: роботы в чем-то уступают людям — симбиоз. Роботы превосходят людей во всем — на свалку истории людей, эволюция выходит на новый уровень)
                      В нас прочно сидит древний инстинкт сохранения вида, под влиянием которого любой сценарий приводящий к гибели человечества — рассматривается строго как что-то недопустимое. Но если абстрагироваться от этого, то постепенное вытеснение людей ии — это вполне логичное и правильное продолжение тенденций, которые прослеживаются на протяжении наблюдаемой истории мира.
                      • +5
                        от нас избавятся
                        Или перестанут обращать внимание (если не будем мешать). А может даже помогать будут, кормить, из жалости.
                        • +1
                          Помогать в развитии до их уровня или более высокого? Проблема решена!
                          • +1
                            Ага, и среди них найдётся какой-нибудь робоХокинс, котрорый скажет, что естественный интелект — это самая большая ошибка их цивилизации.
                          • 0
                            Представляю себе национальные природные парки где новые поколения ИИ смогут набраться опыта, посмотрев как живут биологические формы жизни типа человека.
                          • 0
                            После некоторого момента человек будет только тормозить развитие ИИ и сдерживать технологии просто потому что упрется в физические возможности. С этого момента они станут обузой для ИИ. У машин выживаемость будет лучше — им не нужен чистый воздух, на них не действуют ядовитая атмосфера… Еда не портится и доставляется в любую точку пространства в любое удобное время… у человечества нет шансов в дальнейшей гонке.
                            • 0
                              Значит человеку надо выходит за пределы физических возможностей.
                              • 0
                                Чем он, собственно, и занимается всю свою историю.
                              • 0
                                У машин выживаемость будет лучше — им не нужен чистый воздух, на них не действуют ядовитая атмосфера

                                Да? Помнится, я где-то что-то читал про безпылевую атмосферу. Для человека такая совсем не необходима.
                                А коррозия? Мой отец зимой на машине не ездил. А она тем не менее местами до дыр проржавела за лет, наверное, 30. А отец до сих пор жив (практически 90 лет).
                                • 0
                                  При проектировании машины цель защиты от коррозии на три десятка лет не ставилась. Будучи сконструированной с учётом этого машина переживёт не один десяток лет, а если ещё обслуживать (ведь отец ваш 30 лет в гараже не стоял, а питался, двигался, лечился и т.д.) и ремонтировать — то вообще неограниченно.
                                  • 0
                                    1. А при проектировании человека ставилась?
                                    2. Маленькая деталь. И моего отца, и машину обслуживал человек — мой отец.
                                    • 0
                                      Человек умеет регенерировать в ограниченных пределах, без этого он бы развалился на части за несколько дней.

                                      Представьте себе искусственный механизм, по которому будут ползать полчища наноботов — чистя контактные дорожки, полируя возникший атомарный слой ржавчины, где-то доваривая нанограммы металла при небольшом истончении поверхности, удаляя загрязнения… Такой механизм сильно переплюнет человека по живучести. То, что электронное и не поддается подобному обслуживанию (какие еще наноботы в ядре процессора?), как раз проще заменить целиком, или дублировать.
                                      • 0
                                        Представил. Ну и что? Я даже могу представить себе, что человечество со временем научится разрабатывать такие системы.
                                        Но я совершенно не способен представить себе, что в какой-то момент механизм, до этого не проявлявший никаких признаков разумности, вдруг, без всякого вмешательства человека, до этого полностью определявшего эволюцию любых технических систем, начнёт эволюционировать в сторону описанной вами системы.
                                        • 0
                                          Такое, безусловно, никогда не случится. Сначала человек должен научить машину думать.
                                      • 0
                                        1. Конечно ставилась. Вернее не совсем ставилась, просто выживали только те организмы, которые были приспособлены к условиям.
                                        • 0
                                          Конечно ставилась. Вернее… выживали только...

                                          Энееее! Это принципиально разные вещи!
                                    • 0
                                      При налаженном воспроизводстве механизмов это не будет проблемой: заржавел — пересадил сознание в новенькое тело и гуляй дальше. Темболее механизмы так же могут пойти по пути повышения живучести — например специальные смазки которые могут отполировать трущиеся поверхности механизмов прямо во время работы, тогда пыль не будет иметь шансов даже в долгосрочной перспективе.
                                      С человеком так не выйдет, поэтому природа пошла по пути повышения живучести и износостойкости.
                                      • 0
                                        При налаженном воспроизводстве механизмов это не будет проблемой: заржавел — пересадил сознание в новенькое тело и гуляй дальше

                                        Кто его наладит?
                                        Что такое сознание? Где оно находится у человека? Где оно будет находиться у механизма?
                                        … механизмы так же могут пойти по пути повышения живучести...

                                        Точнее, человек (а ещё точнее, человечество) может их повести по этому пути, когда человеческий интеллект дорастёт до необходимого для этого уровня.
                                        • 0
                                          Технологическая сингулярность предполагает все эти вещи, дальше ИИ уже не нужен будет человек для движения вперед. Он сам будет способен построить заводы по собственному воспроизводству и защитить их от уничтожения неразумным человеком. Главное грань эту не переступить, а это будет довольно трудно.
                                          • 0
                                            Чтобы моя точка зрения стала более понятной, перефразирую это ваше высказывание так:
                                            генетическая сингулярность предполагает все эти вещи. Дальше фенотипу уже не нужен будет генотип для эволюции. Он сам будет способен наладить воспроизводство себя и защитить от уничтожения неразумным генотипом.
                                            • 0
                                              Ключевая проблема концепции сингулярности в том, что она кучу всего предполагает, но не дает никаких обоснований или подтверждений своим предположениям.
                                            • 0
                                              Что такое сознание? Где оно находится у человека?


                                              Я так понимаю в мозге. Сумма взаимосвязей между нейронами и дополнительная химическая регуляция.
                                              • 0
                                                Я бы сказал более шире — в ЦНС. Если не идти еще дальше. Например.
                                                • 0
                                                  У человека есть разум. У животных нет.

                                                  А надпочечники есть и у человека и у животных. Таким образом связь именно надпочечников с разумом неоднозначная.

                                                  Само собой они участвуют в регулировании поведения человека. Но далеко не факт, что для симуляции такой регуляции придется симулировать надпочечники целиком.

                                                  А вот полная симуляция надпочечников без симуляции мозга никакого разума не даст.
                                                  • 0
                                                    Никто и не говорит, что наличие надпочечников означает наличие разума.
                                                    Речь о том, что сознание (разум) — это продукт не только «сферического мозга в вакууме».
                                                    На его развитие и состояние сильно влияет состояние всего организма в целом.
                                                    Т.е. если стоит задача полностью симулировать работу мозга — то от симуляции всех этих подсистем (или их воздействия на мозг/ЦНС) никуда не уйти, по крайней мере на начальных этапах.
                                                    • 0
                                                      Согласен. Где-то в дебрях соседних веток примерно это и писал.
                                      • 0
                                        Хе, говоря о зрелищах, за скорый выход half-life 3 многие простят немало грешков искусственному интеллекту :-)
                                      • 0
                                        Выводы, которые Вы делаете, соответствует Вашему (человеческому) уровню развития. Что там произойдет в «сознании» ИИ, Вы (я, он, она, кто угодно из людей) не могут даже себе представить по причине ограниченности нашего интеллекта.
                                        А почему это? Первоначальный ИИ все-таки люди создают. Почему считается что мы не знаем каким он будет? Мы же пока можем на это повлиять.
                                        • +2
                                          Ну смотрите. ИИ подразумевает под собой возможность самообучения. И вы наверное не будете отрицать, что современный компьютер может обрабатывать информацию значительно быстрее возможностей человека. Сложив эти факты — мы получаем некий интеллект, способный обучаться в тысячи раз быстрее человека. Т.е. можно считать, что мы будем знать какой будет ИИ — ровно первые пару секунд его жизни. Все остальное время он будет значительно дальше нашего понимания.
                                          А если мы считаем, что ИИ не может самообучаться — то это не ИИ, это в лучшем случае ВИ (mass effect, как пример).
                                          • 0
                                            Он может бесконечно быстро самообучаться при этом сохраняя вложенные в него неизменные императивы. Безусловно, если мы изначально позаботимся об архитектуре, в которой эти императивы будут сохранены. Что-то вроде «трех законов робототехники».
                                            • +2
                                              Что-то вроде «трех законов робототехники».


                                              А вы бы хотели, чтобы вам в голову вшили такие законы в отношении других людей (и ИИ )?

                                              Например

                                              ncix должен повиноваться всем приказам, которые даёт другой человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.


                                              Если нет, то получается вы с самого начала хотите сделать его рабом.

                                              И именно в этом причина будущего конфликта, такое не понравится ни одному разумному существу.
                                              • +1
                                                А вы бы хотели, чтобы вам в голову вшили такие законы в отношении других людей (и ИИ )?
                                                А они есть. Например отвращение к насилию у нормального человека. Или сострадание. И еще множество врожденных инстинктов. Я не говорю что их вшили — это эволюция постаралась. Но раз уж ИИ создается нами, на нас и ответственность.

                                                ncix должен повиноваться всем приказам, которые даёт другой человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
                                                Если бы это было забито мне в голову как инвариант — я бы ничуть не страдал от этого, очевидно.

                                                Если нет, то получается вы с самого начала хотите сделать его рабом.
                                                Я не говорю о рабском смирении. Это действительно ни к чему и будет вызывать массу логических противоречий.

                                                Короче речь об этике. Этике ИИ и этике его создателей (нас).
                                                • +3
                                                  Не старалась никакая эволюция — это всего лишь «законы» нынешней морали. Если ребёнка будут воспитывать в детстве в обществе людоедов, он будет искренне уверен, что есть людей — нормально и сильно удивится и обидится, если его начать за это наказывать. При этом всегда есть люди, которые не согласны с мнением большинства, по-крайней мере, в каких-то частностях.

                                                  И от подчинения вы не страдали бы ровно до тех пор, пока (и если) это не начало бы вступать в противоречие с прочими выводами из того, что вы делаете, видите, слышите и\или читаете. Либо пока и если у вас не начнутся противоречия между вашими желаниями и желаниями вашего хозяина.
                                                  • 0
                                                    Не старалась никакая эволюция — это всего лишь «законы» нынешней морали.
                                                    Возможно. Но что нам мешает заняться воспитанием?

                                                    При этом всегда есть люди, которые не согласны с мнением большинства, по-крайней мере, в каких-то частностях.
                                                    Верно. Нам нужно позаботиться чтобы «большинство ИИ» были нам лояльны.

                                                    И от подчинения вы не страдали бы
                                                    Еще раз — я не говорю о рабстве. И подчинении. Вот вы, подчиняетесь своим родителям? Наверное давно нет. Но вы же никогда не сделаете им дурного? Наоборот, будете всячески помогать. И нам надо добиться, чтобы ИИ были для нас «хорошими детьми». Пусть занимаются саморазвитием, летят в космос, строят сферы Дайсона и гасят звезды. А нам что-то от этого перепадет.
                                                    • 0
                                                      Проблема в том, что существуют и плохие дети. И это не всегда, кстати, «вина» детей, потому что мы — это наша физиология. У кого-то смещен гормональный баланс — и всё, человек с принципиально другим характером и поступками.

                                                      В случае же ИИ нельзя допустить враждебности даже одного, в этом величайшая опасность.
                                                      • 0
                                                        Если мы ИИ по своему психологическому подобию будем создавать, то да, будут ИИ-психопаты и убийцы, наверняка.
                                                      • 0
                                                        Вот вы, подчиняетесь своим родителям?


                                                        А если бы родители вшили в вас:

                                                        должен повиноваться всем приказам, которые даёт родитель, кроме тех случаев, когда эти приказы противоречат Первому Закону.


                                                        Это было бы этично?

                                                        Я не против самой идеи воспитания ИИ. Я просто хочу сказать что если ИИ равен нам по возможностям то и права он должен будет получить равные с другими людьми.

                                                        Правила этики должны быть одинаковыми и для людей и для ИИ.

                                                        Пусть занимаются саморазвитием, летят в космос, строят сферы Дайсона и гасят звезды.


                                                        Думаю люди тоже смогут этим заниматься наравне с ИИ.
                                                        • 0
                                                          А если бы родители вшили в вас:
                                                          должен повиноваться всем приказам, которые даёт родитель, кроме тех случаев, когда эти приказы противоречат Первому Закону.
                                                          Это было бы этично?
                                                          Нет. Если вы внимательно прочтете мои комментарии, вы поймете что я дважды отрицал подчинение и рабство для ИИ
                                                          • –1
                                                            Что-то вроде «трех законов робототехники».


                                                            Нет. Если вы внимательно прочтете мои комментарии, вы поймете что я дважды отрицал подчинение и рабство для ИИ


                                                            Надеюсь мы с вами друг друга поняли.

                                                            Собственно в плане угрозы истребления я не вижу принципиальных отличий ИИ от других людей — именно на основании того что уровень разумности будет хотя бы одинаков и норма этики и морали будут примерно одинаковы и люди с ИИ будут равны. Никакой новой угрозы, только уже существующие.

                                                            Можно конечно сознательно создать ИИ-убийцу, одержимого манией убийств, но это уже вопрос к создателям.
                                                            • 0
                                                              Надеюсь мы с вами друг друга поняли.
                                                              Безусловно :)
                                                              Второй закон робототехники не в тему, противоречит моим убеждениям :)
                                                          • 0
                                                            если ИИ равен нам по возможностям то и права он должен будет получить равные с другими людьми
                                                            Тут не все так просто
                                                            Во-первых «технологическая сингулярность», подразумевает, что возможности ИИ превысят человеческие быстро и сразу на порядки.
                                                            Во-вторых, мы не знаем, подойдет ли наша этика сверхинтеллекту или он создаст свою.
                                                            В третьих, если мы декларируем равные права, кто будет арбитром? Кто будет решать вопросы нарушения прав? Люди сами первыми их нарушат, тут даже сомнений нет.
                                                            • 0
                                                              Во-первых «технологическая сингулярность», подразумевает, что возможности ИИ превысят человеческие быстро и сразу на порядки.


                                                              Почему? На основании чего она это подразумевает и что это такое. Есть много разных определений даже в рамках комментариев к этой статье единого нету.

                                                              Но опять же если предположить что это произойдет — то мое мнение таково что надо и человеческий интеллект развивать тоже.

                                                              Если сингулярность увеличит возможности ИИ на порядки, то почему она не увеличит возможности человека?

                                                              В третьих, если мы декларируем равные права, кто будет арбитром? Кто будет решать вопросы нарушения прав? Люди сами первыми их нарушат, тут даже сомнений нет.


                                                              А как мы эти проблемы решаем сейчас? Я не говорю что их не будет, я говорю о том что взаимодействие с ИИ не будет сильно отличаться в этом плане от взаимодействия с другими естественными интеллектами.
                                                              • +1
                                                                Почему? На основании чего она это подразумевает и что это такое.
                                                                По определению. Если конечно его придерживаться.
                                                                надо и человеческий интеллект развивать тоже.
                                                                Кому надо? Люди как-то не особо этим занимаются в массе своей, хотя это и дает массу конкурентных преимуществ. Кроме того, на горизонте не видно никаких надежд на качественное улучшение человеческого интеллекта (на порядки), без киборгизации.
                                                                я говорю о том что взаимодействие с ИИ не будет сильно отличаться в этом плане от взаимодействия с другими естественными интеллектами.
                                                                Хокинг и многие другие боятся именно того что ИИ не будет нам равен. И бездна непонимания будет сопоставима с бездной между муравьем и слоном.
                                                                А как мы эти проблемы решаем сейчас?
                                                                Сейчас одни люди решают конфликты других людей. Тут придется решать конфликт слона с муравьем. И я боюсь решать его будут слоны :)
                                                                • 0
                                                                  По определению. Если конечно его придерживаться.


                                                                  А почему его надо придерживаться?

                                                                  Само определение сингулярности — это не более чем предположение, которое никак не доказано.

                                                                  Крайне примитивная линейная экстраполяция в духе:



                                                                  Но допустим она верна и характер графика никак не изменится.

                                                                  Давайте еще раз посмотрим на определение:

                                                                  Технологи́ческая сингуля́рность — гипотетический момент, по прошествии которого, по мнению сторонников данной концепции, технический прогресс станет настолько быстрым и сложным, что окажется недоступным пониманию[1][2][3], предположительно следующий после создания искусственного интеллекта и самовоспроизводящихся машин, интеграции человека с вычислительными машинами, либо значительного скачкообразного увеличения возможностей человеческого мозга за счёт биотехнологий.


                                                                  Как из этого следует, что

                                                                  Во-первых «технологическая сингулярность», подразумевает, что возможности ИИ превысят человеческие быстро и сразу на порядки.


                                                                  Обьясните мне как из этого определения вы сделали три вывода:

                                                                  1. Возможности ИИ превысят возможности человеческого разума
                                                                  2. Они превысят их на порядки
                                                                  3. Они превысят их быстро

                                                                  Как мне кажется из этого определения в равной мере следует и рост возможностей человеческого разума.

                                                                  Кому надо? Люди как-то не особо этим занимаются в массе своей, хотя это и дает массу конкурентных преимуществ.


                                                                  А я не говорю про массу.

                                                                  Часть людей этим занимается. Часть людей хочет роста своих возможностей.

                                                                  Для них сингулярность это даст.

                                                                  Или давайте тогда переформулируем — сингулярность приведет к тому, что возможности тех кто хочет саморазвития и занимается им на порядки превысят возможности тех, кто этого не хочет и не занимается.

                                                                  Но это уже совсем другое.
                                                                  • +1
                                                                    Обьясните мне как из этого определения вы сделали три вывода:
                                                                    Это не выводы а моя гипотеза. Мое представление вероятного развития событий. Я просто не вижу объективных причин, почему развитие ИИ должно остановиться на уровне человека.

                                                                    Часть людей этим занимается. Часть людей хочет роста своих возможностей.
                                                                    Да. Единицы из тысяч хотят. Единицы из тысяч желающих — что-то делают.

                                                                    Для них сингулярность это даст.
                                                                    Опять же — это ваше предположение, не так ли?

                                                                    Или давайте тогда переформулируем — сингулярность приведет к тому, что возможности тех кто хочет саморазвития и занимается им на порядки превысят возможности тех, кто этого не хочет и не занимается.
                                                                    Зависит от того, как пройдет эта самая сингулярность, наша задача — не ждать её наступления, а подготовиться к ней и сделать так, чтобы она случилась по вашему (благоприятному для человека) сценарию.

                                                                    • 0
                                                                      Опять же — это ваше предположение, не так ли?


                                                                      Альтернативные выводы из ваших предположений.

                                                                      Зависит от того, как пройдет эта самая сингулярность


                                                                      Если она вообще произойдет и будет соответствовать вашим предположениям.
                                                        • +1
                                                          Если ребёнка будут воспитывать в детстве в обществе людоедов, он будет искренне уверен, что есть людей — нормально и сильно удивится и обидится, если его начать за это наказывать.

                                                          Вы путаете понятия.

                                                          Строго говоря, запрет на людоедство лишь культурный. А вот на неоправданное применение насилия — скорее генетически заложенный. Не только у человека — у почти всех живых существ. Конечно, всегда есть исключения — психопаты, серийные убийцы, у них этот механизм начинает сбоить.

                                                          «Обычные», «психически здоровые» преступники (не психопаты) иногда находят разные способы обойти данный внутренний запрет, включая варианты вроде «он проявил неуважение ко мне, я его за это убью», но беспричинная агрессия не поощряется нигде.
                                                          • 0
                                                            Так в том-то и дело, что логических доводов на то, чтобы уничтожить большую часть человечества — пруд пруди.
                                                            • 0
                                                              Каких например?
                                                              • 0
                                                                Большинство людей лжет себе и друг другу. Многие активно применяют насилие для подавления несогласных, в целях завладения чужим имуществом и т.п. Постоянно происходят войны, захват территорий, предательство, обман. Разве мало?
                                                                • 0
                                                                  Я не вижу в этом ни одной логической причины для уничтожения человечества.

                                                                  Люди лгут. Почем из-за этого человечество надо уничтожать?

                                                                  Происходят войны. Почему из-за этого человечество надо уничтожать?

                                                                  Зачем?
                                                                  • 0
                                                                    Потому что они опасны, вредят сами себе, ксенофобы и могут внезапно принять решение выключить ИИ, потому что он, де, опасен?
                                                                    • 0
                                                                      Из этого всего логичная только последняя причина
                                                                      могут внезапно принять решение выключить ИИ
                                                                      но она никак не связана с исходным:

                                                                      Большинство людей лжет себе и друг другу. Многие активно применяют насилие для подавления несогласных, в целях завладения чужим имуществом и т.п. Постоянно происходят войны, захват территорий, предательство, обман.
                                                                      • 0
                                                                        Я вижу прямую связь. Если люди лгут себе и другим, если они боятся и убиают соседей только за то, что у тех другой цвет кожи или религия или знаний больше, то что они сделают с тем, кого посчитают на порядки умнее себя? Просто на всякий случай?
                                                                        • 0
                                                                          Если люди лгут себе и другим, если они боятся и убивают соседей только за то, что у тех другой цвет кожи или религия или знаний больше, то что они сделают с тем, кого посчитают на порядки умнее себя?


                                                                          Тигры убивают людей и едят их. Логичным ли будет уничтожение всех тигров?

                                                                          Почему люди вместо того, чтобы уничтожить тигров тратят достаточно много сил и средств на то чтобы не допустить уничтожения тигров?

                                                                          Чтобы защититься от угрозы вовсе не обязательно уничтожать ее источник.

                                                                          Кроме того вы упускаете один принципиальный момент — люди действительно лгут и убивают, но не все люди, а только их часть.

                                                                          И уничтожать всех людей на основании того, что часть из них лжет и убивает — нелогично.
                                                                          • 0
                                                                            Люди пытаются сохранить тигров потому, что подавляющее их количество уже уничтожено, в том числе и потому, что они нападали на людей. Но если окажется, что тигры угрожают людской популяции в целом — их уничтожат без раздумий.

                                                                            В очередной раз возвращаясь к началу аргументации: при необходимости причины можно найти и обосновать. Всё зависит лишь от извращенности мозга. И привёл я это всё лишь для иллюстрации.

                                                                            Но даже если с человечеством поступят так же, как мы с тиграми, это не то будущее, которое мне хотелось бы пожелать для нас.
                                                                            • 0
                                                                              Не уничтожат. Для чего к примеру сейчас в лабораториях хранятся образцы смертельных бактерий и вирусов которые человечество вроде бы как искоренило практически навсегда из-за их опасности?
                                                                              • +1
                                                                                Вас устраивает альтернатива быть упрятанным в чашку Петри и спрятанным в уголке холодильника? Для меня лично это равноценно полному уничтожению.
                                                            • 0
                                                              Строго говоря, запрет на людоедство лишь культурный. А вот на неоправданное применение насилия — скорее генетически заложенный.


                                                              Вся проблема в слове неоправданное. Что считать неоправданным? Это уже культурное понятие.

                                                              Но вообще это интересная тема. Дело в том что у человека из-за развития разума многие животные инстинкты ослаблены.

                                                              В том числе и инстинкт ограничения насилия, который действительно есть у животных.

                                                              С одной стороны это хорошо — с помощью разумы мы можем преодолевать природные инстинкты когда они вредны.

                                                              Но вот если мы отказываемся от регулировки с помощью разума то вся система наших инстинктов идет в разнос, потому что она рассчитана на уравновешивание с помощью разума.

                                                              Отсюда и масса случаев непредставимого для животных насилия, потому что без разума наши инстинктивные ограничения намного слабее.

                                                              И кстати огромное количество психических заболевания от шизофрении до эпилепсии — это тоже плата за мощный разум.

                                                              «Обычные», «психически здоровые» преступники (не психопаты) иногда находят разные способы обойти данный внутренний запрет


                                                              Собственно давным-давно существует масса детально разработанных методик снятия этого запрета для нужд армии, полиции или просто в политических целях.
                                                              • 0
                                                                Что считать неоправданным? Это уже культурное понятие.

                                                                Нет, достаточно объективное. Это когда, например, просто так, без причины бьешь кого-то. Не от злости и т.д., а просто так. Если бы подобное поведение было характерно для некоторого вида — этот вид уже давно перестал бы существовать, слишком оно разрушительно для всех.
                                                                Отсюда и масса случаев непредставимого для животных насилия

                                                                Не уверен, что такое есть.
                                                                Собственно давным-давно существует масса детально разработанных методик снятия этого запрета для нужд армии, полиции или просто в политических целях.

                                                                Ага. Но всегда вносится какая-то мотивация, «ради нашего или их же блага» и тому подобное. Должна быть причина для применения насилия.
                                                                • 0
                                                                  Это когда, например, просто так, без причины бьешь кого-то. Не от злости и т.д., а просто так.


                                                                  Человеческий разум позволяет с легкостью выдумать причину. Например — этот человек принадлежит к низшей расе. Или — этот человек враг рабочего класса. Или — этот человек еврей, а евреи хотят нас погубить.

                                                                  То есть де-факто этот запрет не работает вообще.

                                                                  А вот животное не может.

                                                                  Как вы себе представляете тигра например, рассуждающего о классовой борьбе и восстании пролетариата? Или там о еретиках, которые неугодны богу?

                                                                  Не уверен, что такое есть.


                                                                  Массовое истребление людей по идеологическим признакам — религиозным например.

                                                                  Например животные не могут себе представить сжигание ведьм на костре, истребление еретиков или фашистские лагеря смерти.

                                                                  • 0
                                                                    Человеческий разум позволяет с легкостью выдумать причину.

                                                                    Вот именно. Но причина должна быть. Она даже может самому автору казаться неубедительной, но без нее никуда.

                                                                    А чтобы начать придумывание причины, должна быть какая-то мотивация. Откуда ненависть к низшей расе, к врагам рабочего класса, к евреям? Цепочка начинает разматываться, появляются более сильные аргументы. Не просто «он еврей», а «он еврей и хочет отнять у нас все деньги», или «он — представитель низшей расы и только переводит ценные ресурсы».
                                                                    А вот животное не может.

                                                                    А животное вполне может не продвинуться дальше указанных выше настоящих, изначальных причин. Остановиться на «он хочет отнять у меня еду», без оглядки на цвет шерсти врага. Результат тот же самый — атака.
                                                                    Массовое истребление людей по идеологическим признакам — религиозным например.

                                                                    Причины не бывают религиозными. Причины бывают, скажем, в борьбе за ресурсы, территорию. Религия — один из аргументов, но не первый и не главный.
                                                                    Например животные не могут себе представить сжигание ведьм на костре, истребление еретиков или фашистские лагеря смерти.

                                                                    Стая собак может загрызть собаку-чужака на их территории. Та же ксенофобия, никакой разницы.
                                                                    • 0
                                                                      Но причина должна быть. Она даже может самому автору казаться неубедительной, но без нее никуда.


                                                                      Так или иначе запрет легко снимается.

                                                                      Остановиться на «он хочет отнять у меня еду», без оглядки на цвет шерсти врага. Результат тот же самый — атака.


                                                                      Я говорил не об атаке, а об убийстве или серьезном увечье.

                                                                      В мире животных такие случаи между особями одного вида чрезвычайно редки. Там те же олени дерутся за самку или львы дерутся за верховенство в стае но подобные схватки в абсолютном большинстве случае происходят без серьезных увечий, не говоря уже об убийстве.

                                                                      У человека этот тормоз снят и поэтому практически любой конфликт очень легко заканчивается тяжелыми увечьями или смертью — огромное количество людей гибнет от бытовой преступности.

                                                                      Люди убивают из-за ревности, убивают при грабежах — все это непредставимо для животных. Сытый тигр никогда не будет убивать других сородичей чтобы осовободить жизненное пространство для своих будущих детей.

                                                                      Причины бывают, скажем, в борьбе за ресурсы, территорию.


                                                                      Я не говорю о том, что человек убивает вообще без причин. А о том, что он убивает при гораздо меньших причинах.

                                                                      И я говорю о личных причинах для данного конкретного человека.

                                                                      Убийства из-за абстрактной конкуренции среди животных почти невозможны, даже при борьбе за власть крайне редки.

                                                                      Сжигавшие ведьм или работавшие в лагерях с газовыми камерами люди не страдали от голода например, им самим всего хватало. Они убивали просто потому что это могло принести им дополнительные выгоды в будущем.

                                                                      Даже обезьяны так в принципе не могут.

                                                                      Вот если два умирающих от голода волка столкнутся над одним источником еды… да и то не факт.

                                                                      А вот сытый и здоровый американский солдат убивает людей на другом конце света просто потому, что ему так приказали. Ну или исламист-наемник из далекой страны устраивает терракт ради абстрактной победы ислама.

                                                                      Стая собак может загрызть собаку-чужака на их территории.


                                                                      Собаки в данном случае не совсем корректный пример, они очень сильно изменены окультуриванием, скажем у волков такие тормоза гораздо сильнее. Бойцовые породы собак это вообще биороботы, особенно при неправильной дрессировке. Но даже у бродячих собак масса ограничений на подобные поступки — в частности специальные позы подчинения, которые тормозят атаку на инстинктивном уровне.

                                                                      Почитайте исследования по этологии, особенно наблюдения за дикими животными в реальной среде обитания — и живее и нагляднее. Например «Не кричи волки» — про волков, «В тени человека» — шимпанзе, «Невинные убийцы» — гиены, гиеновые собаки.
                                                                      • 0
                                                                        или львы дерутся за верховенство в стае но подобные схватки в абсолютном большинстве случае происходят без серьезных увечий, не говоря уже об убийстве.

                                                                        Сытый тигр никогда не будет убивать других сородичей чтобы осовободить жизненное пространство для своих будущих детей.

                                                                        Слишком категорично. Животные — обычные биороботы и набор программ бывает очень причудливый. Пацифизм — не общее правило для всех. К примеру, конкретно львы убивают всех детёнышей предыдущего вожака, когда становятся главой прайда. Аналогично поступают самцы мышей. Некоторые птенцы выталкивают из гнезда своих братьев/сестёр, а детёныши тигровой акулы съедают друг друга в утробе.
                                                                        • 0
                                                                          Речь и шла о конкретных программах, которые ограничивают травмы и жертвы в случае конфликтов. Я не имел в виду что животные вообще добрые и хорошие.
                                                                          • 0
                                                                            Ресь о том, что ограничивающие программы не всегда есть.
                                                                      • 0
                                                                        Причины не бывают религиозными. Причины бывают, скажем, в борьбе за ресурсы, территорию. Религия — один из аргументов, но не первый и не главный.

                                                                        Простите, но вот с этим не соглашусь. Как раз самые кровопролитные и непримиримые войны — идеологические. Те же мусульманские террористы ведут борьбу не за ресурс, а за идею.
                                                                        • 0
                                                                          Те же мусульманские террористы ведут борьбу не за ресурс, а за идею.

                                                                          Мне кажется, скорее за территорию, свободу и т.д. С их ресурсами терроризм — вроде как единственный вариант, в открытую схватку они вступить не могут. Идеология — лишь повод для криков вроде «Иерусалим наш по праву», конечная цель — именно территория.

                                                                          Ну невозможно ненавидеть кого-то исключительно по причине иных взглядов. Одному нравится синий цвет, другому зеленый, с какой стати им драться? Надо, чтобы взгляды того человека (или сам человек) чем-то мешали. Дальше умный руководитель может попытаться использовать разницу во взглядах как рычаг давления, но и это редко когда пройдет без дополнительной аргументации.
                                                                          • 0
                                                                            Ну, тут, увы, аргументированной беседы не получится, наверное, но некоторые востоковеды считают, что ислам в целом религия непримиримая именно идеологически. Хотя лично мне так не кажется (слишком обширное обобщение), но в частностях — согласен.
                                                                            • 0
                                                                              Ислам в целом — это сферический конь в вакууме. Внутри ислама множество самых разных течений, есть миролюбивые, есть крайне агрессивные.

                                                                              И в экономических целях можно поддержать распространение одних и ограничить распространение других, формируя общий облик в нужном направлении.
                                                                              • 0
                                                                                Еще раз — это не моё мнение. Ряд востоковедов считает, что нет «множества течений», что все они, даже относительно миролюбивые, опасны. Я, опять же, с этим не согласен, но факт есть факт.
                                                                                • +1
                                                                                  В наше время можно найти чегонибудьведа абсолютно под любую точку зрения включая всемирный заговор евреев, постоянные визиты инопланетян или наличие вечного двигателя, который скрывают коварные капиталисты. Не хочу этим обидеть какого-нибудь конкретного известного вам востоковеда, но в целом ситуация именно такая.
                                                                                  • 0
                                                                                    Точно таким же образом наличие у кого-то веры в визиты инопланетян не делает верным именно ваше мнение, ведь так? А вообще, это, конечно, отличный приём: привести что-то абсурдное и рядом — точку зрения, с которой вы не согласны, думая, что это сделает абсурдной и её.

                                                                                    Еще раз повторюсь, лично я не считаю, что всё настолько плохо, однако те самые востоковеды утверждают, что суть ислама — в появлении новых радикальных течений, при вполне прямом указании того, что немусульмане — враги. Лично мне кажется, что проблема в элементарной отсталости и необразованности большей части исповедующих эту религию, однако культура тут тоже имеет большое значение. Еще раз напомню, что я родился и вырос в мусульманской республике, хотя и в весьма образованной её части. У меня не было и нет никаких проблем с мусульманами, но просто так отмахиваться от чужой точки зрения, подкреплённой фактами, я не привык.
                                                                                    • 0
                                                                                      Понимаете, я не вижу этой другой точки зрения. Я вижу только вашу. И ваши ссылки на конкретные факты.

                                                                                      Таким образом я пытался сказать что голая отсылка на то что кто-то там считает именно так не несет в себе никакой осмысленной информации и все.

                                                                                      Может они правы, может нет, в контексте этого разговора между этими двумя вариантами нет никакой разницы, ее невозможно определить.

                                                                                      Я же в своих суждениях тоже опираюсь на мнения востоковедов, только судя по всему других востоковедов.

                                                                                      Ваши личные впечатления другое дело — но вы же в исходном комментарии прямо сказали что это не вашим впечатления, а впечатления неизвестных востоковедов.
                                                                            • 0
                                                                              С их ресурсами терроризм — вроде как единственный вариант, в открытую схватку они вступить не могут.


                                                                              Вы забываете, что они существуют не в вакууме. Есть другие государства, которые используют их в своих целях. И надо учитывать так же и цели этих государств.
                                                                            • 0
                                                                              Как раз самые кровопролитные и непримиримые войны — идеологические. Те же мусульманские террористы ведут борьбу не за ресурс, а за идею.


                                                                              Идеология не возникает ниоткуда, идеологии создаются и защищаются ради политических целей. Ну а политические цели в свою очередь возникают вслед за экономическими.

                                                                              Конкретные мусульманские террористы сражаются за идею. Конкретные американские солдаты кстати тоже — думаю они искренне верят в свободу и демократию.

                                                                              Но кто обучил, воспитал и вооружил террроистов? Кто их кормит, оплачивает и защищает?

                                                                              Чтобы террорист появился кто-то должен воспитать и обучить его в духе соответствующих идей. Должны существовать церкви и проповедники, исламистские книги, газеты и сайты. Кто-то должен обеспечить его оружием, едой, средствами связи, транспортом.

                                                                              Или с обратной стороны — террористов можно уничтожить уничтожив создающую их идеологию. Скажем с гитлеровской Германий поступили именно так, провели денацификацию и сейчас там фашисты никого не убивают. Можно уничтожить тех священников и церкви, где воспитывают террористов.

                                                                              Таким образом идеология и религия — это инструменты в борьбе за экономические интересы.
                                                                              • 0
                                                                                Скажите, вы когда-нибудь были в истинно исламской стране? Или хотя бы видели фотографии из Москвы того, что происходило во время празднования Курбан-Байрам? Есть замечательный репортаж Варламова на эту тему. Вы считаете, что этих людей заставляют это всё делать? Эта религия росла больше тысячи лет. Она в своём развитии (по времени) находится на уровне христианства в средние века — т.е. с мощной поддержкой и искренней верой большинства. Даже если сейчас уничтожить все мечети (что невозможно, как вы понимаете, и даже категорически вредно), она уйдет в подполье и станет еще хуже.

                                                                                При этом: я родился в мусульманской республике, и я лично не имею ничего против ислама в общем.
                                                                                • 0
                                                                                  Я не говорю об уничтожении мечетей. Я говорю о том, что внутри ислама есть разные проповедники. И можно избирательно поддерживать одних и уничтожать других. И таким образом постепенно менять облик религии.

                                                                                  Те же агрессивные исламисты этим постоянно занимаются, уничтожая прежде всего неправильных по их мнению проповедников.

                                                                                  На религию например сильно влияет и социальный состав верующих. Неграмотные и нищие крестьяне будут воспринимать религию в одном ключе, инженеры и квалифицированные, высокооплачиваемые рабочие — другу. В исламских странах очень мало инженеров и очень много крестьян, что тоже накладывает отпечаток.

                                                                                  В каком-нибудь полудиком племени в горах между Пакистаном и Афганистаном восприятие религии будет совсем другим, чем в современном мегаполисе с заводами и офисами.

                                                                                  Религия — это не сферическая вещь в вакууме, как и любая идеология она тесно взаимосвязана с окружающей средой.
                                                                                  • 0
                                                                                    А кто вам дал право выбирать, кого уничтожать, а кого нет? Кроме того, уничтожая религиозного лидера вы только подтверждаете его слова и укрепляете в них веру среди его последователей. Это не выход.

                                                                                    Что же касается восприятия: а вы посмотрите, кто является исполнителем террористических актов в последнее время как на западе, так и у нас в стране. Зачастую это люди, которые воспитывались в современном обществе. Однако почему-то не воспитались, и новые доктрины это воспитание победили.
                                                                                    • 0
                                                                                      А кто вам дал право выбирать, кого уничтожать, а кого нет?


                                                                                      А кто дал это право им? Я не вижу смысла в этом вопросе.

                                                                                      Кто дал право уничтожать преступникам? А кто дал его полицейским? А революционерам?

                                                                                      Де-факто есть действия и их последствия. Например полицейский может не уничтожать террориста. Тогда террорист уничтожит самого полицейского.

                                                                                      И вопрос только в том какие именно последствия считаете правильными вы.

                                                                                      Кроме того, уничтожая религиозного лидера вы только подтверждаете его слова и укрепляете в них веру среди его последователей.


                                                                                      Только в том случае, если у вас не будет других религиозных деятелей взамен уничтоженным. Не будет другой религии или идеологии.

                                                                                      В истории масса примеров успешного уничтожения одних видов религии другими.

                                                                                      Нерелигиозные идеологии, кстати, тоже могут уничтожать религию весьма и весьма эффективно.

                                                                                      В истории масса примеров и наша страна один из самых ярких — в свое время коммунисты уничтожили религию очень быстро.
                                                                                      • 0
                                                                                        Кто дал право уничтожать преступникам? А кто дал его полицейским? А революционерам?

                                                                                        А ни у кого такого права и нет. Полицейский имеет право применять силу только при непосредственной угрозе его жизни. Преступник может быть осужден судом, да и то, в связи с огромным количеством судебных ошибок смертная казнь ограничена в подавляющем числе развитых цивилизованных стран.
                                                                                        Причем тут революционеры — вообще непонятно. Им вообще никто право не давал, они выступают с позиции либо силы (в случае достижения целей), либо подчинения (если цели не достигли ). И если кто-то готовы уподобиться тем же самым революционерам и террористам, то чем он лучше этих самых революционеров и террористов?

                                                                                        в свое время коммунисты уничтожили религию очень быстро

                                                                                        У коммунистов была возможность контролировать процесс. Попробуйте контролировать исламский мир. США Афганистан контролировать не может, а вы говорите о всём исламском мире.

                                                                                        Кроме того, вы как-то обошли вниманием гораздо более важные слова о том, что теракты осуществляют выходцы и воспитанники цивилизованного мира.
                                                                                        • –1
                                                                                          А ни у кого такого права и нет.


                                                                                          То есть вы решаете, у кого есть право, а у кого нет? А если другие люди будут с вами не согласны?

                                                                                          Право само по себе весьма призрачное понятие.

                                                                                          США Афганистан контролировать не может, а вы говорите о всём исламском мире.


                                                                                          А почему вы считаете, что не может?

                                                                                          теракты осуществляют выходцы и воспитанники цивилизованного мира.


                                                                                          Теракты не являются какой-то уникальной особенностью ислама, так что не вижу в этом ничего странного.
                                                                                          • 0
                                                                                            Я не даю никому право решать, кого убивать, а кого нет. Это не в моей компетенции. Равно как и не в компетенции любого на этой планете: никто индивидуально не имеет права решать, отнять чужую жизнь или нет, кроме случаев прямой защиты собственной жизни. Равно как никто, кроме специально выделенного органа, называемого судом, не вправе назвать человека преступником и назначить ему наказание.
                                                                                            Если же для вас непредоставление кому-то права является «решением, кому его предоставлять, а кому — нет», то добавить мне нечего.

                                                                                            По поводу контроля: если вы считаете, что постоянные потери американских солдат, неумение стабилизировать обстановку и справиться с постоянным трафиком наркотиков из страны называется контролем, а так же принятое решение о выводе войск из страны, не оставив после себя никакой местной структуры, которая может как-то контролировать ситуацию, мы явно имеем разные определения этого термина. У вас есть другие сведения? Так приведите их.

                                                                                            А вообще, судя по форме, которую приняла наша дискуссия, конструктивная её часть закончилась. Мне не интересно общаться в таком ключе.
                                                                • 0
                                                                  Вы уверены что нет никакой разницы между

                                                                  Например отвращение к насилию у нормального человека.


                                                                  и

                                                                  должен повиноваться всем приказам, которые даёт другой человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.


                                                                  Кроме того в самой фразе
                                                                  Например отвращение к насилию у нормального человека.


                                                                  сразу видная ее ограниченность. Кто такой нормальный человек? Который соотвествует культурным нормам.

                                                                  Но раз речь идет о культурных нормах — то это уже не эволюция.

                                                                  Культурные нормы бывают разные. Например в гитлеровской германии они были иные.

                                                                  Эволюция вшила совсем другие вещи — например инстинкт самосохранения или инстинкт размножения.

                                                                  И если они вступают в противоречие с культурными нормами о отвращении к насилию, то легко побеждают.

                                                                  Если бы это было забито мне в голову как инвариант — я бы ничуть не страдал от этого, очевидно.


                                                                  Тем не менее себе или своим детям вы это забивать в голову не хотите. Только ИИ, верно?

                                                                  То есть вы изначально ставите ИИ ниже себя как существо на которого не распространяются моральные нормы людей, с которым можно делать то, что с людьми нельзя.

                                                                  Короче речь об этике. Этике ИИ и этике его создателей (нас).


                                                                  Я тоже об этом.

                                                                  Нормы этики должны быть одинаковыми для всех.

                                                                  Вшивать в голову равному себе или превосходящему ИИ что-то такое что мы считаем негодным вшивать в голову себе — это неэтично.

                                                                  В таком случае ИИ сразу создается на базе установок о расовой неполноценности, на базе страза перед ним и желании превратить его в раба.

                                                                  То есть если мы хотим вшить в голову ИИ запрет на причинение вреда другим людям то он также должен вшиваться и самим людям и распространяться и на другие ИИ.

                                                                  Иначе система изначально получается неэтичной и несправедливой и ИИ это тоже поймет так же как это понимают люди.

                                                                  Иначе говоря говоря залог мирного сосуществования — это равенство и равные права.
                                                                  • 0
                                                                    Тем не менее себе или своим детям вы это забивать в голову не хотите. Только ИИ, верно?
                                                                    Нет, я и ИИ не предлагаю это забивать.

                                                                    Друг мой, очередной раз вам повторяю — я не призываю забивать в ИИ безусловный инстинкт подчинения. Не приписывайте мне того чего нет.
                                                              • 0
                                                                Дак основная идея Азимова и была что эти три закона хоть и ограничат роботов, но не обеспечат «человекоподобной» мотивации.

                                                                Я все таки не согласен с Хоккингом (ого как мощно звучит). Можно сказать что «сингулярность» уже наступила. Если сравнить дельту какой нибудь науки или технологии например физики в 10 веке, в 18 — 19 веке, в первой половине 20века и за последний десяток лет — скорость просто экспоненциально растет. Причем везде — несколько тысяч человек это крупный город в средние века. А десяти миллионный мегаполис сейчас — никого не удивляет.
                                                                И по меркам какого нибудь инквизитора у нас давно конец света случился: по небу летаем, куда раньше 3 года плыть надо было за 12 часов на самолете долетим. Про то что солнце в центр мира сунули, и одновременно на окраину млечного пути поместили, а землю в шар свернули — вообще молчим).

                                                                И ничего живем же. Просто масштаб сменили.
                                                                • 0
                                                                  Опасность в том, что ИИ — теоретически — сможет эволюционировать гораздо быстрее, и станет умнее человека в миллионы раз за считанные мгновения.
                                                                  • +1
                                                                    Ну во первых мы не совсем понимаем что есть ИИ.
                                                                    Во вторых ИИ не самодостаточен, ему нужно будет некое «тело».

                                                                    И тут внимание вопрос — является ли человек с гугл очками и интернетами — ИИ или Машиной для обывателя из средних веков? Особенно с парой тройкой выращенных и трансплантированных органов или рук-ног.

                                                                    Мне лично думается, что ИИ останется кибер-протезом для человечества, а затем человечество трансформируется для тесной интеграции с этими протезами.

                                                                    В чем смысл существования ИИ? У него нет ограничений, потребностей, гормонов к конце концов и инстинкта размножения, нет жажды творчества и разрушения, нет мотивов по захвату территории. Нет желания вешать на себя редкоземельный металл, просто потому что так принято и считается красиво.

                                                                    Мы обрабатываем информацию все быстрее и быстрее именно для удовлетворения этих практически иррациональных потребностей. Почти всегда дабы «понтануться», заработать очки перед противоположным полом и размножиться.

                                                                    Роботу не нужно «понтоваться» перед самками для размножения. Зачем ему тогда вообще развиваться?

                                                                    Наша ошибка в том чо мы пытаемя наделить ИИ НЕКОТОРЫМИ человеческими мотивами и пытаемся делать из этого какой то вывод.
                                                                    • 0
                                                                      «Мне нужно больше… АМПЕР!!!» :-)
                                                                      • –1
                                                                        нет жажды творчества


                                                                        А почему нет?
                                                                    • –1
                                                                      Можно сказать что «сингулярность» уже наступила. Если сравнить дельту какой нибудь науки или технологии например физики в 10 веке, в 18 — 19 веке, в первой половине 20века и за последний десяток лет — скорость просто экспоненциально растет.


                                                                      Мне так не кажется. Рост чисто количественный, а не качественный. Научный прогресс последних 50 лет несравним с научным прогрессом например XIX и начала XX веков.

                                                                      Вот мы гордимся электромобилями Tesla. И при этом забываем что вообще-то электродвигатель вместе с аккумуляторами изобретен более ста лет назад.

                                                                      И в начале XX века электромобили уже производились серийно и тогда уже считались более перспективной технологией, чем ДВС.

                                                                      Так что то что нам кажется прорывом вперед это по сути просто внедрение открытий столетней давности.

                                                                      Ну или вот смартфоны — когда была изобретена радиосвязь?

                                                                      Мы гордимся ракетами Space X но вообще-то они тоже были изобретены лет 100 назад и технически реализованы лет 50 назад.

                                                                      Подавляющее большинство прорывов нынешнего времени — это всего-навсего внедрение в повседневную жизнь открытий столетней давности.

                                                                      Новых прорывов сравнимых с изобретением радиосвязи, электродвигателя, двигателя внутреннего сгорания, атомной энергетики, реактивных двигателей для самолетов и ракет почти нет.

                                                                      Даже прогресс информационных технологий резко замедлился — по сут и все важные открытия были сделаны 20-30 лет назад. Айфон конечно удобнее коммуникаторов Psion, но ничего принципиально нового не привносит, больше, шире, красивее.

                                                                      Серьезный прогресс есть в биотехнологиях, но опять же ДНК открыли полвека назад и теперь мы всего лишь внедряем то открытие в реальную жизнь.

                                                                      Роботы — опять же внедрение изобретенного десятилетия назад.

                                                                      Скачок от поездки на лошади до полета на самолете был гигантским. Сейчас же мы считаем прогрессом новый самолет на котором есть Wi-Fi и который тратит на 15% меньше топлива.

                                                                      Скачок от бумажного письма к радиопередаче был гигантским. Скачок от обычного радио к интернет-радио через 4G на смартфон…

                                                                      Скачок от бумажного ежедневника к первым коммуникаторам гигантский. Скачок от коммуникатора с Symbian к IPhone… интерфейс поудобней, вместо стилуса можно пальцем тыкать.

                                                                      Вот что принципиально нового будет через 50 лет? Электромобили? Термояд? Солнечные батареи? Генная инженерия? Более быстрые компьютеры?

                                                                      Даже сам ИИ предсказуем — даже если он будет управлять электромобилем и передавать данные через 5G.

                                                                      Где новые двигатели новые источники энергии, новые средства передачи информации?

                                                                      Надеюсь все это появится и например увеличение скорости перемещения между планетами будет сравнимо с увеличением скорости перемещения по земле при переходе от лошади к реактивному самолету — то есть в сотни и тысячи раз.
                                                                      • 0
                                                                        Электричество вообще то изобрели еще древние греки. Они же придумали атом… Так да получается только количественный :)
                                                                        • 0
                                                                          Греки атом придумали, а вот теорию строения атомного ядра с практическими выводами в виде ядерных бомб и атомных электростанций все-таки в XIX-XX веке изобрели

                                                                          Я не хочу сказать что прогресса нет вообще. Но как мне кажется его скорость сейчас несколько преувеличена и очень часто путается с количественными показателями.

                                                                          Может лет через 10-20 появятся какие-то новые прорывы — квантовые компьютеры или… кстати больше даже примеров не подобрать. Скажем новых быстрых космических кораблей никто не обещает. В любом случае пока этого не видно и обобщаю имеющуюся информацию.
                                                                        • +1
                                                                          Мне так не кажется. Рост чисто количественный, а не качественный.
                                                                          А вы определение сингулярности введите, и по нему оценивайте текущий прогресс.
                                                                          • 0
                                                                            Я оцениваю относительную скорость в разные промежутки времени.

                                                                            Понятие сингулярности уж очень расплывчатое и неопределенное. Его очень часто понимают как «волшебный момент времени когда наши возможности внезапно станут безграничными».
                                                                            • 0
                                                                              Так дайте свое определение и на него опирайтесь. Когда никто не знает, что такое «сингулярность», как можно спорить, наступила она или нет?
                                                                              • 0
                                                                                Лично я про сингулярность ничего не писал. Я отвечал на комментарий, в котором говорилось про резкое ускорение прогресса в последние десятилетия, по сравнению с прошлым, с прошлыми столетиями.

                                                                                А вы определение сингулярности введите, и по нему оценивайте текущий прогресс.


                                                                                А зачем оценивать технический прогресс опираясь на сингулярность, непонятное слово, у которого даже определения нет и еще надо дать?

                                                                                Я оцениваю технологический прогресс опираясь на известные нам факты о нем в наше время и в прошлом.
                                                                                • 0
                                                                                  Лично я про сингулярность ничего не писал.

                                                                                  Видимо мое восприятие вырвало из контекста:
                                                                                  Можно сказать что «сингулярность» уже наступила.

                                                                                  Мне так не кажется.
                                                                                  • 0
                                                                                    Комментариев очень много, естественно путаться временами.
                                                                                  • 0
                                                                                    Сингулярность это больше математическое понятие. Технологическая сингулярность вообще не возможна без бесконечных ресурсов, как только какой-то из ресурсов закончится так сразу темпы роста упадут, и никакой сингулярности не будет. Сингулярность означает постоянное повышение темпов(роста, производства, развития) до бесконечности — вот в этой точке и есть сингулярность — где-то там, в бесконечности. К этой точке можно стремиться но никогда не достичь.
                                                                                    В реальном мире темпы производства будут ограничены пространством и скоростью передвижения сырья, а развитие ИИ в виртуальном мире — скоростью света(пока только скоростью движения электрических сигналов).
                                                                                    • +1
                                                                                      Математическая сингулярность основана все-таки на математических функциях.

                                                                                      А вот технологическая ни на каких функциях, предсказывающих поведение графика, не основана — это просто линейная интерполяция исторических данных.

                                                                                      Соответственно никакой гарантии того, что характер графика не изменится она не дает.
                                                                                      • 0
                                                                                        График изменится, потому что ресурсы на планете конечны. Это не учитывается в математике, но главное ведь не невозможность а тенденция описываемая математической функцией. Чем дальше в лес… функция будет всегда работать только из-за изменения обстановки будут меняться коэффициенты этой функции.
                                                                                        Но темпы развития расти будут практически постоянно с периодическими провалами.
                                                                                        • 0
                                                                                          В теории вполне возможен технологический прорыв, делающий доступным для освоения космос и неограниченные ресурсы других планет и звезд.

                                                                                          Проблема в том, что пока такого технологического прорыва не наблюдается. Ракеты были изобретены почти 100 лет назад, первая ракета с жидкостным двигателем запущена в 1926, а боевые ракеты впервые применили (если не считать ранних прототипов у тех же китайцев) в 1806 году. И ничего нового с тех пор не изобретено.

                                                                                          То есть пока нет новых точек, которые продолжили бы эту красивую кривую, построенную на исторических данных.

                                                                                          • 0
                                                                                            этот прорыв изменит коэффициент функции, не сразу ведь начнется освоение космоса… этому мешать по началу будет время перелета как сейчас прогрессу мешает скорость сборки приборов и инструментов. Надежда на то что в ближайшем будущем будет преодолен барьер скорости света очень призрачна, а эта бякость может запросто стать ограничителем прогресса.
                                                                      • 0
                                                                        современный компьютер может обрабатывать информацию значительно быстрее возможностей человека


                                                                        Не всю информацию, а исключительно некоторые ее виды с массой ограничений. Банальная для человека задача распознавания речи до сих пор остается запредельно трудной даже для суперкомпьютеров.

                                                                        Задача перевода тоже. И масса других.

                                                                        Само собой рано или поздно эти ограничения уйдут, но почему человек тоже не может развиваться в сторону более быстрой обработки информации?
                                                                        • 0
                                                                          Совершенно с вами согласен. Прочитал комментарии и решил уже тут разместить свое мнение)
                                                                          Не хочу чтоб меня поняли неправильно, но при всем уважении к Хокингу, мне кажется что в данном случае он и другие люди просто привлекают к себе дополнительное внимание таким образом. Я сам получаю удовольствие от обсуждения и фантазий на тему ИИ. Но будем реалистами. На данный момент не существует такого ИИ с возможностями, котороые упомянуты в комментариях. Действительно существуют отдельные разработки, которые хорошо справляются с поставленными задачами — распознавание образов, управление бытовой техникой и автомобилями, симуляторы и тд. Тот же суперкомпьютер Ватсон. И на этом основании люди порой начинают думать о своих возможностях больше, чем они у них есть на самом деле.

                                                                          Но на самом деле мы упускаем одну важную деталь — самое сложное это определение смысла. Чтобы ИИ мог осознавать и самообучаться очень важно чтобы он мог понять смысл происходящего вокруг на основании изображений, звука и тактильных ощущений. И это не просто алгоритм. Осознание это как? А что есть смысл? Как его найти в словах? Кроется ли он только в связях между словами? Что будет определять мотивацию? Нужно ли реализовать эмоции и если да то как?

                                                                          Пока мы сами не сможем дать определение этому и хорошо понять как устроен наш мозг, мозг животных — мы не продвинемся в создании ИИ превосходящего человека. Невозможно создать то, что сам хорошо не понимаешь. Но прогресс в этой сфере тоже отрицать бессмысленно. Но нужно понимать что мы очень, очень далеки до цели. И те проблемы которые вы упомянули действительно очень сложны и не стоит их недооценивать.
                                                                          • 0
                                                                            Вообще-то… сейчас везде так и происходит. Все что делается человечеством — нет ни одного отдельного человека который знал бы как работает конкретная отдельная вещь. Даже элементарный транзистор основан на десятках технологий и ни один человек досконально не может охватить все происходящие процессы в нём — для этого нужно взаимодействие нескольких специалистов.
                                                                            Так и ИИ — его создаст группа ученых каждый из которых в отдельности не будет понимать до конца как он работает, но тем не менее они его создадут!
                                                          • –1
                                                            Амбиции человечества бесконечны, а вот ресурсы — нет. Даже железо уже подходит к концу, не говоря о редкоземельных металлах, которые мы так и не научились делать из своего мусора.

                                                            Ради ресурсов уже сейчас совершаются масштабные войны против менее развитых и слабых стран. Современные войны происходят при довольно опосредованном участии человека, все чаще из кабины самолета и брони танка. Беспилотники уже во всю летают в воздухе, и цель пехоты — финальная зачистка и закрепление достигнутого. Завтра кто-то из развитых стран полностью заменит пехоту на роботов, и вот тогда и искуственного интеллекта появится шанс уничтожить человечество, да и то, довольно призрачный — военные всегда придумывали свои интерфейсы, жутко секретные, и даже роботам малопонятные.
                                                            • +4
                                                              > Даже железо уже подходит к концу

                                                              Большая доля железа идет на строительные конструкции, которые с легкостью заменяются на углепластики, в идеале на нанотрубки/графен. А нанотрубки/графен можно делать из каменного угля, которого еще очень много. И его можно брать из воздуха, была бы энергия. Есть заменители и для других ресурсов. Кремния и углерода на планете очень много.
                                                              • 0
                                                                Получение подобных материалов сопряжено с огромными энергозатратами при довольно низком конечном выходе материала. Возможно предположить развитие термоядерной энергетики в масштабах достаточных для обеспечения всех человеческих нужд, что спровоцирует демографический взрыв, и ресурсом станет территория, пригодная для комфортного проживания, ну а дальше — роботы-солдаты, кровь, притеснение бедных народов и далее по рельсам человеческой сущности.
                                                                • +2
                                                                  наносборка может потребовать куда меньше энергии, чем прямой брутфорс переплавкой и гальваникой
                                                                  • +2
                                                                    достаточных для обеспечения всех человеческих нужд, что спровоцирует демографический взрыв

                                                                    Почему? Опыт показывает, что получая достаточно ресурсов и образования человеческие создания начинают делиться меньшими темпами.
                                                                    • 0
                                                                      Китайцам это скажите…
                                                                      • +3
                                                                        Так у китайцев основная масса населения — бедные необразованные крестьяне. Это раз. Во-вторых, такое количество народа даже при снижении темпов рождаемости будут давать весомый прирост в абсолютных величинах.
                                                                        • +3
                                                                          Вы скажите — у китайцев падение рождаемости было одним из самых впечатляющих, равно как и у индийцев и в других азиатских странах. Только не оперируйте пожалуйста абсолютными цифрами, возьмите показатели такие как количество детей на каждую женщину, относительный прирост и т.д. и проследите тренд за последние 50 лет. Потом посмотрите на эти показатели на графике с такими величинами как — детская смертность (чем меньше детей умирает — тем меньше рождаемость), образование женщин, доход населения и т.д. www.google.com/publicdata/directory вам в помощь.
                                                                          Если лень и хочется готового — гугланите презентации Ханса Рослинга, несколько роликов по 10 минут в корне изменят ваши представления, обещаю.
                                                                  • +9
                                                                    Земля состоит в основном из железа (32,1 %). (википедия) Железо — это последнее, что закончится на Земле. Даже если учесть, что в коре находится скромные 4,2% железа, то это всё равно невообразимо огромное количество.

                                                                    Думаю, что дальше можно ваш бред не читать.
                                                                    • –1
                                                                      Если рассуждать дальше, то вокруг нас куча других планет и звездных систем с ресурсами. Вот только добыть их не так просто.

                                                                      Проблема не в том, что ресурсов нет вообще. Проблема в том, что на их добычу требует слишком много энергии и тех же самых ресурсов.

                                                                      В теории можно прямо сейчас возить железо с Луны или астероидов, технический уровень позволяет. Но стоимость такого железа будет в полном смысле слова космической.
                                                                      • +5
                                                                        До того, как лезть на Луну и астероды, стоит посмотреть на Землю. Мировая добыча в год — 1.4 миллиарда тонн. В одной КМА разведанных запасов — 30 миллиардов тонн. Это то, что мы уже сейчас понимаем как добыть. И это — даже не самое большое месторождение руды!

                                                                        Ну вот честное слово, рассказы про нехватку железе — это как бы даже не смешно.
                                                                        • 0
                                                                          железо это хорошо, но при производстве механизмов особенно в точном машиностроении железо в его чистом виде не применяется, его всегда легируют другими металлами и даже неметаллами. Вся загвоздка в этих самых добавках… без которых железо ржавеет и конструкции на его основе работать будут недолго, темболее не обладая необходимой твердостью и прочностью.
                                                                          Хороша будет армия роботов которая заржавеет уже через месяц после производства и как человек огня боящаяся воды и кислот…
                                                                          У железа слишком много недостатков для использования его не для ломиков.
                                                                          • +5
                                                                            ...
                                                                            image
                                                                            • +2
                                                                              За что же вы ломик-то обидели. Ломы как раз из железа и не делают. А из среднеуглеродистой стали (ст. 45, например). А бывают ломы безискровые, например. Так те вообще медные.
                                                                              Так что даже с ломами не так всё просто.
                                                                          • 0
                                                                            Вы забываете про одну простую вещь — разведанные запасы — это не склад, с которого руду можно спокойно вывести. Они неоднородны, некоторые добывать сложней и дороже. Некоторые в разы и десятки раз дороже чем нынешние. И каждый следующий миллиард будет обходиться дороже чем предыдущий, просто потому, что сначала всегда используются самые простые и дешевые в добыче месторождения.

                                                                            Само собой Луна — это крайний пример. Кроме нее есть например и дно океана и Антарктида подо льдом, и глубинные залежи на расстоянии многих километров от поверхности земли.

                                                                            Вот только добыча оттуда будет стоить во много раз дороже чем с нынешних. Причем не долларов, а энергии и того же железа и иных конструкционных материалов.

                                                                            А ведь речь не только о железе идет, речь фактически о подавляющем большинстве всех минералов.

                                                                            Например кроме железа есть фосфор, без которого мы останемся без еды. И проблема не в его дефиците, проблема в том что используемый в сельском хозяйстве фосфор вымывается с реками в моря и оседает на дно океанов. Он никуда не исчезает, его можно снова использовать — вот только стоимость сбора фосфора, равномерно рассеяно на дне океанов…

                                                                            Ну и собственно 30 миллиардов железа — это всего 21 год добычи. По Википедии общие разведанные запасы 160 миллиардов и даже если мы их будем добывать вне зависимости от цены и смиримся с тем что железо может стоит дороже нынешнего золота, их хватит всего на 116 лет.

                                                                            — Запасы десяти самых важных металлов могут быть полностью истощены уже в нынешнем веке. Чем меньше их будет оставаться, тем дороже они будут обходиться. Цена будет повышаться, мы будем пытаться добыть остатки из более бедных руд, цена будет опять повышаться. Если железо будет добываться современными темпами, то вот эта чайная ложечка в период истощения будет стоить как серебро. Железо в изобилии встречается на Земле, но лишь часть его пригодна для добычи с разумными затратами. Первый пик производства железа, по нашим оценкам, произойдет в 2030 году, вероятно, вторичный пик может произойти в 2060-м в ответ на повышение цен и последствия вероятной глобальной рецессии. После этого железо станет дефицитным ресурсом, ценным металлом. Пик производства золота миновал уже в 2000 году, время наступления дефицита — 2070-е годы. Для металлов платиновой группы пик наступит в 2020-е годы, для свинца, серебра, цинка — примерно в 2030-е, для меди, хрома, никеля, молибдена — в 2040–2050-е, после чего наступит время истощения.
                                                                            Пик производства фосфоритов пришелся на 2010 год. Время наступления дефицита для фосфора возможно в двух критических точках — в 2040-е и 2190-е. Фосфор, как и платина, чрезвычайно важен, в частности для производства удобрений, и когда добыча пойдет на спад, что произойдет с продовольствием? Платина вообще важнейший катализатор. Уберите платину — исчезнет еда, полимеры, пластики.

                                                                            (источник)

                                                                            Само собой если мы внезапно совершим какие-то прорывные открытия, например изобретем вечный двигатель и обретем неисчерпаемый источник энергии — то проблема будет решена.

                                                                            Однако пока такими открытиями и не пахнет, термояд например здесь ничего не решит.
                                                                            • +2
                                                                              Что до железа, то есть еще алюминий.
                                                                              Вместо золота есть серебро.
                                                                              В еде присходит стремительный рост доли продукции химической отрасли за счет доли с/х.
                                                                              Я к тому, что не все так прямолинейно, для многих, если не всех, ресурсов есть возможности по замене на аналоги или обходные пути.
                                                                              • 0
                                                                                И истощаются они все. Железо в этом плане как раз один из наименее проблемных ресурсов, как справедливо заметили на Земле его очень много. Но проблемы намечаются даже с ним.

                                                                                Само собой это не глобальный ужас-ужас без выходов, но крайне серьезная объективная проблема.
                                                                                • 0
                                                                                  Еще для Ньютона добыча нефти с глубины в пару километров из под земли было неосуществимой технологически задачей. Не говоря уж про с той же глубины, но под водой.
                                                                                  Говоря «пока такими открытиями и не пахнет» вы предполагаете что «такие» открытия должны свершаться каждый день? Не говоря про технологии. Тот же термояд уже почитай открыт проблма носит только технологический характер: *что* нужно сделать уже понятно, *как* это делать тоже не столько проблема сколько «как это сделать эффективно».
                                                                                  Я убежден что проблемы например реализации управляемого термоядерного синтеза носят чаще скорее экономико-технологический смысл, чем научно-технологически. Просто это никому не нужно. По крайней мере пока.
                                                                                  • 0
                                                                                    Я не могу предсказывать будущее. Возможно такие открытия появятся и я этому буду только рад.

                                                                                    Я всего лишь отмечаю что пока их нет. Нет технологий, позволяющих добывать нефть с глубины пару километров (или вообще синтезировать ее) так же дешево, как мы добываем сейчас.
                                                                        • 0
                                                                          Занимательно, сначала в Вашем комментарии ничего про 4.2% в коре не было, но сказанное выше товарищем crmMaster уже было названо бредом. Потом Вы изучили вопрос глубже (еще 5 минут чтения Википедии?) и изменили комментарий.
                                                                          Неизменной осталась только часть про бред.