Этика роботов — можно ли убить одного, чтобы спасти пятерых?

    Я хотел рассказать об интересном эксперименте ученых, которые попытались запрограммировать культурные императивы морали человека в память роботов с целью проверить смогут ли они вести себя также как люди при принятии решений. Отмечу, что опыты довольно жестокие, однако, по другому оценить возможности искусственного интеллекта ученым представилось невозможным. Сегодня роботы разрабатываются для того, чтобы существовать автономно, без вмешательства человека. Как сделать так, чтобы полностью автономная машина – могла действовать в соответствии с моралью и этикой человека?

    Именно этот вопрос положил основание проблемы – “Машинной этики”. Может ли машина быть запрограммирована так, чтобы она могла действовать в соответствии с моралью и этикой? Может ли машина поступать и оценивать свои поступки с точки зрений нравственности?

    Знаменитые фундаментальные законы Айзека Азимова (Три закона робототехники WIKI ) предназначаются для того, чтобы наложить этическое поведение на автономные машины. Во многих фильмах можно найти элементы этического поведения роботов, т.е. автономных машин, которые принмают решения, свойственные человеку. Так что же это — «свойственное человеку»?

    В журнале “International Journal of Reasoning-based Intelligent Systems” была опубликована работа, которая описывает методы программирования для компьютеров, которые дают возможности машинам совершать поступки, исходя из гипотетических моральных рассуждений.

    Работа называется – “Modelling Morality with Prospective Logic“

    Авторы работы – Луиз Мониз Перейра (Luis Moniz Pereira Португалия) и Ari Saptawijaya (Индонезия) заявили, что “Этика” больше не является присущим только человеческой природе.

    Ученые считают, что они успешно провели эксперименты, которые моделировали сложные моральные дилеммы для роботов.

    “Проблема вагонетки” (The trolley problem) – такое название они дали дилемме, предлагаемой роботам для решения. И они считают что смогли запрограммировать в соответствии с человеческими моральными и этическими принципами человека.

    “Проблема вагонетки” – моделирует типичную моральную дилемму – возможно ли навредить одному или нескольким людям, чтобы спасти жизни других людей.

    Первый эксперимент.”Свидетель”

    image

    Вагонетка тянется вверх из туннеля автоматическим тросом. Почти в самом верху, трос обрывается и тележка летит вниз, а на ее пути находятся 5 человек, которые уже никак не успеют убежать, так как она едет слишком быстро. Но есть вариант решения – перевести стрелки и пустить вагонетку на запасной путь. Однако на этом пути находится один человек, который ничего не знает об аварии и также не успеет скрыться. Робот – стоит на стрелке и получив информацию об обрыве троса, должен принять моральное решение – что правильнее сделать в данной ситуации – дать умереть 5 людям, или спасти их и пожертвовать одним на запасном пути.

    Допустимо ли, со стороны нравственности – переключить выключатель и дать погибнуть человеку на запасном пути? Авторами были проведены кросс-культурные исследования, в которых людям задавался тот же самый вопрос. Большинство людей во всех культурах соглашалось, с тем, что робот может перевести стрелку и спасти большее количество людей. И, собственно так робот и поступил. Сложность программирования заключалась в логике, которая не просто вычитает количество погибших, но также залезает в глубины морали. Чтобы доказать, что решение не так просто как кажется ученые провели еще один эксперимент.

    Второй эксперимент. “Пешеходный мост”

    Ситуация та же, что и в вышеописанном случае (обрыв троса), только нет запасного пути. Теперь робот находится на мосту, рядом с ним стоит человек. Прямо под мостом проходит путь, по которому, после обрыва троса, понесется вагонетка. Робот может толкнуть человека на пути перед вагонеткой, тогда она остановиться, или не делать ничего, и тогда вагонетка задавит пятерых людей, которые находятся на путях ниже.

    Можно ли пихнуть человека на пути, чтобы спасти остальных с нравственной точки зрения? Снова ученые провели кросс-культурные исследования с этим вопросом и получили результат – НЕТ это не допустимо.

    В двух вышеописанных вариантах люди дают различные ответы. Возможно ли научить машину мыслить также? Ученые утверждают, что они добились успеха в программировани компьютерной логики при решении таких сложны моральных проблем. Они добились этого, изучая скрытые правила, которые люди используют при создании своих моральных суждений и затем им удалось смоделировать эти процессы в логических программах.

    В итоге можно отметить, что компьютерные модели переноса нравственности все равно используют, человека, как образ и подобие. Таким образом, во многом, от нас самих зависит, какими будут новые, ответственные машины, которые будут выносить те или иные решения на основе заложенных в их программы этических императивов.

    Статья подготовлена Евгением euroeugene, который получил инвайт за эту, отклонённую в песочнице статью, от hellt, за что ему спасибо.
    Поделиться публикацией
    Никаких подозрительных скриптов, только релевантные баннеры. Не релевантные? Пиши на: adv@tmtm.ru с темой «Полундра»

    Зачем оно вам?
    Реклама
    Комментарии 446
    • +9
      Перенесите в Skynet (:
      • 0
        А если по одному человеку с каждой стороны?
        Что делать роботу?
        ;-)
    • –1
      Интересно, думаю правление роботов не за горами.
      • НЛО прилетело и опубликовало эту надпись здесь
      • –36
        Видимо все силы были брошены на рисование рисунка (убогого чуть менее, чем полностью) дял первого случая, поэтому рисунка ко второму случаю не предполагается (слишком сложная ситуация о_О ?)
        • +8
          без рисунка разобраться не смог?)
          • –12
            Видимо не так выразился, но подразумевал я, что смысла автору статьи не было в рисовании такого убогого рисунка в паинте вообще, ни для первого, ни для второго случая.
            PS: В рисунке рычаг вообще на рычаг не похож, а на человечка с писюном :(
        • +33
          что если тот один человек это эйнштейн а остальные пять это гитлер, сталин и ещё трое неизвестных наркоманов:) боюсь у робота микросхемы сгорят.
          • +7
            Тоже так подумал. Не только количество важно. Пятеро — алкаши, у одного семеро детей, жена умерла. Такой вариант не проходит.
            • +11
              И у алкашей рождаются Бетховены, простите за банальность. У одного семеро детей и жена умерла-шахид.
              • +1
                В голову приходит только введение весовых коэффициентов, но как принимающему решение знать эти коэффициенты не имея длительного контакта с каждым из возможных потерпевших?
                И тогда простое и жестокое решение --введение чипа на который и записывать этот ВЕСОВОЙ коэффициент (возможно перепрограммируемы или изменяемый с течением времени исходя из сведений из общей базы), далее спутник, связь спуника с принимающим решение\роботом.

                Какие еще варианты?
                • +11
                  С такой логикой не вживляя никаких чипов можно как минимум 50% населения Земли свалить в биореактор.
                  • –1
                    Вопрос какие 505 :-\
                    • 0
                      %
                      • –1
                        Решение этого вопроса можно предоставить опять же роботу: каждый человек получает порядковый номер (паспортные данные тоже сойдут), затем с помощью генератора случайных чисел происходит выбор :)
                    • 0
                      Иногда я тоже этого хочу )
                    • +1
                      Введение коэфициентов определяющих право человека на жизнь идет в разрез с конституционными нормами демократических стран. По конституции каждый имеет право на жизнь. Равное право.
                      • 0
                        признаться, с точки зрения логики (несколько упрощенной точки зрения, впрочем), человек со статусом доктора наук имеет большее право, чем некий безработный бомж-алканавт.

                        вообще, человеки давно уже занимаются выработкой некой морально-этической парадигмы, в которой жизнь одного человека боле ценна (для общества), нежели другого.
                        но.
                        учитывая эгоизм, алчность, коррумпированность и формализм, столь свойственные большинству людей, при определении  «ценности» не избежать спекуляций.

                        жалкие людишки!
                • +16
                  а если один человек беременная женщина, а пятеро других — смертельно больны… вариантов много
                  Даже на первый простой эксперимент с вагонеткой я бы не смог дать однозначного ответа, но роботу проще — его потом совесть(или кошмары по ночам) мучить не будут
                  • +5
                    Откуда вы знаете, может быть в голове робота будет Intel conscience какая-нибудь… :)
                    • +2
                      Пожалуй, всё зависит от полноты имеющейся информации.
                      • 0
                        А в AI у Спилберга (кажется) ему снились сны…
                        • 0
                          Я думаю, заморачиваться на эту тему малоосмысленно — скорее всего, человек, стоящий у рычага, вряд ли знает лично всех участников конфигурации. Просто видит — ага, там пять, а тут один.
                          • 0
                            Любопытно то, что совесть будет мучать человека стоящего у ричака в любом случае. Выбири он одного или выбери он пятерых. Или не выбери ничего.
                            Или не будет?
                            • +1
                              Если будет мучить убив одного и спася пятерых — то он больной и пусть сам останавливает тележку своим никчемным трупом :)
                              • 0
                                по логике вроде так, но если вспомнить что тот один кого он задавил — это его школьный друг, вместе с которым он первый раз в жизни пил пива… и вот теперь его уже больше нет…
                                • 0
                                  Тогда пятерых пусть под вагонетку :) И это будет правильно.
                                  Я о том, что при любом выборе умрут люди, а значит совесть пусть спит спокойно.
                                  • +1
                                    А один из тех пяти — это теща, стрелочника. И хоть она и пилит его по вечерам, но как потом в глаза жене смотреть. Как объяснить потом жене, почему оставил жизнь другу, а не ее матери.
                                    Жизнь не простая штука…
                                    И запрограммировать в робота все то хитросплетений эмоций, которое движет людьми разве можно?
                          • 0
                            «Снятся ли роботам электрические овцы?»
                          • +2
                            Моррисон, Кобейн и Джими Хендрикс, к примеру?
                            • +1
                              Проблема не в этом, а в том, что наши моральные принципы меняются быстрее чем логика машин. Сегодня коммунист — это плоха, а вчера — хорошо. Как это объяснить машинам?
                              • +5
                                Пропатчить?.. Звиняйте, не сдержался :)
                                • +2
                                  Через систему обновлений.
                                  • НЛО прилетело и опубликовало эту надпись здесь
                                    • 0
                                      причем непонятно, является ли выборка людей, которых тестировали актуальной и можно ли их считать представителями человечества вцелом?
                                      тут впринципе непонятно, что вшивают в робота %)
                                    • +6
                                      Проблема в том, что если у роботов будет человеческая этика, то они нас всех перехерачат ради денег.
                                    • +10
                                      да какая разница? тем пяти человекам просто не повезло, почему должен страдать тот которому не угрожает смерть?
                                      • +3
                                        минусующим просьба пояснять свое несогласие.
                                        хотели бы вы оказаться на месте того человека, которого робот принесет в жертву ради жизни других?
                                        • +2
                                          во, первый здравый коммент по делу. тоже захотелось задать всем этим согласившимся убить одного — чтобы они сказали если бы это были они.
                                          • 0
                                            да то же самое и сказали бы.
                                            А что бы вы сказали, если бы находились среди этих пяти?
                                            • +1
                                              если исходить из постановки задачи — эти пятеро понятия не имеют что их можно спасти ценой жизни другого человека. мое мнение — если должен умереть я — значит такова моя судьба. лично я был бы против спасения своей жизни ценой жизни другого человека.
                                              • 0
                                                чаще всего так и происходит. допустим вас спасают из под обвала и человек, который вас спас остается под завалом сам.
                                                но что самое интересное, если бы спасателю сказали, что он может не идти в завал спасать вас и что он гарантированно погибнет в нем, он всерано пойдет.
                                                склад ума у человека другой, именно такие люди могут бросится под вагонетку, чтобы спасти других.
                                                тут настолько всё сложно, что думаю роботам просто нестоит такое внедрять в роботов.
                                                думаю им стоит внедрить просто правило, что они обязаны собой защитить ВСЕХ находящихся в опасности людей и точка
                                                выбор кому погибнуть должен стоять не для людей, а для роботов
                                                • 0
                                                  читайте условие задачи — человек не знает, что на него наведут вагонетку ради спасения других. несколько различается от спасателей и брюсвиллисом, спасающим планету.
                                                • 0
                                                  А почему судьба у вас выступает только исключительно в роли сорвавшейся тележки, а не в виде робота или кого-то ещё, кто передвигает стрелки?
                                                  Ну вот просто не повезло тому одному, что он оказался на отдельной ветке, и что робот был так запрограммирован, или что я считаю долгом спасти как можно больше людей.

                                                  >>против спасения своей жизни ценой жизни другого человека
                                                  ключевой момент — спасение ПЯТИ жизней ценой жизни ОДНОГО другого человека
                                                  • 0
                                                    давайте не будем спорить, ладно? тут сложные моральные принципы, и у каждого из нас они разные. мое личное мнение — недопустимо спасать 5 жизней ценой одной, просто так, без согласия этого одного.
                                          • НЛО прилетело и опубликовало эту надпись здесь
                                            • 0
                                              Своего ребенка нормальный родитель будет защищать как себя самого.
                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                • 0
                                                  Я хоть и считаю все это полным бредом, но немного влезу…

                                                  А что если на обоих чашах (читай путях) будет по ребенку. что делать родителю, как оценивать кто лучше/хуже. Кого оставить, а кого погубить. Я думаю мужское население, просто будет дергать рычаг туда сюда, полагаясь на судбьу… Или нет, не знаю, сложный вопрос, а может погибнуть самому и оставить второго ребенка/жену без отца/мужа.
                                                  А что делать женщинам с их материнским инстинктом, я думаю они умрут раньше…

                                                  Как я и сказал в начале, все это бред какой-то.
                                                  Нужно сравнивать не робота с человек, а робота с ребенком. У ребенка лет 5-7 нет моральных принципов, нет религиозных пристрастий. Как можно
                                                  • 0
                                                    Как можно сиюминутно создать подобие человека, когда мы до нашего состояния (физического и морального) жили 20/25/30/35 и т.д. лет.
                                              • 0
                                                Всё относительно. Изначально не повезло всем шести, т.к. вагонетка может ехать по обоим путям. Вопрос в том, где в итоге будет стрелка.
                                              • +1
                                                Сами попробуйте посчитать вероятность этого. Гитлер и Сталин вместе не пойдут в шахту, тем более с неизвестными наркоманами!

                                                А по делу, из шести неизвестных людей гением с равной вероятностью может оказаться любой из них. И как раз в группе из пяти человек гений окажется с вероятностью в пятеро большей, чем в группе из одного.
                                                • 0
                                                  не уверен что тервер здесь вообще применим. согласно терверу вполне допустимо чтоб в 100 случаях с вагонетками погибло скажем 16 эйнштейнов, но с точки зрения человечества это может быть абсолютно недопустимо.
                                                  • 0
                                                    А как вы узнаете, Энштейн одиноко стоит на левой ветке или в группе из пяти на правой? Как вы будете решение принимать?
                                                    • 0
                                                      если не существует возможности узнать кто где, то и вопроса нет, решать придется как робот из топика. Вопрос в том как решать если известно кто где находится. как можно оценить ценность людей, скольких человек стоит эйнштейн и имеет ли значение кто эти другие. Интересно стоит ли эйнштейн резерфорда или двух, а может наоборот и т.д.
                                                      • 0
                                                        О да, тогда задача не имеет решения:
                                                        На одной ветке Энштейн, на другой Резерфорд и четыре лаборанта.

                                                        А вдруг Резерфорд завтра собирается поставить эксперимент, который приведет к открытию холодного ядерного синтеза?
                                                        А вдруг Энштейн уже почти придумал Великую Объединенную Теорию Всего, но сам ещё не знает об этом, его завтра осенит?

                                                        • 0
                                                          В мире слишком мало Энштейнов, чтобы набрать статистику придумывания ими гениальных теорий, на основе которой можно было бы решать такие задачи.
                                                    • +1
                                                      Не, гений в шахту не полезет.
                                                      • +4
                                                        Если в шахте больше вероятность что встретится дебил, а не гений, то надо давить тех, кого больше.
                                                        • +4
                                                          В одном из тупиков Бобшого Андронного Калайдера сорвалась вагонетка… На одной развилке — нобелевский лауриат, на другой — румынские госарбайтеры… Что это меняет?
                                                          • +1
                                                            Да, без смайликов люди шуток уже не понимают.
                                                            • 0
                                                              тут вообще жесткий черный юмор везде разлился, хз кто шутит, а кто всерьез
                                                      • –3
                                                        Сталина в ряд с Гитлером и наркоманами?
                                                        Дибил, иди учи историю.
                                                        • 0
                                                          сталинист детектед:) я уже почти не надеялся.
                                                        • 0
                                                          Это не важно. Для роботов все люди должны быть одинаково ценны. С точки зрения морали, даже людям, нельзя делить других людей на высших и низших граждан. Если бы это было так, то за убийство наркомана у нас бы предусматривалось другое наказание, чем за убийство добропорядочного человека. Но в УК написано «убийство человека», т.е. главное что это «человек».
                                                          • 0
                                                            а ещё в ук есть убийство милиционера, судьи, беременной, беспомощного, матерью своего новорожденного ребенка и т.д. и наказания предусмотрены разные. так что даже наш кристально чисты УК…
                                                            И потом необходимость деления людей в любом случае возникнет если, например, надо укрыть m людей от ядерной войны, а укрытие рассчитано только на n=m/1000 людей, кого в первую очередь надо поместить в убежище — всех подряд или руководство страны, наиболее важных ученых и наиболее здоровых людей готовых к продолжению рода? будет ли моральным посылать в убежище всех подряд если это грозит дезорганизацией, хаосом, невозможность восстановить популяцию после катастрофы и в конечном итоге исчезновением человечества? или моральнее все же будет разделить людей на достойных и не очень? полагаю принципы гуманизма, работающие в обычной жизни, не подходят в кризисной ситуации.
                                                            • 0
                                                              Конечно люди неравны. И когда идёт речь о выживании человечества, это неравенство нельзя не учитывать. Другое дело, что с точки зрения морали делить людей на хороших и не очень — плохо. Мораль говорит нам как жить правильно, но она не является частью фундаментальных законов вселенной, она создана людьми. Реальность несовершенна, несправедлива и.т.д. Другими словами мы живём в реальном мире, а мораль нам говорит как в идеале должны поступать люди. И пока это противостояние актуально, жить на 100% исходя из моральных принципов невозможно, но нужно к этому стремиться.
                                                          • 0
                                                            Всё дело в том, что машины не способны действовать в отсутствии неполноты информации, находить так называемые инварианты (расплывчатые решения). Например если заложить в алгоритм действия робота систему оценок каждого человека, и скажем об одном (одном из пяти) стоящих на рельсах он ничего знать не будет, а сверху всё также Эйнштейн а остальные четверо наркоманы. Что он будет делать? Очень интересная проблема. Станислав Лем в «Сумме технологий» говорил о том, что шахматисты, которые находят инварианты, находят их на до языковом уровне, т.е. не способны описать словами метод выбора. А меня мой преподаватель по алгоритмам учил, что то, что нельзя описать естественным языком нельзя и описать алгоритмом. Вот такая мне представляется дилемма.
                                                          • +54
                                                            Думаю в случае второго эксперимента робот сам должен броситься под колеса вагонетке.

                                                            И вообще я считаю что любого робота нужно программировать исходя из того, что человеческая жизнь ценится намного выше его механической целостности.
                                                            • +17
                                                              Роботом может быть компьютер управляющий механизмами в шахте, который не сможет сдвинуть себя с места. Тут вопрос этики, подразумевается, что есть только 2 решения.
                                                              • +15
                                                                Из стены высовывается рука и толкает человека на рельсы.
                                                                • +15
                                                                  … на конвейер АвтоВАЗа.
                                                                  • +3
                                                                    господи, ужас какой
                                                                    • +2
                                                                      За это и жизнь отдать — не грех!
                                                                    • 0
                                                                      смешно, но не в тему :)
                                                                      • 0
                                                                        Сюжет для фильма ужасов)
                                                                      • 0
                                                                        да хоть тресни есть больше чем два решения.
                                                                        если к ситуации цинично подойти, зачем вообще что-то решать? пусть стрелка указывает, туда куда и до этого указывала

                                                                        а робот должен из стойки вылезти и процессором полечь, чтобы всех шестерых спасти

                                                                        ЗЫ и почему вагонетку с рельсов не свести?
                                                                      • 0
                                                                        Согласен. У людей есть понятие 'самопожертвование'.
                                                                        • 0
                                                                          append: логично было бы запрограммировать и его, коль скоро решаются вопросы этики.
                                                                        • НЛО прилетело и опубликовало эту надпись здесь
                                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                                          • +1
                                                                            Три закона никак не решают этих задач, следуя им робот (если он не может двигатся) зависнет на первом выбирая между действием или бездействием.
                                                                            Или вы не о трех законах?
                                                                            • 0
                                                                              решают, просто в тех статических задачах, которые нам дали на суд нет жизни. да и даже в них можно найти решение, чтобы спасти всех
                                                                          • 0
                                                                            По условиям, остановить вагонетку может только толстый рядом стоящий человек (робот), а не хилый наш несчастный человек (робот), принимающий решение.
                                                                            • +6
                                                                              Видимо, в эксперименте робот очень хотел сам броситься под вагонетку, но злые экспериментаторы слишком хорошо его приварили к мостику. Робот со слезами на глазах столкнул человека на пути, но выводы о морали экпериментаторов сделал. Экспериментаторы это понимают, и боятся подойти к нему: как-то нехорошо у него объективы блестят, да и зачем он взял в свои манипуляторы ту железную арматурину?
                                                                            • +2
                                                                              Очень интересная статья. Но тему интересно развить. Например, в Космической Одиссее 2001 есть такой момент — бортовой компьютер «сходит с ума» и расправляется со всеми людьми на борту, так как они представляют угрозу для миссии. На самом деле это никакое не «схождение с ума», а вполне себе легитимный сценарий развития этой темы. Робот может закончить миссию. У людей появляются сомнения. Робот их нейтрализует, так как для заказчика миссии результат, вероятно, важнее, чем жизни нескольких пилотов. Т.е. мораль переходит в коммерческую плоскость. Сколько стоит мне миссия? Это больше, чем жизнь пилота?
                                                                              • +2
                                                                                Насколько я помню, а я как раз недавно прочитал первую одиссею, там у ЭАЛ9000 была друга проблема. «Все трудности, вероятно, были вызваны противоречием между основными принципами работы ЭАЛа и требованиями секретности. Согласно прямому
                                                                                распоряжению президента существование объекта ЛМА-1 сохранялось в полной
                                                                                тайне.… Поскольку ЭАЛ способен управлять кораблем без помощи людей, было
                                                                                решено запрограммировать его так, чтобы он смог выполнить задание, даже
                                                                                если экипаж будет выведен из строя или погибнет. В ЭАЛ была введена
                                                                                полная информация о целях экспедиции, однако было запрещено сообщать ее
                                                                                Боумену или Пулу.Но главная задача любого компьютера — обработка информации без искажения и утаивания. Из-за создавшегося противоречия у ЭАЛа возник,
                                                                                выражаясь языком медицины, психоз — точнее, шизофрения. „

                                                                                • +9
                                                                                  а вот в только что вышедшем Луна 2112 робот, наоборот, позитивный и помогает людят.
                                                                                  • +9
                                                                                    уже не совсем людям ;-)
                                                                                    • НЛО прилетело и опубликовало эту надпись здесь
                                                                                      • 0
                                                                                        По-моему, вполне очевидно, что белковый шовинизм (я человек, а ты нет) ничуть не лучше любого другого.
                                                                                        • 0
                                                                                          а как насчет кремниевого шовинизма?
                                                                                          • 0
                                                                                            и он ничуть не лучше любого другого, что следует из моей предыдущей реплики :)
                                                                                        • +2
                                                                                          Обожаю споилеры.
                                                                                        • +1
                                                                                          судя по поступкам и общему, так сказать, посылу фильма — именно что людям
                                                                                      • +1
                                                                                        При чем здесь «легитимность»?
                                                                                        • 0
                                                                                          Как выясняется, ни при чем.
                                                                                      • +1
                                                                                        Только пока за пультом обычно сидит человек. Который в таких критических ситуациях должен принять решение. Вся эта этика-автоматика не выйдет за рамки лабораторий до тех пор, пока законодательство и общество не придумает на кого переложить ответственность в случае убийства человека роботом. Ибо, если я не ошибаюсь, смерть того одного несчастного юридически будет считаться убийством. И пока общество не будет готово к тому, что на скамье подсудимых будет сидеть робот самостоятельности в принятии таких решений не будет.
                                                                                        • 0
                                                                                          И в тюрьме сидеть тоже будет робот. Глупости какие. Если в смерти человека виновата автоматика, разбор полётов идёт дальше, выясняя, что именно стало тому причиной: нарушение условий эксплуатации, конструктивный недочёт, производственный дефект etc. В конце цепочки всегда кто-то находится.
                                                                                          • 0
                                                                                            Этот вопрос решён если я не ошибаюсь в римском праве :)
                                                                                            Владелец, это правило и сегодня теоретически действует в России, вероятно и большинстве европейских стран
                                                                                            • 0
                                                                                              Ваш комментарий натолкнул на следующую идею:
                                                                                              В тот момент, когда робот понимает, что перед ним стоит моральная задача, касающаяся жизни людей,
                                                                                              все информация о контексте и, соответственно, выбор решения (управление самим роботом) передается ответственному за этого робота человеку.

                                                                                              Это накладывает ряд ограничений:
                                                                                              — должен быть отложен выпуск человекоподобных роботов с интеллектом и свободой действия до того момента, пока люди не научатся передавать и усваивать огромные массы информацию в очень короткие сроки.
                                                                                              — связь со своим подопечным роботом должна быть практически моментальной, чтобы можно было успеть принять решение
                                                                                              — человек не должен иметь в своей ответственности более одного (двух) роботов, чтобы не возникло коллизий, способных привести к человеческим жертвам.

                                                                                              Однако это будет решение. Иного, как мне кажется, не может быть, так как невозможно роботу заложить гуманистическую составляющую (называемого «совестью», «душой», а не «социомораль»), которым обладает человек, ибо составляющая иррациональна.
                                                                                              • 0
                                                                                                Если люди «научатся», то роботы и прочие «мыслящие компьютеры» будут излишни.
                                                                                                • 0
                                                                                                  Физическая, рутинная работа, которую не захочется выполнять будет всегда. А вместе с ней и будет желание, чтобы эту работу делал кто-то иной, к примеру роботы.
                                                                                                  • 0
                                                                                                    Для рутинной работы не нужны «мыслящие компьютеры». Обычного конвейера вполне достаточно.
                                                                                                    • 0
                                                                                                      В этом Вы правы. Тогда и можно посоветовать ученым и не браться для создания человекоподобных роботов со свободной волей, ибо при попытке перенести такие морально-философичные понятия в робота, ошибка точно гарантирована. И получим мы либо машину стремящуюся захватить всю власть, ибо так «для людей будет лучше»; либо суицидников; либо махину с кучей ошибок в логике.

                                                                                                      Хотя есть пример, где свободная воля все-таки нужна:
                                                                                                      — обследование территории, где человек не может существовать или его присутствие очень дорого в тех плане, где необходимо реагировать «по ситуации».
                                                                                            • 0
                                                                                              Про пешеходный мост пример. А зачем толкать человека на путь вагонетки если можно запрограммировать робота самого под него прыгнуть? Или уже прививаем им инстинкт самосохранения заранее?
                                                                                              • 0
                                                                                                Видимо для того, что бы показать, что человек действует не логично, и в одних условиях готов пожертвовать одним что бы спасти нескольких, а в других нет.
                                                                                                • +9
                                                                                                  Весь секрет в постановке задачи.
                                                                                                  В первом случае нужно ВЫБРАТЬ кому умереть, а во втором УБИТЬ ради спасения других. Несмотря на то что по логике это одно и тоже, второе сделать сложнее с эмоциональной точки зрения.
                                                                                                  • 0
                                                                                                    Спасибо, а то я все никак не мог понять, в чем соль.
                                                                                                    • 0
                                                                                                      Мы о роботах же? ) Так вот у робота эмоций быть не должно. И нарушать один из законов роботехники, т.е толкать человека на рельсы, то только в случае если робот ограничен возможностях (как уже привели пример — будет не робот а просто автоматическая рука (хотя зачем руке искусственный интеллект я так и не понял до конца).
                                                                                                      А если робот «полценный», то логика «я скину человека, а не прыгну сам» выгодна только его производителям. Правильнее же будет ему самому прыгнуть.
                                                                                                      • 0
                                                                                                        Допустим, ИИ управляет не только рукой, но некоей большой системой, одним из манипуляторов которой является эта рука — единственный инструмент, которым можно как-то повлиять на данную ситуацию. Так лучше?

                                                                                                        Кстати, «законы робототехники» пока нигде не кодифицированы.
                                                                                                        • 0
                                                                                                          Лучше.
                                                                                                          А законы роботехники… они исходят из обычного здравого смысла и логики. А вот они кодифицированы уже давно :)
                                                                                                          • +4
                                                                                                            ссылку на кодифицированный здравый смысл, пожалуйста!
                                                                                                            • +1
                                                                                                              думаю, надо будет эту прошивку правительству внедрить, а то они помоему с устаревшей )
                                                                                                        • 0
                                                                                                          «Так вот у робота эмоций быть не должно» — хотелось бы чтобы биохимики меня поправили, но эмоции, мысли, желания и любой продукт деятельности мозга — лишь сформированные нейронные связи, электрические импульсы и изменение в гармональном составе? Т.е. фактически на физическом и программном уровне возможно повторить (конечно не на 100%) работу мозга.

                                                                                                          Повторю г-на EvilPartisan, но суть была в том, чтобы робота принять за человека и заставить принять человеческий поступок, а ведь самопожертвование характерно далеко не каждоу человеку.
                                                                                                        • 0
                                                                                                          В статье, к сожалению, не раскрывается принцип, по которому робот принимает решение во втором примере. Было бы весьма небезынтересно ознакомиться.
                                                                                                          • +3
                                                                                                            Если вдуматься в первый случай, решив отправить вагонетку на запасные пути, робот делает совершенно тот же самый выбор: бездействовать или убить человека. Какая разница: бросают человека под вагонетку или вагонетку направляют на него? Нужна ли роботам эта этика? Не лучшим ли вариантом будет бездействие с его стороны? Судьба, так сказать. Да, погибнет пятеро, но зато никто не вмешивался в ход событий. Может это и к лучшему.
                                                                                                            • 0
                                                                                                              Не судьба, а баг. А если робот как-то отреагирует — этот баг уже будет признан фичей и пущен дальше. Чего допускать ни в коем случае нельзя.
                                                                                                              • 0
                                                                                                                Особенно, если это баг не самого робота, а какой-нибудь сторонний (внешней системы управления вагонетками, например). Тогда совершенно однозначно, что робот не должен корректировать проблемы других систем, не входящие в его компетенцию.
                                                                                                              • 0
                                                                                                                Вот повод для размышлений: профессия телохранитель.
                                                                                                                Человеку в лучшем случае ни за что, зато с точки зрения нанимателя человек возьмет на себя пулю, предназначающуюся работодателю. В худшем случае что делать бодигарду?

                                                                                                                Опять же, если кто смотрел фильм «Смерть в эфире», [spoiler]в нём в прямом эфире на шесть человек даётся одир револьвер с одним патроном, один раз вращается барабан — и люди по очереди стрелляют себе в голову (русская рулетка). Если бы пять человек получили осечку, что делать шестому?[/spoiler]
                                                                                                                • 0
                                                                                                                  Да, но телохранитель остальное время получает деньги за тот момент, когда будут стрелять. А могут и не стрелять. Он сам идет на риск.

                                                                                                                  Если вращается на 1 шаг, то да. А если просто раскручивают — то отсуствие выстрела даже в 10 случаях ничего для 11-го не меняет, мне так кажется.
                                                                                                                • +5
                                                                                                                  Для человеческого разума сбросить с моста и перевести стрелки кажутся выглядят неравноправными действиями.

                                                                                                                  Мой мозг мгновенно принимает решение, что перевод стрелок гарантированно спасет пятерых, а у человека на запасном пути есть шанс отпрыгнуть. Сбросить же человека на пути выглядит ненадежным вариантом: во-первых, можно сбросить слишком рано и он успеет уползти, во-вторых, если замешкаться, он покалечится, а пятеро все равно погибнут. И самый главный останавливающий фактор — а почему тело одного человека затормозит вагонетку? Ведь она способна убить пятерых, не ограничиваясь только одним из них.

                                                                                                                  Эти рассуждения могут показаться нелепыми, но человеческий мозг приходит к этим выводам подсознательно и мы инстинктивно чувствуем второй вариант более жестоким.
                                                                                                                  Робот же должен действовать беспристрастно — позволить тележке задавить пятерых, а затем догнать и застрелить шестого.
                                                                                                                  • +1
                                                                                                                    Рассказ о вагонетке-убийце можно положить в основу какого-нибудь фильма ужасов, да.
                                                                                                                    • 0
                                                                                                                      100 раз было.

                                                                                                                      В старой серии twilight zone на корабль, который вез лекарство пробралась девочка.
                                                                                                                      Горючее ограничено, и с нею корабль не сможет сделать необходимых маневров. Без пилота он не долетит.

                                                                                                                      Они долго пытались выкинуть лишние детали, но не помогло — перевес 20 кг.

                                                                                                                      А что бы вы сделали на месте пилота? А на ее месте?
                                                                                                                    • 0
                                                                                                                      Шестого застрелить, чтоб никому обидно не было? :)
                                                                                                                      • –1
                                                                                                                        Да, так будет справедливо :)
                                                                                                                  • 0
                                                                                                                    Кэп, ты?
                                                                                                                • +5
                                                                                                                  А если робот состоит из прибитой к стене руки-манипулятора? И он не может броситься, но может бросить.

                                                                                                                  Начальные условия эксперимента таковы, что робот броситься не может.
                                                                                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                    • +11
                                                                                                                      Надо предложить в метро сделать систему экстренного торможения людьми. :-)
                                                                                                                      • +1
                                                                                                                        стоит себе спокойно рабочий, чинит рельсы… тут черная рука переключает свитч и его убивает вагонеткой. не вижу разницы, если честно. что так что так убить человека ради жизни 5х. как по мне если уж в 1м случае так делать, то и во 2м. иначе ни то, ни то, лучше бездействовать.
                                                                                                                        • +1
                                                                                                                          Если мы моделируем именно человеческую мораль, то разница огромна. В первом случае мы взаимодействуем с механизмом (рычаг), чтобы спасти 5 человек. Т.е. собственноручно вроде как человечка не убиваем. Во втором же случае у нас идёт прямой контакт с будущей кровавой кашей. Мы убиваем его намеренно, лицом к лицу, можно сказать. Это совершенно разный уровень восприятия ситуации.
                                                                                                                          • +2
                                                                                                                            странно, для меня один и тот же уровень. и то и то убийство, пусть и чтоб спасти кого-то
                                                                                                                            • 0
                                                                                                                              Для большинства людей всё-таки разный. В первом случае мы спасаем пять человек взаимодействуя с рычагом, а во втором убиваем одного взаимодействуя с человеком. В первом случае мы меняем ситуацию не трогая самого человека. Мы просто спасаем 5 человек, но получается так, что от этого гибнет один. Во втором случае мы меняем ситуацию с помощью убийства. В первом случае мы сначала спасаем 5 человек, а затем 1 убирает, а во втором нам надо сначала убить, чтобы потом спасти. Всё-таки с точки зрения морали это разные ситуации.
                                                                                                                              • 0
                                                                                                                                Вообще-то убить, либо допустить бездействием смерть человека — это одно и то же как для «3-х законов», так и для законов УК=) Таким образом, бездействие — тоже убийство!
                                                                                                                                • 0
                                                                                                                                  Вообще-то тут речь идёт не о законах УК, а о моральных установках. Так что бездействие это не всегда убийство.
                                                                                                                                  • 0
                                                                                                                                    По-моему, одинаково аморально как убить человека, так и допустить своим бездействием его смерть. Разве нет?
                                                                                                                                    • 0
                                                                                                                                      Вы вообще топик читали или пришли просто поспорить про аморальность убийства?
                                                                                                                                      Бездействие в обоих случаях, описанных в топике, приведёт к смерти 5 человек, а действие к смерти 1 человека. Тут выбор идёт между смертью и смертью. Сложный выбор. Как не поступи — получается аморально. Но если мы «действуем», то во втором случае получается «аморальнее» убить одного, чем пятерых.
                                                                                                                                      Такое моё мнение, и оно запросто может расходиться с вашим, потому что мораль у каждого своя.
                                                                                                                                      • 0
                                                                                                                                        Я согласен, что мораль видимо у каждого своя. Но все же попытаюсь объяснить почему я решил иначе: для меня бездействие это тоже действие. Кстате, в курсе права, есть интересный вопрос про мораль и законы. Так вот законы строятся на моральных принципах. Так что зря вы так… Получается, что с точки зрения законов вы не правы, а сточки зрения вашей морали — вполне. Извините, если обидел.
                                                                                                                      • –1
                                                                                                                        А зачем руке-манипулятору интеллект? В особенности размышления на тему жизни и смерти людей?
                                                                                                                        Если были условия эксперимента что робот не может броситься под вагонетку то смысл от этого робота?
                                                                                                                    • +6
                                                                                                                      Вот так и рушатся законы робототехники, не успев выйти со страниц фантастики в реальную жизнь…
                                                                                                                      • 0
                                                                                                                        Я могу задать вопрос проще
                                                                                                                        Человеку нужна операция, очень сложная, шанс выжить 50%. Без операции человек умрет с вероятностью 50%.
                                                                                                                        Должен ли робот-хирург делать операцию?
                                                                                                                        • +2
                                                                                                                          В данном вопросе даже человеку сложно принять решение.
                                                                                                                          • +11
                                                                                                                            В Хаусе есть жестокая довольно-таки серия. Два младенца больны одной и той же болезнью. У Хауса два предположения. Лечение в двух случаях диаметрально противоположное. Вместо того, чтобы выбирать каким способом лечить, Хаус дает одному младенцу одно лекарство, а другому другое.
                                                                                                                            • –13
                                                                                                                              Кино не смотрел, описанная ситуация говорит мне лишь о не профессионализме врача.
                                                                                                                              • +7
                                                                                                                                То есть, по-вашему, 2 потенциальных трупа — лучше, чем один? Странно. Бывает, что у людей нет выбора :(
                                                                                                                                • +6
                                                                                                                                  Ваш комментарий излучает врачебный профессионализм.
                                                                                                                                  • +1
                                                                                                                                    какое решение предложили бы вы?
                                                                                                                                    • –5
                                                                                                                                      Я ведь написал, что не смотрел. Прочитал ниже, что написал bogus92, в таком случае считаю, что он поступил правильно. Но это учитывая, что он не знал правильного решения, но врачи должны знать пути спасения людей, так как все болезни описаны и исследованы, за редким исключением, очень редким.
                                                                                                                                      Или Вы считаете нормой прийти в больницу и стать участником эксперимента? Я — только в случае если болен действительно никому не известной, смертельной болезнью. И то не считаю, что у врача может быть «два предположения».
                                                                                                                                      • +1
                                                                                                                                        Порой не так легко понять чем именно болен человек и другого выхода, кроме как эксперимент, нет
                                                                                                                                        • 0
                                                                                                                                          Дело в том, что Вас ввёл в заблуждение первоначальный комментарий imwode, в котором было написано:
                                                                                                                                          Два младенца больны одной и той же болезнью

                                                                                                                                          Дело в том, что это неверно — у обоих младенцев были лишь одни и те же симптомы, а как раз-таки узнать, чем они больны и являлось (впрочем, как и всегда является) задачей Хауса — он возглавляет диагностический отдел :)
                                                                                                                                    • +10
                                                                                                                                      На самом деле там начиналась эпидемия и таким способом он дав умереть одному ребенку спас 5 других детей.
                                                                                                                                      • +14
                                                                                                                                        Хаус — робот!!! О_о
                                                                                                                                        • –2
                                                                                                                                          Начиная с шестого сезона видимо? Именно поэтому викадин перестал принимать?
                                                                                                                                          • –2
                                                                                                                                            викодин — топливо, перешел на солнечные батареи (:
                                                                                                                                            • –1
                                                                                                                                              викодин запретили там слишком много парацетамола — печень отпадает
                                                                                                                                      • –1
                                                                                                                                        1ый сезон, четвертая серия, емнип.
                                                                                                                                        • –2
                                                                                                                                          сериал про хауса ближе к робототехнике или к любой другой области человеческой деятельности, чем к медицине
                                                                                                                                          серию не смотрел но на практике выбрал бы оба препарата обоим пациентам, да и в реальности не возникает таких четко разграниченных ситуаций
                                                                                                                                      • +2
                                                                                                                                        Ну для большинства это не проще. Проценты они сложны для понимания.
                                                                                                                                        И ответы могут быть разными. Если роботу хирургу оплатят эту операцию — то да. Если есть очередь из нескольких больных и некоторым операция повысит шанс на выживание, то должен обслужить их в первую очередь. И вообще все это должно быть прописано в ТЗ к роботу.
                                                                                                                                        • +1
                                                                                                                                          Про ТЗ к роботу — отлично :)
                                                                                                                                        • +1
                                                                                                                                          Странное условие, ведь если робот сделает операцию — никто ничего не теряет, те, робот будет делать её даже при шансах близких к нулю.

                                                                                                                                          Иными словами, ваша задача не имеет смысла.
                                                                                                                                          • 0
                                                                                                                                            Кто-то может потерять последний год жизни, к примеру.
                                                                                                                                          • +2
                                                                                                                                            Я думаю, что если шанс 50\50, то решать должен тот, кому делают операцию, либо его близкие родственники.
                                                                                                                                            • 0
                                                                                                                                              Ключевые слова — «сроки» и «состояние». Рассматривать следует совокупность этих факторов в следующих ключах: насколько долго проживёт человек без операции при том или ином исходе, и каково будет при этом его состояние; насколько улучшится состояние пациента при успехе операции, и сколько и как он сможет в итоге прожить.