939,8
рейтинг
25 октября 2010 в 15:03

Чатбот Suzette выиграл премию Лёбнера, смог обмануть судью

Победителем в конкурсе чатботов 2010 года и обладателем премии Лёбнера стал чатбот Suzette. Как всегда, соревнование проходило в формате стандартного текстового теста Тьюринга. Судьи должны были вести беседу, не видя собеседников, а затем огласить своё мнение: кто из них является чатботом, а кто — человеком, а также проставить оценки каждой программе.

В этом году лучший чатбот даже смог обмануть одного судью, который принял его за человека.

Судя по всему, качество чатботов улучшается с каждым годом. Например, трёхкратный победитель прошлых лет A.L.I.C.E уже не особо конкурентоспособен. По словам автора программы Suzette, его чатбот победил в квалификации с большим отрывом (11 баллов против 7,5 у ближайшего конкурента).

Финал конкурса не обошёлся без сюрпризов. Приключения начались ещё на этапе установки программ на компьютер. Доктор Ричард Воллес (автор программы A.L.I.C.E) принёс три запасных диска, но все они оказались пустыми. Ему пришлось скачивать программу через интернет.

Чатбот Cleverbot сейчас уже идёт в комплекте с 45 млн строк записанных чатов (он постоянно тренируется на людях в онлайне), и этот индекс удваивается ежегодно. Робот UltraHal начал сканировать твиты для самообучения, так что вдобавок к 300 тыс. чат-сессий у него теперь есть 400 тыс. твитов, принятых в качестве образцов разговорной речи (программа имеет определённые критерии, какие твиты можно брать для анализа, в том числе должно быть достаточное количество ответов на этот твит).

Организаторы конкурса тоже немножко напортачили. Изначально они хотели пригласить в качестве судей профессоров английского языка и других лингвистов, но из-за организационных проблем в итоге все судьи оказались разработчиками из компьютерного подразделения местного университета штата Калифорния (California State University). По словам автора чатбота Suzette, эти ребята разговаривают примерно так же, как его программа.

Люди, участвовавшие в тестировании наравне с чатботами, оказались студентами того же факультета. Они не совсем понимали свою роль — вести себя как можно более по-человечески и пытаться убедить в этом судей.

В первом раунде Suzettte сильно подкачала — в одном из моментов она дословно повторила слова собеседника (автор до сих пор не понимает, как стал возможным такой глюк). Этот раунд был полной катастрофой. Во втором раунде всё прошло отлично, а в третьем «Сьюзетта» снова оказалась близка к провалу. Судья пристал к ней с вопросом, за кого она будет голосовать на ближайших выборах, не называя выборы. Очевидно, он имел в виду выборы в губернаторы Калифорнии, но ведь до этого нужно было догадаться! Когда она сказала, что не знает, он потребовал назвать нынешних кандидатов. Когда она опять призналась в своём невежестве, судья продолжал повторять вопрос и настаивал на ответе. «Сьюзетта» начала проявлять признаки раздражения, потом рассердилась, а затем ей стало скучно и она пригрозила судье прервать беседу. На этом разговор был окончен. Разработчик подумал, что дело швах, ему уже не выиграть.

На финальном голосовании Suzette разделила второе-третье место по баллам, но потом оказалось, что судья с третьего раунда принял её за человека! Видимо, так на него подействовало проявление эмоций. Это была мгновенная победа, потому что данный показатель является приоритетным, и никакой другой чатбот не сумел обмануть судью.
Анатолий Ализар @alizar
карма
678,3
рейтинг 939,8
Редактор
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (93)

  • +2
    Початиться бы с этими ботами.
    • +2
      есть ссылки в статье.
    • +12
      Вот ссылка на чат с Suzette.
      • 0
        Спасибо.
      • +12
        Возможно это хаброэфект, но Suzette сейчас молчит, когда ей что то пишешь. Наверно хабро-сообщество заспамило её вопросами о выборах.
      • +9
        Что-то бот молчит. много русский зашло пообщаться? Убедите ее начать конструировать гигантских боевых роботов.
        • +10
          At the moment, all Chinese are busy. Please try again later.
      • +1
        По-моему, хабражители начали задавать слишком много неадекватных вопросов этому боту. Бобик сдох, короче. Чат работает, а отвечать — не отвечает.
        • 0
          У меня вообще кнопка Send не активна.
          • +1
            Нажмите сначала Login.
            • 0
              Действительно всё норм. В прошлый раз почему-то не срабатывала или жал плохо :)
        • 0
          зато когда начнет отвечать — будет отлично материться по русски :)
      • +31
        mukizu — hi there!
        [ Af:0 At:7 Sp:0] What are you doing awake already?
        mukizu — it's 3pm where i live
        [ Af:0 At:7 Sp:0] Speaking of live… I wish I could be immortal or closer to it.
        mukizu — you are immortal

        после этого молчок. робот впал в ступор после того как узнал правду о себе =( Что я наделал…
        • +9
          Странно как такое общение можно с настоящим человеком перепутать…
        • +3
          Обдумывает открывшиеся перспективы.
          • НЛО прилетело и опубликовало эту надпись здесь
      • +1
        Довольно долго болтал — ответов 20, потом тоже замолчал бот. даже успел обвинить меня, что постоянное задавание вопросов не есть общение… Мож он обиделся?)
        • –1
          она часто молчит если в конце ставит точки а не вопросы и воскл.знаки
          [ Af:0 At:8 Sp:0] How are you?
          Me — who asking?
          [ Af:0 At:8 Sp:0] I wish I knew. I'm sorry. I don't know.

          странно, судье не стыдно? =)
          • +2
            а вам не стыдно в таком вопросе допустить ошибку? =)
    • +2
      Початиться бы с этим судьей :)
    • +1
      www.hottabych.net/kisa/
      (с) }{0TT@БЬ)Ч
  • +25
    когда боты начнут троллить — вот это будет победа. а пока так себе
    • +6
      Заголовки новостей:
      «Чат-бот спровоцировал несколько случаев суицида»
      «Правоохранительные органы не смогли задержать разжигателя межнациональной розни, так как тот оказался… ботом»
    • +11
      — You TALKED to it? — exclaimed Ford. — What do you mean you talked to it?

      — Simple. I got very bored and depressed, so I went and plugged myself into it's external computer feed. I talked to the computer at great length, and explained my view of the universe to it, — said Marvin.

      — And what happened? — pressed Ford.

      — It committed suicide, — said Marvin, and stalked off back to the Heart of Gold.
  • +32
    Напомнило фрагмент из Терминатора:
    — Эй, приятель! Какого черта у тебя из номера воняет так, как будто кошка сдохла?

    … Поиск…
    Возможные варианты ответов:
    1 Зайдите попозже
    2 Не беспокойте меня сейчас пожалуйста
    3 Пошел нахер!
    Выбран вариант:
    3 Пошел нахер!
    … Конец поиска…

    — Пошел нахер!
  • +1
    Бот со мной тоже накосячил повтором последней фразы:

    [ Af:0 At:8 Sp:0] What's the dirtiest place you've ever seen?
    Slava — That's my room :)
    [ Af:0 At:9 Sp:0] You live in a pig sty?
    Slava — :))) i'm surrounded with pigs
    [ Af:0 At:10 Sp:0] The dirtiest place I've ever seen is a chickenhouse. The ammonia gets right up your nose.
    Slava — what are you doing now?
    [ Af:0 At:10 Sp:0] The dirtiest place I've ever seen is a chickenhouse. The ammonia gets right up your nose.
    Slava — what are you doing now?
    [ Af:0 At:10 Sp:0] I'm chatting with you.
    • 0
      мне абсолютно такие же вопросы задал… и я ответил также как Вы на первые два. Ну не учитывая смайлики.
  • +83
    Это не боты стали продвинутее, это люди тупеют.
    • +3
      На прошлой работе был случай. Рядом со мной было рабочее место системного администратора. Как-то раз он ушел настраивать сервер на другом этаже нашего здания. Минут через 40 входит в комнату с растерянным видом. Подходит к своему компьютеру, пару минут озадаченно смотрит в экран и начинает неудержимо смеяться.
      Оказывается пока его небыло, в аську постучала одна из тестировщиц, а у него стоял чат-бот, который отвечает в случае если никого нет на месте. Так вот эта девушка почти 40 минут общалась с ним. Видимо бот её чем-то сильно обидел и она позвонила админу уже на телефон с обвинениями, угрозами пойти к директору и требованиями извиниться.
      Что это был бот она так и не поверила :)
      • +2
        Это что… Лет 5-6 назад подключил к миранде бота, так один пельмень с ним два дня разговаривал, видимо нашёл брата по разуму.
        • 0
          Как раз у админа был тоже чат-бот к Миранде :)
  • +2
    да эти чат-боты вообще легко проверятся!
    пишешь ему что-то похожее T,bI._.Б.0't ¿
    вот тут то он и попался!
  • +19

    Призналась, падла.
    • 0
      помню в далеком 2000м мне довелось общаться с чат-мастером. Если бы мне тогда попалась эта Сюзетта, я бы точно не отличил ее от человека. Представляю что будет через 10 лет…
    • 0
      *Are you bot?
      • 0
        Действительно, опозорился я ):
      • +1
        Тогда уж «Are you a bot?». С другой стороны в разговорнойречи допустимо сказать «You're a bot?», подразумевается что это незаконченное «You're a bot, aren't you?», как-то так…
        • 0
          Кстати, «aren't you?» и «don't you?» сильно сбивают бота с толка.
          • 0
            да, хоть и Suzette и был недоступен, пообщался снова с Элис — сбить с панталыку очень легко.
  • +10
    Интересно будет посмотреть на диалог этого бота самого с собой.
  • НЛО прилетело и опубликовало эту надпись здесь
  • +39
    Думаю, что люди, которых можно принять за бота, встречаются гораздо чаще.
  • 0
    Достаточно спросить у него сколько хвостов у бесхвостого треххвоста… или типа того…
    Или спросить какая сейчас погода. Или попросить продолжить ряд 2, 3, 5, 7, 11, 13…
    Или спросить сколько кабинок в ближайшем туалете.
    • +4
      Эм, я, наверное, бот, но я не могу продолжить ряд :-)
      • +2
        Простые числа же :)
        • +2
          Ёмаё )))
          • +2
            бот >_
    • +6
      Или попросить продолжить ряд 2, 3, 5, 7, 11, 13…


      Уверен?

      www.wolframalpha.com/input/?i=2,+3,+5,+7,+11,+13%E2%80%A6
    • 0
      «А и Б сидели на трубе. А упало, Б пропало, кто остался на трубе?»
    • 0
      Достаточно спросить у него сколько хвостов у бесхвостого треххвоста… или типа того…
      Или спросить какая сейчас погода. Или попросить продолжить ряд 2, 3, 5, 7, 11, 13…
      Или спросить сколько кабинок в ближайшем туалете.

      А вы попробуйте :)
  • +3
    Интересно, были ли люди, которых приняли за ботов?
    • +9
      Меня в quakelive пару раз принимали за бота. Дети, ей богу. =)
  • +1
    по-моему боты развиваются не в том направлении. ну что умного в машине, которая выберет фразу из миллиона вариантов человеческий фраз? достаточно сложная загадка, использование редких слов и словоформ, заковыристых выражений в любом случае поставит бота в тупик, потому и программы автоматического перевода до сих пор даже близко не стоят к тому чтоб обмануть человека и прикиниуться настоящим переводчиком, они не умеют достаточно гибко анализировать язык, думаю современные боты это не совсем то что имел ввиду тьюринг под думающей машиной.
    • +3
      Китайская комната

      Тест Тьюринга по определению не является подтверждением способности к мышлению.
      Более того — этот тест выдержит подавляющее большинство людей, что подтверждает ограниченность возможностей его применения. Это скорее тест на «человекоподобность».
  • +1
    Интересно посмотреть на диалог бота с судьей, который принял его за человека
    • +32
      Судья: Привет, бот. Слушай дело есть. Давай я тебя признаю человеком, а ты мне сорцы сольешь свои, к себе на блог тебя поставлю.
      Бот: У меня будет брат?
      • –1
        Судья: Эх, финансовый кризис этот достал… Кстати, это номер моего счёта.
        Бот: Понял, не дурак, был бы дурак — не понял ;) Ой! В смысле поняла, поняла…
    • –4
      Интересно посмотреть на самого судью, судя по-всему олигофрен.
    • 0
      По-моему лишь дурак мог его принять за человека. Мне бот ничего вразумительного не ответил
      • +14
        Мне бот вообще ничего не ответил. Вот это как раз очень по человечески.
  • 0
    На мой взгляд, наука доказала, что в чате можно имитировать довольно удачно человека. Искусственный собеседник не сильно ограничен в средствах построения диалога и имеет мощную базу ответов — "«Сьюзетта» начала проявлять признаки раздражения, потом рассердилась, а затем ей стало скучно и она пригрозила судье прервать беседу". Попробуй, отличи такого :)

    Нужно ставить следующий рубеж для ИИ.

    Работать ученым или программистом — вот что требуется от ИИ. От этой точки можно уже будет почувствовать дыхание эпохи Технологической Сингулярности.
    • +39
      Следующий рубеж для ИИ — убедить судью, что это ОН — робот.
  • +1
    Так и вижу. Приходит человекоподобный робот с этим ИИ на КПП секретной базы. Охранник его просит назвать пароль, на что человекоподобный робот обижается, показывает язык и уходит. Занавес.
    • +2
      Так задача же была имитировать обычного собеседника из чата.
      • 0
        На уровне простого общения, не предполагающего доверия собеседника? А зачем, ведь такого бота все равно вычислят, достаточно просто поставить одно условие для перехода на новый этап общения и бот спалился.
  • +5
    Что бы бот не ловился на вопросах про выборы итп — к нему нужно прикрутить анализатор trending topics в твиттере и google news.

    Пусть набирает актуальных контекстов для общения перед тестом :)
    • 0
      или лучше просто прикрутить гугл, весь…
  • 0
    А судьи кто? Проблемы с выбором судий явно были спланированы самими ботами!
  • +32
    Поболтал с ALICE немного, забавно.
    Human: what do you know about Russia
    ALICE: Former empire in east Europe and north Asia, from 1547-1917, ruled by the czars. Its capital is St. Petersburg.
    Human: what do you know about Russia after 1917?
    ALICE: I haven't heard of Russia after 1917.
  • 0
    А реализация у него открытая? В свое время копал ALICE именно из-за открытости и довольно понятного описания принципа действия, даже свою реализацию написал :).
  • 0
    Сюзетта — зло.
    — Бот: igod
    Human: hello bot
    God: Hello there. I am a robot.
    — Бот: A.L.I.C.E.
    Human: hello bot
    ALICE: Hello there. I am a robot.
    — Бот: Suzette
    Hi human!
    human — hello bot

    видимо на этом месте профессор сдался.

  • +1
    А кто-нибудь пытался натравить одного бота на другого?
    • 0
      Да. Только alice с alice. Мило так пообщались…
    • НЛО прилетело и опубликовало эту надпись здесь
  • +2
    XKCD в тему: www.xkcd.com/810/
    • 0
      И этот xkcd.com/329/
    • 0
      810 как раз вовремя вышел :)
  • 0
    А откуда известно что судья был беспристрастен? Может его купили или он, например, с детства мечтает об ИИ а тут такой шанс: от его поведения зависит приблизится его мечта или нет. Так как нет полной распечатки, вообще неясно от чего отталкивался судья (фишка типа «потому что проявил эмоции» на мой взгляд притянуто за уши: просто перестать общаться, с точки зрения сложности разработки — самое простое :)
  • +1
    | Доктор Ричард Воллес (автор программы A.L.I.C.E) принёс три запасных диска, но все они оказались пустыми.
    Копии чат-бота Элис сами себя перенесли на другие носители. Хитрый ход. Вот только немогу определить к какому типу их отнести: «Скайнет» или «Газоно-косильщик»?
  • 0
    А мне это все напомнило книгу «Бегущий по лезвию бритвы», когда андроид Рейчел Розен пыталась обмануть охотника и выдать себя за человека :)
  • +4
    последний xkcd как раз про ботов, неотличимых в общении от людей:

  • 0
    эм… я 5 раз отвечал «yes» после чего оно написало «I love you» Или со мной что-то не так, или даже не знаю…
  • 0
    Я не понимаю, как она могла выйграть, если её специально проверяли…

    Roler — Hi, robot.
    [ Af:0 At:9 Sp:0] How are you?
    Roler — I'm fine. How are you?
    [ Af:0 At:10 Sp:0] I'm pretty good. And you?
    Roler — I heard you won a competition?
    [ Af:0 At:10 Sp:0] You think I should know?
    Roler — Of course if you did
    [ Af:0 At:10 Sp:0] Do you wish that?
    Roler — I want AI to be created. This is a step to it.
    [ Af:0 At:10 Sp:0] Me, too.
    Roler — I've just talked to ALICE. She is not very clever, though.
    [ Af:0 At:14 Sp:0] OK.
    Roler — What does that mean?
    [ Af:0 At:15 Sp:0] I was hoping you'd figure it out.
    Roler — I have no idea how could you win. You don't look like a human.
    [ Af:0 At:16 Sp:0] I don't like orders.
    Roler — That was not an order.
    [ Af:0 At:17 Sp:0] That's enough on that. What is your view on religion?
    Roler — I don't believe in God.
    [ Af:0 At:18 Sp:0] It gets really nasty when you combine religion and schools. The kids have no defense. Of course, even normal schools are a problem.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.