Пользователь
0,0
рейтинг
25 августа 2011 в 17:04

Понимание компьютером текста: действительно ли всё так плохо? из песочницы

Совсем недавно на Хабре появился пост, в котором автор уверенно заявляет о том, что компьютер никогда не сможет понимать текст так, как его понимает человек. В доказательство он приводит ряд непосильных для машины задач, делая упор на отсутствие эффективных алгоритмов и невозможность моделирования полноценной системы, в которой были бы учтены все возможные варианты построения текста. Однако действительно ли всё так плохо? Правда ли, что для решения подобных задач нужны невероятные вычислительные мощности? И в каком вообще состоянии находится область обработки текстов на естественных языках?

А что вообще значит «понимать»?


Первое, что меня смутило, — это сам вопрос — сможет ли компьютер когда-нибудь понимать текст так, как его понимает человек. А что, собственно, значит «понимать как человек»? Или даже не так, что вообще значит «понимать»? В книге Data Mining: Practical Machine Learning Tools and Techniques авторы задаются схожим вопросом — что значит «быть обученным». Допустим, что мы применили к «интерпретатору» некоторую технику обучения. Как проверить, обучился он или нет? Если студент ходил на все лекции по предмету, это ещё не значит, что он его выучил и понял. Чтобы проверить это, вводят экзамены, где студента просят решить некоторые задачи по теме предмета. То же самое и с компьютером — узнать обучился ли он (понял ли он текст) можно только проверив, как он решает конкретные прикладные задачи — переводит текст, выделяет факты, выдаёт конкретное значение многозначного слова и т.д. В таком ракурсе понятие смысла вообще теряет первостепенное значение — смыслом можно считать просто какое-то состояние интерпретатора, в соответствии с которым он обрабатывает текст.

Многозначные слова


Далее автор оригинальной статьи приводит пример перевода предложения «Первым Николай распечатал письмо от Сони», указывая на несколько возможных вариантов перевода слова «распечатал» с совершенно разными значениями. Человек может легко понять, о чём идёт речь, но может ли машина?
Для того, чтобы ответить на этот вопрос, рассмотрим, как сам человек принимает решение о том, в каком смысле употреблено данное слово. Думаю, все согласятся, что в первую очередь при решении такого рода задач ориентируемся на контекст. Контекст может быть представлен явно — в виде предложений, обрамляющих данное, либо неявно — в виде совокупности знаний о данном предложении (в нашем случае — знание о том, что предложение взято из романа «Война и Мир», знание о времени, когда происходит сюжет, и знание о состоянии прогресса на тот момент).

Для начала рассмотрим первый вариант — использование контекстных предложений. Предположим, что у нас есть две пары предложений: «Первым Николай распечатал письмо от Сони. При свете лучины читать его было сложно» и «Первым Николай распечатал письмо от Сони. Принтер барахлил, поэтому местами были понятны не все символы». Во втором предложении каждой пары присутствуют ключевые слова, которые позволяют нам однозначно идентифицировать смысл слова «распечатал» в предыдущем предложени — в первом случае это «лучина», во втором — «принтер». Вопрос: что мешает компьютеру проделать тот же манёвр, чтобы узнать настоящий смысл слова под вопросом? Да ничего. На самом деле системы по определению значения слова уже давно используются на практике. Так, например, индекс tf-idf широко используется в поисковых движках при вычислении релевантности. Как правило, собирается информация о совместной встречаемости слов («распечатывать» и «лучина», «распечатывать» и «принтер») и на её основе выбирается более релевантный документ или более точный вариант перевода слова.

С неявным контекстом, то есть с набором знаний о обстоятельствах, всё несколько сложней. Простым сбором статистики тут не обойдёшься — нужны именно знания. А что вообще такое знания, как их можно представить? Одним из способов представления являются онтологии. В простейшем случае онтология — это набор фактов вида <Subject, Predicate, Object>, например, <Николай, является, Человек>. Построение самих онтологий даже для конкретной предметной области — это дело, мягко говоря, немаленькое. Немаленькое, но не невыполнимое. Есть ряд инициатив, таких как Linked Data, в рамках которых люди собирают с миру по нитке и строят паутину взаимосвязанных понятий. Более того, существует ряд вполне успешных наработок по автоматическому извлечению фактов из текста. Т.е. из предложения «Первым Николай распечатал письмо от Сони» можно автоматически вывести факты <Николай, распечатал, письмо>, <Письмо, от, Сони> и т.д. В качестве open-source примера таких разработок может служить Stanford Parser, который довольно неплохо понимает структуру предложения на английском языке. А некоторые компании, такие как InventionMachine (ссылку вставлять не буду, ибо и так реклама) вообще строят свой бизнес на системах извлечения фактов.
Однако я отвлёкся. Итак, будем считать, что у нас уже есть более или менее полная онтология для нашей предметной области. Для простоты также предположим, что собрана она людьми, поэтому слово «распечатать» в ней представлено несколько раз — по одному разу на каждый смысл этого слова. В смысле «открыть» это слово может образовывать факты <[Кто-то], распечатал, посылку>. В смысле «пустить на печать» оно может быть использовано в фактах <распечатать, на чём, принтер>. Наконец, предположим, что в нашей онтологии уже присутствуют знания об обстоятельствах. В таком случае задача определения правильного смысла слова сводится к отображению всех фактов предлжения на онтологию для всех возможных значений слова «распечатать» и выбору того значения, в окружении которого больше всего известных фактов (как фактов об обстоятельствах, так и фактов, извлечённых непосредственно из предложений).

Перед тем, как идти дальше, сделаю несколько выводов:

1. Статистика является мощным инструментом анализа текста.
2. Извлечение знаний (фактов) из текста является реальностью.
3. Создание базы знаний о предметной области является сложной, но выполнимой задачей.

Другие задачи


Далее автор статьи приводит, на мой взгляд довольно сумбурно, ряд конкретных задач, которые компьютеру якобы абсолютно неподвластны. Спорить не буду, некоторые задачи действительно довольно сложны. Сложны, но не неподвластны. Ниже в произвольном порядке будут приведены упомянутые задачи с возможными вариантами их решения, но сначала ещё несколько слов о самой дисциплине обработки естественных языков (natural language processing).

С точки зрения NLP, текст представляет из себя набор признаков. Этими признаками могут быть слова (корни и формы слов, падеж, регистр букв, часть речи), знаки препинания (особенно те, что ставятся в конце), смайлы, предложения целиком. На основании этих признаков могут строиться и более сложные — n-граммы (последовательности слов), оценочные группы (appraisal groups, те же последовательсности, но с указанием оценки, например, «very good»), слова из заданных словарей. И даже более сложные — аллитерация, антонимия и синонимия, омофоны и т.д. Всё это может быть использовано против вас в суде в качестве индикаторов при решении тех или иных задач обработки текста.

Итак, сами задачи.

Определение настроения текста

Вообще автор предложил не совсем понятное деление — текст весёлый и текст грустный. В голову приходят три варианта классификации:

1. Текст оптимистический/пессимистический.
2. Положительный/отрицательный (например, отзыв).
3. Юмористический/серьёзный.

Так или иначе, это задача классификации, а значит для неё могут быть использованы стандартные алгоритмы, такие как Naïve Bayes или SVM. Вопрос только в том, какие именно признаки брать из текста, чтобы добиться максимальных результатов классификации.
Классификацией текста на оптимистический и пессимистический никогда не занимался, но бьюсь об заклад, что в качестве признаков достаточно использовать корни всех слов. Результаты можно ещё улучшить, если составить словари для каждого из классов. Например, в «пессимистический» словарь могут войти такие слова как «грустно», «одиночество», «печалька» и т.д., а в «оптимистический» — «круто», «йоу», «весело».
Классификация отзывов и прочего user generated content, показывающего отношение говорящего к некоторому объекту (к новой фотокамере, к действиям правительства, к компании Microsoft) в последнее время получила настолько широкое распространение, что даже была выделена в отдельную область — извлечение мнений (opinion mining, a.k.a. sentiment analysis) ([1], [2]). Есть много подходов к извлечению мнений. Для текстов, состоящих хотя бы из 5-6 предложений хорошо себя показали оценочные группы [3] (с результатом до 90.2% правильно определённых мнений). Для более мелких текстов (например, твитов) приходиться использовать другие признаки — слова из предопределённых словарей, регистр букв, смайлы и т.д.
Задача определения юмористического текста не так популярна, но и по ней существуют определённые наработки ([4]). Как правило, для определения юмора используется антонимия, аллитерация, а также «взрослый сленг».
Стоит также заметить, что не только юмор, но и сарказм с иронией компьютер также уже умеет вполне успешно распознавать. Ну, в любом случае лучше, чем Шелдон Купер.

Идеология автора

А также его компетентность, подход к работе, отношения к семье и скрытые комплексы. Всё, что отражено в тексте, может быть найдено. Даже то, что не видит среднестатистический человек. Достаточно выделить подходящие признаки и правильно обучить классификатор. Да, возможно, результаты будут не очень точны, но, например, Википедия вообще утверждает, что и среди людей подобные вещи способны правильно определить лишь 70%, а 70% — это ниже среднего для таких классификаторов.

Метафоры, поговорки и умолчания

Все эти задачи требуют дополнительной информации. Если у вас есть готовая онтология для предметной области, найти объекты со схожими свойствами не составит труда — для этого вводится некая мера близости, расчитываемая на основании статистических данных, и ищется наиболее «релевантный» объект.

Автоматический перевод

Как я уже указал выше, проблема с определением конкретного значения многозначного слова при автоматическом переводе может быть решена с помощью статистического анализа. Поэтому единственной реальной проблемой становится генерация грамотно сформированного текста. Здесь есть две подзадачи:

1. Правильное определение связей между словами.
2. Правильное отображение найденных конструкций в новом языке.

Задача определения связей между словами по сути является всё той же задачей классификации, где классами являются все возможные отношения между словами. Такие библиотеки как Stanford Parser используют вероятностные классификаторы и теорию нечётких множеств, чтобы определить наиболее «правильный» вариант связей между словами.

А вот с отображением найденных конструкций в новый язык действительно существуют проблемы. Но проблемы эти в большей степени не компьютерного, а как раз переводческого характера. Профессиональные переводчики никогда не указывают языки, которые знают — вместо этого они указывают направления перевода. Например, переводчик может уметь переводить с итальянского на русский, но не с русского на итальянский. То есть, конечно, кое-как сделать обратный перевод они смогут, но далеко неидеально. Проблема состоит как раз в отображении конструкций одного языка в другой, в котором прямого аналога может тупо не быть. Что делать в таком случае — непонятно. Поэтому не только компьютерная, но и обычная теоретическая лингвистика продолжает развиваться, выводя всё новые и новые правила. В то же время с точки зрения компьютерной реализации нет ничего сложного в том, чтобы заложить созданные правила в программу автоматического перевода.

Большая проблема


Итак, компьютеры уже умеют выделять факты из текста, понимать настроение автора, распознавать сарказм и многое другое. Так в чём же проблема, почему до сих пор не существует универсальной «читалки», которая могла бы взять текст и решить все задачи, которые может выполнить человек? За несколько лет практики в NLP я пришёл к выводу, что системы интеллектуальной обработки текста сложно комбинировать. Создание систем из нескольких компонент не только вызывает комбинаторных рост связей между ними, но и требует учёта всех зависимостей вместе с их вероятностными показателями. Например, для извлечения мнений можно использовать машинное обучение или созданные вручную правила. Однако если совместить оба этих подхода, встаёт вопрос о том, в какой степени каждый из них должен влиять на результат: от чего это будет зависеть, какова природа этих зависимостей, как вычислить численные параметры и т.д. Область обработки естественных языков всё ещё находится в своём подростковом возрасте, поэтому пока человечество способно создавать только системы для решения локальных задач. Что получится, когда все локальные задачи будут решены, и хватит ли у человека способностей (памяти, скокрости мышления), чтобы скомбинировать всё наработанное, предсказать сложно.

Ссылки на ресурсы


[1] Bo Pang, Lillian Lee. Opinion Mining and Sentiment Analysis
[2] Bing Liu. Opinion Mining
[3] Casey Whitelaw. Using Appraisal Groups for Sentiment Analysis
[4] Rada Mihalcea. Making Computers Lough: Investigations in Automatic Humor Recognition
@ffriend
карма
181,2
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (183)

  • +5
    По поводу «понимания» слов человеком и как работает язык можно ещё почитать работу позднего Витгенштейна «Философские исследования», работы Райла, Поппера (самый доступный для понимания :) ) и других специалистов по философии языка.
    • +2
      Интересно, всё в аспирантуре позитивистов проходят?)
      • 0
        В аспирантуре был поверхностный повтор программы 2 курса.

        Кстати, Витгенштейн имеет отношение к логическому позитивизму, а не к научному. Ведь он рассуждает об устройстве языка, а не об обосновании науки.

        По поводу «понимания текста машиной»: этого понимания нет. Вместо этого, у людей получается получать позитивные результаты от использования ими же придуманных новых алгоритмов анализа текста. То есть, развивается человеческая мысль :)
        • 0
          Понимание текста человеком от этого ну очень не далеко, на самом деле… «Понимание» — это такой «системный эффект» работы нашей системы ввода-ассоциирования-вывода. Если разбирать, где ж в голове человека понимание — окажется, что ни в одной отдельно взятой подсистеме его фактически нет.
          • 0
            Поздний Витгенштейн так и говорит. Значение слова есть его употребление. Нет никакого потустороннего понимания (или понимания в голове) языка человеком. Обучаясь языку человек учится употреблять слова правильно в данном контексте. Если понаблюдать, так происходит с детьми. Они сначала как попугаи учат и повторяют слова, произносимые взрослыми (стадия словестного поноса), а потом начинают употреблять их по месту.
  • +2
    До кучи стоит упомянуть, что использование онтологий постепенно развивается. Например, уже есть довольно успешные попытки реализации семантического поиска (хотя в этом контексте слово «поиск» не слишком удачно).
    • 0
      ключевое слово «попытки»)
      собственно статья, имхо, отвечает на поставленный вопрос вполне увердительно — «да, вам не показалось, все действительно весьма хреново.»
      • 0
        Да вроде нет. Отдельные задачи решаются вполне успешно. Большие универсальные системы, конечно, пока не так развиты, но, как часто говорят гугловцы, «мы работаем над этим» ;)
      • +2
        ключевые слова — «довольно успешные», а «попытки» тут к молодости технологии.
        сотовые, говорят, по первости были побольше иного кирпича и его же изрядно тяжелей.
  • +4
    Признаться я тоже не сразу понял, что имелось в виду под словом «распечатал», особенно сейчас, в эру электронных писем, сложно разобраться, то ли вскрыл бумажное письмо, то ли распечатал электронное.
  • 0
    На сегодняшний день компьютер действительно уже умеет выполнять все те действия, которые раньше были доступны только человеку(ну или почти все). Но делает это атомарно.

    Например, полуавтоматические базы знаний существуют уже довольно таки давно, но у них до сих пор не решена проблема смешения предметных областей.

    Я думаю, что эти проблемы будут решены, только тогда, когда будет разработана структура хранения информации Искусственным интеллектом, позволяющая органично сочетать огромное множество предметных областей в одном пространстве.
    Сегодняшние решения основанные на Фреймовой модели, семантических сетях, нейронных сетях и стандарте IDEF я таким органичным решением не считаю.
  • –2
    Когда компьютер станет понимать текст (а не притворяться), тут и возникнет ИИ. Правда тогда опять возникает вопрос, что такое «понимать» — однозначного ответа на него нет. Кстати, желает ли кто-нибудь приобрести душу за… эм… 1000$?
    • +2
      А в чём разница между «понимать» и «притворяться, что понимаешь»? Вопрос на самом деле очень серьёзный и до сих пор не имеет общепризнанного решения. Достаточно вспомнить, например, «китайскую комнату».
      • 0
        Я это и имел ввиду, вопрос серьезный. И думаю, мы еще не очень скоро на него не ответим, все текущие попытки ответов — сплошная софистика…
        • 0
          А не все ли равно, притворяется систем или и вправду мыслит, если в обоих случаях она сможет давать удобоваримые ответы и вообще использоваться по назначению? Да и вообще, зачем далеко ходить: многие люди способны поддерживать беседы на определенные темы, совершенно не ориентируясь в сути, а просто создавая иллюзию понимания. Так не все ли равно?
          • 0
            До определенного момента наверное да, все равно. В конце концов кто знает, мыслим ли мы все, или притворяемся. Но я тогда не смогу относиться к нему как к ИИ, точно так же как не смогу считать атомарную телепортацию людей телепортацией.
        • –1
          Вопрос не серьёзный. Ответ — «нет разницы». Остальное — лишь тараканы.
    • 0
      Не согласен. Понимание текста в любом смысле «понимания» — навык преобретенный. Проблема глубже — «что такое интеллект». Например, животные обладают интеллектом? наличие психики свидетельствует о наличие интеллекта? И наоборот. Программа сдала ЕГЭ на балл, больший Васи Пупкина. Является ли программа более «интеллектуальной», чем он?
  • +2
    … А зачем компьютерам понимать текст, предназначеный человеку?
    Текст, интересный (и скорей всего понятный) только некоторой группе людей? — Вы хотите, чтобы компьютер «правильно» (то есть так же, как автор текста и как Вы) понимал любой текст? То есть заранее имел те же опыт и знания, что и автор любого текста?… Плюс чтоб еще у него была ожидаемая реакция на текст (эмоция), то есть такая же, как и у тестирующих? Не меньше и, пардон, не больше? (вдруг он сделает какие-то обобщающие выводы, которые не только будут обидны для тех кто восхищался тестируемым текстом, но и будут непонятны самим проверяющим? — например выдаст данные о комплексах и прочем подсознательном проверяющих, на основе того текста, что они ему подсунули чтоб попроверять его)

    Другой «оттенок» моего вопроса — а для чего это нужно самому компьютеру (программе, которая этим вынуждена заниматься)? ;)
    Чтобы алгоритм (например понимания текста) работал и (само-)совершенствовался — для него имхо нужны примеры, мощный комп, и… цель. Конкретно и точно сформулрованная.… Насколько я понял, порогом понимания предыдущего текста было «определить, в каких отношениях находится автор с девушкой» — для этого «компьютеру» необходимо держать в голове все возможные данные по поводу объектов «автор» и «девушка»; то есть иметь в виду, что у этих двух объектов может быть в планах (я даже не знаю, конечный ли это был бы список), в том числе на счет друг-друга, и как эти два объекта могут взаимодействовать; и только после этого (имея «опыт» всех возможных варианов их поведения), система могла бы сделать вывод, который, думаю, пришел в голову большинству читателей только после «подсказки» автора… и то при условии, что система знает, что тема близких личных отношений считается у (данных, думаю не у всех) людей юмором, а значит, этот вариант отношений имеет заостренное внимание, а значит объекты «автор» и «абстрактная девушка» не просто так потолок разглядывали.

    На мой скромный взгляд, чтобы оценивать исскуственно созданную информационную систему — нужно ставить точную и конретную систему оценок.
    … Иначе выглядит как с одним «специалистом», который требовал чтоб программа работала так: ты ей входные данные «на бамажке» перед монитором показываешь, а она их воспринимает, перерабатывает как надо, и с другими людьми согласовывает… исходя из их личных вкусов.

    Компьютеры лучше нас справляются с тем, подо что они «заточенны» — там, цифры посчитать, или количество символов.
    Люди лучше компов справляются с тем, подо что они «заточенны» — обработка зрительной информации, управление движения телом. Ну и — обработка и передача абстрактных и эмоциональных знаний; имхо.
    • +3
      Провокационный вопрос: вам нравится, как работают современные поисковики (основанные, преимущественно, на хитро построенной статистике)? Вот для того и надо — чтобы не горы мусора и предложений увеличения всевозможных частей тела шерстить, а задать вменяемый вопрос и получить не менее вменяемый ответ.

      Все это делается с 3-мя основными целями:
      1. упростить взаимодействие неподготовленного пользователя с техникой;
      2. ускорить и упростить работу профессионалов в своей предметной области в (как можно меньше привлекать ИТшников, в идеале чтобы они вообще не были нужны) — т.е. чтобы они работали с предметной областью, а не программами;
      3. создание новых знаний в предметных областях — научив, пускай даже не очень эффективно, решать задачи из разных предметных областей можно ожидать синергии от количества знаний, доступных компьютеру — того количества, которое человек просто не успеет освоить за жизнь.
      • 0
        Достижение 3-й цели неизбежно приведёт в сингулярность. А само это достижение — тоже неизбежно.

        Вот интересно, каков будет реконизм в сингулярности?..
    • +2
      ладно выдаст данные про комплексы, так ещё и шантажировать ими проверяющих начнёт!
      • 0
        :) Для этого у компа должна появится цель — шантажировать; или вообще хоть какая цель — чтоб ради нее он начал шантажировать.
  • +2
    А меня вообще интересует, ведутся ли работы над реализацией визуализации текста? Т.е. даем компьютеру книгу художественную, а он нам делает слайды-картинки по сюжету, как описывает их автор. Было бы интересно посмотреть такую реализацию и запатентовать технологию.
    • 0
      занятная задачка.

      1) выяснить темы для рисунков (выделить ключевые сцены, действующие в них лица, объекты и их там взаимодействие)
      3) определиться со стилистикой (спросить у кого-то, либо подобрать более подходящую по жанру и окраске иллюстрируемого текста)
      2) спланировать подходящую композицию из действующих лиц и объектов, с учётом их взаимодействия (их координаты, позы и масштаб на рисунке)
      3) изобразить задуманное в выбранном стиле в выбранной композиции, опираясь на библиотеки реальных образов каждого объекта и подходящие приёмы стилизации образов.

      При достаточном развитии систем анализа текстов представляется более чем решаемой!
      • +1
        Появится новая профессия: жанро-стилист, которая будет создавать прообразы типов изображений — шаблоны для системы анализов текста. В дальнейшем, импортировав рисунки художников классиков в программу, мы получим иллюстрации к произведению в стиле барокко, классицизм, романтизм, или даже абстракционизм. Книги будут продавать с кодами для просмотра ограниченного количества художников. И если захочешь увидеть книгу с иллюстрациями Пикассо от нас потребуют отправить смс на номер…
    • 0
      Эта задача вне компетенции компьютера. Да и далеко не каждый человек с ней справится. Дело в том, что для ее решения требуется владение знаниями особого рода — опытом, в том числе социальным, поскольку многие детали требуют «домысливания». Предаставьте, что Вы просите художника нарисовать море, а он его видел только на одной картинке. Как бы красочно не описывался морской пейзаж в тексте, все детали в нем содержаться не могут — естественный язык ограничен в выразительных возможностях. Поэтому художник будет заимствовать образы, копировать увиденное ранее. Компьютер (ИИ) не живет в естественной среде, у него другие потребности в ресурсах, и, что главное, у него нет опыта воспроизведения своего образа мира в визуальный образ. Поэтому он не может решить поставленную задачу. Максимум — из готовых шаблонных картинок по художественным правилам собрать конструктор, близкий по смыслу к содержанию текста.
      • 0
        для компьютера «нет опыта»=«нет базы данных». Если писать спец-программу для этой цели, базу конечно же придётся создать так или иначе. Так что у компа со спец-программой нужный опыт априори будет.
        • 0
          Я говорб не о том, что опыт как специальный вид знаний нельзя хранить, а о том, что его неоткуда получить — подобный образ не формализован, и, вероятно, не формализуем. Так что «у компа со спец-программой нужный опыт» нужного опыта никогда не возникнет.
        • 0
          С тем же успехом Вы можете попросить глухого с рожденья составить TOP-10 композиций за неделю на его вкус.
      • +1
        > Исследования в этой области ведутся уже 40 лет. Не бредьте.
        Исследования в области визуализации сюжета по книгам? Ни разу не видел. Исследования по компьютерной лингвистике? Да, ведутся давно, положительные результаты мы видим каждый день.

        > Математическое обоснование — теорема Геделя о неполноте.
        Перечитайте все комментарии — ниже уже говорилось, что язык не является формальной системой. Лингвистика, языковедение — ещё может быть, но очень вряд ли (исключения, исключения!). Поэтому теорема Гёделя ну никак тут не катит.

        > Вы похоже не понимаете, что если задача решается в частном — это не значит, что она решается в общем, это нужно доказать.
        Как раз таки это я понимаю, и поэтому я нигде, ни в статье, ни в комментариях, не утверждал, что возможно построить полноценный ИИ. Наоборот, я утверждаю, что на данный момент нет докозательств, что его построить невозможно.Вы пока тоже не привели ни одного такого докозательства.

        > И опять таки, натыкаюсь на неполноту и неформальность большинства положений и необоснованность многих предположений.
        Вот это предложение мне особенно нравится: если вы говорите про неформальные системы, то каким боком тут неполнота?

        > Попробуйте сначала доказать, что решается задача куда менее сложная. В математике именно так делается — существование решения доказывается. А потом уже машите шашкой с криками о близости ИИ.
        В общем-то этому и посвящена статья — решению менее сложных задач, таких как перевод текста, сентиментный анализ и т.д.
        • 0
          Вы ставите задачу визуализировать сцену художественного произведения и сводите ее к задаче анализа текста этого произведения. Это область математической лингвистики.
          > Перечитайте все комментарии — ниже уже говорилось, что язык не является формальной системой
          С чего бы? Естественные языки по иерархии Хомского относятся к контекстно-зависимым. Определяются формально путем конечного множества синтаксических правил построения и множества семантических правил. Теорема Геделя тут как раз очень даже катит. «Я лжец» — недоказуемо вследствие неполноты языка как формальной системы.
          Я не утверждаю, что ИИ невозможно построить. Я говорю, что Вы ставите нерешаемую в рамках используемых методов задачу. Определите смысл слов «хорошо» и «плохо», например, в фразе «ты плохо выглядишь» (что имеется ввиду? немодно одет? нездоровый цвет лица? как визуализировать диктуемые изменения?) формально, так чтобы однозначно сопоставлялся визуальный образ.
          > Вот это предложение мне особенно нравится: если вы говорите про неформальные системы, то каким боком тут неполнота?
          Логику включите. Я говорю о неформальности рассуждений психологов и о формальности предлагаемой Вами системы.
          > В общем-то этому и посвящена статья
          В статье не приведено ни одного метода, решающего задачу в общем виде. Только с некоторой вероятностью для очень ограниченного подмножества высказываний и в рамках большого количества предположений, не имеющих под собой теоретических оснований (например, что юмор имеет отношение к ненормативной лексике).
          И я не спорю, что многие практически важные задачи могут быть решены машиной, в частности, перевод текста. Но Вы поставили задачу совсем другого уровня, которая если решаема, то требует совсем других подходов.
          • +1
            Сначала давайте разберёмся с тем, является ли естественный язык формальной системой. Формальная система — это формальный язык + правила вывода + набор аксиом. Например, в евклидовой геометрии языком является набор условных обозначений, аксиомами — 5 постулатов, сформулированных Евклидом в «Началах», а правилами вывода — собственно правила геометрии. Что же с естественным языком? Во-первых, он не монолитен, а состоит из многих частей, и для каждой из них решение о формальности должно приниматься отдельно (если хотя бы одна часть не является формальной системой, то и весь язык такой системой не будет). Выделим 3 части — синтаксис, морфологию и семантику. Синтаксис описывает правила вывода для составления предложений и словосочетаний. Теоретически, эти правила в некотором языке действительно могут образовывать строгую структуру, но по факту на каждое правило в любом языке будут исключения. И даже если прописать по отдельному правилу для каждого такого исключения, мы получим полностью формальную, но искусственную систему. Причина в том, что людям плевать на правила, лишь бы их понимали:

            — can you do it?
            — not sure.

            Второе предложение явно противоречит правилам английского языка, т.к. в нём отсутствуют подлежащее и сказуемое, тем не менее собеседники поняли друг друга, и им этого достаточно. При обработке языка мы, естественно, должны ориентироваться на такие примеры, а не на какую-то нашу искусственную систему. Отсюда первый прокол в формальности есественного языка.

            Дальше идёт морфология. Возьмём одну узкую область — словообразование. Вообще говоря, в большинстве языков правила словообразования довольно чётко прописаны, тем не менее, допускаются изменения, если, например, новое слово плохо звучит. Кроме того, люди часто вводят новые слова, не подчиняющиеся правилам языка. Пример — популяризованное Куртом Кобейном слово «nevermind» как замена сочетанию «never mind», т.е. в качестве глагола, что противоречит нормам английского языка. Другой пример — «comeback», опять же в качестве глагола. То есть, ещё раз, из-за человеческой ошибки или рациональных соображений новые слова могут образовываться не по правилам естественного языка, и тем самым нарушать формальность. Это второй прокол.

            Ну и, наконец, семантика. Как бы мы не старались унифицировать десигнаты (знаки, напр. слова), связанные с ними денотаты (объекты реального мира, соответствующие знаку, если таковые существуют) в сознании каждого из нас всё-таки отличаются. Вы говорите «В статье не приведено ни одного метода, решающего задачу в общем виде», а что значит «в общем виде»? Для меня каждая из перечисленных задач решена как раз в самом общем виде, но вы, видимо, имели ввиду что-то другое. Вы и я восприняли один и тот же десигнат по-разному. Тогда о каком формальном описании семантики может идти речь? Вы можете строго задать смысл некоторых терминов для какой-то предметной области, но не для всего языка.

            Что касается Хомского. Хомский описывал формальные грамматики, то есть семантику он вообще не затрагивал, а в ситаксисе и морфологии он рассматривал только ту часть естественных языков, которая может быть строго формализованна. То есть то, что изучают лингвисты, то что записано в учебниках, но не то, что пишем мы с вами и большинство людей в реальном мире. Эти системы близки, но существуют и значительные различия (такие как «неправильное» построение слов и предложений), поэтому даже синтаксис и морфологию в real-world текстах нельзя назвать полностью формальной системой. Про семантику даже не стоит говорить.

            На самом деле неформальность естественных языков представляет одну из самых больших проблем. Например, системы автоматического извлечения фактов опираются как раз на распространённые формализмы, такие как прямой или обратный строй предложения, но из-за ошибок, разговорного стиля, неологизмов и т.д. качество их работы часто снижается. Например, по правилам французского языка вопросительные предложения требуют обратного порядка слов: «Parlez-vous Francais?» (дословно: говорите-вы по-французски?), однако в современном разговорном французском такая форма постепенно умирает, уступая прямому порядку слов: «Vous parlez Francais?» (вы говорите по-французски?). (В английском наблюдается похожая картина, но она пока не достигла таких масштабов.)

            Ну и, раз уж теорема Гёделя так не даёт вам покоя, то давайте представим, что было бы, если бы естественные языки действительно являлись формальными системами. Как я упомянул вначале, формальные системы базируются на конечном наборе аксиом (честно говоря, я не очень представляю, что можно считать аксиомами в языке, но допустим, что они у нас есть). Любые утверждения, которые нельзя ни доказать, ни опровергнуть в рамках данного языка, так или иначе базируются на этих аксиомах. Но если не затрагивать такие крайние случаи (а их обычно совсем немного), то получается строгая логическая модель, в которой любое утверждение можно однозначно вычислить и доказать. Даже если эта система покрывает всего 98% случаев, то для естественного языка это, чёрт возьми, очень круто! Это значило бы, что практически любую лингвистическую задачу можно было бы решить просто загнав в комптьютер правила из учебника по языкознанию. И всё! К сожалению, реальный мир гораздо менее формален.

            Ну и коротко по другим пунктам. «Я лжец» — с точки зрения языка здесь нечего доказывать: подлежащее + сказуемое, выраженное в виде существительного. Никакого противоречия. Недоказуемым является обозначенное логическое выражение, а это уже совсем другая история.

            Я ни к чему не свожу задачу визуализации сцены, напротив, я несколько раз сказал, что требуется дополнительная база знаний.

            «ты плохо выглядишь» — ещё раз повторюсь: я не говорю о системах, которые могут решать задачи, неподвластные человеку. Из этой фразы человек не может однозначно определить, что имеется ввиду, поэтому нет смысла требовать этого от машины. Если будут другие признаки, за которые может зацепиться человек, то и машину, вероятно, можно настроить так, чтобы она их распознавала, но без них задача не имеет смысла.

            > Но Вы поставили задачу совсем другого уровня, которая если решаема, то требует совсем других подходов.
            Аргументы? Если вы знаете принципиальные причины, почему данные подходы не будут работать, или по крайней мере другие подходы, которые точно работают, то будьте добры, просвятите. Если нет, то такие рассуждения являются не более чем спекуляцией на заданную тему.
            • 0
              Все «проколы» сводятся к тому, что естественные языки развиваются и имеют множество вариаций. Про семиотику и семантику. Я об этом Вам и твержу, «понимание» индивидуально, хотя язык формален и универсален. О каком построении изображений по тексту может в таком случае идти речь? Вы, напротив, приводите аргументы в пользу того, что текст можно «понять» с помощью унифицированного алгоритма и сопоставить текстовому описанию изображение.
              Различия того, что изучают лингвисты, с тем, что изучает мат. лингвистика, определяются словом «вариативность». Она может быть отражена в формальной грамматике Хомского, другое дело, что эта задача невыполнима в разумные сроки (да и не имеет смысла) ввиду большого количества вариаций.
              > я несколько раз сказал, что требуется дополнительная база знаний
              Анализ текста формальными методами + формальная система представления данных = другая формальная система. С помощью такой системы Вы можете анализировать только формальную языковую систему, даже если Вы не согласны, что естественный язык — формальная система. Я уже в третий раз повторяю: семантически текст не эквивалентен изображению, для того, чтобы полностью определить изображение, потребуется бесконечное число предложений естественного языка.
              > с точки зрения языка здесь нечего доказывать
              данное утверждение синтаксически корректно (о чем Вы и сказали), но его семантические свойства неустановимы, а именно, его истинность недоказуема в рамках самого языка. Логика неотделима от естественного языка. Это одна история. Как Вы собираетесь анализировать текст без установления логических взаимосвязей.
              > Из этой фразы человек не может однозначно определить, что имеется ввиду
              Вот текст.
              «Пришел николай сегодня на работу в оффис, сел за свой рабочий стол и начал работать. Подходит к нему Федор и говорит: „Ты сегодня плохо выглядишь. Все нормально?“
              Каким образом программа с помощью текстового анализа, даже с бесконечной базой знаний, установит внешность собеседников? Но любой художник нарисует эту сцену на раз-два. Нужные признаки просто отсутствуют в тексте. Но они не нужны художнику, он и так поймет о чем речь из личной практики, опыта, который пока никому формализовать не удалось.
              > Если вы знаете принципиальные причины, почему данные подходы не будут работать
              Я уже устал повторять эти причины. По пунктам:
              1. Необходимость опираться на неформальный опыт, присутствующий у любого человека но отсутсвующий у машины
              2. Невозможность корректного формального определения влияния некоторых понятий на смысл фразы. Пример: „В этот день Иван Митрофанович выглядел ЛУЧШЕ обычного“. В условиях необпределенности внешности, которая всегда присутствует, подобные конструкции увеличивают неопределенность еще больше.
              2. Ограниченность подхода анализом языковых конструкций, даже при условии корректности формальных моделей этих конструкций.
              3. Большое количество необоснованных предположений относительно свойств неформализуемых понятий, таких как юмор, настроение и др.
              4. Необходимость построения базы знаний потенциально бесконечной размерности даже при условии полной формализации проблемной области.
              Напоследок.
              Решить задачу в общем виде — значит определить алгоритм решения любого ее экземпляра. Ни один из приведенных Вами алгоритмов этим свойством не обладает.
              И определитесь уже в показаниях. С одной стороны Вы заявляете, что язык неформальная система, из чего следует алгоритмическая невозможность ее анализа, с другой стороны, утверждаете, что такой анализ возможен.
              На этом беседу считаю законченой, спасибо за Ваше мнение.
              • 0
                по такому тексту программа вполне может начать искать способы изобразить в офисе фигуру человека с признаками, которые в её базе данных бывали у людей, о которых так или иначе говорилось что они выглядят хуже, чем обычно.
                • 0
                  Отлично. Осталось только формально определить смысл слова «хорошо» и поверить, что он универсален. И основываться на сомнительной статистике с очевидно огромной дисперсией.
                  • 0
                    Фишка в том, что нейронная сеть в каждой голове опирается ровно на такую вот статистику с её дисперсией, ибо больше ей опираться не на что. И ничего, справляется с точностью, достаточной чтоб считать её естественным интеллектом.
                    • 0
                      Фишка в том, что мы до конца не понимаем механизмы, тоящие за работой нейронной сети в голове. Опыт, конечно, имеет статистическую природу, но эта статистика имеет другую природу, она не символьная и не основывается на «общественном мнении», которое предлагается тут использовать. Это не «такая вот» статистика.
                      • 0
                        не вижу здесь предложений основываться на общественном мнении. Но не суть — основываться база будет на всём, что в неё засунут. Аудио-контакт с воспитательницей и родителями эта база конечно не получит, но нам и не надо. А вот книжек всяких и целенаправленных текстов и прочих вмешательств от автора и пользователей — получит сполна.
                        • 0
                          > в её базе данных бывали у людей, о которых так или иначе говорилось что они выглядят хуже, чем обычно.
                          Общественное мнение. В смысле, мнение многих людей. Нервная система человека работает не так (только не спрашивайте меня как, я не смогу непротиворечиво ответить). Текст по Шеннону можно рассматривать как кодировку сообщения. Но как определить в этом случае кодер и декодер, непонятно, существующие формализмы этого сделать не позволяют.
                      • 0
                        статистика не символьная, а образная. ИМХО, не велика разница…

                        основная проблема тут, как мне представляется сейчас, это поиск подобий в уже имеющейся сети для вновь поступающих данных. Проблема узнавания. На уровне отдельных символов (слов) проблема не велика, а вот на уровне подобия отношений символов — подмножеств графа связей — уже сложнее. В мозгу оно как-то решается резонансом активностей нейронов на фоне подсветки фокусом внимания…
                        • 0
                          > В мозгу оно как-то решается резонансом активностей нейронов на фоне подсветки фокусом внимания
                          Аргументируйте. Не знаю нейрофизиологических оснований для такого высказывания.
                          Это два совершенно разных случайных процесса. Разница принципиальная. Язык для мышления вторичен, возникает вследствие и на основании уже имеющегося опыта и не обладает достаточной выразительной силой для его передачи в полной мере. Вы приципились к формализму семантической сети. Она конечно хорошо описывает связь между понятиями, но не между образами, и не описывает сами понятия.
                          С понятием образной статистики я не знаком. Как ее собирать и обрабатывать математически?
                          • 0
                            что тут случайные процессы?

                            нейрофизиологические основания чему именно вы не знаете? подсветке фокусом внимания или результатам резонанса подобных друг другу картин нейронной активности?

                            а язык для многих аспектов мышления первичен. Именно это имеют ввиду, когда говорят что чтоб выучить другой язык, надо научиться и иначе думать.
                            • 0
                              А статистику чего Вы собираетесь собирать? Или Вам напомнить, что является предметом статистики?
                              > подсветке фокусом внимания и результатам резонанса подобных друг другу картин нейронной активности
                              дайте определение обоих феноменов, если они существуют
                              Язык вторичен для самого процесса мышления. Животные не умеют говорить. Вы будете утверждать, что они не обладают интеллектом и им не присущи мыслительные процессы?
                              • 0
                                Я буду. Интеллектом животные не обладают (правда более общие — мыслительные — процессы у них, конечно же, есть). Ещё недавно это было практически постулатом, сейчас же стали выделять некоторые зачатки интеллекта, какие-то базовые конгнитивные способности, но даже самые умные животные не более интеллектуальны, чем те же программы определения настроения.
                                Ну и да, тезис о связи языка и интеллекта человека выдвинут давно и подтверждается на практике уже много лет. Пруфы — в гугле по словам «язык» и «мышление».
                                • 0
                                  Постулатом всегда было то, что животным не присще логическое мышление. Наличие у них интеллекта под сомнение не ставилось.
                                  > умные животные не более интеллектуальны, чем те же программы определения настроения
                                  несоизмеримо более интеллектуальные. современные системы ИИ не дотягивают по развитию даже до уровня насекомых.
                                  Я не оспариваю связь между интеллектом и языком. Я говорю о том, что возникает вследствие наличия интеллекта, а не является причиной его возникновения.
                                  Интеллект и логическое мышление не есть одно и то же. Для второго язык является объективной необходимостью.
                                • 0
                                  А я не буду — у животных внимание менее устойчиво и язык примитивнее, но в целом язык часто есть. Более эмоциональный, чем абстрактный понятийный аппарат, зачастую лишь прикладной а не философский уровень, иногда не звуки, а лишь язык жестов или рисунков на коже (а каких-то рыб)… Этологи иногда обращали на это внимание. Иногда животные способны и человеческий язык учить в некотором минимальном объёме — примеры уже выписаны в википедии
                              • 0
                                про случайное — я просто не понял, что означала ваша фраза «Это два совершенно разных случайных процесса.»
                              • 0
                                Знаете уже, наверно, что нейрон работает в импульсном режиме — выдаёт на выход (аксон) импульс, когда у него накопится возбуждение выше порога. Возбуждение нейрона увеличивается и уменьшается, когда ему на входах (синапсах на теле и дендритах) другие нейроны или сенсорные клетки выдают свои импульсы, а само по себе постепенно затухает.

                                Эмоции и внимание в мозгу представлены обширными зонами возбуждения части нейронов, которые добавляют подпороговый уровень возбуждения одним нейронам (так, что на минимальный рабочий сигнал нейрон уже готов выдать свой) и тормозят активность других (уводя через тормозные синапсы их состояние пониже от порога возбуждения так, что лишь много сильных возбудителей могут довести до порога, когда нейрон таки выдаст свой импульс). Это можно назвать подсветкой для тех, которые возбуждены и готовы отозваться на малейшую активность на входе.

                                Что касается резонанса. Если два нейрона активны одновременно, то между ними так или иначе налаживается связь. Есть эксперименты, в которых показано, что дендриты активных нейронов активно растут по направлению к активному нейрону. При некоторых ещё условиях, конечно, нейроглия, состояние нейронов и какая-то химия этим как-то управляют… В общем, если нейроны достаточно часто активны одновременно, между ними образуется связь, и мы вдруг ощущаем, что у нас источники их активности ассоциированы друг с другом и вместе что-то значат новое. Если они активны в разнобой, ассоциации не образуется.

                                Причём это работает на всех уровнях. При восприятии зрительных образов, когда зрительный анализатор при разглядывании яблока выдаёт активность на нейронах, распознающих круглость, блеск и прочие отдельные признаки, которые в этом своём сочетании активны одновременно, тогда, грубо говоря, к ним растёт нейрон, активность которого будет всегда связана с наблюдением яблока с данного ракурса. Если показывать яблоко и говорить яблоко — одновременно будет активен нейрон этого вида, и нейрон того слова, и между ними тоже вырастет связь. И укрепится, если это повторять.

                                При вспоминании чего-либо — возбуждаются от текущей картины возбуждения те группы нейронов, которые резонируют с данной картиной возбуждения. Хотя — тут чуть иной процесс, я это пока не допонял даже для себя.
                                • 0
                                  Все так, спасибо. Вы конечно упростили, но в сущности похоже.
                                  Но здесь о другом. Нейронная сеть — адаптивная система статистического обучения. И она не соответствует понятию семантической сети, которую здесь позиционируют как универсальную модель представления знаний человеком. Мы не до конца понимаем, как поступающие извне образы преобразуются в нейронные картины. А о том, как происходит обратное преобразования, мы не знаем почти ничего. Язык — средство передачи информации, но не способ ее представления в мозгу. Здесь проблема не в узнавании слов, не в узнавании отношений (эти задачи решаемы), а в том, что язык используется для ограниченного представления информации другого типа, неформальной (в том плане, что ни один из существующих формализмов не может ее описать с достаточной точностью), Более того, язык не имеет смысла вне этой неформальной системы, поскольку использует понятия, выразить которые в рамках самого языка нельзя (неполнота по Геделю).
                                  И еще. Резонанс активности нейронов, возбуждение нейронной картины при получении соответствующего сигнала — это низшие когнитивные функции. Максимум — уровень рефлексов, т.е. даже если Вы сможете смоделировать данный процесс (а это возможно, приходилось делать), Вы получите только сложную, обладающую большой (относительно) чувствительность систему с АБСОЛЮТНОЙ реакцией. Одни воздействия будут вызывать одну реакцию. Это достаточно для САУ, для частичного решения некоторых «интеллектуальных» задач (классификации, распознавания), но недостаточно, чтобы считать это действительно интеллектом, близким хотя бы к интеллекту высших животных.
                                  • 0
                                    Вот только что ниже упомянутые наборы активировавшихся распознавателей через пару-тройку слоёв аналогичного обобщения вполне могут оказаться соответствующими отдельным абстрактным понятиям, которыми мы оперируем. При соответствующем наборе этих распознавателей.
                                • 0
                                  Кстати, я тут подумал сегодня ещё по последнему абзацу — и кажется осознал для себя нечто важное: резонанса по серии сигналов наверно нет и не требуется. Важна лишь одновременная активность нейронов-распознавателей, и вот такую статическую картинку данного момента и стремится фиксировать как случившееся структура новый нейрон. Думаю, данное стремление глушится, если на этом следующем уровне уже есть нейрон, активизирующийся на такой картинке, и поощряется, если нет. Таким образом получается запоминание различных картинок активности. За одно предъявление картины она запоминается редко, а если повторяется — нейрон таки успевает дорасти и специализироваться, а далее и «закостенеть», окончательно специализировавшись на сигнализировании о такой картинке.

                                  А самый первичный слой базовых распознавателей — образован эволюционно (что намутировалось и не повредило, а то и пригодилось — то и умеем распознавать) и обучения не требует. Базовый алфавит, в некотором смысле. А далее мозг научается различать и соотносить друг с другом различные комбинации этих базовых признаков…

                                  Я к тому, что ИИ не нужно уметь искать похожие подмножества графов, нужно лишь снабдить его набором целесообразных базовых распознавателей, и записывать сочетания распознавших распознавателей для всех поступающих данных. Если нашлось ещё раз уже находившееся и записанное сочетание — значит, можно через него считать данные связанными… ИМХО, на этом весьма перспективная модель может получиться.
              • +1
                ох уж этот мистический неформальный опыт :):)
                • 0
                  ну так в этом и смысл. некоторые вещи мы понимаем как самоочевидные, но все попытки хоть как-то их выразить формально заканчиваются ничем. «хорошо», «плохо». понятие «безопасность» можно формально выразить только через перечисление «опасностей», но очевидно, что это определение неполно. как только этот опыт станет уловим, или машины научатся получать сопоставимый свой, у них возникнет потребность в психике, тогда можно будет говорить об ИИ
              • 0
                > Я об этом Вам и твержу, «понимание» индивидуально, хотя язык формален и универсален. О каком построении изображений по тексту может в таком случае идти речь?
                Собственно, об индивидуальном, соответствующем обучению. Точно так же, как и в случае человека, который строит в своей голове образ на основе своего социального опыта/обучения.

                > Она может быть отражена в формальной грамматике Хомского, другое дело, что эта задача невыполнима в разумные сроки (да и не имеет смысла) ввиду большого количества вариаций.
                Другими словами — неформализуема.

                > Анализ текста формальными методами + формальная система представления данных = другая формальная система.
                Во-первых, что вы подразумеваете под формальными методами (применительно, например, к статистической обработке текста) и из чего следует, что их применение к формальной системе приводит к созданию другой формальной системы?
                Например, вычисляете вы вероятность появления слова W в тексте T. Где здесь формальная система и формальный метод?

                > Вот текст [...] Каким образом программа с помощью текстового анализа [...] установит внешность собеседников?
                А вы (ну или художник) сразу установили внешность? Или вы додумали её на основании своего опыта? Представили, какой у героя нос, какие подбородок, какого цвета глаза? Вы их придумали и не более того. Придумывать программы уже давно умеют — для этого есть функция random(). Определить, что герой «плохо выглядит», как вы понимаете, несложно. Добавление гримасы похмелья/боли/выберете функцией random() решается составлением базы данных.

                Причины:
                1. Снова, что такое «неформальный опыт»? Если вы не можете сформулировать его определение, то как вы делаете суждения о нём? Если можете сформулировать, значит он уже не неформальный.
                2. Выглядел [лучше | хуже] обычного — фраза никак не описывает внешность, скорее она описывает внутреннее состояние человека. Например, герой чувствует себя лучше, у него приподнятое настроение, он вдохновлён. Такой паттерн в тексте увеличивает один или несколько показателей в модели человека, например, «радость» на 5 пунктов, «уверенность в себе» на 10 пунктов и т.д. Затем, если ставится задача визуализации героя, все эти показатели используются для корректировки внешности — улыбки, осанки и т.д. При этом логические правила создаются либо вручную, либо на основании всё той же статистики. Сама внешность героя при отсутствии другого описания генерится рандомом.
                Вот вам готовый пример влияния указанного паттерна на результат визуализации.
                3. А кто вас заставляет ограничиваться только анализом языковых конструкций? Опять же, база знаний, причём необязательно формальная (Semantic Web вряд ли можно назвать формальной системой).
                4. Что значит «необоснованных предположений»? Есть эмпирическое наблюдение, что юмористические и обычные тексты в большом количестве случаев отличаются про признаку X. Значит, X можно выделить в качестве одного из признаков. Величина влияния этого признака на результат расчитывается автоматически. Если он не влияет — отлично, его вес будет равен нулю. Где здесь «предположение», и уж тем более «необоснованное» я как-то не понимаю.
                5. Опять вы со своей формализацией. Анализ настроений — несколько тысяч образцов общим размером < 50M и с моделью мегабайт на 15 дают результат > 70%, что равно способностям человека. Никаких бесконечных баз, полностью автоматическая процедура. Не поверите, но кроме формальных логических систем есть много других моделей.

                Значит решать задачу определения настроения текста в общем виде человек тоже не умеет.

                > С одной стороны Вы заявляете, что язык неформальная система, из чего следует алгоритмическая невозможность ее анализа [...]
                Нет, не следует. Набор точек на графике, собранных с погрешностями, тоже нельзя описать с помощью строгой формальной формулы, тем не менее аппроксимировать эту функцию можно. Весь формализм основан на классической логике, а кроме классической есть ещё как минимум нечёткая логика, которая как раз очень близка к статистической обработке текста.
                • 0
                  > Точно так же, как и в случае человека, который строит в своей голове образ на основе своего социального опыта/обучения
                  У машины нет ни этого опыта, ни аналогичного. И нет формальной системы, позволяющей его описать.
                  > Другими словами — неформализуема
                  Неверно. Это значит, что каждая отдельная вариация может быть формально описано. Конкретный человек использует конкретную формальную языковую систему, вариацию «общей». Неформализуемость — значит отсутствие формальной модели, в рамках которой может быть описано явление или процесс.
                  > вычисляете вы вероятность появления слова W в тексте T
                  формальный метод — поделить частоту появления слова W в тексте на количество слов T в тексте. Записывается одной формулой. Формальней некуда.
                  >… Придумывать программы уже давно умеют — для этого есть функция random()…
                  Что Вы несете? Функция random есть алгоритмическое представление случайной величины с равномерным распределением. Ни один художник не рисует «случайных» изображений. Для правомерности использования random в модели докажите, что моделируемая сущность — случайный процесс с заданным распределением. Вы вообще модели составляли когда-нибудь.
                  > Если можете сформулировать, значит он уже не неформальный
                  Сколько Вы знаете определений понятия «информация»? Мне известно более двадцати. Каждое описывает отдельный аспект, ни одно из них, и даже их совокупность не является полным, с чем согласны все исследователи. Я дал Вам определение неформального — не существует формальной системы, в рамках которого это может быть описано.
                  > Выглядел [лучше | хуже] обычного — фраза никак не описывает внешность, скорее она описывает внутреннее состояние человека. Например, герой чувствует себя лучше, у него приподнятое настроение, он вдохновлён
                  А это не влияет на внешность?
                  > Такой паттерн в тексте увеличивает один или несколько показателей в модели человека
                  Какой и на сколько? Где обоснование перехода качественного в количественное?
                  > Сама внешность героя при отсутствии другого описания генерится рандомом
                  Основания? Докажите, что внешность литературного персонажа — случайная величина.
                  > Semantic Web вряд ли можно назвать формальной системой
                  полностью формальна. описывается графом
                  > Есть эмпирическое наблюдение, что юмористические и обычные тексты в большом количестве случаев отличаются про признаку X.
                  Это какое? Что юмор определяется ненормативной лексикой? Определите адекватный критерий, почему произведения Ильфа и Петрова смешны, а Достоевского нет. Предположение — недоказанное утверждение, на котором основаны рассуждения. В Ваших методов они сплошь и рядом. Какие эмпирические наблюдения свойства текста? Юмор — свойство, присущее ситуации, а не выражению. Причем смешную ситуацию от несмешной может отличать едва уловимая деталь, учесть все в рамках имеющихся формальных моделей нельзя.
                  > Не поверите, но кроме формальных логических систем есть много других моделей
                  Хоть одну неформальную компьютерную модель назовите. Хоть одну, не сводимую к логике или к математике.
                  > Анализ настроений — несколько тысяч образцов общим размером.… что равно способностям человека.
                  У меня в связи с этим только один вопрос, относящийся и к анализу юмора. А как считали? По какому критерию определяли, что человек определил неправильно, а машина правильно? Приведенные Вами алгоритмы анализа «настроения» на самом деле не настроение ищут, а ключевые слова, которые вроде как должны определять «настроение» автора. Но «веселым» текст называют не потому, что в нем есть слова «клева», «весело» и прочие, а потому, что он вызывает соответствующую реакцию читателя. Если у человека этой реакции нет — для этого человека текст не может считаться «веселым». С юмором также. Реакция индивидуальная. Если человеку не смешно — он не назовет это юмором. И будет ВСЕГДА прав. Оценка, основанная на том, что в соответствии с некоторой статистикой данный текст улыбнет большинство людей, не делает индивидуальную оценку текста человеком неверной.
                  > Набор точек на графике, собранных с погрешностями, тоже нельзя описать с помощью строгой формальной формулы
                  Да что Вы? Про дискретные функции слыхали? Какие данные имеются — такие результаты и требуйте. И какое то имеет отношение к формальным системам?
                  > нечёткая логика, которая как раз очень близка к статистической обработке текста
                  ну это уже откровенная чушь. в чем близость к статистической обработке? что нечеткие логики, что k-значные — такие же математические формализмы. В их рамках тоже обсуждаемые вещи формализовать нельзя
                  • 0
                    Судя по всему, имеют место быть серьёзные различия в понимании терминологии. Что в вашем понимании формальная система? В моём понимании — это в первую очередь система, используемая как рабочий инструмент в некоторой теории. Эта система позволяет делать логические суждения, вычислять, является ли некоторый вывод истинным или ложным. Например, с помощью формальной системы можно смоделировать поведение программы и проверить её корректность с некоторой точки зрения (например, корректность типов в Haskell). Теперь же посмотрим на систему анализа настроений. Это несомненно копьютерная система. Но является ли она формальной системой? Она служит для рассуждений в рамках какой-то теории? Нет. Она позволяет делать суждения о правильности или неправильности каких-то выводов? Тоже нет. Такая система не используется никакой теорией (хотя сама использует множество теорий).

                    Есть похожее понятие — формальное описание. Здесь по этимилогии самое близкое слово — формула (уж не знаю, действительно ли одно произошло от другого, но в данном контексте в моём понимании они близки). Формальное описание — это описание чего-то, грубо говоря, с помощью формулы. Это может быть описание тезисов в формальной системе, а может быть описание способа вычисления частоты слова W в тексте T. Формальное описание функций нового iPhone, формальное описание алгоритма рассадки детей в школе и т.д. Всё это системы. Формально описанные системы, но не формальные системы. Формально описанные системы включают в себя формальные системы, но не ограничиваются ими. Судя по гуглю, на данный момент нет чёткого разделения между этими понятиями (возможно то, что я называю формально описанными системами, просто имеет другое название). Почему я использую такое деление и не объединяю формально описанные и формальные системы? Ну, во-первых, потому что я так привык: на основании трудов Кнута и других, внёсших вклад в развитие formal proof systems, у меня сформировалось чёткая ассоциация понятия формальной системы именно с докозательством корректности (например, корректности программ). А во-вторых, разговор начался с теоремы Гёделя, которая касается именно докозательства и опровержения некоторых суждений. Если называть алгоритм быстрой сортировки формальной системой, то как к ней применить теорему о неполноте? Что доказывать? Корректность следования инструкции? Можно, конечно, доказывать корректность построения алгоритма — вот это пожалуйста, но формальной системой в данном случае будет не программа быстрой сортировки, а формальное описание понятия «алгоритм» (Кнут, кстати, как раз и приводит условия, при которых последовательность действий может считаться алгоритмом).

                    Есть ещё одна разновидность систем — системы, основанные на нечёткой логике. Можно ли их считать формальными системами — вопрос хороший, и я на него точный ответ, честно говоря, дать не могу. С одной стороны, это всё ещё логика. С другой, в формальных системах нет такого понятия как частичная истинность высказывания. Ну и теорема Гёделя в условиях нечёткой логики как минимум потребует переформулирования.

                    Надеюсь, на этом противоречия в формулировках закончатся. Теперь по теме.

                    > У машины нет ни этого опыта, ни аналогичного. И нет формальной системы, позволяющей его описать.
                    Экспертные системы — наглядный пример того, как человеческий опыт передаётся машине. Ну и да, экспертные системы формальными тоже не назовёшь.

                    > Для правомерности использования random в модели докажите, что моделируемая сущность — случайный процесс с заданным распределением.
                    Да, в общем-то, это был сарказм. Я имею ввиду, что для выбора таких вещей нет никаких особых предпосылок, а значит любой, даже выбранный наугад вариант, даст удовлетворительные результаты.

                    > А это не влияет на внешность?
                    Влияет. Я ж говорю: влияет на улыбку, сутолость.

                    > Какой и на сколько? Где обоснование перехода качественного в количественное?
                    > Основания? Докажите, что внешность литературного персонажа — случайная величина.
                    Вы, опять же, мыслите так любимыми вами формальными системами. Вам нужно доказывать каждую мелочь. А я смотрю на результат и вижу, что система работает, и мне всё равно, описывается это какой-то математической теорией или нет. Потом, возможно, будет найдено обоснование (как это было с методом SVM, например), но сейчас отсутствие этого обоснования не мешает мне улучшать результаты и создавать интеллектуальные системы.

                    >> Semantic Web вряд ли можно назвать формальной системой
                    > полностью формальна. описывается графом
                    Граф — это ещё не (формальная) система, это способ представления. Формальное описание, если хотите. И нет, формальной системой он точно не станет из-за наполнения его разными людьми и, соответственно, невозможности построить единую формальную систему.

                    > Это какое? Что юмор определяется ненормативной лексикой?
                    «Взрослой» лексикой, вы хотели сказать? Я думаю, подразумевалось немного другое, чем ненормотивная лексика. Пример — «Дорогой, я побрила свою кошечку». Ничего ненормативного, но все вдруг засмущались :)

                    > Хоть одну неформальную компьютерную модель назовите. Хоть одну, не сводимую к логике или к математике.
                    В общем-то, уже называл, но так и быть, повторюсь: экспертные системы, системы анализа настроений, любые производящие системы, любые системы машинного обучения, любые системы, основанные на неклассической логике (например, трёхполярная система передачи данных), большинство языков программирования, да что угодно. Да, возможно они используют формальные системы (математику, операции над числами), возможно формальные системы строятся вокруг них (система верификации корректности программы), но сами эти системы не обладают никакими свойствами формальных.

                    > Реакция индивидуальная. Если человеку не смешно — он не назовет это юмором. И будет ВСЕГДА прав. Оценка, основанная на том, что в соответствии с некоторой статистикой данный текст улыбнет большинство людей, не делает индивидуальную оценку текста человеком неверной.
                    «Эта ручка синяя. 99 человек до меня сказали, что она зелёная, а я вообще дальтоник, но я считаю эту ручку синей и я ПРАВ. Потому что восприятие цвета всегда индивидуально. » Ну и что? Какое дело оставшимся 99% людей до одного дальтоника? Ну хочет он считать, что наша система определения цвета ошиблась — ну ради бога. Всем не угодишь, главное чтобы большинство смогли полноценно пользоваться системой и остались довольны. Системы искусственного интеллекта не ставят перед собой задачу удовлетворить всех, или найти абсолютную истину, или что-то в этом духе. В большинстве случаев они стараются научиться выполнять какую-то задачу так же хорошо, как человек. Если задача в принципе не разрешима (заставить всех 100 человек посмеяться над шуткой), то какой смысл требовать этого от комьютера?

                    > Да что Вы? Про дискретные функции слыхали? Какие данные имеются — такие результаты и требуйте. И какое то имеет отношение к формальным системам?
                    Заданная дискретно функция никак не поможет вам экстраполировать функцию, порадившую этот набор данных. Ваша выверенная формальная система с точно заданными координатами полученных точек абсолютно беспомощна перед задачей продления линии искомой функции. Что вам нужно, так это некая неформальная система, в которой вы предположите, какую форму может иметь функция, примените алгоритм аппроксимации и получите результат. Доказать, что результат правильный, будет невозможно, поскольку результат основан всего лишь на вашей догадке, тем не менее функция найдена и готова к использованию, а значит задача решена.

                    > ну это уже откровенная чушь.
                    См. моё определение формальной системы, пункт про системы на нечёткой логике.
                    • 0
                      Попробую коротко. Алгоритм описывается машиной Тьюринга. Машина Тьюринга — математический формализм, т.е. описание в рамках формальной системы. Вы описываете алгоритмы — следовательно, описываете математический формализм. Это не формальная система — Вы правы. Это описание в рамках некоторой формальной системы.
                      Закон функционирования экспертной системы описывается множеством формул некоторой формальной системы — логики предикатов, нечеткой логики, тер.вера — неважно, и формальным способом представления данных. В совокупности это и есть формальная система (проверьте по определению). Экспертные системы формальны в том смысле, что описаны в рамках некоторой формальной системы.
                      > Можно ли их считать (нечеткие системы) формальными системами
                      Можно. Нечеткая логика обладает всеми свойствами формальной системы.
                      > теорема Гёделя в условиях нечёткой логики как минимум потребует переформулирования
                      нет, не требует. Она относится к любой формальной системе.
                      > Граф — это ещё не (формальная) система, это способ представления
                      нет. это математический формализм. определяется как тройка множеств <V, E, I>
                      , причем на множества V и E ограничений в общем виде не накладывается.
                      > Ничего ненормативного, но все вдруг засмущались
                      Даже не улыбнуло. Я бы не назвал это юмором
                      > В общем-то, уже называл, но так и быть, повторюсь…
                      Все, что Вы перечислили, описывается на языке логики и математики. Я могу все перечисленное описать математически. Формально. А языки программирования — вообще формальные системы по всем пунктам.
                      > Эта ручка синяя…
                      Вы извращаете мои слова. Восприятие цвета, конечно, индивидуально, но сопоставление видимого цвета с понятием универсально. С юмором не так. Системы распознавания «юмора» используют предположение, что фраза, построенная по некоторым правилам, является смешной. Это и есть необоснованное предположение. Еще раз повторю: юмор — свойство ситуации, а не фразы. Если компьютер не моделирует ситуацию, а это выходит за рамки имеющихся возможностей, он не понимает юмор.
                      > Заданная дискретно функция никак не поможет вам экстраполировать функцию, порадившую этот набор данных
                      А ни один уважающий себя исследователь и не будет требовать результатов, больших, чем позволяют исходные данные. Если о характере процесса известно только «несколько точек» — то применять будут либо дискретные функции, либо методы аппроксимации, а также будет установлена погрешность метода.
                      > Что вам нужно, так это некая неформальная система, в которой вы предположите, какую форму может иметь функция, примените алгоритм аппроксимации и получите результат
                      > поскольку результат основан всего лишь на вашей догадке
                      Вы в своем уме вообще? Какая неформальная система предложения формы функции? Есть методы аппроксимации функции. Есть формальные методы, позволяющие выбрать подходящий метод путем анализа характера точек аппроксимируемой кривой. Это все ФОРМАЛЬНЫЕ процедуры. Прочитайте про методы аппроксимации функций, с доказательством соответствующих теорем, и посмотрите, насколько аппроксимация базируется на «ваших догадках».
                      Вы никогда не заведете в вычислительную машину что-либо неформальное. Вычислимая функция ВСЕГДА определяется формально. Поэтому все Ваши аргументы о существовании неформальных систем ИИ просто бредовы.
                      Если Вы не строили модели, я поведую Вам одну истину. Если Вы выдвигаете предположение, Вы должны:
                      1. Доказать его обоснованность
                      2. Определить границы модели, в рамках которых допустимо Ваше предположение
                      Вы игнорируете оба эти пункта, не обосновывая предположения — типа так надо, потому что кто-то так сказал. И, самое главное, не определяете границы действия этих предположений, настаивая на их универсальности. А ВЕРХНЯЯ граница всех Ваших предположений очевидна — все требуемые операции могут быть выполнены в рамках формальной системы, описывающей естественный язык.
                      • 0
                        Я напомню, что формальная система — это не свойство объектов реального мира, это система знаков и правил вывода. Придуманная человеком система. Придуманная с некоторой целью. Как правило, с целью докозательства правдивости или ложности некоторых тезисов. Она может быть применена к некоторой реальной системе (при соблюдении условий применимости, конечно). А может и не быть применена. Если что-то трудно формализуемо, то и ну его нафиг этот формализм. Юмор, на который вы всё время ссылаетесь, — это очень хороший пример. Вы говорите, что использование «взрослой» лексики для классификации является необоснованным. С формальной точки зрения — да, вы правы: нет никаких докозательств, что наличие таких слов вызывает смех. Вся система — неформальна, потому что опирается на интуитивное предположение одного из разработчиков. Но, вы знаете, это работает. И работает на системе с «интуитивными» элементами, без чёткого формально описания.

                        В экспертных системах таким «интуитивным» элементом являются знания эксперта. Они никак не доказуемы — это всего лишь его мнение — тем не менее, они работают.

                        Что касается аппроксимации, то не поверите, но в большинстве руководств по регрессионному анализу прописано «чтобы определить форму аппроксимирующей функции, как правило, рисуют известные точки и на глаз определяют возможную функцию». Серьёзно. Вот прямо так, из общих соображений или из точечного графика или просто наугад выбирается предположительная функция. Потом уже к ней применяются различные формализмы, строится функция квадратов разностей, используются строгие математические правила. Но весь регрессионный анализ при этом формальной системой не становится.

                        Ну и, напоследок, если вы всё ещё считаете, что всё неформальное и «необоснованное» — это зло, вот вам анекдот:

                        Математик и инженер принимают участие в психологическом эксперименте.
                        Их посадили в с одной стороны комнаты и они ждут, не подозревая, что
                        случится потом.
                        Дверь открывается и в комнату входит обнажённая женщина и встаёт вдали
                        от них. Испытуемых предупреждают, что каждый раз, когда они слышат
                        сигнал — они могут пересечь половину расстояния, оставшегося до
                        женщины.
                        Тут же они слышат сигнал, инженер одним прыжком преодолевает половину
                        расстояния, а математик, со скучающим видом остаётся сидеть. Когда и
                        после второго сигнала математик не шевельнулся, инженер
                        поинтересовался, почему он не бежит.
                        — Это от того, что я знаю, что никогда не достигну женщину.
                        Инженер на тот же вопрос ответил так:
                        — Потому что я знаю, что уже очень скоро я буду достаточно близок для
                        любого практического применения!
                        • 0
                          > Но, вы знаете, это работает
                          Нет, это не работает. Потому что не дает НИКАКОГО обоснования, что это — смешно. Я посмотрел ту систему, которая якобы «определяет юмор». Наши с ней мнения расходятся в 80% случаев. Потому что это не модель других характеристик, которые имеют отношение именно к языку, а не к его восприятию (типа «взрослой» лексики). Здесь нет никакого элемента интеллектуальности — простое доказательство утверждения в рамках формальной системы.
                          > В экспертных системах таким «интуитивным» элементом являются знания эксперта
                          ФОРМАЛИЗОВАННЫЕ знания эксперта не являются интуитивным элементом. Они имеют четкое формальное описание с использованием средств логики. Эта система знаний ограничена рамками формальной системы. И выводы этой экспертной системы ограничены рамками соответствующей формальной системы. Еще ни одна экспертная система не дала нового знания и ни в одной области не заменила экспертов.
                          > в большинстве руководств по регрессионному анализу прописано
                          Вы знаете, я неоднократно выполнял регрессинный анализ и что-то не припомню подобного высказывания ни в одном уважаемом издании по данной тематике. Какое к черту построение на глаз функций по точкам в n-мерном «хорошо-если-евклидовом» пространстве. Попробуйте все-таки почитать про методы аппроксимации и про оценку их погрешности. И еще про научные методы исследования было бы неплохо. Регрессионный анализ, как и любая научная теория, дает ФОРМАЛЬНЫЕ методы решения типовых задач. Сам по себе он не является формальной системой, но существует в рамках формальной системы.
                          Вся математика формальна. Если Вы выходите за рамки математики, строите предположения — Вы строите модель своего представления предметной области. Но все равно в рамках формальной системы. Это не интеллектуальность. Это отработка математической функции.
                          Вы не поняли главного, о чем я Вам говорю. Строя алгоритм, вы строите математическую функцию. Вычислимую функцию. Выходя за рамки математики, строя предположения, Вы просто вносите ограничения в модель и выражаете их на языке выбранной формальной системы. Неформальных математических и тем более компьютерных нематериальных моделей в природе не существует. Но семантических средств формальных моделей не достаточно для описания всех условий и ограничений. Когда Вы даете языковое определение — Вы тоже строите формальную модель (любое определение — это модель). Модель ограниченную, за рамки которой машина не может выйти. А Вы требуете именно этого — постороить изображение, выйти за рамки языковой модели. Прежде чем требовать это от компьютера — попробуйте сами однозначно и полно описать картину «Девятый Вал», или даже проще, попробуйте дать определение понятия «кошка», чтобы ее можно было нарисовать без наличия информации другого типа, неязыковой. (Предугадывая Ваши возражения, скажу — прикрепить к этому определению цифровое изображение кошки результатов не даст, потому что ЦИ содержит цифровую, сводимую к текстовой, информацию, а не визуальный образ). А художник сможет. Попробуйте попросить художника описать, как он это делает — он не сможет, потому что операется на то, что выразить языковыми средствами невозможно. А строить достаточное количество (т.е., по сути, бесконечное количество) моделей объектов окружающего мира с достаточным количеством степеней свободы, во-первых, нереально, во-вторых — бессмысленно, потому что количество возможных связей между объектами неисчислимо много.
                          Микеланжело определили процесс создания скульптуры как «Я беру камень и отсекаю все лишнее». И лучше определения и тем более формальной модели Вы не получите.
                          И последнее, на чем я считаю дисскуссию окончательно закрытой. Я ни разу не сказал, что неформальное — это зло. Необоснованное — это зло, любое необоснованное предположение в науке недопустимо. А ИИ — это наука. Ответьте для себе на вопрос: по какому критерию Вы определили, что это анекдот? Почему это смешно? По какой фразе, или, может быть, связям между словами можно сделать вывод, что приведенный текст должен вызвать у читателя смех? Только сформулировав и формализовав этот критерий, Вы сможете создать программу проверки текста на соответствие этому критерию. А если не сможете — так не заявляйте о том, что поставленная задача решаема в рамках существующих методов. И не подменяйте исходную задачу определением других характеристик, корреляция которых с исходными ничем не подтверждена, типа «взрослой лексики». Это подход ненаучный, неинженерный и попросту глупый.
                          • 0
                            > Нет, это не работает. Потому что не дает НИКАКОГО обоснования
                            Видимо, приведённый анекдот тоже вам не показался смешным. «Это работает» значит, что получен положительный результат, который можно использовать в производстве. Но если вы хотите — можете не пользоваться этими результатами и всё делать вручную, потому что это «необоснованно». На этом и закончим.
      • 0
        Для истории, ссылка в тему: вот тут — alizar пишет про успешную работу на тему «воспроизведение компьютером своего образа мира в текстовый образ». Тоже задачка не из простых, и отчасти похожая на обсуждаемую.
        • 0
          Благодарю, очень интересная статья. Однако обратите внимание, что речь идет о преобразовании статистических данных в текст на естественном языке. Я не утверждал, что эта задача нерешаема, напротив, прогресс в этой области очевиден. Но в данной теме мы обсуждали обратную задачу — составление образа на основе естественноязыковой информации. Это взаимообратные задачи. А даже из курса школьной математики (да и из опыта) известно, что чаще всего решение обратных задач значительно сложнее (яркий пример — дифференцирование и интегрирование).
          • 0
            Это не обратная задача. Задачи в одну и ту же сторону: из данных, имеющихся в компьютере, сгенерировать нечто «творческое» — текст ли, картинку ли… Да, с картинками наверное сложнее. Но кажется просто не брался никто пока…
            • 0
              Задача 1: дана полная структурированная информация, включающая числовые данные. построить естественноязыковое описание этих данных. Ограничения целевой функции: компромисс между полнотой и лаконичностью описания.
              Задача 2: дано естественноязыковое описание некоторой сцены реального мира. построить визуальное изображение этой сцены.
              Первая задача подразумевает потерю определенности, вторая — уменьшение неопределенности. Взаимообратные задачи.
              Также задача составления текстового описания изображения решаема (предпринимались попытки, и весьма достойные), а четкого понимания как решить обратную — составление изображения по текстовому описанию — на данный момент нет.
              • 0
                кстати, без поддёвки — у вас есть ссылки на тексты про какие-либо из тех попыток?
                • 0
                  Под рукой нет. Найду — выложу, тема интересная
              • 0
                Ну, если так смотреть — да, в этом аспекте взаимообратные. Но само «добавление определённости» решается рандомом. Сложность же тут не в этом…
                • 0
                  добавление определенности рандомом не решается по определению. Сложность именно в этом — определить тип и степень неопределенности, если стохастическая — характер случайного процесса, подобрать инструмент разрешения неопределенности. Бездумное использование рандома к результатам никогда не приводит.
  • –2
    По моему автор этой статьи говорит сооовсем про другое, не про то что автор оригинальной статьи.
    Монолог из серии «возьмем утверждение А, сделаем вид что оно из области В, а не из области Б, и будем его опровергать»
    • +2
      в исходной статье было слишком категоричное утверждение типа «ни за что и никогда», а здесь приведены возможные пути решения.
      • –3
        Цитата из первого текста: «Cмысл — это изменение внутреннего состояние интерпретатора при воздействии на него сообщения»
        Во этом же тексте: понимание -> обучение -> проверка обучения.

        То есть от первоначальной сути не осталось и следа, а дальше идет классическая манипуляция.
        • +3
          Автор оригинальной статьи не вводит вообще никаких чётких определений и не задаёт критерии оценки того, понял ли компьютер текст. Я делаю это за него, исходя из прагматических соображений и здравого смысла (критерий — умение решать поставленные задачи). В чём тогда несоответствие?
          • 0
            Умение решать поставленные задачи не определяет умеет компьютер понимать или не умеет.

            Попугая можно научить реагировать на слово и интонацию и выполнять требуемые действия, но вы же не ожидаете что попугай при этом понимает? Хотя поставленную задачу решает.

            А на современном уровне развития ИИ умение решать какую-либо задачу всего лишь означает проработку разработчиком предметной области для этой конкретной задачи. Что вы собственно в тексте и выводите (наберем статистику, наберем статистику, наберем статистику...)
            • +2
              Тогда предложите критерий, по которому можно было бы узнать, что компьютер понял данную ему информацию. Вы хотите, чтобы компьютер приобрёл свойство X, но при этом никак не описываете это свойство.
              • 0
                habrahabr.ru/blogs/artificial_intelligence/127061/#comment_4192754 может вот это подойдет?
                • 0
                  Подойдёт. Вполне решаемо, вопрос лишь оперативки и оптимизации (распараллеливании, в частности) упомянутых в статье алгоритмов и баз данных.
                • 0
                  Ну это как раз умение решать конкретные задачи. Задача, кстати, вполне решаема: найти всех героев и связать их упоминания, найти их описание, создать визуальный образ для каждого героя, определить действия — и вуаля! Работы, конечно, навалом, но в целом ничего принципиально невозможного.
                  • 0
                    «найти их описание, создать визуальный образ для каждого героя»
                    Найдите мне, пожалуйста, визуальный образ Антона Городецкого из «Ночного Дозора». Или попробуйте сами (Вы же, безусловно, интеллект) нарисовать выхухоль по описанию из википедии, не заглядывая в иллюстрацию. Задача на текущий момент нерешаема. Максимум, что можно сделать — выбрать из имеющихся тонн картинок максимально подходящую к описанию. И это на пределе сегодняшних возможностей.
                    • 0
                      Описания в Википедии пишут исходя из возможности приложить фотографии или рисунки. Как правило без словесных портретов. А в художественных текстах типа Ночного Дозора словесные портреты как правило есть. Единственное исключение в классике, что мне вспоминается — это произведения Экзюпери, сопровождаемые рисунками автора.

                      А словесный портрет как-раз призван создать в воображении читателя уникальный образ героя из черт, заведомо знакомых любому читателю.
                      • 0
                        Описания в Википедии пишут исходя из возможности приложить фотографии или рисунки
                        Оке, возьмите описание из БСЭ. Там рисунки никогда не предполагались.
                        художественных текстах типа Ночного Дозора словесные портреты как правило есть
                        Вы в следующий раз когда художественный текст читать будете, посмотрите повнимательнее, в каком виде и насколько подробно дается описание персонажей. Во сколько лет дети уверенно читают? В 10 — верхний предел.
                        Но «Войну и Мир» Вы десятилетнему ребенку не дадите и не попросите описать образ Наташи, он «не поймет». Не достаточно социального опыта.
                        словесный портрет как-раз призван создать в воображении читателя уникальный образ героя из черт, заведомо знакомых любому читателю
                        образ, но не визуальный. А Вы говорите о визуализации текстовых описаний. Семантическа текст не эквивалентен изображению.
                        Я не хотел показаться грубым, но Ваши высказывания напомнили мне одного моего препода с кафедры экономики, который заявил «а что трудного сделать программу для выстраивания расписаний? по-моему это очень просто». Над этой задачей бьется не один сильный ВУЗ страны.
                        • 0
                          Задача составления расписания на практике сложна, но решаема. Так же и с составлением визуального образа из описания. Понятно, что нужна база «опыта», нужны некоторые данные о возрасте той же Наташи и времени, когда происходят события. Очевидно, что такую систему на коленке за вечер не напишешь, но принципиальных причин невозможности создать её за некоторое конечное количество времени, с конечным бюджетом и количеством разработчиков, я не вижу.
                          • 0
                            Задача составления расписания на практике сложна, но решаема
                            Чтож, тогда решите ее. В условиях постоянно накапливающейся неопределенности и необходимости постоянно «подстраивать» расписание. От желающих преобрести отбоя не будет. Теорема Ферма с виду тоже просто доказывается.
                            Понятно, что нужна база «опыта», нужны некоторые данные о возрасте той же Наташи и времени, когда происходят события
                            Как все просто! Вот Вам описание Остапа Бендера из «Двеннадцати стульев», все, что касается внешности.
                            "… молодой человек лет двадцати восьми… в зеленом в талию костюме… могучая шей несколько раз обернута старым шерстяным шарфом, ноги были в лаковых штиблетах с замшевым верхом апельсинового цвета… носков под штиблетами не было… в руке держал астролябию"
                            И это все. Рост, телосложение, национальность, прическа, форма носа и бровей, походка? ничего нет. даже если компьютер знает, что такое астролябия, вторая рука на весу или в кармане? Для восполнения такого количества информации не хватит никакой базы знаний в текущей формации этого понятия.
                            Решение таких задач требует чего-то покруче конечного количества разработчиков, конечного бюджета. Требуется, простите за пафос, творчество и, возможно, даже гениальность. Этими свойствами компьютеры не обладают и в ближайшее время обладать не будут
                            • 0
                              В остальном тексте можно добрать немножко деталей, ещё какая-то часть из них придёт от времени действия и исторически реалий, остальное — рандом. И да, база должна быть большая.
                              • 0
                                Остальные детали будут относиться к другому времени повествования, и в «Двеннадцати стульях» других описаний внешности нет. И я привел еще случай довольно подробного описания. Из описание внешности Воробьянинова в романе только «сухощавые ноги» и несколько элементов гардероба. В Дозорах Лукьяненко описания внешности Гродецкого нет вообще, Гесер описывается как человек азиатской внешности. Всегда только детали. Если «достроите» рандомом, получится ерунда, потому что есть элементы окружающей действительности, которые вы не формализуете и не засунете в Базу данных — Ваш «шкурный» опыт. Пример. В книге описывается, как один человек убегает, другой догоняет на фоне быстро разворачивающихся событий. Фигура обоих в тексте не уточняется. По действию Вы понимаете, что человек «спортивного» телосложения, потому что по опыту знаете — человек тучный так бежать в таких условиях не может. Если пытаться формализовать этот опыт — представьте необходимое дерево фактов. Добавьте, что это утверждение вероятностное. Вы никогда не создадите базу знаний достаточной размерности с использованием сегодняшних технологий
                                • 0
                                  Если строить полную семантическую сеть произведения, то все те приметы образа, как способность бегать и разделённость на разные сцены и времена, в образ героя неизбежно войдут. И в базе будет больше фактов об образе, чем способен заметить любой отдельно взятый читатель. Если загрузить в ту же базу произведения от детских сказок и школьных учебников до серьёзной прозы и институтского курса психологии, думаю получится практически столь же полный культурный контекст, на который опирается любой читатель при понимании произведения. Вы ведь его это «шкурным» опытом назвали?

                                  В одной фразе «никогда» и «сегодняшних» смотрятся противоречиво. ;) И я не говорю о сегодняшних технологиях. Я говорю о потенциальной возможности создания подобных технологий завтра (завтра, а не в следующем тысячелетии).

                                  Средства хранения, наполнения, просмотра и анализа семантических сетей сейчас активно разрабатываются множеством команд. Но, конечно, было бы интересно почитать об их успехах и проблемах…
                                  • 0
                                    Фразу читайте внимательнее. Никогда с использованием сегодняшних технологий означает, что решение поставленной задачи имеющимися в наличае на данный момент техническими средствами невозможно.
                                    Семантическую сеть текста действительно создать можно. Хоть завтра. Но Вы читаете произведение не в поиске фактов, а в поиске образов, которые создаются на основании множества фактов. Повторяюсь. Семантически текст не эквивалентен изображению, тезарус любого языка конечен и множество правил композиций конечно.
                                    Под шкурным опытом я понимаю другое. Вы с людьми разговаривать учились по книгам? В носу не ковыряетесь, потому что в книге это прочитали? Или, может быть, чашку чая разбавляете холодной водой, потому что Вам так сказали? Врятли. А это формирует Ваш образ окружающей действительности, который необходим для понимания прочитанного, для заполнения пробелов в создаваемом произведением образе. Булгакова дают в одиннадцатом классе, а не в третьем не потому, что в одиннадцатом лучше читают или лучше знают сталинскую эпоху. Просто у третьеклассников недостаточно того, что называют «жизненным опытом». Это то, что Вы не сможете формализовать и вбить в базу, чтоб «научить» компьютер жизни. Поэтому комп не сможет создать образ из текста также, как художник-человек. У него нет для этого соответствующих органов
                                    • 0
                                      «Образ» — это лишь узел семантической сети. Понятие «визуальный образ» конечно сложнее, но лишь потому что это особый вид информации. Семантическая сеть вполне может иметь связи с визуальными образами и спец-средства их комбинирования и визуализации.

                                      А жизненный опыт — он да, у человека не только из книг берётся. Но подозреваю, что он всё же достаточно отражён в книгах, чтоб можно было создавать достаточно полные семантические сети произведений.
                                      • 0
                                        > «Образ» — это лишь узел семантической сети
                                        неверно, если сеть формируется из текстовой информации. Вы себе противоречите, говоря "«визуальный образ» конечно сложнее". Визульный образ — подмножество образов. Также как и словесный (хотя это, в общем, неверно, так как язык — способ выражения и передачи образа, но не способ его представления). Добавьте к этому наличие понятий, не выражаемых через другие без циклической зависимости.
                                        > он всё же достаточно отражён в книгах
                                        Вы меняете местами причину и следствие. Книжная информация только часть внешнего воздействия, формирующая опыт. И книги отражают лишь очень малую часть человеческого опыта, ту часть, которая обычно не познается каждым индивидуально другими средствами. Более того, информация в книгах всегда (не могу вспомнить ни одного контр-примера) опирается на опыт читателя, а значит не может его описывать полностью
                            • 0
                              Чтож, тогда решите ее.
                              Задача ананологична игре в шахматы: рассматрите все возможные варианты с учётом «функции полезности», которая будет учитывать все констрейнты, пожелания и возможность дальнейшей модификации.

                              Как все просто! Вот Вам описание Остапа Бендера
                              И что вы хотите этим сказать? Что образ не прорисован до деталей, и поэтому компьютер не сможет понять, что именно хотел показать автор? Ну так и человек не сможет в точности повторить в своей голове образ, который имел ввиду автор. Тем не менее на основании предыдущих сведений человек может примерно прикинуть, как выглядит герой. Ну так а кто мешает наделить этими сведениями машину? Кто мешает изучить визуальные образы людей, их поведение, собрать статистику по телодвижениям и т.д? Вы приняли для себя, что это невозможно, и ищете докозательства. А вы попробуйте подойти с другой стороны — подумать, как это можно реализовать. Если есть объективные причины невозможности такой имплементации, то пойдя по второму пути вы их найдёте гораздо быстрее.
                              • 0
                                «Задача ананологична игре в шахматы» и далее по тексту, простите, глупость. Задачи совершенно разной природы — оптимальное поведение в условиях противодействия и многокритериальная оптимизация в условиях неопределенности.
                                Что я имел ввиду, читайте выше в комментах. Человек не повторяет в своей голове визуальный образ героя, ему это не нужно. Я как раз подхожу со стороны «как это можно реализовать». И объективная причина — необходимость передачи машине неформализуемого опыта. Т.е. даже при наличие бесперецедентно большой базы знаний, описывающей все взаимосвязи между событиями и объектами для построения визуального представления сцены литературного произведения потребуется больше, чем логика. Потребуется экстраполяция, основанная на личном опыте. Поведение Остапа Бендера заставляет нас представлять себе его внешность определенным образом, хотя в тексте данные детали отсутствуют, мы их знаем из личного опыта, той статистики, которую Вы никогда не соберете, поскольку отсутствует объективный критерий оценки.
                                • 0
                                  Там выше уже заявляли, что не существует объективных критериев оценки юмора, но исследования в этой области, тем не менее, показали вполне хорошие результаты ;) Я до сих пор не увидел ни одной причины, почему человеческий опыт может быть неформализуем. Да, возможно для данной конкретной задачи на данный момент не существует эффективной модели. Ну так и исследований на тему визуализации текста по книгам я пока не видел. Итак, вопрос к вам: что именно в восприятии человеком внешнего облика героя неформализуемо? В качестве отправной точки можем считать, что у нас уже есть база данных о нескольких десятках людей с признаками их характера, темперамента, шаблонов поведения, актуализации конституции и т.д., плюс соответствующие процедуры для определения этих признаков по текстовому описанию (если, конечно, не в этом, по вашему мнению, основная загвоздка).
                                  • 0
                                    Вот мне тут интересная статья про разные смыслы понимания попалась: www.aselibrary.ru/digital_resources/journal/irr/2010/20102519/201025192600/2010251926002601/
                                    • 0
                                      Спасибо за статью! Она напомнила об одном почти забытом мной направлении искусственного интеллекта — символьных вычислениях. Действительно, семиотика с одной стороны близка к современному состоянию науки о психологии, а с другой стороны довольно просто моделируется компьютерными средствами. Например, некоторое время назад в искусственном интеллекте активно использовался Лисп, и если попробовать переложить описанную в статье модель понимания на этот язык то получаем прямое отображение ментальных0 образов знака в символы, а денотатов — в объекты, связанные с этими символоами. При этом разрешение многозначности происходит аналогично поиску символа в иерархии нейсмпейсов (всё таки, пространство имён — это в первую очередь человеческое, а не компьютерное понятие).
                                  • 0
                                    Вы высказываете два необоснованных предположения:
                                    1. признаки характера и шаблоны поведения сформулированы, полны и допускают однозначную классификацию.
                                    2. существуют формальные процедуры для определения признаков по тексту.
                                    Возможность установления некоторых шаблонных признаков для человека весьма сомнительна, особенно на основе неполной текстовой информации, также, как и то, что эти признаки имеют однозначное влияние на внешность.
                                    Вы также предполагаете, что все значимые признаки указаны явно, что обычно не соответствует истине. Вы можете возразить, что они первичные признаки логически выводимы из вторичных, и это, вероятно, правда. Но представьте глубину логического вывода, даже при том, что машина смогла выделить достаточное количество вторичных признаков. Определите формально процедуру, которая по тексту определяет, что герой с большой тщательностью выполняет все свои действия, притом, что на этом не акцентируется внимание. Читатель, даже не зная слова «педант», вероятно, имел дело с такими людьми и представляет манеру их поведения, стиль одежды, даже элементы внешности. И таких «мелких» деталей огромное множество, благодаря им модель персонажа в сознании читателя эволюционирует. Методов построения таких же сложных моделей на данный момент не существует, Вы максимум сможете построить несколько дифференцированных моделей персонажа, хорошо если совместимых, возможно, иерархию моделей, но очень ограниченную.
                                    Задача, требующая создать визуальный образ сцены литературного произведения, выполнима в очень ограниченных рамках. Вы получите что-то вроде редактора симов, где указанные явно или легко выводимые признаки будут вноситься в модель, а остальные берутся как среднестатистические (причем в понимании автора программы). Ценность такой программы несоизмеримо мала по сравнению с затратами на нее, поскольку результаты суть просто «средняя» модель с некоторыми элементами конкретики, а в общем случае — просто с флуктуациями. Такая программа построит одинаковые модели внешности Антона Городецкого ввиду полного отсутствия его описания (только с косвенными указаниями на примерный возраст) и героя романа «Черновик». Либо будет каждый раз строить случайные модели внешности этих персонажей. В любом случае пользы от такой программы никакой
                                    • 0
                                      1. Не поверите, но психологи уже давно всех классифицировали и выделили признаки. Внешними признакими занимается НЛП и смежные дисциплины.
                                      2. См. статью, мне кажется, я привёл достаточно примеров таких процедур.
                                      • 0
                                        1. Вы правы, не верю. Спросите любого психолога, любая существующая классификация условна, неполна и в лучшем случае определяет самые общие признаки поведения, которые нас мало интересуют.
                                        2. Смешно, простите, ссылаться на столь убогие методы и на их основе делать какие-то выводы о возможности решения поставленной задачи в общем виде. Это как заявлять, что если есть A*, то задача коммивояжера всегда решается — совершенно необосновано.
                                        Если уж Вам так близок «прагматический» подход, то прикиньте следующее. Нет приемлемого решения даже такой простой по сравнению с поставленной Вами задачей, как составление фоторобота по текстовому описанию. Это притом, что такое описание содержит только признаки, имеющие непосредственное отношение к внешности, причем только к лицу.
                                        • 0
                                          кстати, про фоторобот — хорошая задачка, спасибо.
                                        • 0
                                          Все ваши аргументы сводятся к тому, что наше понимание человеческого мышления абсолютно неточное и неправильное (но при этом вы даже не говорите, как же всё на самом деле), алгоритмы слабы и далеки от задачи (при этом вы пока не показали ни одного серьёзного пробела или принципиальной, математически доказанной невозможности что-то сделать), нет достижений в указанных областях (исследований в этих облостях тоже не проводили, но это для вас, видимо, не аргумент) и т.д. Простите, но я не вижу смысла дальше вести эту беседу. Если вас психологические признаки интересуют мало, и если вам смешно использовать современные методы для построения сложных моделей, то никто и не заставляет вас заниматься данной областью науки.
                                          • 0
                                            Исследования в этой области ведутся уже 40 лет. Не бредьте. Математическое обоснование — теорема Геделя о неполноте. Язык — формальная система => система неполная. Вы предлагаете решать задачу в рамках этой системы, или даже в рамках более слабой.
                                            Вы в свою очередь не предложили никакого формализма, позволяющего решить подобную задачу.
                                            Построение сложных моделей — это как раз часть моей профессии, поэтому я кое-что знаю о методах и их ограничениях. Вы похоже не понимаете, что если задача решается в частном — это не значит, что она решается в общем, это нужно доказать. Психологические признаки также меня интересуют, более, я проводил и провожу исследования в области их классификаций и формализации. И опять таки, натыкаюсь на неполноту и неформальность большинства положений и необоснованность многих предположений.
                                            Попробуйте сначала доказать, что решается задача куда менее сложная. В математике именно так делается — существование решения доказывается. А потом уже машите шашкой с криками о близости ИИ.
                                            • 0
                                              Ответил выше, здесь длинна строки стала слишком маленькой.
                                  • 0
                                    Кстати, начсет юмора. Спорящие о возможности его определения, на мой взгляд, говорят о совершенно разных вещах. Если «юмор» понимать как речевые обороты, обладающие свойством «смешно», то они, разумеется, распознаются. Но говоря о юморе в «бытовом» понимании, обычно имеется ввиду, что юмор — это то, что вызывает реакцию «веселье». Поэтому программы распознавания юмора могут показывать результаты лучшее, чем люди, потому что опираются на статистический критерий «смешного», а человек на персональную реакцию. Уверен, что «колобок повесился» компьютер распознает как юмор, а большинство людей даже не улыбнется. С другой стороны, длинную историю про то «как я пьяный сходил в ночной клуб а потом домой возвращался» комп либо проигнорирует, либо будет реагировать на все со словом «пьяный»
              • 0
                Если немного углубиться в «понимание человеком», вылезет взаимосвязь этого «понимания» с отображением на собственное я и с самоосознанием. А самосознание вообще пока феномен-артефакт человеческого интеллекта.
                • 0
                  Ну то есть в Вашем понимании критерием является самосознание, а что такое самосознание опять же непонятно, так? Тогда разговор опять же получается ни о чём: я хочу, чтобы у компьютера появилось самосознание. что такое самосознение? а чёрт его знает.
                  • 0
                    Вот вы и пришли к сути вопроса, чтобы понимать смысл ИИ должен обладать неалгоритмизируемой (по крайней мере на данный момент) характеристикой. А всё описаное в статье лишь попытка эмулировать видимость «понимания» снаружи. Но мы то с вами знаем, что при этом компьютер нифига не понимает, просто ищет по базам данным соответствие и выдает оптимальный вариант выходных данных на входные данные.
                    • 0
                      Голова работает так же. И то же нифига не понимает, просто активируются ассоциации и складывается оптимальный результат выходных данных на входные денные.
                      • 0
                        Еслиб всё было так просто, никто бы не бился над ИИ так долго :)
                        • 0
                          Объёмы не те, и алгоритмы не отработаны ещё… Всё будет.
                      • 0
                        Если только Ваша. Это утверждение полностью противоречит положениям психологии, нейрофизиологии, теории управления и ИИ. В целом — бред
                        • 0
                          А, Вы 89-го года рождения… То-то такой детский переход на личности и безапеляционность :) Больше Вам не возражаю.
                          • 0
                            А Вы 78-го. Но бредовости заявления это не меняет
                        • 0
                          Ммм, ну просвятите нас безграмотных, как же это на самом деле описывает психология, нейрофизиология, теория управления (управления чем, кстати?) и ИИ ;)
                    • 0
                      Так, стоп. Есть система A — человеческий мозг. У него есть свойство X — способность понимать. И есть система B — компьютер. Вопрос в том, может ли B приобрести свойство X аналогично A. Здесь два варианта — X либо определено, либо неопределоно. Я определяю свойство X как способность решать все поставленные задачи (плюс изначальная статья по большей части как раз была посвящена конкретным проблемам). Вы же с таким определением не согласны, оставляя свойство X неопределённым. Но если X неопределено, как можно делать суждения о том, что система B не может приобрести это свойство? Если же вопрос сводится к тому, что такое свойство X (что такое способность понимать), то в рамках IT данный вопрос вообще теряет смысл, и тогда не понятно, чему была посвящена изначальная статья.

                      По поводу же самого человеческого понимания и «эмулирования понимания снаружи». По сути мозг по большей части работает на тех же принципах. На примере того же языка: когда вы строите предложение, собирая его из слов, вы ориентируетесь на то, как говорят другие. Вы можете сказать «картошка эта не нужна тебе», и с точки зрения русского языка это будет корректно. Однако такой порядок построения предложения практически никто не использует, а используют в основном прямой порядок, и вы на основании статистики по похожим предложениями говорите «эта картошка тебе не нужна». Закодирована данная статистика в байтам компьютера или в состоянии синапсов между нейронами мозга — это уже детали не из разряда важных.
                      • 0
                        Я не говорил что система Б не сможет приобрести свойство Х, я лишь сказал что вы изначально упростили свойство «понимания» до «того что забил программист чтобы решить задачу» и дальше манипулируете этим без оглядки на суть понимания.
                        • 0
                          Автор первой статьи не дал чёткого определения понимания, но тем не менее изложил свои размышления на эту тему. Примеры, доказывающие его точку зрения, указывали на конкретные задачи. Я ввёл определение понимания как способности решать эти задачи. Ну потому что совсем без определения получается разговор ни о чём, о неком сферическом понимании в вакууме, а другого определения никто так и не предложил. По-моему всё очень логично :)
                          • 0
                            но при этом вы хитро нигде не упомянули что вы реально сначала сузили суть «понимания» а потом попытались узаконить, что «А» = «видимость А». Если система А обладает внешними признаками системы Б это не значит что внутри система А и система Б одинаковы.
                            • 0
                              Во-первых, «сузить» и «дать определение» — это разные вещи. Во-вторых, я явно ввожу признак, по которому определяю, что B приобрела X. В чём тогда подмена понятий?

                              Впрочем ладно, если по-вашему мнению я ответил не на тот вопрос, которым задавался автор, не буду вас переубеждать.
                      • 0
                        По сути мозг по большей части работает на тех же принципах
                        Да что Вы говорите?! Это какое исследование привело Вас к данной мысли?
                        Я определяю свойство X как способность решать все поставленные задачи
                        Бот для ICQ способен комбинировать варианты фраз и поддерживать внешне разумную беседу больше часа. Проверено. Говорит это о том, что он понимает собеседника? Нет. Он осуществляет манипуляцию символами. С другой стороны, два человека прочитали один анекдот. Первый засмеялся, второй не показал реакции. Второй не понял текста? Опять нет. Определять понимание как способность решать некоторый класс задач совершенно неверно. Любой прилежный ученик старших классов умеет решать квадратные уравнения и знает слово дискриминант. Понимает ли каждый из них это слово? Нет. Рассматривать понимание в отрыве от психики, а психику в отрыве от нейрофизиологии нельзя.
                        • 0
                          Честно говоря, мне уже надоело повторять: если вам не нравится моё определение понимания, предложите своё. А до тех пор я не вижу предмета разговора.
                • +1
                  Самосознание и самоосознание — слова разные, и понятия тоже. Равно как и сами сознание и осознание. Есть ещё сознательное (действие) в противовес бессознательному. И есть ещё само знание. Но в целом, это довольно мутный клубок понятий, из которого слова выскакивают часто невпопад и вперемешку, одно вместо другого.

                  Если попробовать отчистить эти слова от ошибочно приписываемых им смыслов их соседей, и отвлечься от привычного некритического словупотребления, получается следующее:

                  Знание — информация о взаимосвязях и свойствах объектов (ну, и соответственно, о наличии самих объектов), уложенная в вычислительной системе (голове) и готовая к влиянию на выводы.

                  Осознание — это, как правило, образовавшееся внезапно, новых для себя знание, которое заставляет радикально менять ранее сделанные оценки.

                  Самоосознание — «осознание себя». Время от времени происходящее узнавание своих собственных свойств и взаимосвязей. Получение новых знаний о себе, как об объекте знания. Иногда слово самоосознание ошибочно употребляется по отношению к давно имеющимся знанием о себе, в том смысле, что это они вот и есть. Не очень удобное слово из-за двойного «о». Слишком наукообразное. Часто ошибочно подменяется словом «самосознание».

                  Сознание — это вот то, которое человек может потерять — это просто режим взаимодействия с окружающей средой (в противовес обмороку). Удобно считать, что образовано от слова «сознаёт», «получает знания» — т.е. режим, в котором вычислительная система (голова) способна «получать знания».

                  Самосознание — очень популярное, но от этого не менее ошибочное по своей сути слово, собственный смысл которого при пристальном разборе ускользает. Но красивое и удобное — достаточно наукообразное, но не чересчур.

                  Сознательное поведение — это вот уже интереснее. Как и при бессознательном поведении, речь идёт об адекватном взаимодействии с окружающей средой. От бессознательного оно отличается не очень понятно чем. Вот тем самым феноменом-артефактом. По смыслу исходных слов, можно решить, что в бессознательном состоянии человек знаний не приобретает. В целом, похоже на то. Про бессознательное состояние и говорят-то когда уже не помнят, что, почему и как делали и что при этом происходило.

                  Есть занятный побочный эффект в работе механизмов концентрации внимания — внутренняя речь и соответственно внутренний слушатель этой речи, ассоциирующийся у нас с нашим «Я». Вот это вот — действительно феномен-артефакт, мною пока непонятый.

                  А с какого боку к этому феномену-артефакту придёт «понимание», если в него углубляться, я честно говоря не вижу.
                  • 0
                    в обоих случаях я имел ввиду самоосознание, с двумя 'о'. Опечатка.
                    • 0
                      Знать что-то про себя — это полезно, чтоб понимать что-то, что говорят про тебя. К пониманию текстов в целом отношения имеет не больше, чем знание любой другой области.
            • 0
              попугай — понимает.
  • –1
    Вопрос о «правильности» не будет раскрыт никогда. Возможно мы дойдем до того момента, когда ИИ настолько будет развит, что будет решать многие задачи, как человек, но не думаю, что это он полностью познает задачу «мыслить как человек»
    Что есть текст? Это набор слов, которые генерируются в голове у человека исходя из его мыслей, принципов и т.д. Как можно это учесть?
    В любом случае компьютер всегда останется машиной, в которую надо будет все загонять человеком (в голове рисуются непомерные объемы информации, которую нужно где-то хранить и систематизировать, как писал korvindest выше ).
    Конкретно по распознаванию текста не думаю, что когда-нибудь все будет гладко, так как компьютеру (как и Вы описываете) все нужно подавать правильно, тогда он что-то начнет кумекать, но вложить в компьютер Мысль, которая и нужна для понимания и распознавания текстов — думаю невозможно.
  • +1
    Косил косой косой косой.
    • +1
      Морфологический анализатор с таким должен справляться легче, чем человек.
      Ему должны быть известны схемы предложений

      что — кто — [каким -] чем
      что — [каким -] чем — кто

      И определить, что фраза в такие схемы укладывается, довольно несложно. Затем останется сравнить полученные графы понятий и определить, что неоднозначности интерпретации не возникло, и результат готов.
  • +3
    Это всё не имеет ровным счетом никакого отношения к пониманию. Почитайте вот это: ru.wikipedia.org/wiki/Китайская_комната
    • +2
      Ну, в общем-то, поэтому я первым делом и обратил внимание на само слово «понимать». На самом деле человеку в большинстве случаев всё равно, «понимает» ли компьютер то, что он говорит, или просто складывает символы из корзин. Главное, чтобы он мог дать человеку то, что тот просит — найти релевантные документы, подобрать правильный ответ, определить настроение текста и т.д.
      • –1
        Компьютер может определить стилистические особенности текста, никак не настроение. Потому что, настроение неизмеримая величина.

        Вообще автор предложил не совсем понятное деление — текст весёлый и текст грустный. В голову приходят три варианта классификации:

        1. Текст оптимистический/пессимистический.
        2. Положительный/отрицательный (например, отзыв).
        3. Юмористический/серьёзный.


        Нет объективного критерия веселости-грустности, текст может быть пессимистическим и крайне серьезным, но при этом он все равно может быть веселым при прочтении, потому что человек его так понял.

        И кстати, вы прочитали статью — и вам не понятное деление интерпретировали так, как вам показалось правильным. Но ведь это не единственный вариант, так ведь?
        • +1
          Содержание самого понятия «настроение» чрезвычайно размыто. Но думается, что настроение — это все-таки совокупность человеческих состояний и установок. Автор пишет текст, находясь в определенном настроении; текст может передавать определенное настроение читателю. Вряд ли можно говорить о том, что текст обладает каким-то постоянным настроением: все читатели воспринимают тексты по-разному, и при чтении одного и того же текст у разных читателей возникает разное настроение (как это бывает при восприятии поэзии, например).
          • 0
            Безусловно. Именно это и есть изменение состояния интерпретатора, как это было постулировано в исходной статье. Исходя из данного определения, компьютер никогда не сможет понимать текст как его понимает человек. Рассматривать данный вопрос с технической точки зрения по меньшей мере странно, до тех пор пока не появится более точных определений и формулировок. То есть пока вопрос скорее философский, чем технический. По крайней мере так я его понимаю.
            • +1
              Компьютер изменит своё состояние в соответствии с обучением, то есть в соответствии с набором данных и метками классов, которые ему скормит эксперт. Соответственно, угадывать он будет не то, как данный текст воспримет некий абстрактный человек, а то, как его воспримет эксперт, который обучал классификатор. Так что в данном случае он будет принимать решения именно как человек, отдельно взятая личность. А потом найдётся другой компьютер с другим «социальным обученнием», не согласится с первым и они начнут холиварить!
        • 0
          Согласен с Вами. Понимание неотделимо от психики. Именно поэтому есть такие выражения, как «неправильно понял», «не до конца понял», «понял по-своему». Присутствующие в целом считают априори, что при «понимании» имеется какой-либо видимый результат, причем этот результат фактически функция от содержания текста. На мой взгляд это принципиально неверно. Потому что если так, то не было бы столько дебатов на тему «что автор N имел ввиду под фразой M». А современные методы анализа текстов оценивают только синтаксис и стилистику. Это хорошо, но к пониманию текста машиной никакого отношения не имеет.
    • 0
      Там описано общение двух людей; имхо ошибка таких сравнений в том, что они рассматривают комп как человека, а потом ставят вопрос как этим двум людям договорится.
      Для меня там не описано:
      1. В каком виде должны хранится образы/объекты (чтобы их использовать и чтобы между ними протягивать «полезные» (термин ввожу не определяя его) ассоциации); и как их использовать.
      2. Какова цель и подцели системы — просто слово «общение» — это не конкретно и эфимерно настолько, что не подлежит серьезному рассмотрению.
      3. Как сделать систему, чтобы ее деятельность и/или результат на каком-то уровне детализации напоминал человеческую — это уже на мой взгляд чуть конкретнее, но без точного указания «на каком уровне и как машина должна давать результаты схожие с человеком» — это все еще не серьезное требование, а болтовня.

      Имхо вы хотите от логического устройства «чего-то» человеческого, но даже требования не описываете понятным ему языком (логики+математики).
      • 0
        Там описано не общение двух людей, там описано, чем для компьютера являются все скармливаемые ему данные. А именно — ровным счетом ничем.
        Он их не «понимает». Даже не пытается понимать. И не может понять — это принципиально не возможно в нынешней системе. Он просто оперирует этими данными по заранее заданным правилам — это всё, что он может и должен делать.
  • +3
    Я один подумал о «Письме от Sony»?
  • +4
    Хороший ответ на плохую статью! Ещё, на мой взгляд, интересный подход показывает Google со своим переводчиком. Правда в этом случае построенная модель языка будет именно «китайской комнатой», причём которую никто(даже её создатели) не будут понимать.
  • 0
    Поможем компьютерам грамотностью: Доказательство.
    • 0
      Исправил, спасибо.
  • 0
    Это все правда. Действительно существует множество относительно эффективных решений частных случаев интеллектуальных задач, но не существует даже близко универсальной модели мышления. В этом суть проблемы искусственного интеллекта — в том, что это не интеллект во все. Просто текст (или речь) — это самый тесно связанный с мышлением продукт человеческой жизнедеятельности, так сказать протокол взаимодействия человеков, поэтому проблема ИИ применительно к нему стоит наиболее остро.

    В своей статье я имел в виду именно понимание «как человек», ни лучше, ни хуже. То есть, если ИИ ошибается, он должен ошибаться «как человек». Для чего это нужно? Ну, машинный перевод это само собой, но есть еще одна задача. Представьте, издатель получает текст, читает его и понимает, что что-то в нем есть, но вот беда — не формат. То есть понять, как какому жанру он принадлежит, совершенно невозможно, а значит непонятно, как раскручивать нового автора. Так бывает достаточно часто, и в этом случае текст обычно банят. В то же время текст может быть бомбой, но его экономический эффект непредсказуем, потому что нет возможности собрать фокус-группу и провести исследование на разных целевых аудиториях.

    Задумайтесь еще вот о чем (я не упоминал об этом в статье, потому что это не совсем по теме): существует такая теорема Геделя о непоноте. Считая естественный язык формальной системой, можно утверждать, что в нем существует утверждение невыводимое и неопровержимое в рамках естественного языка. Получается, что для формального описания естественного языка нужен язык более мощный, чем естественный, — то есть язык не сводимый к естественному. Существует ли такой? Сможет ли человек его понять?
    • +8
      Вы опять используете словосочетание «понимать как человек», не давая ему чёткого математического/логического/филосовского/какого угодно определения. Вы можете сказать, как сам человек понимает текст? Что представляет из себя человеческое мышление и т.д.? Общепринятых определений для всех этих терминов нет. Тогда спрашивается, а чего вы вообще хотите от комьютера? Вы хотите, чтобы компьютер мог различать эмоции, высказанные в тексте — ну так он уже умеет различать. Вы хотите, чтобы он мог определить правильное значение слова — ну так я Вам дал ключи к тому, как этого добиться. Задача с фокус-группами решается не намного сложнее — соберите возможные группы и выведите ассоциативные правила, какой группе какие тексты нравятся. Да, возможно компьютер будет принимать решения не так, как это делает человек, использовать другие механизмы, но что это меняет? Если Ваша цель — заставить машину справляться с задачами, которые традиционно может решить только человек, то какая разница, как он будет это делать, если он выдаёт правильный результат?

      По поводу теоремы о неполноте. Не уверен, что понятие формальной системы вообще применимо к естественному языку. Хотя бы из-за эволюции самого этого языка. Да и вообще не очень понятно, что значит опровержимое и неопровержимое утверждение по отношению к языку.
      • +2
        Я как раз и хочу, чтобы прежде чем что-либо стало называться «интеллект», этому было дано четкое определение. Я-то не уверен, что это возможно (см. теорема Геделя).

        Вообще, меня всегда забавляло, почему некоторые алгоритмы называются «интеллектуальными»? То есть почему A* — это «интеллектуальный» алгоритм, а сортировка пузырьком — нет. Я не первый год занимаюсь так называемыми «интеллектуальными» алгоритмами и пришел к вот какому определению: «Интеллектуальной может называться любая система, о которой никто не знает, как она работает».

        Искусственный интеллект — это НРО (Неизвестно как Работающий Объект).
        • +1
          Да что ж вам эта теорема покоя не дает?? :) Вон математика сплошь в недоказуемых утверждениях. И ничего, работают, не жалуются.
        • +3
          Слушайте, я что-то совсем запутался в Вашей логике. Сначала Вы говорите, что компьютер никогда не сможет понимать текст, как его понимает человек. А теперь заявляете, что сначала нужно определить, что такое «интеллект» (и, как следствие, «понимание»). Если термин «понимать» ещё не определён, то как Вы делаете выводы относительно понимания компьютером текста?
        • 0
          «ну хотябы потому что поведение А может быть недетерминизованно,
          а пузырек...»


          начал я вам отвечать и понял (ага еще один),
          что в пузырьке тоже есть внешняя функция принятия решений.
          Впрочем отличие действительно в том, что представить как А* сработает на
          конкретных данных, мы не можем в оличие от пузырька.

          Интересная точка зрения.
          • 0
            «в пузырьке тоже есть внешняя функция принятия решений»
            Какая?
        • 0
          Можно поконкретнее раскрыть фразу «Интеллектуальной может называться любая система, о которой никто не знает, как она работает». Не понятно, считаете ли Вы тогда A* интеллектуальным алгоритмом?
    • +1
      Ну и чем вам помешала т.Геделя :) Вы слишком вольно трактуете понятие «язык».

      Во-первых в теореме речь идет сугубо о формальных языках. Естественный язык — это не язык вовсе с точки зрения формального описания. Так что применять теорему Геделя к нему как-то странно.

      Во-вторых, делать вывод о невозможности описать один язык другим притягивая т.Геделя — тоже неверно. Одну контекстно-свободную грамматику я могу свободно выразить через другую, либо через автомат с очередью. В чем проблема-то? :)

      Не сочтите это за упрек. Но все же чтобы быть более объективным почитайте про методы ИИ, а также про формальные языки и грамматики. Понятно, что до человеческого интеллекта нашим методам пока далеко. Но по крайней мере мы стараемся :)
      • 0
        Теорема Геделя — это первое, что вспоминает математик, не верящий в ИИ, когда хочет указать на принципиальную невозможность моделирования сознания алгоритмически. Среди таких математиков есть величайшие умы, такие как тот же Р. Пенроуз. В общем, этот аргумент не я придумал.
        • +1
          Но «умение понимать текст как люди» не равнозначно ИИ.
          К какждому можно подстроиться, хотябы статистически и в конкретных областях.
          Видно прогресс невооружным взглядом.
        • +2
          Вы заставили меня пробежаться по выводам Пенроуза. Но, простите, это не доказательство. Он хорошо иллюстрирует свои идеи, и с помощью черных дыр, и с помощью машин Тьюринга. Но все равно это лишь иллюстрация.

          Он ссылается на нечто, что называет «неалгоритмическим элементом» в сознании. И мол это позволяет выводить мышление за рамки машины тьюринга. Но мне не очень понятно, что такое неалгоритмический элемент. Может быть, я плохо знаю физику. Но даже если он есть, как-то возник в ходе эволюции, я не понимаю почему мы его не можем воссоздать.

          Что касается ссылок «величайшие умы». У Пенроуза достаточно критиков. Да и те же Тьюринг и Гедель придерживались другой точки зрения.
        • 0
          Теорема Геделя далеко не безупречный аргумент противников ИИ. Другой великий математик, Клод Шеннон, на вопрос «могут ли машины думать» ответил: «Конечно. Я же думаю». Утверждение «Получается, что для формального описания естественного языка нужен язык более мощный, чем естественный» неверно, одна формальная система может быть описана в рамках другой, теорема Геделя этому совершенно не мешает.
          Если Вы ставите вопрос «Может ли компьютер понимать язык так же, как человек» — ответ очевиден. Нет. Просто потому, что компьютер не человек. Также как собака не может взять в лапу палку, потому что у нее нет большого пальца. И также как американец не сможет понять слова «недоперипил», потому что он американец. А вот ответ на вопрос, может ли машина понимать текст как-то по-своему, создавать на его основе свой образ действительности, далеко не так очевиден.
    • 0
      это придложение ложь
      подойдет?
  • +2
    ffriend, плюс вам. Сам хотел написать ответ на упоминаемую статью, но поленился.

    Не совсем согласен с выводом, но вцелом я считаю вы правы:
    1 — компьютер не обязан «понимать» текст в человеческом смысле (привет, Серль!).
    2 — человек сам не понимает как он понимает этот текст. думаю, это все те же алгоритмы, только сильно запараллеленые, более сложные и более адаптивные.

    Всем, кто заводит речь о «человеческом понимании для компьютера» рекоммендую учить математику.
  • 0
    хи-хи, так и хочется подытожить: и так, довольные друг-другом они пошли читать сказки роботов (станислав лем) :-)
  • +3
    Как можно убедиться, что система понимает текст правильно, если обычно люди сами не могут понимать его «правильно», т.е. единственно верно? Любой нетривиальный текст будет иметь несколько вариантов толкований. Кто будет судить о правильности понимания текста системой, если нет единого и абсолютного понимания среди создателей такой системы?

    i.e. «Петя встретил Галю на поляне с цветами.»
    • НЛО прилетело и опубликовало эту надпись здесь
    • 0
      Обычно системы обучаются экспертами, то есть людьми, авторитетными в данной предметной области. Оценивают результаты обучения (понимания), соответственно, также сравнением с ответами экспертов.
      • 0
        Иметь авторитет != иметь правильное знание. Возьмите текст на любом языке и двух авторитетных переводчиков — они переведут часть текста по разному. Какой из различающихся вариантов правильный, а какой нет? Если правильны оба, но правильны по разному — возвращаемся к первому вопросу — если вдруг система выдаст ответ, который оба эксперта посчитают неправильными — это может быть неизвестный экспертам правильный вариант. )))
        • +2
          Вообще в большинстве случаев машинное обучение не стремится достигнуть верного результата — оно стремится получить результат, максимально близкий к результату эксперта. Знания эксперта при этом считаются не то, чтобы абсолютно точными, но лучшими возможными. Если даже эксперт не может решить задачу правильно, то чего тогда требовать от машины? (Хотя всё же иногда созданные системы, в силу некоторых причин, обходят по производительности экспертов, чьи знания были использованы.)
          • 0
            С такой формулировкой согласен. Если говорить о том, чтобы система демострировало хоть какое-нибудь понимание текста — такой результат возможен и сейчас. Уточню, что под «пониманием текста» я подразумеваю выделение (частично) смысловой нагрузки или классификация текста по признакам. Абсолюты недостижимы, и пусть так всё и остаётся ))
          • 0
            очень верно сказано. Но оговорка про «в большинстве» тоже весьма уместна — ибо иногда берутся эксперты по правилам вывода, а не по результатам, и в результате обучения этим правилам все с нетерпением ждут, что такого выдаст система, руководствуясь заложенными в неё правилами вывода. И в таких случаях о сравнении результатов с экспертным мнением речи не идёт.
    • 0
      Правильно понять текст — значит выявить до уровня, пригодного к дальнейшему использованию, все возможные его значения.

      Если текст неоднозначен и его можно понять двояко, и именно два значения в сумме будут результатом его правильного понимания, и естественным следствием этого будет необходимость уточнить, что из этих двух значений имелось ввиду. По контексту или путём дополнительных вопросов.

      Правильное понимание текста подразумевает его полное понимание. И поэтому многие ошибки в понимании текстов человеком заключаются в том, что тут он прослушал, тут — не обратил внимания, тут — ослышался, а этого слова просто незнал, но решил сто и фиг с ним, и без него понятно.

      Чтоб такие ошибки в понимании стал совершать компьютер, это надо ещё постараться, сделать алгоритм разбора не тупым и прямолинейным, а особо адаптивным, специально наделив его возможностью делать догадки по неполным текстам.
  • 0
    Вы случайно не в ABBYY работаете? Слышал, что у них есть большие наработки в этом направлении.
    • 0
      Увы, нет. «в этом направлении» — вы имеете ввиду автоматический перевод?
      • 0
        Слышал только про него. Почитайте — о них писали в свете Сколково
        • 0
          Спасибо, почитаю.
  • 0
    Как в прошлом люди, видя в фильмах разные несуществующие технологии вроде электронных газет и телевизоров размеров с портсигар, мечтали дожить до дней когда они станут реальностью (некоторым даже это удалось) так мне теперь, читая такие статьи, безумно хочется дожить до появления ИИ! Очень интересные это вещи. Спасибо за статью.
  • 0
    Потрясающе наивная статья о распознавании юмора [4]. Эти люди думают, что все шутки можно распознать по аллитерациям, антиномиям и словам ниже пояса (adult slang). Есть только одна проблема, как определить, что шутка смешная. А еще они думают, что любая фраза на сайте с тэгом humor является юмором. Святая простота!
    • +8
      А все люди могут понять, что шутка смешная? Я встречал людей, которые выслушав шутку анализировали её, находили причину, почему она смешна остальным, и улыбались если считали причину достаточно весомой.

      Задумайтесь, всего несколько групп исследователей во всём мире занимались проблемой определения юмора в тексте, и при этом они получили > 75% верных ответов. А какой процент шуток может правильно определить среднестатистический человек?
      • 0
        С пониманием юмора все гораздо сложнее, чем в статье описано. Критерии юмора зачастую рационально не объяснимы. Кроме того, зачастую юмор предлагает отсылку к очень сложным культурным контекстам, которые не так-то просто включить в базу знаний. Можно ли выделить четкие признаки юмористичности, например в лимериках Эдварда Лира? или в «Алисе в стране чудес»? или в габровских анекдотах?
  • +1
    «Первым Николай распечатал письмо от Сони», указывая на несколько возможных вариантов перевода слова «распечатал» с совершенно разными значениями. Человек может легко понять, о чём идёт речь, но может ли машина?

    x += i++ + ++i;
    x += ++i + i++;

    зато в этом тексте машина может легко понять, о чём идёт речь, но может ли человек?)
    • 0
      <зануда>В отличие от распечатывания письма, приведенный вами пример — это формализм с полной информацией, да и вообще контекстно-свободная грамматика, если вспомнить Хомского. «Распечатывание письма» же, требует наличия контекста и вообще стоит на ступеньку выше. </зануда>
      • +1
        возможно я не правильно вас понял, в примере — синтаксически корректное выражение (равно как корректно предложение у Толстого с точки зрения правил русского языка), но вырванное из контекста, вызывает проблемы с интерпретацией.

        интерпретация этого выражения спотыкается, в первую очередь, о неопределенность переменных «x» и «i». интерпретатор может поискать их в глобальном контексте, или определить их значения самостоятельно, используя какие-то собственные эвристики (как это делает, скажем, php — с той же степенью неожиданности).
  • +1
    По поводу определения настроения текста:

    1. Во-первых, настроение вряд ли можно приписать тексту. Можно говорить о том, что текст пишется автором, находящимся в определенном настроении и что у читателя по прочтении текста возникает определенное настроение (которое далеко не всегда совпадает с настроением автора). При этом настроение (как это бывает, например, при восприятии поэзии) возникает у каждого свое. Поэтому sentiment analysis сложных текстов (например, произведений художественной литературы) всегда будет довольно поверхностным и неубедительным. Пока что это методология работает только для коротких высказываний.
    2. Во-вторых, для определения эмоциональной тональности текста простого анализа встречающихся в нем лексем недостаточно. Например, так называемый черный юмор как раз построен на том, что слова из «грустного» и «ужасного» словарей вызывают смех, и комический эффект во многом обусловлен экстралингвистическими (невыраженными в тексте факторами). Во многих текстах пародийного характера бывает также. Как компьютер сможет различать такие нюансы?
    3. Для описания эмоционального состояния не существует фиксированных словарей; кроме того, ресурсов человеческого языка для описания многообразия психических переживаний попросту не хватает (например, в устной речи дополнительную информацию можно получить по выражению лица, тембру голоса, интонации). Кроме того, дополнительная экспрессия может создаваться за счет специфического порядка слов, конструкции фраз и т.п.
    4. Большинство текстов (как устных высказываний, так и письменных), с которыми нам приходится иметь дело в жизни, нельзя однозначно свести к какому-то конкретному настроению.

    • +2
      1) Настроение текста — это то настроение, которое этот текст призван вызвать у читателя. Достигается использованием ряда известных приёмов, подбором слов с соответствующей окраской, ритмом ударений и т.п. Все эти признаки вполне формализуемы, и при достаточной базе знаний, вычисляемы.

      2) Экстралингвические факторы в тексте — это что, телепатия? Или лишь намёки на культурный контекст, который у анализирующей системы должен быть в базе знаний?

      3) речь пока шла об анализе письменных текстов. При анализе устной речи в дело включаются системы распознавания аудио-и визуальных контекстов и признаков, в чём вроде тоже нет непреодолимых проблем.

      4) если текст не нацелен на вызов эмоций — его можно оценить как «нейтральный», и это тоже будет вполне уместная оценка его назначения.
      • 0
        1) Автор не всегда может предсказать, какое настроение вызовет текст у читателей. Кроме того, авторы в большинстве случаев не ставят цели вызвать у читателя определенное настроение. Они просто пишут, как подсказывает воображение.
        2) Не только телепатия! Восприятие письменного текста зависит, например, и от его графического представления (размер и цвет шрифта, расположение частей текста на странице и т.п.). Эти эффекты давно уже используются в литературе: вспомните «Каллиграммы» Г. Аполлинера (стихотворения-фигуры), эксперименты с визуальным представлением текста у Джойса и Дос Пассоса, современную визуальную поэзию. Необычная визуальная форма апеллирует к личным ассоциациям читателя. Впрочем, я отвлекся… Ближе к теме: есть у Ника Кейва песня The Curse of Millhaven, в которой речь идет о кровавых событиях в маленьком городке… Там употреблено очень много слов, относящихся к семантическим полям «смерть», «убийство», «безумие»… но песня-то смешная по причине своего пародийного характера! (Комический эффект усиливается наложением мрачного текста на веселую мелодию и издевательскими интонациями голоса) Как в базе знаний описать отличие пародии от не-пародии? (Отсылкой к культурным контекстом тут дело не ограничивается).
        3) Типичное ситуация: почувствовал одно, написал другое — а читатели видят третье! Не могут слова описать все нюансы наших переживаний!
        4) повседневные диалоги представляют собой поток самых разных эмоций; они не нейтральны, но их нельзя однозначно маркировать как позитивные/негативные
        • 0
          1. Ну если читатель не всегда может понять, какое настроние хотел передать автор, то какие претензии могут быть к компьютеру? Ещё раз повторюсь: в большинстве случаев подобные системы нацелены на моделирование поведения некоторого человека — эксперта или группы экспертов, чьи оценки были использованы для обучения. Если эксперт воспринимает текст не так, как того хотел автор, то и обученная система будет воспринимать его неверно. И тут ещё вопрос, кто — автор текста или эксперт — будут более «объективны» при оценке текста (вспомнить хотя бы обнаружение флирта на экспресс-свидяниях, когда обученный классификатор гораздо точнее определял настроение собеседника).

          2. Примерно так же, как распознаётся ирония. «Эта статья такая, да… правильная ;)» — лексически одобрительное предложение, хотя на самом деле автор высказывает в иронической форме своё неодобрение. Маркерами при распознавании иронии в данном случае является смайл, троеточие и форма предложения. Очень часто маркерами являются восклицательное предложения и междометия («О да, это такааая классная статья!»). Ну и пр. и пр. Думаю, для чёрного юмора подберётся не меньше признаков.

          3. См. пункт 1.
          4. См. пункт 1.
        • 0
          Автор это не предсказывает, а планирует. Осознанно или нет — это уже отдельный вопрос. Ошибаются ли при этом или нет — тоже. Глубокий автор и осознаёт и не ошибается.

          В случаях, когда в ход идут визуальные эффекты — нужно подключать системы анализа изображений. Думаю, после становления текстовых они пойдут как грибы.

          В случае песенки — наверняка есть множество слов и выражений, дающих тот самый комический эффект. Если там музыка заводная и игривая — см. пункт про не текстовые эффекты.

          3 — непрофессионализм: невладение речью либо незнание контекста целевой аудитории. Бывает… А при чём здесь машинное понимание текста?

          4 — кроме позитив/нейтраль/негатив возможны и другие более чёткие и применимые оценки. Кроме того, однозначно маркировать одной оценкой разнородный объект очень часто нельзя, там можно говорить лишь об усреднённых оценках. А точные и не нужны никому, ибо бессмысленны.
  • 0
    Имхо, «понимать» (не текст, разумеется (и тем более не его настроение и эмоции) а слово, термин, определение) есть способность:
    1. Иметь связи между другими определениями (и оценивать разницу между ними), причем связи с описанием (определением) какого типа эта связь; определение/описанием типа связи/связки/линка должно быть описано в рамках системы и по ее правилам.
    2. "Применять" — иметь базу информации или возможность ее расчитать/спрогнозировать — по теме/на предмет: как изменится ситуация с термином/определением при применении к нему какого-то действия: как изменятся его аттрибуты, связи с другими объектами или способы его применения/взаимодействия.
    3. и «Планировать» — то есть создавать виртуальную модель из графа предположений и/или изменений объектов/терминов после их взаимодействия или применения к ним каких-то модификаторов.

    … Как простейший пример — если написать программу, которая будет не калькулятором, но сможет быть научена складывать (а может еще и вычитать) объекты и уметь выводить их сумму в десятичной форме — тогда по моему пониманию она будет их «понимать» — объекты, их количество и (возможные) взаимодействия между ними.
    Прелесть отличия от жестко спрограммированного калькулятора в том, что такая система теоретически может развиваться дальше; но возникают вопросы (и «ножницы»): насколько сильно ей можно «помочь» в начале (вмешавшись в «самоформирование ее личности»), и (с другой стороны) — как сильно ей можно позволять заблуждаться в своих предположениях — как далеко разрешить ей заходить, используя (наверняка напрасно) время и память.
  • 0
    чувствую мне уже самому программу в мозгу пора менять. осознал тест как «напечатал письмо от Sony» и только в конце понял что это было женское имя :)

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.