Пользователь
0,0
рейтинг
8 июня 2012 в 10:42

Основы подхода к построению универсального интеллекта. Часть 2

Часть 1.

Краткий анализ существующих подходов к сильному ИИ.


Когнитивные архитектуры.

При создании сильного ИИ естественно воспроизводить, если не все детали работы человеческого мозга, то, по крайней мере, те функции, которые он выполняет. В противном случае, очень сложно быть уверенным, что создается именно интеллект. Именно такую цель и преследуют когнитивные архитектуры, которые объединяют такие функции, как обучение, память, планирование и т.д., то есть все (или почти все) то, что есть в естественном интеллекте. Это и делает когнитивные архитектуры столь привлекательными и популярными.
Однако само по себе желание наделить компьютер всеми теми же когнитивными функциями, которые есть у человека, не говорит о том, как это правильно сделать. В результате к настоящему моменту разработано множество когнитивных архитектур, ряд из которых нередко позиционируется как путь к построению сильного ИИ. К ним, в частности, относится такие популярные у «строителей сильного ИИ» архитектуры, как Soar и ACT-R.
Многие архитектуры зачастую отталкиваются от феноменологии высших когнитивных функций человеческого разума. Однако из-за отсутствия полного понимания природы этих функций и требований к ним их реализации оказываются во многом произвольными.
Нередко даже построение подобных архитектур ведется в рамках традиционного символьного подхода, моделирующего лишь «вершину айсберга» человеческого мышления. Тем не менее, нередко производится и попытка построения ахритектур, воспроизводящих не только высокоуровневые, но и низкоуровневые функции (т.н. эмерджентные архитектуры). Более того, исследователи ИИ хорошо понимают необходимость объединения символьных и субсимвольных уровней и разработку гибридных архитектур, а также необходимость построения воплощенных систем (являющихся ключевыми, в частности, для получения семантической основы понятий), которые в сугубо символьных архитектурах реализовывать весьма проблематично (см. [Duch et al., 2008] в качестве обзора).
Тем не менее, отмечается [Duch et al., 2008], что весьма нечасто удается применять для решения реальных задач, не говоря уже о том, чтобы масштабировать до уровня автономного поведения в реальном мире. Так почему же когнитивные архитектуры не привели к существенному прогрессу в области сильного ИИ? Ответ на этот вопрос уже дан выше.
Эти системы, вероятнее всего, обречены на неуниверсальность, поскольку собираются из слабых компонент. Это, видимо, относится и к таким системам, исходно позиционировавшимся в качестве систем общего интеллекта, как Novamente (описание которой дано в [Goertzel and Pennachin, 2007]). Конечно, не исключена возможность внесения свойства универсальности как расширения той или иной архитектуры (в конце концов, универсальность интеллекта вряд ли можно приписывать большинству животных, а, значит, она появилась как эволюционная надстройка над более частными формами интеллекта). Тем не менее, такой путь нам представляется более трудоемким и менее оптимальным.

Подход на основе ресурсных ограничений.

Данный подход отталкивается от следующего определения, данного П. Вангом [Wang, 2007]:
Intelligence is the capacity of a system to adapt to its environment while operating with insufficient knowledge and resources, где адаптация (как способность учиться на опыте) является достаточно обычным требованием, тогда как основные особенности подхода выводятся из недостатка ресурсов и знаний (поскольку, когда ресурсов и информации достаточно, могут использоваться и не вполне интеллектуальные методы). Как следствие, в рамках этого подхода строится вариант категориальной логики для учета нечеткости знаний, а также предлагается распределенная система манипулирования знаниями, в которой учитывается ограниченность вычислительных ресурсов.
При этом автор предлагает разделять понятия «интеллектуальный» и «эффективно интеллектуальный». Такое разделение представляется вполне справедливым и отражает то интуитивное впечатление, что, например, шахматная программа, работающая методом «грубой силы», является интеллектуальной не в том же смысле, в котором является интеллектуальным шахматист.
Хотя с самим принципом эффективного интеллекта можно согласиться, данный конкретный подход вряд ли может стать основой для построения СИИ: в нем упускается те аспекты интеллекта, которые выявлены в универсальных алгоритмических моделях и в когнитивных архитектурах. Иными словами, сам тезис о необходимости ресурсных ограничений не говорит о том, как правильно их вводить.
В частности, это видно из того факта, что П. Ванг ввел как основополагающий принцип также недостаток знаний у агента. Недостаток знаний, конечно же, важен, но он вполне учитывается в (критикуемых Вангом) моделях универсального алгоритмического интеллекта, которые включают не только поиск в пространстве действий, но и универсальный индуктивный вывод, для которого учет нечеткости знаний является не основополагающим принципом, а лишь эвристикой для упрощения перебора моделей (что будет продемонстрировано позднее).
В итоге в рамках этого подхода разработана лишь частная когнитивная архитектура, не обладающая принципиальными преимуществами по сравнению с прочими, хотя систематическое следование принципам ограниченности ресурсов и обладает значительной эвристической силой.

Универсальный алгоритмический интеллект.

Сама идея данного подхода известна давно, но получил он признание сравнительно недавно в основном через работы [Hutter, 2001], [Schmidhuber, 2003] и другие работы этих авторов. В его рамках основной упор делается на модели универсальной индукции Соломонова, включенные в систему выбора действий в окружающей среде для максимизации некоторой оценивающей функции.
Здесь анализ начинается с простой универсальной модели, на которую не накладываются ресурсные ограничения. Первый шаг нашего подхода аналогичен, так как мы полагаем, что свойство универсальности крайне желательно сразу вводить в модель универсального ИИ и поддерживать сохранение этого свойства при развитии модели, которое осуществляется путем ввода ресурсных ограничений.
В современных версиях рассматриваемых подходов ресурсные ограничения также вводятся, но с сохранением максимальной непредвзятости универсального ИИ, что позволяет строить общие модели самооптимизации.
Такой учет ограничений на ресурсы, однако, не вполне достаточен. Можно сказать, что он требует воспроизводства целиком эволюции, которая также начиналась как универсальный самооптимизирующийся поиск без какой-либо априорной информации. Очевидно, чтобы становление подобного универсального интеллекта могло быть осуществлено за обозримое время, необходимо в него закладывать как достаточно большой объем априорной информации о структуре внешнего мира, так и эвристики для сокращения перебора вариантов моделей и действий. Эти эвристики как раз можно почерпнуть из феноменологии когнитивных функций естественного интеллекта. С другой стороны, в сильный ИИ нерационально вручную закладывать слишком большой объем специфичных знаний, которые он может почерпнуть самостоятельно (чем грешат такие проекты, как, например, Cyc). Очевидно, необходимо достижение оптимального компромисса между этими двумя крайностями.
Помимо этого, отдельный вопрос для обсуждения заключается в том, а действительно ли представленные модели являются универсальными. Для этого необходимо тщательно сравнить гипотетические возможности этих моделей с возможностями человека. Отчасти такие сравнения проводятся (например, [Hutter, 2005]), хотя их нельзя назвать бесспорными или исчерпывающими. Тем не менее, сомнения в действительной универсальности этих моделей вполне можно выдвинуть, что будет показано при анализе нашей собственной модели универсального алгоритмического интеллекта.
Сейчас отметим лишь одно из таких сомнений, которое заключается в том, что интеллект лишь в нулевом приближении можно свести к максимизации априорно заданной целевой функции. Ведь если, скажем, задача интеллекта заключается в обеспечении выживания, то априорно заданная целевая функция (базирующаяся, скажем, на эмоциональных оценках) может быть лишь грубой эвристической аппроксимацией цели выживания. Это означает необходимость существования специальных механизмов, позволяющих каким-то образом уточнять целевую функцию в онтогенезе. Здесь можно привести следующую аналогию с шахматами. Пусть один интеллектуальный агент может сыграть только одну партию. Имея ограниченные вычислительные ресурсы, он не может осуществить полный перебор вариантов, чтобы предсказать победу или поражение. Рождаясь с минимумом априорных знаний о мире, он не может иметь сложную целевую функцию, которая бы позволяла эффективно отсекать неперспективные варианты на дереве игры. Исходная целевая функция может опираться лишь на какие-то непосредственно воспринимаемые стимулы, скажем на суммарную силу фигур (дающую ощущение боли и удовольствия при потере своей фигуры или съедении фигуры соперника). В процессе взросления (игры) агент может построить более сложные понятия, но самостоятельно (не прожив жизнь целиком) он в принципе не сможет определить, как на основе этих понятий можно улучшить целевую функцию. Эту информацию ему, однако, могут дать другие агенты, но только при условии, что имеется некий хороший механизм модификации целевой функции. Этот аспект имеет отношение и к проблеме дружественного ИИ…

Подход на основе обучения целевым функциям.

Проблема обучения целевым функциям иногда рассматривается в качестве основополагающей при построении сильного ИИ (или, точнее, дружественного ИИ [Yudkowsky, 2011]). В рамках этого подхода совершенно справедливо замечается, что максимизация априорной целевой функции недостаточна для того, чтобы искусственный интеллект оказался универсальным, особенно, в части эффективного (и желаемого) взаимодействия с социальным окружением, которое является таким же элементом объективной реальности, как и физическое окружение.
Проблема наделения ИИ способностью к модификации собственной целевой функции нетривиальна в силу того, что не ясно, как целевая функция может оптимизироваться, если не под управлением другой целевой функции (или каких-то других априорных механизмов). Важность возможности модификации целевой функции связана не только с тем, что это необходимо для полноценной универсальности агента, но и с тем, что ИИ, стремящийся к максимизации априорной целевой функции вполне может найти такие действия, оптимальные с точки зрения этой функции, которые окажутся крайне нежелательными для людей [Yudkowsky, 2011]. Хотя важность этих аспектов бесспорна, их рассмотрение вне конкретных моделей универсального интеллекта не позволяет наметить путь создания сильного ИИ (а, скорее, задает некоторые ограничения на пути его создания), поэтому данный подход следует считать комплементарным другим подходам. Возможность модификации целевой функции необходимо предусмотреть в архитектуре универсального интеллектуального агента, хотя в целом это можно рассматривать на том же уровне, что и другие когнитивные функции, а именно, как специфическую эвристику повышения эффективности развития «младенческого» ИИ до уровня «взрослого» ИИ.

Адаптивное поведение, самоорганизация и бионика в целом.

Существует большое направление исследований в области сильного ИИ, связанное с бионическим подходом. Здесь выделяются попытки (см., напр., [Garis, 2007] [Red’ko, 2007]) моделирования мозга на разных уровнях детальности, воспроизведения адаптивного поведения, начиная с простейших его форм к более сложным, моделирования эволюции, самоорганизации в целом. Зачастую этот подход носит имитационный характер и достаточно жестко противопоставляется алгоритмическому подходу, из-за чего оказывается недостаточно глубоким. В частности, разные имитационные модели эволюции и самоорганизации не приводят к неограниченному развитию по той простой причине, что их авторы даже не пытаются рассматривать вопросы, связанные с вычислительной сложностью решаемых оптимизационных проблем и алгоритмической полнотой тех форм поведения, которые в принципе могут получиться в ходе этого моделирования. Из-за этого весьма сомнительно, что бионический подход сам по себе может привести к созданию сильного ИИ. Однако в то же время он может служить важным источником продуктивных идей, пренебрегать которым было бы слишком расточительно.

Выводы.

Как видно, разные существующие подходы к сильному ИИ не столько противоречат друг другу, сколько рассматривают разные аспекты проблемы универсального ИИ, в связи с чем необходимо осуществлять их объединение. Естественно, существует и множество интеграционных подходов, пытающихся выполнить синтез разных имеющихся систем и методов, поэтому идея интеграции в целом не нова. Однако зачастую эта интеграция ограничивается объединением слабых методов, либо же частичным расширением универсальных алгоритмических моделей ИИ. Недостаточная «глубина» интеграции видна по тому факту, что сторонники перечисленных подходов предпочитают их противопоставлять друг другу, критикуя недостатки конкурентных подходов. Здесь же речь идет, скорее, о разработке нового подхода, осуществляющего учет основных ранее полученных результатов и идей на гораздо более глубоком концептуальном уровне (при этом, правда, далеко не всегда легко установить связь между разными подходами).
Необходимо начать с простейших моделей в случае неограниченных ресурсов; убедиться в их универсальности или установить, чего не хватает для ее достижения, что может быть учтено впоследствии. Далее следует рассмотреть универсальные модели с ограничением на вычислительные ресурсы. Такие модели могут быть также относительно просты, но должны включать самооптимизацию. Далее должна вводиться априорная информация о свойствах мира (наиболее общие из которых обусловят особенности когнитивной архитектуры) для сокращения времени становления ИИ, то есть приобретения им автономности.

Литература.

(McCarthy, 2005) McCarthy J. The Future of AI—A Manifesto // AI Magazine. 2005. V. 26. No 4. P. 39.
(Nilsson, 2005a) Nilsson N.J. Reconsiderations // AI Magazine. 2005. V. 26. No 4. P. 36–38.
(Nilsson, 2005b) Nilsson N.J. Human-Level Artificial Intelligence? Be Serious! // AI Magazine. 2005. V. 26. No 4. P. 68–75.
(Brachman, 2005) Brachman R. Getting Back to “The Very Idea” // AI Magazine. 2005. V. 26. No 4. P. 48–50.
(Bobrow, 2005) Bobrow D.G. AAAI: It’s Time for Large-Scale Systems // AI Magazine. 2005. V. 26. No 4. P. 40–41.
(Cassimatis et al., 2006) Cassimatis N., Mueller E.T., Winston P.H. Achieving Human-Level Intelligence through Integrated Systems and Research // AI Magazine. 2006. V. 27. No 2. P. 12–14.
(Langley, 2006) Langley P. Cognitive Architectures and General Intelligent Systems // AI Magazine. 2006. V. 27. No 2. P. 33–44.
(Cassimatis, 2006) Cassimatis N.L. A Cognitive Substrate for Achieving Human-Level Intelligence // AI Magazine. 2006. V. 27. No 2. P. 45–56.
(Jones and Wray, 2006) Jones R.M., Wray R.E. Comparative Analysis of Frameworks for Knowledge-Intensive Intelligent Agents // AI Magazine. 2006. V. 27. No 2. P. 57-70.
(Cohen 2005) Cohen P.R. If Not Turing’s Test, Then What? // AI Magazine. 2005. V. 26. No 4. P. 61–67.
(Hall, 2008) J Storrs Hall. Engineering Utopia // Frontiers in Artificial Intelligence and Applications (Proc. 1st AGI Conference). 2008. V. 171. P. 460–467.
(Pankov, 2008) Pankov S. A computational approximation to the AIXI model // Frontiers in Artificial Intelligence and Applications (Proc. 1st AGI Conference). 2008. V. 171. P. 256–267.
(Duch et al., 2008) Duch W., Oentaryo R.J., Pasquier M. Cognitive Architectures: Where Do We Go from Here // Frontiers in Artificial Intelligence and Applications (Proc. 1st AGI Conference). 2008. V. 171. P. 122–136.
(Yudkowsky, 2011) Yudkowsky E. Complex Value Systems n Friendly AI // Proc. Artificial General Intelligence – 4th International Conference, AGI 2011, Mountain View, CA, USA, August 3-6, 2011. Lecture Notes in Computer Science 6830. Springer. 2011. P. 388–393.
(Kurzweil, 2005) Kurzweil R. The Singularity is Near. Viking, 2005.
(Solomonoff, 1964) Solomonoff R.J. A formal theory of inductive inference: parts 1 and 2. Information and Control. 1964. V. 7. P. 1–22, 224–254.
(Schmidhuber, 2003) Schmidhuber J. The new AI: General & sound & relevant for physics. Technical Report TR IDSIA-04-03, Version 1.0, cs.AI/0302012 v1, IDSIA. 2003.
(Hutter, 2001) Hutter M. Towards a universal theory of artificial intelligence based on algorithmic probability and sequential decisions. In Proc. 12th European Conf. on Machine Learning (ECML-2001), volume 2167 of LNAI, Springer, Berlin. 2001.
(Hutter, 2005) Hutter M. Universal Artificial Intelligence. Sequential Decisions Based on Algorithmic Probability / Springer. 2005. 278 p.
(Wang, 2007) Wang P. The Logic of Intelligence // in Artificial General Intelligence. Cognitive Technologies, B. Goertzel and C. Pennachin (Eds.). Springer. 2007. P. 31–62.
(Schmidhuber, 2007) Schmidhuber J. Gödel Machines: Fully Self-Referential Optimal Universal Self-improvers // in Artificial General Intelligence. Cognitive Technologies, B. Goertzel and C. Pennachin (Eds.). Springer. 2007. P. 199–226.
(Hutter, 2007) Hutter M. Universal Algorithmic Intelligence: A Mathematical Top→Down Approach // in Artificial General Intelligence. Cognitive Technologies, B. Goertzel and C. Pennachin (Eds.). Springer. 2007. P. 227–290.
(Goertzel and Pennachin, 2007) Goertzel B., Pennachin C. The Novamente Artificial Intelligence Engine // in Artificial General Intelligence. Cognitive Technologies, B. Goertzel and C. Pennachin (Eds.). Springer. 2007. P. 63–130.
(Garis, 2007) Hugo de Garis. Artificial Brains // in Artificial General Intelligence. Cognitive Technologies, B. Goertzel and C. Pennachin (Eds.). Springer. 2007. P. 159–174
(Red’ko, 2007) Red’ko V.G. The Natural Way to Artificial Intelligence // in Artificial General Intelligence. Cognitive Technologies, B. Goertzel and C. Pennachin (Eds.). Springer. 2007. P. 327–352.
@aideus
карма
63,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (30)

  • +2
    При взгляде на такой список литературы становится понятно, почему в википедии его делают мелким шрифтом (и несколько колонок).
  • +4
    Все-таки я ждал после первой статьи, что будет какая-то конкретика. Почему бы Вам в комментариях не ответить на простой вопрос: по какому пути, на ваш взгляд, должны развиваться исследования в области ИИ? Алгоритмы обучения+планирования+оптимизации? Бионика и самоорганизующиеся сети? Имитация формальной логики? Я понимаю, что перечислил «вчерашние» методы, но вы-то расскажите нам без наукообразия о новых.
    • +3
      Такой простой вопрос стоит десяти сложных.
      Исследования в области ИИ должны развиваться по пути достижения универсальности системами ИИ, о чем, собственно, и была статья. Эта универсальность относится ко всем указанными Вами методам (естественно, сами задачи, решаемые этими методами, не окажутся «вчерашними»). Скажем, все современные системы машинного обучения неуниверсальны в том плане, что могут выявить в данных заранее ограниченный набор закономерностей. Именно поэтому толпе исследователей приходится мучиться и под каждую конкретную задачу подстраивать те или иные алгоритмы обучения. Также и модели самоорганизующихся систем никогда не будут неограниченно развиваться, пока эти модели будут неуниверсальными в том, что в них в принципе могут порождаться структуры заранее фиксированного вида. Это отчетливо видно на всех попытках моделирования эволюции или создания каких-нибудь самоорганизующихся нейронных сетей. Все это остается лишь частными инструментами, самостоятельность которых, утрированно говоря, не многим больше, чем у сливного бочка.
      Здесь можно провести такую аналогию. Компьютер является универсальной машиной в том смысле, что может выполнить любой мыслимый алгоритм. Этим он принципиально отличается от автоматизированных систем прошлых веков, каждая из которых физически воплощала некий отдельный алгоритм. Возникновение компьютеров стало возможным благодаря тому, что математики строго определили понятие алгоритма и вывели понятие универсальной машины. При этом компьютер универсален, но полностью неавтономен: алгоритмы для него пишут программисты.
      Так вот, универсальный искусственный интеллект так относится к современным системам ИИ, как компьютер относится к механическим устройствам прошлых веков. И так же, как создание компьютеров стало возможным после конструктивного определения универсальной машины, выполняющей любые алгоритмы, создание универсального ИИ станет возможным после конструктивного определения универсальной машины, порождающей любые алгоритмы.
      • +1
        Ну вот есть попытка сформулировать универсальный принцип «темпоральные кортикальные» или как их там сети Хокинса. Можно прочитать публикацию, понять подходы, оценить. Пенроуз подробно описывает свое видение теории вопроса и обосновывает невозможность алгоритмического подхода к созданию ИИ. Даже Онотоле Вассерман понятно излагает свою позицию по данному вопросу. А вы не делитесь наработками, поэтому все оценивают ваши статьи как реферат по филосне 2-го курса техвуза. Уверен, что на самом деле вы опытный специалист и в сжатом виде сформулировали выводы, к которым пришли за годы практической работы в области ИИ. Но выводы эти оказываются банальными без конкретных примеров, подходов и проч.

        • 0
          У Хокинса и Пенроуза — книги, причем достаточно наукообразные. У нас это начало. Если взять введение в какой-нибудь книге и оценивать его само по себе, то впечатление, понятно, будет совершенно не таким, как в рамках всей книги. Естественно, мы планируем продолжать и «делиться наработками». Пока эти наработки нигде не опубликованы. Но есть более частные предварительные результаты (правда, относящиеся к сильному ИИ косвенно).
          Что касается доказуемости, то Пенроуз и Хокинс создают лишь ее видимость. Тот же Пенроуз в более ранней своей книге категорично доказывал, что нейроны — квантовые компьютеры, которые за линейное время решают NP-полные задачи, тогда как в более поздней книге столь же «убедительно» стал говорить, что они совершают невычислимые операции. Тем не менее, множество людей ему до сих пор верят.
          Подход же Хокинса был исходно обречен на неудачу (в плане создания сильного ИИ), поскольку его модель иерархической темпоральной памяти не способна выявлять произвольные закономерности. Но, опять же, его обоснования убеждают многих людей (как, наверное, и самого автора).
          • 0
            Люди верят Пенроузу (!) потому что алгоритмическая природа сознания действительно выглядит нелепо. Конечно, его недавние идеи о том, что квантовые вычисления происходят в каких-то ресничках вокруг аксонов, немножко не убедительны, но в целом хочется верить в непознанное. Я имею в виду, что квантовые вычисления в мозгу со всей их атрибутикой типа параллельных вселенных можно со спокойной совестью приравнять к божественной сущности человека, записать в непознаваемые явления и успокоиться. Но я верю ему, когда он показывает отличия алгоритма от сознания.

            По поводу Хокинса, при первом прочтении, конечно меня его книга захватила: «Вот оно!» При втором, особенно когда он привел скромные результаты экспериментов распознавания графических примитивов, я был настроен уже более скептично, потому что такие же результаты дают хорошо известные методы типа svn или нейронных сетей. Но глобальная идея мне нравится: критерием верности ассоциации является совпадение предсказанного и действительного отклика, а если ассоциация не найдена в текущем уровне иерархии, она ищется на более высоком уровне вплоть до таламуса или как его там.

            Под конкретикой я имел в виду не детальное раскрытие алгоритмов или т.п. Вами, а понятное и доступное изложение базовых идей, которые Вы считаете правильными.

      • 0
        > все современные системы машинного обучения неуниверсальны в том плане, что могут выявить в данных заранее ограниченный набор закономерностей. Именно поэтому толпе исследователей приходится мучиться и под каждую конкретную задачу подстраивать те или иные алгоритмы обучения.… Это отчетливо видно на всех попытках моделирования эволюции или создания каких-нибудь самоорганизующихся нейронных сетей

        Отсюда давайте поподробнее. Возьмем перцептрон Розенблатта — он как раз является универсальным в том, смысле, что может быть обучен любой задаче — о какой тогда не универсальности говорите вы?
        • 0
          Спасибо за конкретный вопрос!
          Универсальность перцептрона Розенблатта (или, вернее, многослойных сетей прямого распространения) — это какое-то универсальное заблуждение, которое кроме, как массовым гипнозом, сложно по-другому объяснить. Да, Колмогоров доказал теорему об аппроксимации функций многих переменных композицией функций одной переменной. Да, эту теорему можно применить к перцептронам. Но какой в этом смысл? Также и полиномами мы любую гладкую функцию на ограниченном интервале можем аппроксимировать с любой наперед заданной точностью. Это замечательно, но что это означает с точки зрения машинного обучения? Во-первых, в машинном обучении у нас всегда конечная обучающая выборка. Точная аппроксимация точек обучающей выборки вовсе не гарантирует точного предсказания значений в новых точках. Более того, напротив, повышение точности аппроксимации в таких случаях ведет к ухудшению точности предсказания. Это классический эффект чрезмерно близкой подгонки или переобучения, который свойственен и перцептронам. Перцептроны приходится недообучать, прерывать их обучение, оставляя точность на обучающей выборке конечной. Во-вторых, чтобы теорема Колмогорова была выполнена, нам нужна потенциально бесконечная обучающая выборка. В математике это не проблема, но на практике как-то выглядит сомнительно. Так откуда берется переобучение или требование к большим выборкам? Из неуниверсальности перцептрона! На полиномах эту проблему проще продемонстрировать. Если у нас есть экспонента, которую мы хотим аппроксимировать полиномами, то для заданной обучающей выборки мы всегда сможем найти полином, который точно пройдет через заданные точки. Но вне заданного интервала ошибка будет накапливаться экспоненциально быстро. Экспонента представима бесконечным полиномиальным рядом, для чего нужна бесконечная обучающая выборка, чтобы восстановить этот ряд. На практике это невозможно, и экспонента ничем другим, кроме экспоненты, заменена быть не может. Так вот, алгоритмически полное пространство моделей эту экспоненту содержит (и ее описание укладывается в полторы сотни байт). То есть, имея конечное и не очень большое число точек мы сможем восстановить именно экспоненту и погрешность предсказания будет, если и не нулевой при наличии шумов, то очень низкой. Вот в этом и заключается универсальность алгоритмической индукции и неуниверсальность перцептронов и прочих эвристических методов.
          • 0
            Раз Вы заговорили о перцептроне Розенблата в рамках аппроксимации функций Колмогоровым и как сетях прямого распространения есть подозрения, что по перцептроном вы понимаете MLP+BackProp, это не перцептрон Розенблатта. Об этом я писал тут Перцептрон Розенблатта — что забыто и придумано историей?. Проблемы переобучения у перцептрона Розенблатта нет (а вот у MLP+BackProp — действительно есть, но это недостатки алгоритма).

            То, что вы говорите о необходимости больших обучающих выборок — это правильно. И тут две части:
            1. Без большой статистики — предсказания никакими статистическими методами не возможно. Собственно, человек есть тоже статистический предсказатель и способности человека предсказывать — сильно завышены, он это делает даже хуже чем текущие статистические методы, так как не может одновременно учитывать много параметров. А там где он предсказывает он использует достаточно большую обучающую выборку.
            2. Если же оставить вопросы предсказания, то способности перцептронов заканчиваются там, где начинается необходимость различать инвариантность. Если же посмотреть на эту проблему с другой стороны — то окажется, что это проблема не умения обобщать — выявлять в той же обучающей выборке закономерности, и строить законы. Т.е. самостоятельно уменьшать обучающую выборку.

            Поэтому действительно проблемы у перцептронов есть, но это не говорит о их не универсальности. Это лишь говорит о том, что до сих пор не решена проблема обобщения в общем виде.
            • 0
              Причем справедливости ради надо сказать, что даже у простейшего перцептрона Розенблатта — есть зачатки к обобщений — как проевление способности сжатия, где то в 50-70%. Т.е. обучающую выборку он может уменьшить не более чем вдвое-втрое, чего мало. Далее как в сжатии изображений начинаются потери и неточности работы на обучающей выборке. И вот именно тут он не может выбросить те данные из обучающей выборки которые лишние. Можно даже применять методы главных компонент, но это не позволит построить нужный закон для сокращения обучающей выборки (нахождения ключевых точек обобщения).
            • +1
              Ну или вот конкретные общеизвестные (для специалистов) данные. Есть 10 рукописных цифр, стоит задача их распознать. Требуется обучающая выборка в 60000 вариантов написания, т.е. в среднем по 5000 на цифру. Тогда ИНС может достичь точности в 90-95%, и при этом уменьшит обучающую выборку где-то в 10 раз, т.е. сделает достаточно не плохое обобщение. Но не достаточное — т.к. человеку (ребенку) сравнительно нужно около всего 5-10 вариантов написания, чтобы затем устойчиво узнавать соответствующую цифру.
              • 0
                И это при том, что исключены варианты существенных геометрический преобразований.
            • +2
              это не перцептрон Розенблатта
              Да, конечно; просто возникло подозрение, что вы о MLP. Но если вы об исходном перцептроне, пусть будет о нем. Разницы в контексте нашего разговора почти нет.

              Без большой статистики — предсказания никакими статистическими методами не возможно.
              Именно! А алгоритмической индукцией — возможно.

              способности человека предсказывать — сильно завышены
              Это как раз полностью понятно, если принять, что человек работает в универсальном пространстве моделей, поэтому ему сложнее, чем тем неуниверсальным методам, которые он создает под конкретную задачу. Только и всего.

              способности перцептронов заканчиваются там, где начинается необходимость различать инвариантности. Если же посмотреть на эту проблему с другой стороны — то окажется, что это проблема не умения обобщать — выявлять в той же обучающей выборке закономерности, и строить законы.
              Совершенно верно. Вы же сами все понимаете! В этом и заключается неуниверсальность — в неспособности выявлять произвольные закономерности. Перцептрон работать в ограниченном пространстве закономерностей, поэтому что-то «сжимать» умеет, но до универсального метода обучения он не расширяется.
              Анализ главных компонент также неуниверсальный метод, так как выясляет только закономерности частных типов.

              Поэтому действительно проблемы у перцептронов есть, но это не говорит о их не универсальности. Это лишь говорит о том, что до сих пор не решена проблема обобщения в общем виде.
              Да в теории решена она еще в 1960-х годах! Но все на это закрывают глаза, потому что непонятно, как эту теорию применить на практике (а у нас, как раз, есть результаты в этом направлении).
              • 0
                > а у нас, как раз, есть результаты в этом направлении

                Так рассказывайте. С этого то и надо начинать :)
              • 0
                > а у нас

                А может раскроете вот это «у нас» — кого? Кафедре в институте, коммерческой фирме, группе активистов?
                • 0
                  Сейчас, скорее, группа активистов ( aideus.ru; на сайте, кстати, есть некие предшествующие материалы, хотя подход к сильному ИИ в целом пока еще не представлен ).
                  • 0
                    Вы могли дать определение термина «смысл», то есть, описать своими словами своё понимание, что такое «смысл»?
                    • +2
                      Смысл — многозначное и многоплановое понятие. Но, коротко говоря, смысл символов (элементов мышления верхнего уровня) — это их соотнесенность с внешним миром, а смысл данных (элементарной сенсорики и моторики) — включенность их описаний в общую модель мира.
                      • –2
                        Поскольку ИИ обязан ПОНИМАТЬ смысл естественно-язычного текста (речи), то разработчики ОБЯЗАНЫ ЗНАТЬ, что такое смысл. Иначе, каким образом детище (ИИ) будет знать то, чего не знает его создатель (программер)?

                        Теперь, судя по приведенному Вами определению термина «смысл», создаётся впечатление, что Вы путаете это понятие с термином «семантис» или «значение». Будь это в отношении [символов], [элементов] или [данных], с которыми Вы связали дефиницию для слова «смысл».

                        У каждого слова (графемы) или символа есть своё ЗНАЧЕНИЕ. Иногда их бывает несколько. Тогда это полисемия, то есть, несколько семантисов, или омонимия.

                        Вы считаете, что в словах скрывается смысл? Тогда любой двуязычный словарь должен быть полон смыслов. Сколько слов, столько и смыслов? Но это не так!
                        • +1
                          Я считаю, вам ответили достаточно точно. Но возможно не расширено. Из слов

                          > смысл символов — это их соотнесенность с внешним миром

                          совершенно не следует, что ТОЛЬКО в словах скрывается смысл. Об этом достаточно подробно писал С. Лем. Смысл появляется тогда когда есть устройство интерпретирующие символы как свои ощущения от внешнего мира — это и будет смысл для этого устройства.

                          Смысла вообще не существует. А смысл для устройства «человек» — это то как его мозг трактует набор слов (предложение) с внешним миром, данным в ощущениях.

                          Для устройства «компьютер» — смысл это совсем другое — это то как его процессор преобразует машинные коды в соответствии с алгоритмом данным человеком.

                          Если же мы хотим, чтобы смысл «компьютера» стал ближе к смыслу «человека» — уберите отличия, если получится.
                          • +1
                            <Смысла вообще не существует...>
                            Согласно теории мышления человека, каждый индивид оперирует в своём сознании некими МЫСЛЕФОРМАМИ, из которых он слагает свои МЫСЛИ и затем с помощью ЯЗЫКА передаёт их другому гомо сапиенсу. Последний с помощью имеющихся в его памяти мыслеформ в виде тех или иных моделей поведения объектов (МПО), приобретенных в ходе его жизненного опыта, ДЕКОДИРУЕТ языковое сообщение (текст или речь), через ПОНИМАНИЕ его смысла.
                            Если смысла «вообще не существует», то и понимать, вроде, нечего.
                            Дилемма, однако.
                            • +1
                              Нет у нас общепризнанной теории мышления, а все эти мыслеформы, мысли и т.д. — неудачная лирика.

                              Понимания вообще тоже невозможно. Понимание — есть осознание устройством смысла, происходящие путем любой вербализации.

                              Поэтому понимать можно только в рамках физического устройства.

                              и тогда действительно, если нет устройства, то и понимать действительно нечего и некому. А как только появляется устройство — то для него возникает тот или иной смысл, а не вообще.
                        • 0
                          Cybersoph, в таком случае просьба к Вам более точно задавать вопросы, а то их смысл остается неясным. На вопрос об определении термина «смысл» на удивление точный общий ответ дает википедия. Если Вы просите дать определение этого понятия в каком-то более узком контексте, сформулируйте этот контекст.

                          Касательно вопроса:
                          Вы считаете, что в словах скрывается смысл? — смысл скрывается в отображении слов на элементы внеязыковой реальности. Это отображение обычно выполняется концептуальной системой человеческого разума (не всегда удачно). Но ничто не мешает ее также выполнять и когнитивным архитектурам воплощенных интеллектуальных агентов.
                          • 0
                            Люди понимают смысл языковых сообщений с помощью МПО. При этом если МПО понятна, то и смысл понятен. И наоборот, например, «звук видит запах вкуса». Здесь нет понятной модели, значит нет и смысла. Поэтому фраза: «смысл скрывается в отображении слов на элементы внеязыковой реальности» — не вызывает в моем сознании никаких понятных моделей. Значит, для меня нет смысла, хотя для других, возможно, и есть.
                          • НЛО прилетело и опубликовало эту надпись здесь
  • 0
    Большое спасибо за обе статьи, открыло глаза на многие проблемы и уже решенные вещи. Забавно что где то о 40% озвученных проблем и решений я уже размышлял…
  • 0
    Меня интересует
    «Адаптивное поведение, самоорганизация и бионика в целом.»
    Есть у Вас ссылки на работы, исследования, практические примеры? Очень интересно.
    • 0
      Область эта слишком обширна, чтобы дать определенные рекомендации.
      Но из базового, если вдруг не читали, можно назвать:
      «От моделей поведения к искусственному интеллекту» (под ред. Редько В.Г.)

      А так, можно начать отсюда:
      bicasociety.org/
      «The Biologically Inspired Cognitive Architectures Society, or BICA Society, is a recently formed nonprofit organization. The purpose of the Society is to promote and facilitate the transdisciplinary study of biologically inspired cognitive architectures (BICA), in particular, aiming at the emergence of a unifying, generally accepted framework for the design, characterization and implementation of human-level cognitive architectures.»
      Там есть и материалы конференций.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.