Презентация книг Редько В. Г. Эволюция, нейронные сети, интеллект. Модели и

В. Г. «Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной

кибернетики», УРСС, 2005 «От моделей поведения к искусственному интеллекту» (под ред. Редько В.Г.), УРСС, 2006

конференции Simulation of Adaptive Behavior (SAB’06), Рим, 25 сент. -1

окт. 2006.

объекту в природе?

но, тем не менее, верно, если я скажу: рассудок не

черпает свои законы (a
priori) из природы, а предписывает их ей».

И. Кант. Пролегомены ко всякой будущей метафизике, могущей появиться как наука, 1783 г.
«Наши категории и формы восприятия, данные до индивидуального опыта, адаптированы к внешнему миру точно по той же причине, по какой копыто лошади адаптировано к почве степи и плавник рыбы адаптирован к воде до того, как рыба вылупится из икринки»
К. Лоренц. Кантовская доктрина априорного в свете современной биологии, 1941 г.

органически возникло в неразрывной и постоянной причинно-следственной связи с законами

окружающей природы, — точно так же, как это было с человеческим мозгом?

Не были бы законы разума, необходимые для априорного мышления, иными, если бы они сформировались иным историческим способом и если бы мы, следовательно, были оснащены иным типом нервной системы?

И вообще, возможно ли, чтобы законы нашего когнитивного аппарата не были связаны с законами реального внешнего мира?

Остается ли орган, развившийся в постоянном взаимодействии с законами природы, настолько независимым, чтобы можно было строить теорию явлений независимо от существования вещи в себе?»

К. Лоренц. Кантовская доктрина априорного в свете современной биологии, 1941 г.

и компьютерных моделей когнитивной эволюции, эволюции познавательных свойств биологических организмов

Проследить весь путь биологической эволюции от простейших до человека, анализируя c помощью моделей, как на этом пути возникали свойства познания закономерностей природы в результате развития систем управления адаптивным поведением организмов.
Разумно использовать задел направлений исследований «Адаптивное поведение»

стратегия исследований в области биоинформатики?
Информатика + Биология – науки 21

века, что на стыке?

аспекты проблемы происхождения жизни 2. Проблема происхождения интеллекта человека. Гносеологический

аспект – почему мышление человека применимо к познанию природы, почему в принципе возможна наука? 3. Проблема эволюции человечества в информационном сообществе (применение многоагентного моделирования). Проблема формирования ноосферы Первые две проблемы – фундаментальные, третья – прикладная

Философские предпосылки эволюционной кибернетики Глава 2. Модели возникновения молекулярно-генетических кибернетических

систем Глава 3. Общие модели молекулярно-генетической эволюции Глава 4. Прикладное эволюционное моделирование Глава 5. Искусственные нейронные сети Глава 6. Направление исследований "Искусственная жизнь" – эволюционные и нейросетевые методы Глава 7. Направление исследований "Адаптивное поведение"

– эволюция простейших РНК-цепочек (М. Эйген, 1971) Модель гиперциклов –

модель кооперации РНК и ферментов (М. Эйген, П. Шустер, 1979) Модель сайзеров – модель самовоспроизводящейся системы, модель простейшей протоклетки (В.А. Ратнер, В.В. Шамин, 1980) Адаптивный сайзер – модель молекулярно-генетической системы управления на предбиологическом уровне (В.Г. Редько, 1986) Возможный сценарий возникновения самовоспроизводящейся молекулярно-генетической системы живой клетки:

Дж. Эдельман
Рассматривается дарвиновская эволюция популяции модельных геномов. Длина генома

равна N, учитываются точечные мутации, скрещивания нет
Имеется один оптимум. Рассматривается процесс, который сходится к квазивиду – распределению особей в окрестности оптимума.
Сделаны аналитические оценки, которые демонстрируют, что в эволюционном процессе «оптимальный» геном длины N можно найти при испытании порядка N 2 особей
Оценки проверены путем компьютерного моделирования.

... , Sn .
Ski = 1, -1; k =

1,2,…, n; i = 1,2,…, N.
Длина последовательностей N и численность популяции n велики: N, n >> 1. N = const, n = const.
Имеется оптимальная последовательность Sm , имеющая максимальную приспособленность. Приспособленность произвольной особи S определяется расстоянием по Хеммингу (S, Sm) между S и Sm (числом несовпадающих символов в соответствующих позициях последовательностей):
 
f(S) = exp[-(S, Sm)], (1)
                                                                                           
 – интенсивность отбора.

(0)}. Для каждого k = 1, ..., n, и для

каждого  i = 1 , ..., N , выбираем случайно символ Ski , полагая его равным +1 либо -1.

Шаг 1. Отбор
Подшаг 1.1.   Расчет приспособленностей. Для каждого Sk из {Sk(t)} вычисляем величину f(Sk), t – номер поколения, k =1, ..., n.
Подшаг 1.2. Формирование новой популяции {Sk(t+1)}. Отбираем n особей в новую популяцию {Sk(t+1)} с вероятностями, пропорциональными f(Sk).

Шаг 2. Мутации особей в новой популяции. Для каждого k = 1, ..., n, для каждого i = 1, ..., N, меняем знак Ski(t+1) на  противоположный с вероятностью P .
P - интенсивность мутаций.

l fl ]-1 , fk = f(Sk) .
Ровно n

раз крутим рулетку, номер сектора определяет номер особи, выбираемой в популяцию следующего поколения.
Для каждого вращения вероятность k-й особи попасть в следующее поколение пропорциональна ее приспособленности fk .

Показан пример, для которого n = 4,
f1 = 1/2, f2 = 1, f3 = 1/4, f4 = 1/4.

- интенсивность отбора
P - интенсивность мутаций

N, n >> 1, 

> PN, PN < 1

 =1, P = 0,002

к нормальному, = N/2, D = N/4.
На первой

стадии происходит отбор особей, расположенных "на левом крыле" исходного распределения, и распределение сжимается.
На второй стадии появление новых особей в популяции ограничено мутациями.
Окончательное распределение есть квазивид - распределение в окрестности  = 0.
При малых интенсивностях отбора и мутаций (1 >>  > PN) распределение в квазивиде близко к распределению Пуассона, <>  = D = PN/ .

стадия
t1 < t2 < t3

процесс существенно стохастический и особи могут фиксироваться в популяции случайно,

независимо от их приспособленностей.
Роль нейтрального отбора исследовалась в работах М. Кимуры [1], было показано, что характерное время Tn (число поколений) нейтрального отбора составляет порядка численности популяции n

1. Кимура М. Молекулярная эволюция: теория нейтральности. М.: Мир, 1985, 400 с.

T ,    (2)

T - характерное время эволюции, Tn  ~ n .

Характерное

время  t-1,  за которое среднее по популяции расстояние до оптимума <> уменьшается на 1, составляет:

t-1 ~ tм  + tот , tм ~ (NP) -1 , tот  ~ b -1

tм – характерное время мутаций , tот - характерное время отбора.

Отсюда для T ~  t-1 N имеем:

T  ~ P -1   + N -1.                                                                     (3)

Считаем отбор достаточно интенсивным: T  ~ P -1 и мутации «оптимальными» (одна мутация на геном) P ~ N -1. Тогда T  ~ N.
Пусть (2) выполняется на пределе Tn  ~ T , тогда n ~ Tn  ~ T ~ N.

Общее число особей, участвующих в эволюции, равно n T ~ N 2

процессе поиска оптимального генома, составляет nобщ = n T ~

N 2

Оценки были сделаны при достаточно разумном выборе параметров:

1)  >= 1 - интенсивность отбора достаточно велика

2) P ~ N -1 - мутации «оптимальны» (одна мутация на геном)

3) n ~ N - условие пренебрежения нейтральным отбором выполняется «на пределе»

P = N -1,  = 1), (Ю.Р. Цой, 2005)

от N (Ю.Р. Цой, 2005)

от N
При достаточно больших N имеем:

TR (N) = kRN

+ TR0

TS (N) = kSN + TS0,

где kR = 0,1772, kS = 0,3903

TR0 = 8.2709, TS0 = 38.7356

Аналитическая оценка T ~ N

участвующих в процессе поиска оптимального генома, составляет nобщ = n

T ~ N 2

(n ~ N, P ~ N -1,  >= 1)

Для последовательного поиска (последовательный перебор символов одной последовательности) nобщ   = N.

Для случайного перебора nобщ   = 2N .

может рассматриваться только как очень грубое приближение. Тем не менее,

сопоставим цифры.
Для бактерии E-coli число нуклеотидов равно 4·106, т.е. порядка N =107 бит, для человека число нуклеотидов равно 3·109, т.е. порядка N =1010 бит.
Жизнь бактерии ~ 1 час.
«Оптимальную» бактерию в популяции 107 особей можно найти за 1000 лет.
Жизнь млекопитающего ~ 1 год.
«Оптимального» млекопитающего в популяции 1010 особей можно найти за 1010 лет.

Полученные оценки дают аргументы в пользу возможности происхождения организмов путем дарвиновской эволюции.

– эволюция простейших РНК-цепочек (М. Эйген, 1971) Модель гиперциклов –

модель кооперации РНК и ферментов (М. Эйген, П. Шустер, 1979) Модель сайзеров – модель самовоспроизводящейся системы, модель простейшей протоклетки (В.А. Ратнер, В.В. Шамин, 1980) Адаптивный сайзер – модель молекулярно-генетической системы управления на предбиологическом уровне (В.Г. Редько, 1986) Возможный сценарий возникновения самовоспроизводящейся молекулярно-генетической системы живой клетки:

П. Шустер, 1979)
Структура гиперцикла Ii – РНК матрицы, Ei

– ферменты репликации (i = 1,2,...,n)

i-я РНК кодирует i-й фермент Ei; ферменты циклически катализируют репликацию РНК

РНК и ферменты кооперативно обеспечивают примитивную трансляцию

1980)
I – полинуклеотидная матрица, Ei – ферменты/белки. E1 – фермент

репликации , E2 – фермент трансляции, E3 , ..., En –другие ферменты/белки

мини-сайзера (слева) и адаптивного сайзера (справа) I – полинуклеотидная матрица, E1

, E2 , E3 и E4 – фермент репликации, фермент трансляции, фермент-регулятор и фермент-адаптер Регулирование синтеза фермента-адаптера E4 – аналогично схеме Жакоба и Моно

животного и робота
Первая конференция: Париж, 1990 г. (Ж.-А.

Мейер, С. Вильсон)
Основной подход – конструирование и исследование искусственных (в виде компьютерной программы или робота) "организмов" (аниматов, агентов), способных приспосабливаться к внешней среде.
ANIMAL + ROBOT = ANIMAT
Программа-минимум – исследовать архитектуры и принципы функционирования, которые позволяют животным или роботам жить и действовать в переменной внешней среде.
Программа-максимум – попытаться проанализировать эволюцию когнитивных способностей животных и эволюционное происхождение человеческого интеллекта.
Предшественники: М.Л. Цетлин, М.М. Бонгард. Гаазе-Рапопорт М.Г., Поспелов Д.А. От амебы до робота: модели поведения. М.: Наука, 1987.

SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06)
25-30 September 2006, Roma, Italy

анимат-подхода Ж.-А. Мейер)
Широкий спектр исследований адаптивных роботов и адаптивного поведения

животных.
Подход AnimatLab предполагает, что система управления анимата может формироваться и модифицироваться посредством
1) обучения,
2) индивидуального развития (онтогенеза) и
3) эволюции.
http://animatlab.lip6.fr/index.en.html

Пфейфер)
Основной подход – познание природы интеллекта путем его создания

("understanding by building").
Подход включает в себя
1) построение моделей биологических систем,
2) исследование общих принципов естественного интеллекта животных и человека,
3) использование этих принципов при конструировании роботов и других искусственных интеллектуальных систем.
Pfeifer R., Scheier C., Understanding Intelligence. MIT Press, 1999.
http://www.ifi.unizh.ch/groups/ailab/

наук и технологий
(Рим, руководитель Стефано Нолфи)
Исследования в области

эволюционной роботики и принципов формирования адаптивного поведения.

Nolfi S., Floreano D. Evolutionary Robotics: The Biology, Intelligence, and Technology of Self-Organizing Machines. Cambridge, MA: MIT Press/Bradford Books, 2000.
http://gral.ip.rm.cnr.it/

лаборатории – исследовать и воспроизвести принципы, которые позволяют живым и

искусственным организмам приспосабливаться к переменной и неизвестной внешней среде

Особый акцент на исследование взаимодействий в коллективах роботов


http://lis.epfl.ch

поколения моделей мозга:
Darwin-1, Darwin-2, …, Darwin-XI

NOMAD: Neurally Organized Mobile

Adaptive Device:
http://vesicle.nsi.edu/nomad/

1. The device needs to be situated in a physical environment
2. The device needs to engage in a behavioral task
3. The device’s behavior must be controlled by a simulated nervous system having a design that reflects the brain’s architecture and dynamics
4. The behavior of the device and the activity of its simulated nervous system must allow comparisons with empirical data

90000 нейронов,

1.4·106 синапсов
Neuroinformatics, 2005, Vol.3, No 3, PP. 197-221

анимат-подхода
А.А. Жданов. Схемы и модели автономного адаптивного управления на базе

аппарата эмоций. Накопление знаний - одна главных компонент адаптивного управления
А.И. Самарин. Самообучающиеся роботы (с 1970-х годов)
К.В. Анохин. Нейробиологические подходы к исследованию аниматов
Л.А. Станкевич. Первые в России антропоморфные роботы. Нейрологические архитектуры систем управления гуманоидных роботов на базе когнитивных агентов
В.Г. Редько, М.С. Бурцев, О.П. Мосалов. Модели адаптивного поведения на базе эволюционных и нейросетевых подходов

базе теории ФС
П.К. Анохина

(Редько В.Г., Анохин К.В., Бурцев М.С.,

Манолов А.И., Мосалов О.П., Непомнящих В.А., Прохоров Д.В.)

обстановочная афферентация

распространения ошибки. Есть предсказание будущих ситуаций, обучение – уточнение предсказаний
2004

– Архитектура на основе метода нейросетевых адаптивных критиков. Есть предсказание будущих ситуаций, есть оценка качества предсказываемых ситуаций. Обучение – на основе методов теории обучения с подкреплением
2006 – Архитектура на основе нейросетевых модулей, каждый из которых состоит из 1) Контроллера и 2) Модели. Контроллер формирует действия, Модель обеспечивает предсказание. Адаптация происходит путем 1) обучения и эволюции.

систем (ФС) в эволюции, индивидуальном развитии и обучении
В нашей

модели:
Эволюция – источник «первичного» репертуара адаптивного поведения
Обучение – источник «вторичного» репертуара адаптивного поведения
Архитектура системы управления модульная, каждый модуль – отдельная ФС, каждый такт времени t (t = 0,1,2,…) активна только одна ФС, в которой формируется текущее действие и прогноз результата действия. После выполнения действия и прогноза активная ФС передает управление другой ФС.

и наказаниями (отрицательное подкрепление).

Есть два режима обучения: грубый поиск и

тонкая доводка.

Грубый поиск происходит при существенном рассогласовании прогноза и результата. Тонкая доводка – в остальных случаях.

При грубом поиске происходит реорганизация связей между ФС и формирование новых ФС, этот режим включает существенную случайную составляющую.

В режиме тонкой доводки обучение происходит путем настройки весов синапсов нейронных сетей в ФС, активной в текущий момент времени, и в ФС, бывших активными несколько предыдущих тактов времени. При этом усиливаются/ослабляются связи между входом и выходом в нейронных сетях Контроллеров при положительном/отрицательном подкреплении. Также происходит уточнение прогнозов, формируемых в нейронных сетях Моделей.

архитектуре «Мозга анимата» предназначены для познания закономерностей взаимодействия анимата с

внешней средой.

В науке мы строим модели Природы. Пример: уравнения Максвелла – модель электродинамический явлений.

Как перейти от познания простых закономерностей к познанию законов природы?

Возможно ли проследить генезис научных моделей на основе исследований архитектур, подобных «Мозгу анимата»?

когнитивной эволюции
Природа естественного интеллекта (интеллект необходим для организации поведения)
Модели социальных

систем

Робототехника

Искусственный интеллект

Редько, УРСС, 2006)
Часть I. Ретроспектива
П.К. Анохин. Принципиальные вопросы общей теории

функциональных систем
М.М. Бонгард и сотр. Проект модели организации поведения - «Животное»
М.Н. Вайцвайг, М.Н. Полякова. Об одном подходе к проблеме создания искусственного интеллекта
А.И. Самарин. Мобильные роботы и самоорганизация в нейронных структурах - ретроспективный взгляд

Часть II. Современные исследования
В.Г. Редько. From Animal to Animat - направление исследований адаптивное поведение
В.А. Непомнящих. Модели автономного поискового поведения
В.Ю. Рощин, А.А. Фролов. Нейросетевая модель выработки пространственной координации на основе сенсомоторного опыта
Д. В. Прохоров. Адаптивные критики и нейронные сети
М.Н. Вайцвайг, М.Н. Полякова. О моделировании мышления
С.В. Корниенко, О.А. Корниенко. Искусственная самоорганизация и коллективный искусственный интеллект: на пути от индивидуума к социуму
А.А. Жданов. Бионический метод автономного адаптивного управления
Л.А. Станкевич. Когнитивный подход к управлению гуманоидными роботами

Balkenius "Building Large-Scale Models of Learning and Attention"
Guy Theraulaz "Collective

behaviours in animal societies: a computational approach"
George Jeronimis "Biological sensors: Paradigms for Technological Innovation"
Deb Roy "The Whole Linguana"
J. Kevin O'Regan "Why feels feel the way they do: examples from space, color, and touch"

Control
The Animat Approach to Adaptive Behavior + Perception and

Control
Collective and Social Behaviours
(Neuro)Evolution
Action Selection and Behavioral Sequences + Navigation and Internal World Models
Learning and Adaptation
Adaptive Behaviour in Language and Communication
Special Session: Colette Maloney, Head of Unit E5: Cognition, European Commission, DG Information Society and Media

Robotics
2. Behaviour And Mind As A Complex Adaptive System (Fred

Keijzer, Stefano Nolfi, Randal Beer, Frank Pasemann, Dario Floreano, Takashi Ikegami, Jun Tani, Ezequiel di Paolo, Marieke Rohde, Peter Paul Pichler)
3. Evolution And Emergence Of Linguistic Communication
5. Anticipatory Behavior In Adaptive Learning Systems (ABiALS 2006)
4. Bio-inspired Cooperative and Adaptive Behaviours in Robots
6. Adaptive Approaches For Optimizing Player Satisfaction In Computer And Physical Games
7. Multisensory Integration And Concurrent Parallel Memory Systems For Spatial Cognition (Jason G. Fleischer, NSI – “Darwin XI”)

Behaviour And Mind As A Complex Adaptive System
Fred Keijzer. What

are agents anyway? On life, mind and sensorimotor surfaces
Stefano Nolfi. On the Multi-Level Organization of Behaviour
Randal Beer. Transient dynamics and multiple timescales in brain-body-environment systems
Frank Pasemann. Emergent Neurodynamics and the Accretion of Embodied Cognitive Capacity
Dario Floreano. Enactive Robot Vision
Takashi Ikegami. Homeochaos and Emergence of Sensory motor Couplings
Jun Tani. On the interactions between top-down anticipation and bottom-up regression in cognitive behavior
Ezequiel di Paolo. Sense-making and agency: Being and doing intertwined
Marieke Rohde and Ezequiel Di Paolo. An Evolutionary Robotics Simulation of Human Minimal Social Interaction
Peter Paul Pichler. Towards Minimising Design in a Complex Evolving Ecosystem

проекта «Мозг Анимата»
Исследование перехода от физического уровня обработки информации в

нервной системе животных к уровню обобщенных образов, уровню понятий (аналогов слов)
Исследование процессов формирования причинной связи в памяти животных. Например, связи между условным стимулом (УС) и следующим за ним безусловным стимулом (БС). Анализ роли прогнозов в адаптивном поведении
Исследование процессов формирования логических выводов в «сознании» животных. {УС, УС --> БС} => БС – аналог modus ponens
Исследование коммуникаций, процессов возникновения языка