Слайд 1
Интеллектуальные
информационные системы
Соколова Светлана Павловна
доктор технических наук,
профессор
sokolova_sv@mail.ru
Слайд 2Литература
1. Корнеев В.В., Гарев А.Ф., Васютин С.В. И др. Базы
данных. Интеллектуальная обработка информации.– М.: Нолидж, 2000.
2. Соколова С.П., Зиямов
Т.П., Абрамов Б.А. Интеллектуальный анализ многомерных данных на основе иммунокомпьютинга. – Алматы, 2006.
3. Кричевский М.Л. Введение в искусственные нейронные сети. – СПб.,1999.
4. Андрейчиков А.В., Андрейчикова О.Н. Анализ, синтез, планирование решений в экономике.– М.: Финансы и статистика, 2000.
5. Змитрович А.И. Интеллектуальные информационные системы.– Минск, 1997.
6. Соколова С.П., Соколова Л.А. Интеллектуальные информационные системы на основе иммунокомпьютинга. – СПб.: ГУАП, 2009.
Слайд 3РАЗДЕЛЫ ДИСЦИПЛИНЫ
1. Понятие интеллектуальной информационной системы (ИИС), основные свойства, классификация
ИИС. Экспертные системы.
Составные части экспертной системы: база знаний, механизм вывода,
механизмы приобретения и объяснения знаний, интеллектуальный интерфейс.
Основные принципы построения интеллектуальной информационной системы на основе биологического подхода. Структура, состав и назначение отдельных подсистем иммунокомпьютинга.
Искусственные иммунные системы и иммунокомпьютинг.
Искусственные нейронные сети и нейрокомпьютинг.
Генетические алгоритмы.
7. Этапы проектирования интеллектуальной системы для различных приложений: идентификация, концептуализация, формализация, реализация, тестирование, опытная эксплуатация. Участники процесса проектирования.
Слайд 4Некоторые бизнес-приложения
Розничная торговля
Предприятия розничной торговли сегодня собирают подробную информацию
о каждой отдельной покупке, используя кредитные карточки с маркой магазина
и компьютеризованные системы контроля. Вот типичные задачи, которые можно решать в сфере розничной торговли:
анализ покупательской корзины (анализ сходства) предназначен для выявления товаров, которые покупатели стремятся приобретать вместе. Знание покупательской корзины необходимо для улучшения рекламы, выработки стратегии создания запасов товаров и способов их раскладки в торговых залах.
исследование временных шаблонов помогает торговым предприятиям принимать решения о создании товарных запасов. Оно дает ответы на вопросы типа "Если сегодня покупатель приобрел видеокамеру, то через какое время он вероятнее всего купит новые батарейки и пленку?"
создание прогнозирующих моделей дает возможность торговым предприятиям узнавать характер потребностей различных категорий клиентов с определенным поведением, например, покупающих товары известных дизайнеров или посещающих распродажи. Эти знания нужны для разработки точно направленных, экономичных мероприятий по продвижению товаров.
Слайд 5Банковское дело
Достижения технологии ИИС используются в банковском деле для
решения следующих распространенных задач:
выявление мошенничества с кредитными карточками. Путем
анализа прошлых транзакций, которые впоследствии оказались мошенническими, банк выявляет некоторые стереотипы такого мошенничества.
сегментация клиентов. Разбивая клиентов на различные категории, банки делают свою маркетинговую политику более целенаправленной и результативной, предлагая различные виды услуг разным группам клиентов.
прогнозирование изменений клиентуры.
ИИС помогает банкам строить прогнозные модели ценности своих клиентов, и соответствующим образом обслуживать каждую категорию.
Слайд 6Телекоммуникации
В области телекоммуникаций методы ИИС помогают компаниям более энергично
продвигать свои программы маркетинга и ценообразования, чтобы удерживать существующих клиентов
и привлекать новых.
Среди типичных мероприятий отметим следующие:
анализ записей о подробных характеристиках вызовов. Назначение такого анализа — выявление категорий клиентов с похожими стереотипами пользования их услугами и разработка привлекательных наборов цен и услуг;
выявление лояльности клиентов. ИИС можно использовать для определения характеристик клиентов, которые, один раз воспользовавшись услугами данной компании, с большой долей вероятности останутся ей верными. В итоге средства, выделяемые на маркетинг, можно тратить там, где отдача больше всего.
Слайд 7Страхование
Страховые компании в течение ряда лет накапливают большие объемы
данных. Здесь обширное поле деятельности для методов ИИС:
Выявление мошенничества.
Страховые компании могут снизить уровень мошенничества, отыскивая определенные стереотипы в заявлениях о выплате страхового возмещения, характеризующих взаимоот-ношения между юристами, врачами и заявителями.
Анализ риска. Путем выявления сочетаний факторов, связанных с оплаченными заявлениями, страховщики могут уменьшить свои потери по обязательствам. Известен случай, когда в США крупная страховая компания обнаружила, что суммы, выплаченные по заявлениям людей, состоящих в браке, вдвое превышает суммы по заявлениям одиноких людей. Компания отреагировала на это новое знание пересмотром своей общей политики предоставления скидок семейным клиентам.
Слайд 8
Медицина
Известно много экспертных систем для постановки медицинских диагнозов. Они
построены главным образом на основе правил, описывающих сочетания различных симптомов
различных заболеваний. С помощью таких правил узнают не только, чем болен пациент, но и как нужно его лечить. Правила помогают выбирать средства медикаментозного воздействия, определять показания — противопоказания, ориентироваться в лечебных процедурах, создавать условия наиболее эффективного лечения, предсказывать исходы назначенного курса лечения и т. п.
Технологии Data Mining позволяют обнаруживать в медицинских данных шаблоны, составляющие основу указанных правил.
Слайд 9Молекулярная генетика и генная инженерия
Пожалуй, наиболее остро и вместе
с тем четко задача обнаружения закономерностей в экспериментальных данных стоит
в молекулярной генетике и генной инженерии. Здесь она формулируется как определение так называемых маркеров, под которыми понимают генетические коды, контролирующие те или иные фенотипические признаки живого организма. Такие коды могут содержать сотни, тысячи и более связанных элементов.
На развитие генетических исследований выделяются большие средства. В последнее время в данной области возник особый интерес к применению методов Data Mining. Известно несколько крупных фирм, специализирующихся на применении этих методов для расшифровки генома человека и растений.
Слайд 10
Особенность этих областей заключается в их сложной системной организации. Они
относятся главным образом к надкибернетическому уровню организации систем, закономерности которого
не могут быть достаточно точно описаны на языке статистических или иных аналитических математических моделей.
Данные в указанных областях являются неоднородными, гетерогенными, нестационарными и часто отличаются высокой размерностью.
Слайд 11 ИСКУСТВЕННЫЙ ИНТЕЛЛЕКТ – ОСНОВА НОВЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ
Искусственный интеллект
(от латинского intelectus – познание, понимание, рассудок) – раздел информатики,
изучающий методы, способы и приемы моделирования и воспроизведения с помощью ЭВМ разумной деятельности человека, связанной с решением задач.
Первой интеллектуальной системой считается программа «Логик-Теоретик», предназначенная для доказательства теорем и исчисления высказываний. Она была продемонстрирована 9 августа 1956 г.
С этого времени в области искусственного интеллекта разработано множество компьютерных систем, которые принято называть интеллектуальными. Области их применения охватывают практически все сферы человеческой деятельности, связанные с обработкой информации.
Слайд 12ИСТОРИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
История искусственного интеллекта как области исследований характеризуется периодами:
1943-1956
– период созревания искусственного интеллекта;
1952-1963 – годы раннего энтузиазма и
великих ожиданий;
1966-1974 ‑ первые разочарования. Главной причиной явился типичный «комбинаторный взрыв» в задачах ИИ;
1980 ‑ 1988 ‑ ИИ приходит в промышленность. Уже первая коммерческая экспертная система компании Digital Equipment Corporation экономила 40 млн. долл. в год;
с 1987 ‑ период «маленьких революций» в распознавании речи, системах планирования, достоверного и вероятностного рассуждений, роботике, компьютерном зрении, машинном обучении и представлении знаний и т.д.
Слайд 13Определения и классификации
Под интеллектуальной информационной системой понимается объединенная информационным процессом
совокупность технических средств и программного обеспечения, способная воспринимать информацию о
процессах, возмущениях и условиях функционирования, выводить заключения и обучаться.
Предметная область – объектно-ориентированным образом выделенная и формально описанная область человеческой деятельности.
Проблемная область – предметная область плюс совокупность решаемых в ней задач.
Неформализованные задачи – задачи, которые обладают одной или несколькими характеристиками:
не могут быть заданы в числовой форме;
цели не могут быть выражены в терминах определенной целевой функции;
не существует алгоритмического решения задач;
оно существует, но не может быть использовано.
Слайд 14ОТЛИЧИЯ ЗНАНИЙ ОТ ДАННЫХ
Характерным признаком интеллектуальных систем является наличие знаний,
необходимых для решения задач конкретной предметной области.
При этом возникает вопрос,
что такое знания и чем они отличаются от обычных данных, обрабатываемых ЭВМ.
Данными называют информацию фактического характера, описывающую объекты, процессы и явления предметной области, а также их свойства.
Знания являются более сложной категорией информации по сравнению с данными. Знания описывают не только отдельные факты, но и взаимосвязи между ними. Поэтому знания иногда называют структурированными данными. Они представляют собой результат мыслительной деятельности человека, направленной на обобщение его опыта, полученного в результате практической деятельности.
Слайд 15КЛАССИФИКАЦИЯ ИНТЕЛЛЕКТУАЛЬНЫХ ИНФОРМАЦИОННЫХ СИСТЕМ
Интеллектуальные информационные системы
Экспертные
системы
Самообучающиеся
системы
Адаптивные
Информационные
системы
Системы с интеллектуальным интерфейсом
Интеллектуальные
Базы
данных
Естественно-
языковый
интерфейс
Гипертекстовые
системы
Системы
контексной
помощи
Когнитивная
графика
Классифициру-
ющие
Доопределяю-
щие
Трансформиру-
ющие
Мульти-
агентные
Нейрокомпьютинг
Иммунокомпьютинг
Системы на
прецедентах
Информационные
хранилища
CASE-
технологии
Компонентные
технологии
Слайд 16КЛАССИФИКАЦИЯ ИНТЕЛЛЕКТАЛЬНЫХ ИНФОРМАЦИОННЫХ СИСТЕМ
Интеллектуальная информационная система (ИИС) основана на концепции
использования базы знаний для генерации алгоритмов решения прикладных задач в
зависимости от конкретных информационных потребностей пользователя.
Для ИИС характерны следующие признаки:
развитые коммуникативные способности;
умение решать сложные плохо формализуемые задачи;
способность к самообучению;
адаптируемость.
Слайд 17Каждому из перечисленных признаков соответствует свой класс интеллектуальных информационных систем.
Различные системы могут обладать одним или несколькими признаками интеллектуальности с
различной степенью проявления.
Средства искусственного интеллекта могут использоваться для реализации различных функций, выполняемых интеллектуальной информационной системой.
Слайд 18
На предыдущем слайде приведена классификация ИИС, признаками которой являются следующие
интеллектуальные функции:
коммуникативные способности – способ взаимо-действия конечного пользователя с системой;
решение
сложных плохо формализуемых задач, которые требуют построения оригинального алгоритма решения в зависимости от конкретной ситуации, характеризующейся неопределеннос-тью и динамичностью исходных данных и знаний;
способность к самообучению – умение системы автоматически извлекать знания из накопленного опыта и применять их для решения задач;
адаптивность – способность системы к развитию в соответствии с объективными изменениями области знаний.
Слайд 19СИСТЕМЫ С ИНТЕЛЛЕКТУАЛЬНЫМ ИНТЕРФЕЙСОМ
Применение искусственного интеллекта для усиления коммуникативных способностей
информационных систем привело к появлению систем с интеллектуальным интерфейсом. Можно
выделить их следующие типы:
1. Интеллектуальные базы данных. Они позволяют в отличие от традиционных БД обеспечивать выборку необходимой информации, не присутствующей в явном виде, а выводимой из совокупности хранимых данных.
Слайд 202. Естественно-языковый интерфейс. Применяется для доступа к интеллектуальным базам данных,
контекстного поиска документальной текстовой информации, голосового ввода команд в системах
управления, машинного перевода с иностранных языков. Для реализации ЕЯ-интерфейса необходимо решить проблемы морфологического, синтак-сического и семантического анализа, а также задачу синтеза высказываний на естественном языке.
3. Гипертекстовые системы. Используются для реализации поиска по ключевым словам в базах данных с текстовой информацией. Для более полного отражения различных смысловых значений терминов требуется сложная семантическая органи-зация ключевых слов. Решение этих задач осущест-вляется с помощью интеллектуальных гипертекс-товых систем, в которых механизм поиска сначала работает с базой знаний ключевых слов, а затем – с самим текстом.
Слайд 214. Системы контексной помощи. Относятся к классу систем распространения знаний.
Такие системы являются, как правило, приложениями к документации. Системы контекстной
помощи – частный случай гипертекстовых и ЕЯ-систем. В них пользователь описывает проблему, а система на основе дополнительного диалога конкретизирует ее и выполняет поиск относящихся к ситуации рекомендаций.
5. Системы когнитивной графики. Ориентированы на общение с пользователем ИИС посредством графических образов, которые генерируются в соответствии с изменениями параметров модели-руемых или наблюдаемых процессов. Применение когнитивной графики особенно актуально в системах мониторинга и оперативного управления, в обучающих и тренажерных системах, в оперативных системах принятия решений, работающих в режиме реального времени.
Слайд 22ЭКСПЕРТНЫЕ СИСТЕМЫ
Экспертные системы (ЭС) как самостоятельное направление в искусственном интеллекте
сформировалось в конце 1970-х годов.
История ЭС началось с сообщения
японского комитета по разработке ЭВМ пятого поколения, в котором основное внимание уделялось развитию «интеллектуальных способностей» компьютеров с тем, чтобы они могли оперировать не только данными, но и знаниями, как это делают специалисты (эксперты) при выработке умозаключений.
Группа по экспертным системам при Комитете British Computer Society определила ЭС как «воплощение в ЭВМ компоненты опыта эксперта, основанной на знаниях, в такой форме, что маши-на может дать интеллектуальный совет или принять решение относительно обрабатываемой функции».
Слайд 23
Одним из важных свойств ЭС является способность объяснить ход своих
рассуждений понятным для пользователя образом. Область исследований ЭС называется «инженерией
знаний». Этот термин был введен Е. Фейгенбаумом.
В его трактовке он означает «привнесение принципов и инструментария из области искусственного интеллекта в решение трудных прикладных проблем, требующих знаний экспертов».
Слайд 24
ЭС применяются для решения неформализованных проблем, к которым относятся задачи,
обладающие одной (или несколькими) из следующих характеристик:
Задачи не могут быть
представлены в числовой форме.
Исходные данные и знания о предметной области обладают не однозначностью, неточностью, противоречивостью.
Цели нельзя выразить с помощью четко определенной целевой функции.
Не существует однозначного алгоритмического решения задачи.
Алгоритмическое решение существует, но его нельзя использовать по причине большой размерности пространства решений.
Слайд 25
Главное отличие ЭС и систем искусственного интел-лекта от систем обработки
данных состоит в том, что в них используется символьный, а
не числовой способ представления данных, а в качестве методов обработки информации применяются процедуры логического вывода и эвристического поиска решений.
ЭС охватывают самые различные предметные области, среди которых лидируют бизнес, производство, медицина, проектирование и системы управления.
Во многих случаях ЭС являются инструментом, усиливающим интеллектуальные способности эксперта.
Слайд 26
Экспертная система может выступать в роли:
консультанта для неопытных или непрофессиональных
пользователей;
ассистента эксперта-человека в процессах анализа вариантов решений;
партнера эксперта в процессе
решения задач, требующих привлечения знаний из разных предметных областей.
Слайд 27ТЕХНОЛОГИЯ РАЗРАБОТКИ ЭКСПЕРТНЫХ СИСТЕМ
Экспертными системами называют сложные программные комплексы, аккумулирующие
знания специалистов в конкретных предметных областях и тиражирующие этот эмпирический
опыт для консультаций менее квалифицированных пользователей.
В самых первых экспертных ЭС не учитывалось изменение знаний, используемых в процессе решения конкретной задачи.
Их называли статическими экспертными системами.
Слайд 28Структура типичной статической экспертной системы
Слайд 29 База знаний ЭС предназначена для хранения долгосрочных данных, описывающих рассматриваемую
область, и правил, описывающих целесообразные преобразования данных этой области.
База данных
(рабочая память) служит для хранения текущих данных решаемой задачи.
Решатель (интерпретатор) формирует последовательность применения правил и осуществляет их обработку, используя данные из рабочей памяти и знания из БЗ.
Система объяснений показывает, каким образом система получила решение и какие знания использовались.
Компоненты приобретения знаний необходимы для заполнения ЭС знаниями в диалоге с пользователем-экспертом, а также для добавления и модификации заложенных в систему знаний.
Слайд 30 К разработке ЭС привлекаются специалисты из разных предметных областей:
эксперты той
предметной области, к которой относятся задачи, решаемые ЭС;
инженеры по знаниям
(когнитологи), являющиеся специалистами по разработке ИИС;
программисты, осуществляющие реализацию ЭС.
Эксперты поставляют знания в ЭС и оценивают правильность получаемых результатов.
Инженеры по знаниям помогают экспертам выявить и структурировать знания, необходимые для работы ЭС, выполняют работу по представлению знаний, выбирают методы обработки знаний, проводят выбор инструментальных средств.
Программисты разрабатывают программное обеспечение ЭС и осуществляют его сопряжение со средой, в которой оно будет использоваться.
Слайд 31 Любая ЭС должна иметь, по крайней мере, два режима работы.
В
режиме приобретения знаний эксперт наполняет систему знаниями, которые впоследствии позволяют
ЭС самостоятельно (без помощи эксперта) решать определенные задачи из конкретной проблемной области.
В режиме консультации пользователь ЭС сообщает системе конкретные данные о решаемой задаче и стремится получить с ее помощью результат.
Пользователи-неспециалисты обращаются к ЭС за результатом, не умея получить его самостоятельно.
Пользователи-специалисты используют ЭС для ускорения и облегчения процесса получения результата.
Слайд 32 Существует широкий класс приложений, в которых требуется учитывать изменения среды
функционирования, для решения этих задач необходимо применять динамические ЭС:
Слайд 33
Для функционировании динамической экспертной системы необходимы следующие дополнительные знания:
знания о
методах взаимодействия с внешним окружением;
знания о модели внешнего мира.
Слайд 34ТЕХНОЛОГИЯ РАЗРАБОТКИ ЭКСПЕРТНЫХ СИСТЕМ
При разработке ЭС, как правило, используется концепция
быстрого прототипа, суть которого заключается в том, что разработчики не
пытаются сразу построить конечный продукт. На начальном этапе они создают прототип (возможно, не единственный) ЭС, удовлетворяющий двум противоречивым требованиям:
умение решать типичные задачи конкретного приложения;
незначительное время и трудоемкость его разработки.
Слайд 35Этапы разработки экспертных систем
Слайд 36На этапе идентификации определяются задачи, подлежащие решению, цели разработки, эксперты
и типы пользователей.
На этапе концептуализации проводится содержательный анализ проблемной области,
выявляются используемые понятия и их взаимосвязи, определяются методы решения задач.
На этапе формализации выбираются инструментальные средства и способы представления всех видов знаний, формализуются основные понятия, моделируется работа системы, оценивается их адекватность.
На этапе выполнения осуществляется заполнение базы знаний. Процесс приобретения знаний разделяют на извлечение знаний в диалоге с экспертами; организацию знаний, обеспечивающую эффективную работу системы, и представление знаний в виде, «понятном» ЭС. Этот процесс осуществляется когнитологом на основе деятельности эксперта по решению реальных задач.
Слайд 37
На этапе тестирования эксперт и инженер по знаниям в интерактивном
режиме с использованием диалоговых и объяснительных средств проверяют компетентность ЭС.
Процесс тестирования продолжается до тех пор, пока эксперт не решит, что система достигла требуемого уровня компетентности.
На этапе опытной эксплуатации проверяется пригодность ЭС для конечных пользователей. Полученные результаты могут показать необходимость существенной модификации ЭС.
Слайд 38 Для классификации ЭС используются следующие признаки:
способ формирования решения;
способ учета временного
признака;
вид используемых данных;
число используемых источников знаний.
По способу формирования решения ЭС
можно разделить на анализирующие и синтезирующие. В системах первого типа осуществляется решение из множества известных решений на основе анализа знаний, в системах второго типа решение синтезируется из отдельных фрагментов знаний.
Слайд 39
В зависимости от способа учета временного признака ЭС делятся на
статические и динамические. Статические ЭС предназначены для решения задач с
неизменяемыми в процессе решения данными и знаниями. Динамические ЭС допускают такие изменения.
По видам используемых данных и знаний различают ЭС с детерминированными и неопределенными знаниями. Под неопреде-ленностью знаний и данных понимается их неполнота, ненадежность, нечеткость.
ЭС могут создаваться с использованием одного или нескольких источников знаний.
Слайд 40
В зависимости от способа учета временного признака ЭС делятся на
статические и динамические. Статические ЭС предназначены для решения задач с
неизменяемыми в процессе решения данными и знаниями. Динамические ЭС допускают такие изменения.
По видам используемых данных и знаний различают ЭС с детерминированными и неопределенными знаниями.
Под неопределенностью знаний и данных понимается их неполнота, ненадежность, нечеткость.
ЭС могут создаваться с использованием одного или нескольких источников знаний.
Слайд 41САМООБУЧАЮЩИЕСЯ СИСТЕМЫ
Самообучающиеся интеллектуальные системы основаны на методах автоматической классификации ситуаций
из реальной практики или на методах обучения на примерах.
Примеры реальных
ситуаций составляют так называемую обучающую выборку, элементы которой описываются множеством классифика-ционных признаков (индикаторов).
Стратегия «обучение с экспертом» предполагает задание специалистом для каждого примера значений признаков (индикаторов), показывающих его принадлежность к определенному классу ситуаций. При обучении «без эксперта (самообучение)» система должна самостоятельно выделять классы ситуаций по степени близости классификационных признаков (индикаторов).
Слайд 42
В процессе обучения проводится автоматическое построение обобщающих правил или функций,
описывающих принадлежность ситуаций к классам.
Ими система впоследствии будет пользоваться при
интерпретации незнакомых ситуаций. Из обобщаю-щих правил автоматически формируется база знаний. Она может периодически корректироваться по мере накопления информации об анализируемых ситуациях.
Слайд 43Индуктивные системы позволяют обобщать примеры на основе принципа «от частного
к общему».
Алгоритм классификации примеров включает следующие основные шаги:
Выбор классификационного признака
из множества заданных.
Разбиение множества примеров на подмножества по значению выбранного признака.
Проверка принадлежности каждого подмножества примеров одному из классов.
Проверка окончания процесса классификации. Если какое-то подмножество примеров принадлежит одному классу, то процесс классификации заканчивается.
Для подмножеств примеров с несовпадающими значениями классификационных признаков процесс распознавания продолжается, начиная с первого шага.
Слайд 44
Искусственные нейронные сети (ИНС) являются вычислительными системами параллельного действия.
Искусственная нейронная
сеть – это модель реальной нервной системы, которая представляет собой
совокупность большого числа базовых элементов нервной системы – нейронов. Топология соединения нейронов зависит от выбранного типа сети.
Главной особенностью ИНС является то, что они могут быть настроены на некоторое правило обработки информации без явного его задания, но путем обучения по эталонам типа «вход-выход», «ситуация-действие».
Нейрокомпьютинг – обобщенное название группы математических алгоритмов, обладающих способностью обучаться на примерах, «узнавая» впоследствии черты встреченных образцов и ситуаций.
Благодаря этой способности ИНС широко используются при решении задач обработки сигналов и изображений, распознавания образов, мониторинга и прогнозирования.
Слайд 45ИСКУССТВЕННЫЕ ИММУННЫЕ СИСТЕМЫ
Интерес к биологическим принципам обработки информации иммунной системой
обеспечил базис для нового и быстро развивающегося направления ИИ, называемого
«искусственные иммунные системы (ИИС)». Можно сказать, что ИИС были «официально» признаны в 1998 г.
В настоящее время биологическая иммунная система трактуется специалистами как «второй мозг позвоночных». Фактически иммунная система обладает всеми основными свойствами систем искусственного интеллекта: памятью, способностью к обучению, распознаванию и принятию решений в условиях неопределенности.
Слайд 46Иммунная сеть– это модель реальной иммунной системы, которая представляет собой
совокупность большого числа базовых элементов иммунной системы – протеинов (небольших
белков).
Особый интерес для информатики представляет широкое распространение теории иммунных сетей, формируемых за счет взаимодействий между специфическими белками иммунной системы (антителами).
Искусственные иммунные системы могут обучаться новой информации, вспоминать результаты обучения и выполнять распознавание образов в высоко распределенной манере.
Эти системы предлагают мощные и робастные возможности обработки больших массивов информации для решения сложных задач.
Слайд 47ОСНОВНЫЕ НАПРАВЛЕНИЯ ИССЛЕДОВАНИЙ В ОБЛАСТИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Интеллектуальные информационные системы проникают
во все сферы нашей жизни, поэтому трудно провести классификацию этих
направлений. Кратко рассмотрим некоторые из них.
Разработка систем, основанных на знаниях (СОЗ)
Это одно из главных направлений искусственного интеллекта. Основной целью построения таких систем является выявление, исследование и применение знаний высококвалифицированных экспертов для решения сложных задач, возникающих на практике. При построении таких систем используются знания, накопленные экспертами в виде конкретных правил решения тех или иных задач. В этой области осуществляется разработка моделей представления, извлечения и структурирования и создания баз знаний (БЗ).
Частным случаем СОЗ являются экспертные системы (ЭС).
Слайд 48
Разработка естественно-языковых интерфейсов и машинный перевод
Системы машинного перевода с одного
естественного языка на другой обеспечивают быстроту и систематичность доступа к
информации, оперативность и единообразие перевода больших потоков, как правило, научно-технических текстов. Эти системы строятся как интеллектуальные системы, поскольку в их основе лежит база знаний в определенной предметной области и сложные модели, обеспечивающие дополнительную трансляцию «исходный язык оригинала - язык смысла - язык перевода».
Данное направление охватывает также исследование методов и разработку систем, обеспечивающих реализацию процесса общения человека с компьютером на естественном языке (системы ЕЯ-общения).
Слайд 49
Генерация и распознавание речи
Системы речевого общения создаются в целях повышения
скорости ввода информации в ЭВМ, разгрузки зрения и рук, а
также для реализации речевого общения на значительном расстоянии.
Обработка визуальной информации
В этом научном направлении решаются задачи обработки, анализа и синтеза изображений. Задача обработки изображений связана с трансформированием графических образов, результатом которого являются новые изображения. В задаче анализа исходные изображения преобразуются в данные другого типа, например в текстовые описания. При синтезе изображений на вход системы поступает алгоритм построения изображения, а выходными данными являются графические объекты.
Слайд 50Обучение и самообучение
Эта актуальная область ИИ включает модели, методы и
алгоритмы, ориентированные на автоматическое накопление и формирование знаний с использованием
процедур анализа и обобщения данных. К данному направлению относятся системы выявления скрытых структур (Data-Mining) и поиска закономерностей (Knowledge Discovery) в компьютерных базах данных.
Распознавание образов
Это одно из самых ранних направлений ИИ, в котором распознавание объектов осуществляется на основании применения специального математического аппарата, обеспечивающего отнесение объектов к классам, а классы описываются совокупностями определенных значений признаков.
Слайд 51Игры и машинное творчество
Машинное творчество охватывает сочинение компьютерной музыки, стихов,
интеллектуаль-ные системы для изобретения новых объектов. Создание компьютерных игр является
одним из самых развитых коммерческих направлений в сфере разработки программного обеспечения. Кроме того, компьютерные игры предоставляют мощный арсенал разнообразных средств, используемых для обучения.
Программное обеспечение систем ИИ
Инструментальные средства для разработки интеллектуальных систем включают специаль-ные языки программирования, ориентированные на обработку символьной информации (LISP, SMALLTALK, РЕФАЛ), языки представления знаний (OPS 5, FRL), оболочки экспертных систем (BUILD, EMYCIN,…,ЭКСПЕРТ), которые позволяют создавать ЭС, не прибегая к программированию
Слайд 52
Новые архитектуры компьютеров
Это направление связано с созданием компьютеров, ориентированных на
обработку символьной информации. Известны удачные промышленные решения параллельных и векторных
компьютеров, но пока они имеют высокую стоимость.
Интеллектуальные роботы
Создание интеллектуальных роботов составляет конечную цель робототехники.
В настоящее время в основном используются программируемые манипуляторы с жесткой схемой управления, названные роботами первого поколения. Несмотря на очевидные успехи отдельных разработчиков, эра интеллектуальных автономных роботов пока не наступила.
Основными сдерживающими факторами в их разработке являются нерешенные проблемы в области интерпретации знаний, машинного зрения, адекватного хранения и обработки трехмерной информации.
Слайд 54ИММУНОКОМПЬЮТИНГ
Строгий математический базис ИИС основан на биологическом прототипе иммунной сети
и понятиях формального протеина и формальной иммунной сети.
Разработанные математические модели
были названы формальной иммунной системой или иммунокомпьютингом.
Основной принцип – это свободное связывание базовых элементов иммунокомпьютинга (формальных протеинов) в рамках формальной иммунной сети.
В качестве нового типа вычислений ИК предлагает новые подходы к задачам ИИ.
Слайд 56ПРИРОДНАЯ ИММУННАЯ СИСТЕМА
Слайд 1
Слайд 58
Иммунный ответ по клеточному типу
Фагоцит поглощает антиген.
Фагоцит переваривает поглощенный
антиген и выделяет из него пептид.
Пептид презентуется на поверхности фагоцита.
Т-хелпер
распознает пептид.
Т-хелпер выделяет лимфокины, активирующие Т-киллеров.
Т-киллеры уничтожают зараженные клетки.
Т-супрессоры выделяют лимфокины, подавляющие иммунный ответ.
Слайд 60Иммунный ответ по гуморальному типу
В-лимфоцит «узнает» антиген.
В-лимфоцит размножается, антитела на
поверхности клонов претерпевают мутации.
Часть клеток выделяет антитела со своей поверхности
(они становятся плазмацитами).
После иммунного ответа часть лимфоцитов умирает.
В-лимфоциты лучше «узнающие» антигены становятся клетками памяти и сохраняются примерно год (клональная селекция).
Слайд 62Искусственные иммунные системы и иммунокомпьютинг
Слайд 63ИММУНОКОМПЬЮТИНГ
Строгий математический базис искусственной иммунной системы (ИИС) основан на
биологическом прототипе иммунной сети и понятиях формального протеина и формальной
иммунной сети.
Разработанные математические модели были названы формальной иммунной системой или иммунокомпьютингом.
Основной принцип – это свободное связывание базовых элементов иммунокомпьютинга (формальных протеинов) в рамках формальной иммунной сети.
В качестве нового типа вычислений иммунокомпьютинг (ИК) предлагает новые подходы к задачам искусственного интеллекта.
Слайд 64ФОРМАЛЬНЫЙ ПРОТЕИН
Базовым элементом ИК является формальный протеин (небольшая био-молекула).
Связи между пространственной формой и функциями протеина реализуют механизмы молекулярного
узнавания; между кодом и формой белка – механизмы самосборки.
Слайд 65Молекулярное узнавание. Под молекулярным узнаванием понимается выборочное взаимодействие между определенными
участками биомолекул.
Явление, аналогичное этому, существует и в неживой природе –
это кристаллизация. «Растущий» кристалл может «извлекать» из многокомпонентного раствора или расплава одни молекулы или «отвергать» остальные.
Согласно гипотезе «замка и ключа» эти явления определяются взаимной подгонкой молекул наподобие фрагментов мозаики.
Самосборка. Под самосборкой понимается способность цепочки молекул принимать единственную простран-ственную форму, несмотря на астрономическое число принципиально возможных вариантов. При этом весь процесс самосборки не требует времени больше, чем затрачивается на синтез белковой цепочки.
Слайд 67
МАТЕМАТИЧЕСКАЯ МОДЕЛЬ МОЛЕКУЛЯРНОГО УЗНАВАНИЯ
Слайд 68 СТРУКТУРА ИММУНОКОМПЬЮТИНГА
База
знаний
Входная информация
Эксперт
Процедура обучения
с экспертом
Процедура обучения
без эксперта
Процедура
комплексной
оценки
Процедура
классификации
База данных
Слайд 69ПОСТАНОВКА ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ
Индикаторы
x1 , x2 ,..., xn
Образ
X = x1. x2 , ..., xn T
Пространство индикаторов {X}
Классы {X}1, ... ,{X}k
Пример (k=2): {X}1 – нормальное поведение
{X}2 – “инфекция”
Слайд 70Классификация образов. Задача состоит в указании принадлежности входного образа (например,
вторжение в компьютерную сеть, состояние сложной биологической системы и т.д.),
представленного вектором индикаторов, одному или нескольким предварительно определенным классам.
Кластеризация (категоризация). При решении задачи кластеризации, которая известна также как классификация образов «без эксперта», отсутствует обучающая выборка с метками классов. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер.
Известны случаи применения кластеризации для извлечения знаний, сжатия данных и исследования свойств данных.
Задача аппроксимации функций состоит в нахождении оценки неизвестной функции f(x). Эта процедура необходима при решении многочисленных инженерных и научных задач моделирования.
Слайд 71Определим образ как n-мерный вектор-столбец.
Задача распознавания образов может быть сформулирована
следующим образом:
Дано:
число классов с;
набор из m обучающих образов
класс любого
обучающего образа:
произвольный n-мерный вектор Р.
Найти:
класс вектора Р:
Слайд 74БАЗОВЫЙ АЛГОРИТМ ИММУНОКОМПЬЮТИНГА
Слайд 78Вычислительный алгоритм обучения с экспертом
Шаг 1. Формирование набора матриц
A1 , ... , Ak для всех классов c=1,…,k
Шаг 2.
Вычисление сингулярных векторов {Ui, Vi} i=1,…,k для всех классов
Шаг 3. Вычисление значений энергии связи для входного образа A:
1= – U1TAV1 , ... , k= – UkT AV k
Шаг 4. Выбор наименьшего значения энергии связи и определение класса
*: minc1,…,k
Слайд 79 Наиболее употребительными расстояниями между классами объектов являются:
расстояние, измеряемое по принципу
«ближайшего соседа»:
расстояние, измеряемое по принципу «дальнего соседа»
расстояние, измеряемое по «центрам
тяжести» групп
Слайд 80ВЫЧИСЛИТЕЛЬНЫЙ АЛГОРИТМ САМООБУЧЕНИЯ
Шаг 1. Формирование исходной информации:
X1, X2,....,
Xm – входные векторы;
Шаг 2. Формирование матрицы A = X1,
X2,...., Xm ;
Шаг 3. Сингулярное разложение матрицы A;
Шаг 4. Выбор правого сингулярного вектора и ему соответствующего сингулярного числа Vk , sk
Шаг 5. Вычисление значений нестандартной энергии связи:
vк(Z) = 1/sk (ZTVk ),
где Z –строка матрицы А.
Слайд 81МАТЕМАТИЧЕСКИЕ МОДЕЛИ ФОРМИРОВАНИЯИНДЕКСА
Слайд 83БАЗОВЫЙ АЛГОРИТМ ФОРМИРОВАНИЯ ИНДЕКСА
Формирование обучающей матрицы
Сингулярное разложение
Отбор правого сингулярного вектора
Вычисление
нестандартной энергии связи
Искомое значение индекса
Слайд 84Оптимизация параметров индекса по обучающей выборке
Слайд 85Общий случай
Предложение 1. Оптимальный вектор параметров индекса С в смысле
минимума среднеквадратической ошибки Q, выраженный через компоненты сингулярного разложения матрицы
М представляется в виде:
Слайд 86ИНДЕКС ВТОРЖЕНИЙ В КОМПЬЮТЕРНУЮ СЕТЬ
Источник данных (a model of
an Air Force network): S.D. Bay, "The UCI KDD Archive",
[http://kdd.ics.uci.edu], Irvine, CA, 1999
Записи связи в сети: Xi , i = 1,...,106
индикаторы: xij , j = 1,...,33
матрица A = [X1 ... X106] : 10633
15классов:
типы вторжения: apache2,…, xsnoop
нормальное поведение: norm
Слайд 87
КЛАССИФИКАЦИЯ ЗАПИСЕЙ ВТОРЖЕНИЯ
Слайд 88ЗНАЧЕНИЯ ИНДЕКСА ВТОРЖЕНИЯ
Тип вторжения Значения индекса вторжения
Normal
3, 34, 63, 82, 118, 119, 236, 252
apache2
199, 204-206
buffer_overflow 349, 364, 368
guess_password 361, 363
Ipsweep 175, 182, 222, 224, 227, 239, 242, 249
Multihop 253, 346, 364, 366,
Named 228, 250, 251, 254, 268, 335, 431
Phf http 241
Pod ecr_i 234-250, 364
Слайд 90ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ И НЕЙРОКОМПЬЮТИНГ
Слайд 93
Плохо формализуемые задачи:
Распознавание образов и речи
Принятие решений
Обнаружение знаний
Контекстно-независимый
анализ …
Искусственный интеллект :
Кто сильнее и почему?
НЕЙРОИНФОРМАТИКА
Современная теория о
принципах и новых математических моделях информационных процессов, которые базируются на биологических прототипах и механизмах активности мозга человека
Введение в нейронные сети
Слайд 94Понимание на естественном языке (перевод текстов )
Распознавание изображений
Принятие решений
Обнаружение знаний
Обучение и адаптация
Групповое поведение
Нечеткая логика
Рассуждения
Когнитивный анализ
Слайд 95Возвращение идеи коннекционизма из статей Хилтона и Андерсена, популяризация алгоритма
с обратным распространением для многослойных сетей с обратными связями
Предложены
фундаментальные идеи анализа нейронной активности с суммами весовых коэффициентов и пороговыми значениями
Идея Винера относительно ключевой роли коннекционизма и контуров обратной связи как модели для обучения в нейронных сетях
Гипотеза Хебба, что долгосрочная память человека и живот-ного определяются постоянными изменениями в синапсах
Минский строит первую нейросетевую обучающую систему
Розенблатт предложил современный “персептронный ” стиль нейронной сети
Эшби выдвигает идею: интел-лект порождается за счет “го-меостатических” инструментов для обучения на примерах
1982
1969
1949
1948
1943
Окончание эры персептрона :
Работает “персептрон ”Минского и Паперта
1957
1952
1951
История нейронауки
Слайд 96Искусственный интеллект –это:
Аккумулирование и представление знаний.
Способность рассуждения при
отборе существенной информации.
Способность адаптации при обучении и самоорганизации.
Оптимальное
групповое поведение для достижения цели или иерархия целей, ролевых моделей.
Смысловой анализ, семантика, четкая логика, правила логического вывода, эмоции.
…
Нам необходимы :
Хранилища знаний.
Применение знаний для решения задач.
Обнаружение знаний.
Множество научных инструментов для моделирования интеллектуальной активности мозга человека.
Искусственный интеллект и интеллектуальные системы
Слайд 97Система символьной технологии
Синтезирование обучающей системы
Символьные парадигмы.
Исчисление предикатов.
Исчисление высказываний.
Символьные языки
…
Парадигмы машинного обучения
Парадигмы нейронных сетей
Эволюционные
(генетические) алгоритмы
…
Традиционные и современные подходы для теории искусственного интеллекта
Слайд 98Интеллектуальный анализ данных в техническом эксперименте
Слайд 991. Разбиение пространства образов на p классов
Входные образы
Отклик
:
2. Математическая модель разбиения:
“Обучение на примерах ”
Математическая интерпретация решения задачи
классификации при принятии решений
Слайд 100Самоорганизация – базовый принцип обучения:
структурная перестройка
Обучение по принципу самоорганизации
Слайд 101Интеллектуальное управление
Техническая диагностика
Интеллектуальный анализ данных и обработка сигналов
Движущиеся роботы
Распознавание образа и изображения
Интеллектуальные системы безопасности
Интеллектуальные медицинские приборы
Интеллектуальные экспертные системы
Приложения искусственных нейронных сетей
Слайд 102Парадигмы нейрокомпьютинга
Нейрокомпьютер – компьютер подобный мозгу.
Возможно ли симулировать работы мозга человека? Почему он так универсален?
Каким образом мозг человека обрабатывает информацию?
В кооперации с биологами математики предложили теорию компьютера мозга.
Слайд 103 Основная задача заключается в обсуждении базисных парадигм нейрокомпьютинга и искусственных
нейронных сетей в рамках теории “Компьютер подобный мозгу ”.
Будут
обсуждены:
Почему и где необходимы парадигмы нейровычислений?
Что такое нейрокомпьютер и искусственные нейронные сети?
Какие новые принципы обработки данных реализует нейрокомпьютер?
Каков биологический прототип нейрокомпьютера?
Компьютер подобный мозгу и традиционная машина Фон Неймана предлагают совершенно различные парадигмы и имеют различные свойства.
Слайд 104Символьная манипуляция
Гусь летит
Лев идет
Черепаха ковыляет
Осел сидит
Рыба плывет
Плохо формализуемые задачи :
Распознавание звука и изображения
Принятие
решения
Обнаружение знаний
Контекстно-независимый
анализ
Какая разница между мозгом человека и традиционным компьютером в рамках специфических подходов к решению плохо формализуемых задач?
Слайд 105 Наши слышимые, видимые вкусовые и тактильные образы
снабжают нас образной информацией о мире. Как мы интерпретируем эти
образы?
Основное отличие между компьютерами традиционным и подобным человеческому организму исходит из того факта, что мозг человека воспринимает входную информацию как изображения, в то время как для машины входная информация – это цифровые данные.
Исследователи интерпретируют такие модели как распознавание визуального образа, распознавание звука и речи, распознавание запаха.
Слайд 106Процесс распознавания образов и манипуляции образов базируется на :
Как наш
мозг манипулирует образами ?
1. Массовый параллелизм
Компьютер мозга
как информационная или обрабатывающая сигналы система, состоит из большого числа базовых элементов, называемых нейронами. Они взаимосвязаны с помощью прямых звеньев. Это приводит к параллельным распределенным процессам.
2. Коннекционизм
Компьютер мозга является высоко взаимосвязанной нейронной системой таким образом, что состояние одного нейрона отражает потенциал большого количества других нейронов, которые связываются согласно весам или силам. Ключевая идея такого принципа является функциональная способность биологических нейронных сетей определять обычно не один нейрон, а его взаимосвязи.
3. Ассоциативная распределенная память
Предполагают, что накопление информации в мозге концентрируется в синаптических связях мозга нейронной сети или что более вероятно в образе этих связей и сил (весов) синаптических связей.
Слайд 107 Компьютер подобный мозгу – это математическая модель механизмов активности мозга
человека для проведения вычислений.
Этот компьютер включает те же самые элементы,
которые могут быть названы биологическими прототипами нейрона. Они связываются с помощью прямых звеньев, называемых связями, и кооперируются для выполнения параллельных распределенных вычислений (ПРП) при решении поставленной вычислительной задачи .
Новая парадигма вычислительной математики основана на кооперации нейронов в некоторую искусственную нейронную сеть.
Компьютер подобный мозгу (Brain-Like) – что это?
Искусственная нейронная сеть – математические парадигмы компьютера подобного мозгу
Слайд 108Компьютер подобный мозгу (Brain-Like) – что это?
Слайд 1091. Коннекционизм
НС является высоко взаимосвязанной структурой таким образом, что
состояние одного нейрона определяет потенциал большого количества других нейронов, с
которыми он связывается согласно весам связей.
2. Не программирование но обучение
НС обучается лучше, чем программируется для решения заданной задачи. Поэтому трудно отделить аппаратное оборудование и программный продукт в структуре. Мы программируем не решение задач, а способность обучения для решения задач.
3. Распределенная память
НС представляет собой распределенную память так, что адаптация синапсов может иметь место где угодно в структуре сети.
Принципы нейрокомпьютинга
Слайд 110
4. Обучение и адаптация
НС способна адаптировать себя (синапсы связываются между
собой) при специальных условиях окружающей среды путем изменения их структур
или сил связей.
5. Нелинейная функциональность
Каждое новое состояние нейрона является нелинейной функцией входного образа, определяемой нелинейной активностью других нейронов.
6. Робастность ассоциативности
Состояния НС характеризуются высокой робастностью или нечувствительностью к шуму и нечеткости входных данных. Это свойство основано на использовании высокой избыточности распределенной структуры.
Слайд 112С вычислительной точки зрения мозг является очень эффективной природной моделью
компьютера.
Слайд 113Биологический нейрон - простой арифметически вычисляющий элемент
Биологический нейрон
или нейронная клетка является главным арифметическим элементом, базисным постулатом, и
фундаментальной функциональной единицей всех нейронных систем включая мозг.
Слайд 114Сома или тело клетки - это большое, круглое центральное
тело, в котором реализуются почти все логические функции нейрона.
Аксон (выход),
это нить нерва, прикрепленная к соме, которая может служить как выходной канал нейрона. Аксон обычно сильно разветвлен.
Дендриты (входы) - предста-вляют собой сильно развет-вленное дерево нервов. Эти длинные неправильной формы волокна нервов прикрепляются к соме.
Синапсы являются специаль-ными контактными точками для входа для аксонов.
Биологические прототипы и искусственные нейроны
Слайд 115Математическая модель формального нейрона
Функциональная схема формального нейрона
Слайд 116Математическая модель формального нейрона
Непрерывный случай
Слайд 117Базисные функции активации
1. Линейная
Слайд 1181. Линейная функция активации
n=-5:0.1:5;
plot(n,purelin(n),’c+:’)
Слайд 120
Релейная функция активации
n=-5:0.1:5;
plot(n,hardlim(n),’c+:’)
Слайд 123Математическая модель формального нейрона
Дискретный случай
Слайд 124ИНС представляется в виде ансамбля простых вычисляющих элементов – нейронов,
которые связываются с помощью прямых звеньев и кооперируются в соответствующую
структуру для решения поставленной вычислительной задачи.
Структуры искусственных нейронных сетей (ИНС)
Слайд 125 Каждый нейрон ИНС может быть интерпретирован как
элементарная вычислительная единица с многомерными входами и нелинейным преобразованием биоэлектрических
сигналов возбуждения.
Нелинейная
Структуры искусственных нейронных сетей
Слайд 126Какова математическая интерпретация этих парадигм?
?
Как имитировать эти модели?
Слайд 127Персептрон – простейшая нейронная сеть
Персептрон является одной из первых и простейших искусственных нейронных
сетей, которая была представлена в середине 50-х годов. Это была первая математическая модель, которая свидетельствует о новой парадигме машинного обучения, вычислительной среды, и пороговой логики для модели классификации задач.
Слайд 128 Персептрон был предложен Розенблаттом (1958) в качестве
первой модели для обучения с учителем. Эта модель является усовершенство-ванием
пороговой логики, которая использовалась при решении задачи классификации.
Как формализовать и интерпретировать эту модель?
Слайд 129Решается задача классификации.
Любое изображение, представленное в виде вектора, принадлежит
к одному из двух классов, которые мы обозначим через F
и А.
Простейшая нелинейная нейронная сеть с одним слоем
Слайд 130Входной образ x
Однослойный персептрон как простейшая модель для классификации
Слайд 131С помощью алгоритма персептрона можно решить задачу классифицикации двух линейно
сепарабельных классов.
Слайд 132 Модель однослойного персептрона была первой простейшей моделью, которая вызывает большой
интерес и сейчас благодаря ее способности обучения и распознавания представленных
образов.
Слайд 133Геометрическая интерпретация пороговой логической единицы
Линейная отделимость для задачи классификации
с ОСП
Слайд 134Геометрическая интерпретация пороговой логической единицы
Линейная отделимость для задачи классификации
с ОСП
Слайд 135“Задача отделимости” [Минский, Паперт, 1969]
XOR-Logic
x2
Решение задачи отделимости
Линейная разграничиваю-щая
поверхность не может решить задачу классификации
Выход из этой проблемы заключается
в использовании многослойных сетей
Ограниченность однослойных персептронов
Слайд 136u1(1)
x
w1(1)
y
Персептрон с одним входом и двумя слоями позволяет решить задачу
отделимости
Ограниченный интервал в 1-мерном пространстве x
u2(1)
u1(1)=w1(1)x +b
w2(1)
u (2)
w1(2)
w2(2)
u2(1)=w2(1)x +b
где:
Персептрон с
двумя слоями для нелинейной отделимости
Слайд 137Персептрон с двумя входами и с двумя слоями может реализовать
задачу отделимости
Слой 2
Слой 1
Топологическая классификация многомерных нейронных сетей
Слайд 138Замкнутая ограниченная в 2-D пространстве
Топологическая классификация многомерных нейронных сетей
Слайд 139Персептрон с двумя входами и тремя слоями позволяет реализовать нелинейную
поверхность отделимости
Обучение нейронных сетей
Слайд 140Вогнутая поверхность отделимости :
где:
Слайд 141где:
Целью обучения является сведение к минимуму квадрата ошибки выходного сигнала
и заданного значения.
Обучающее правило для персептрона с
одним слоем
Слайд 143Обучающее правило Розенблатта :
Модифицированное обучающее правило Розенблатта:
Обучающее правило Видроу-Хопффа (правило
delta):
Слайд 144Функция стоимости с квантованными значениями ошибки
где:
- вектор с квантованными значениями
ошибки с элементами ej.
Обучающее правило Розенблатта
Розенблатт первым предложил правило обучения
для настраивания весовых коэффициентов персептрона
Слайд 145Изменение весовых коэффициентов представляется :
или :
Обучающее правило Розенблатта
Слайд 146Модифицированное значение функции стоимости с квантованным значением ошибки е:
Модифицированное
обучающее правило Розенблатта
Слайд 147получим уравнение
Используя алгебраическое преобразование
Модифицированное обучающее правило Розенблатта
Слайд 148 Обучение ОСП иллюстрируется правилом обучения с учителем,
цель которого отнести входные образы {x1, x2, …,xp} к одному
из выделенных классов.
Общий алгоритм обучающего правила
Слайд 149Согласно правилу обучения Розенблатта изменения значений весовых коэффициентов представляются как:
Блочная диаграмма для обучающего правила Розенблатта
Слайд 150Продвинутая теория обучения
Современная теория ИНС охватывает многие
методы и алгоритмы эффективного обучения для различных задач. Развитие некоторых
из них часто основываются на оригинальных подходах к оптимизации целевой функции или функции Ляпунова с помощью критерия оптимальности.
Какие методы лучше всего подходят для решения конкретной задачи?
Слайд 151 Оптимизационные техники активно используются в области
нейронных сетей. Решение оптимизационных задач является одной из самых востребованных
областью науки в математической теории систем.
Тем не менее, очень важно сделать выбор правильного решения этой задачи.
Продвинутая теория обучения нейронных сетей
Слайд 152Генетичес-кие алгоритмы
Современные тенденции в теории ИНС
Теория обучения (алгебраический
подход )
Теория оптимизации представляет собой один из краеугольных камней для
нейронных сетей и нейро-вычислений. Развитие этой теории открывает новые перспективы для разработки методов и методик нейроинформатики.
Слайд 153Общий случай нелинейной функции стоимости
Поверхность 3-D: проблема локального минимума
Слайд 154Глобальные стратегии в решении оптимальных задач
Исчерпывающий поиск
Эволюционная селекция
Две
стратегии решения задачи:
1 - исчерпывающего поиска и сортировки простых вариантов
без изменений алгоритмов;
2 - оценка выбора лучших решений и их воспроизведения.
Введение в концепцию генетических алгоритмов
Слайд 155Последовательное нахождение оптимума
Парралельное нахождение оптимума
Параллельное определение оптимума в генетических алгоритмах
Слайд 156Генетические алгоритмы нейронных сетей
Цель ГА - абстрагировать и объяснить механизмы
естественного процесса отбора и адаптации в биологических системах
Слайд 157 ГА - стохастические методы оптимизации, которые имитируют биологические эволюционные стратегии.
Они используют механизмы процесса эволюционного развития: оптимизацию воспроизведения и выбора
лучших особей. В ходе этого процесса отобранные особи сравниваются с помощью выбранной фитнес-функции.
Ключевым является вопрос: как распределять ресурсы
?
Было доказано, что при некоторых условиях,
Г. А. позволяют распределить ресурсы оптимальным образом [Goldberg,1989].
Эволюционная селекция
Генетические алгоритмы: основные определения
Слайд 158С помощью ГА симулируются эволюционные процессы поиска лучших решений.
Генетические
алгоритмы: основные определения
Слайд 1591. Кодирование индивидуумов в ГА:
Будем понимать под “индивидуумами” полный набор
вариантов решений, который кодируется хромосомной моделью .
На первом шаге
ГА осуществляется кодирование заранее выбранного решения, которое является исходной популяцией индивидуумов
Но как реализовать хромосомную модель
Генетические алгоритмы: базовые определения
Слайд 160Генетические алгоритмы: хромосомная модель
Слайд 1612. Стратегия выбора:
СВ - прямой поиск в пространстве индивидуумов, который
максимизирует значение фитнес-функции. Важно: поиск является параллельным, потому что каждый
индивидуум в популяции может рассматриваться как отдельный поиск.
Генетические алгоритмы: стратегия выбора
Слайд 162Кроссовер:
Мутация:
Инверсия
:
Механизмы формирования новой популяции
Слайд 163Начальная популяция
Селекция
Фитнес-функция
Лучшее решение
?
Воспроизводст-во нового поколения
ГА начинается с набора одного или более индивидуумов
и используя механизмы кросовера, мутации и инверсии генерируют новую популяцию, эффективность которой оцени-вается значением фитнесс-функции.
Во-первых, существующие особи популяции рассматриваются как оптимальное решение, и их фактическое состояние кодируется с помощью строки хромосом.
При воспроизводстве новых поко-лений используются механизмы: кросовера, мутации, инверсии. Оптимизация полного набора, а не отдельной компоненты приводит к появлению нескольких локальных максимумов функции приспо-собленности.
Генетические алгоритмы позволяют найти максимум очень быстро.
Новая популяция
Генетический алгоритм
Слайд 164Фитнесс-функция
Символьная оптимизация хромосомного изменения
Репродукция новой генерации
Выбор
Популяции, которые могут
представлять собой потенциальное решение
Алгоритм решения с помощью генетического алгоритма
Слайд 165где:
В матричной форме :
Математическое описание:
Топология нейронной сети:
Входное изображение
- выходной
вектор
Простейшая линейная нейронная сеть с одним слоем
Слайд 166Топология нейронной сети:
Простейшая нелинейная нейронная сеть с одним слоем
Слайд 168Топология нейронных сетей многослойных (общая модель)
Математическое представление :
где:
3-D матрица весов
Особенности
линейных нейронных сетей
Слайд 169Последовательная топология НС (многослойная)
Классификация топологий многослойных нейронных сетей
Слайд 170 Клеточная нейронная сеть, содержит регулярно расположенные пространственные клетки, которые взаимодействуют
непосредственно с ближайшими соседними клетками. Соседние клетки могут взаимодействовать друг
с другом посредством взаимных боковых взаимодействий.
Классификация топологий многослойных нейронных сетей
Слайд 171 В литературе представлены сотни различных моделей нейронных сетей.
На первый
взгляд может показаться, что выбор необходимой модели будет сложно осуществить,
учитывая их количество.
Как проанализировать их возможности и как выбрать подходящую из них?
Многомерные сети с обратными связями
Слайд 172Однослойная НС с прямой активацией
Конкурентная НС с боковой активацией
Динамическая
(реккурентная) НС с обратной активацией
Активация передачи возможности представляет одну
из важных особенностей НС
Архитектуры нейронных сетей
Слайд 173Многослойные НС с прямым распространением активации
Самоорганизующиеся карты Кохонена
Адаптивная
резонансная теория НС
Архитектуры нейронных сетей
Слайд 174Единица МСНС
Многослойные нейронные сети
Слайд 175 MСНС представляют большой класс НС прямого распространения с
активацией, обобщающие наиболее типичные парадигмы машинного обучения.
Было теоретически доказано, что
для решения подавляющего большинства практических задач классификации достаточно использовать максимум три слоя.
Многослойные нейронные сети
Слайд 176ADALINE, MADALINE –сети
RBF-сети
Вероятностные сети
Adaptive filtering
МСП - сети
Классификация
Аппроксимация
Распознавание
….
Имеются сотни различных
моделей нейронных сетей .
Как выбрать подходящую из них?
Классификация нейронных сетей
с обратными связями
Слайд 177Операторы задержки
x [i]
y [i]
Многомерные линейные с обратной связью сети для
задачи фильтрации
Адаптивный линейный нейрон (Адалайн) является простейшей линейной моделью
с возможностью обучения и адаптивными способностями решения линейных задач классификации.
Слайд 178Многомерные линейные с обратной связью сети для задачи фильтрации
MADALINE
это m ADALINE, подключенных к однослойной сети через синаптические весовые
коэффициенты к n входам.
Слайд 179 Задача аппроксимации заключается в аппроксимации или интерполяции непрерывной многомерной функции
h(x) аппроксимирующей функцией F(w,x), имеющей заданное количество параметров w, принадлежащих
некоторому множеству p базисных функций.
Задача аппроксимации формулируется как представление множества данных h(x) с помощью набора базисных функций {fi(x)}:
где : w – вектор весовых параметров .
Задача аппроксимации
Слайд 180Задача заключается в определении wopt :
некоторая мера аппроксимации между F(w,x)
и h(x).
Задача аппроксимации
Слайд 181где:
Было доказано, что с помощью двухслойной сети с сигмоидальной функцией
в скрытом слое и линейной функцией - на выходе, можно
аппроксимировать (почти) любую функцию с заданной точностью:
МНОГОСЛОЙНАЯ ЛИНЕЙНАЯ С ОБРАТНОЙ СВЯЗЬЮ СЕТЬ КАК АППРОКСИМАТОР
Слайд 182ДВУХСЛОЙНЫЙ АДАПТИВНЫЙ АППРОКСИМАТОР
Слайд 183 Этот подход основан на использовании специального класса нелинейной базисной функции–
радиальной базисной функции (RBF)
чья форма зависит от расстояния
Обычно выбирается
эвклидово расстояние между некоторым вектором x n-мерного пространства, и центром ci .
RBF-аппроксимация
Слайд 184x1
x2
x1
RBF-аппроксиматор
Одномерный RBF
Двумерный RBF
Слайд 185RBF –сети используются при решении таких задач, как:
Робастная функция аппроксимации
Регуляризация
Оптимальная классификация
Потенциальные функции
Парадигмы теории обучения
![“Задача отделимости” [Минский, Паперт, 1969] XOR-Logicx2Решение задачи отделимости Линейная разграничиваю-щая поверхность не может решить задачу классификацииВыход из](/img/tmb/4/309590/2838e62abdf7638c1b660bdae2ad04e4-800x.jpg "Интеллектуальные информационные системы Соколова Светлана Павловна доктор “Задача отделимости” [Минский, Паперт, 1969] XOR-Logicx2Решение задачи отделимости Линейная разграничиваю-щая поверхность")
![Операторы задержкиx [i]y [i]Многомерные линейные с обратной связью сети для задачи фильтрации Адаптивный линейный нейрон (Адалайн) является](/img/tmb/4/309590/c0248cf6276c2bac39914d0385bb841b-800x.jpg "Интеллектуальные информационные системы Соколова Светлана Павловна доктор Операторы задержкиx [i]y [i]Многомерные линейные с обратной связью сети для задачи")
