элементами памяти (временной задержки) на входе и в цепи обратной
связи.Уравнение НС
(Time Delay NN)
Разделы презентаций
- Разное
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Геометрия
- Детские презентации
- Информатика
- История
- Литература
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Лекция 7 РЕКУРРЕНТНЫЕ НС. НС ГЛУБОКОГО ОБУЧЕНИЯ ( DEEP LEARNING )
Содержание
- 1. Лекция 7 РЕКУРРЕНТНЫЕ НС. НС ГЛУБОКОГО ОБУЧЕНИЯ ( DEEP LEARNING )
- 2. РЕКУРРЕНТНАЯ НЕЙРОННАЯ СЕТЬ(Recurrent Neural Network, RNN) –
- 3. НС ДЖОРДАНА (Jordan M., 1986)– НС с
- 4. НС ЭЛМАНА (Elman J., 1990)– НС с
- 5. ПРОГНОЗИРОВАНИЕ ВРЕМЕННЫХ РЯДОВРешение: НС-предиктор на базе персептронаКоличество нейронов:Обучающая выборка:СКО:Точность прогноза:
- 6. ГЛУБОКОЕ ОБУЧЕНИЕ (Deep Learning)– это набор алгоритмов
- 7. ОСНОВНАЯ ИДЕЯ ГЛУБОКОГО ОБУЧЕНИЯ2 этапа обучения:Извлекается «глубинная»
- 8. ГЛУБОКИЕ НС НА ОСНОВЕ АВТОЕНКОДЕРААвтоенкодер (автокодировщик, autoencoder)
- 9. АРХИТЕКТУРА СВЕРТОЧНОЙ НС
- 10. ОПЕРАЦИЯ СВЕРТКИ (Convolutional)– ядро свертки6 фильтров →
- 11. СЛОЙ СУБДИСКРЕТИЗАЦИИ (Subsampling / pooling layer)Цель: снижение размерности карт признаков.Основные операции:max;усреднение.Сверточный слойСлой субдискретизации
- 12. ВИЗУАЛИЗАЦИЯ СЛОЕВ СВЕРТОЧНОЙ (иерархия признаков)
- 13. ЛИТЕРАТУРА (по глубокому обучению)Николенко С., Кадурин
- 14. Скачать презентанцию
РЕКУРРЕНТНАЯ НЕЙРОННАЯ СЕТЬ(Recurrent Neural Network, RNN) – это НС с элементами памяти (временной задержки) на входе и в цепи обратной связи.Уравнение НС (Time Delay NN)
Слайды и текст этой презентации
Слайд 2РЕКУРРЕНТНАЯ НЕЙРОННАЯ СЕТЬ
(Recurrent Neural Network, RNN) – это НС с
Слайд 3НС ДЖОРДАНА (Jordan M., 1986)
– НС с обратными связями с
выходного слоя нейронов.
Уравнение НС:
где – вектор размерности
составленный из
компонент вектора – дискретное время.
элемент временной задержки на 1 такт
Слайд 4НС ЭЛМАНА (Elman J., 1990)
– НС с обратными связями с
нейронов скрытого слоя.
Уравнение НС:
где – вектор размерности
составленный из
компонент вектора – дискретное время.
элемент временной задержки на 1 такт
Слайд 5ПРОГНОЗИРОВАНИЕ ВРЕМЕННЫХ РЯДОВ
Решение: НС-предиктор на базе персептрона
Количество нейронов:
Обучающая выборка:
СКО:
Точность прогноза:
Слайд 6ГЛУБОКОЕ ОБУЧЕНИЕ (Deep Learning)
– это набор алгоритмов машинного обучения, которые
моделируют множество уровней представления (абстракций) данных с использованием глубоких (многомерных)
НС.2005-2006 гг. – «Глубинная революция» в ИИ:
Йошуа Бенджио (Университет Монреаля, Канада) – Автоенкодеры;
Ян ЛеКун (Facebook) – Сверточные НС;
Джеффри Хинтон (Университет Торонто, Канада) – Ограниченная машина Больцмана.
/ Глубокие НС = НС 3-го поколения /
Слайд 7ОСНОВНАЯ ИДЕЯ ГЛУБОКОГО ОБУЧЕНИЯ
2 этапа обучения:
Извлекается «глубинная» информация о внутренней
структуре входных данных (feature extraction);
Принимается решение о принадлежности входного вектора
X определенному классу (classification).= / Аналогия с человеческим мозгом /
Слайд 8ГЛУБОКИЕ НС НА ОСНОВЕ АВТОЕНКОДЕРА
Автоенкодер (автокодировщик, autoencoder) – это НС,
которая пытается максимально приблизить значение выходного сигнала к входному, т.е.
наилучшим образом аппроксимировать тождественное преобразование.Центральный скрытый слой («bottleneck») – выделяет наиболее существенные признаки входного объекта (образа).
Цель обучения:
где X – входной вектор; Y – выходной вектор; – малая величина.
Слайд 10ОПЕРАЦИЯ СВЕРТКИ (Convolutional)
– ядро свертки
6 фильтров → 6 карт признаков
Каждая карта признаков имеет свое ядро свертки (свой фильтр).
Слайд 11СЛОЙ СУБДИСКРЕТИЗАЦИИ (Subsampling / pooling layer)
Цель: снижение размерности карт признаков.
Основные
операции:
max;
усреднение.
Сверточный слой
Слой субдискретизации
Слайд 13ЛИТЕРАТУРА
(по глубокому обучению)
Николенко С., Кадурин А., Архангельская Е. Глубокое
обучение. Погружение в мир нейронных сетей. – СПб.: Питер, 2019.
– 480 с.Траск Э. Грокаем глубокое обучение / Пер. с англ. – СПб.: Питер, 2019. – 352 с.
Головко В.А. От многослойных персептронов к нейронным сетям глубокого доверия: парадигмы обучения и применения // Лекции по нейроинформатике. – М., 2017. – С. 47-84.
Визильтер Ю.В. Глубокое обучение и глубокая оптимизация: современное состояние и перспективы развития технологий ИИ // Семинар НИУ ВШЭ по высокопроизводительным вычислениям. – М.: ГосНИИАС, 2020. (Презентация / 80 слайдов).
