Разделы презентаций


Искусственные нейронные сети презентация, доклад

Содержание

Структура сети

Слайды и текст этой презентации

Слайд 1Искусственные нейронные сети
Многослойный перцептрон

Искусственные нейронные сетиМногослойный перцептрон

Слайд 2Структура сети

Структура сети

Слайд 3Индексы i, j и k относятся к различным нейронам сети.

Когда сигнал проходит по сети слева направо, считается, что нейрон

j находится на один слой правее
нейрона i, а нейрон k - еще на один слой правее нейрона j, если последний принадлежит скрытому слою.
Итерация (такт времени) n соответствует n-му обучающему образу (примеру), поданному на вход сети.
Символ Е(n) означает текущую сумму квадратов ошибок (или энергию ошибки) на итерации n. Среднее значение Е(n) по всем значениям n (т.е. по всему обучающему множеству) называется средней энергией ошибки Еav
Символ ej(n) описывает сигнал ошибки на выходе нейрона j на итерации n.
Символ dj(n) означает желаемый отклик нейрона j и используется для вычисления ej(n).
Символ yj(n) описывает функциональный сигнал, генерируемый на выходе нейрона J на итерации n.
Символ wji(n) используется для обозначения синаптическоrо веса, связывающего выход нейрона i со входом нейрона j на итерации n. Коррекция, применяемая к этому весу на шаге n, обозначается Δwji(n)

Обозначения

Индексы i, j и k относятся к различным нейронам сети. Когда сигнал проходит по сети слева направо,

Слайд 4Индуцированное локальное поле (т.е. взвешенная сумма всех синаптических входов плюс

порог) нейрона j на итерации n обозначается символом vj(n). Это

значение передается в функцию активации, связанную с нейроном j.
Функция активации, соответствующая нейрону j и описывающая нелинейную взаимосвязь входного и выходного сигналов этого нейрона, обозначается φj(·).
Порог, применяемый к нейрону j, обозначается символом bj. Eгo влияние представлено синапсом с весом wj0 = bj , соединенным с фиксированным входным сигналом, равным +1.
i-й элемент входного вектора обозначается xi(n)
k-й элемент выходного вектора (образа) обозначается ok(n)
Параметр скорости (интенсивности) обучения обозначается символом η.
Символ ml обозначает размерность (количество узлов) слоя l многослойного перцептрона; l = 1, 2,..., L, где L - "глубина" сети. Таким образом, символ m0 означает размерность входного слоя; m1 - первого cкpытoгo слоя; mL - выходнoгo слоя. Для описания размерности выходного слоя будет также использоваться символ М.


Индуцированное локальное поле (т.е. взвешенная сумма всех синаптических входов плюс порог) нейрона j на итерации n обозначается

Слайд 5Локальные признаки (local feature) извлекаются в первом скрытом слое, Т.е.

Heкоторые скрытые нейроны первого слоя можно использовать для разделения входного

пространства на отдельные области, а остальные нейроны слоя обучать локальным признакам, характеризующим эти области.
Глобальные признаки (global feature) извлекаются во втором скрытом слое. В частности, нейрон второго скрытого слоя "обобщает" выходные сигналы нейронов первого скрытого слоя, относящихся к конкретной области входного пространства. Таким образом он обучается глобальным признакам этой области, а в остальных областях eгo выходной сигнал равен нулю.


Локальные признаки (local feature) извлекаются в первом скрытом слое, Т.е. Heкоторые скрытые нейроны первого слоя можно использовать

Слайд 6Обучение методом обратного распространения ошибки предполагает два прохода по всем

слоям сети: прямого и обратного. При прямом проходе (forward pass)

образ (входной вектор) подается на сенсорные узлы сети, после чего распространятся по сети от слоя к слою. В результате генерируется набор выходных сигналов, который и является фактической реакцией сети на данный входной образ.
Во время прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода (backward pass) все синаптические веса настраиваются в соответствии с правилом Koppeкции ошибок, а именно: фактический выход сети вычитается из желаемого (целевого) отклика, в результате чего формируется сигнал ошибки (error signal). Этот сигнал впоследствии распространяется по сети в направлении, обратном направлению синаптических связей.

Алгоритм обратного распространения ошибки

Обучение методом обратного распространения ошибки предполагает два прохода по всем слоям сети: прямого и обратного. При прямом

Слайд 71. Инициализация (initialization). Предполагая отсутствие априорной информации, генерируем синаптические веса

и пороговые значения с помощью датчика paвномерно распределенных чисел со

средним значением О. Дисперсия выбирается таким образом, чтобы стандартное отклонение индуцированного локального поля нейронов приходилось на линейную часть сигмоидальной функции активации (и не достигало области насыщения).
2. Предъявление примеров обучения (presentation oftraining examples). В сеть подаются образы из обучающего множества (эпохи). Для каждого образа последовательно выполняются прямой и обратный проходы, описанные Далее в пп. 3 и 4.
3. Прямой проход (forward computation). Пусть пример обучения представлен парой (х(n), d(n)), где х(n) - входной вектор, предъявляемый входному слою сенсорных узлов; d(n) - желаемый отклик, предоставляемый выходному слою нейронов для формирования сигнала ошибки. Вычисляем индуцированные локальные поля и функциональные сигналы сети, проходя по ней послойно в прямом направлении. Индуцированное локальное поле нейрона j слоя l вычисляется по формуле

Алгоритм

1. Инициализация (initialization). Предполагая отсутствие априорной информации, генерируем синаптические веса и пороговые значения с помощью датчика paвномерно

Слайд 8где yil-1(n) - выходной (функциональный) сигнал нейрона i, расположенного в

предыдущем слое l-1, на итерации n; wjil(n) - синaптический вес

связи нейрона j слоя l с нейроном i слоя l-1. Для i=0 y0l-1(n) = +1, а wj0l (n) = bjl(n) - поpoг, применяемый к нейрону j слоя l. Если используется сигмоидальная функция, то выходной сигнал нейрона j слоя l выражается следующим образом:


где yil-1(n) - выходной (функциональный) сигнал нейрона i, расположенного в предыдущем слое l-1, на итерации n; wjil(n)

Слайд 9Если нейрон j находится в первом скрытом слое (т.е. l

= 1), то

где xj(n) - j-й элемент входного вектора х(n).

Если нейрон j находится в выходном слое (т.е. l = L, где L - глубина сети), то

Вычисляем сигнал ошибки


Если нейрон j находится в первом скрытом слое (т.е. l = 1), тогде xj(n) - j-й элемент

Слайд 10где dj(n) - j-й элемент вектора желаемого отклика d(n).
4. Обратный

проход (backward computation). Вычисляем локальные градиенты узлов сети по следующей

формуле:


где штрих в функции φj’(·) обозначает дифференцирование по аргументу. Изменение синаптических весов слоя l сети выполняется в соответствии с обобщенным дельта-правилом


где dj(n) - j-й элемент вектора желаемого отклика d(n).4. Обратный проход (backward computation). Вычисляем локальные градиенты узлов

Слайд 11где η - параметр скорости обучения; α - постоянная момента.


5. Итерации (iteration). Последовательно выполняем прямой и обратный проходы (согласно

пп. 3, 4), предъявляя сети все при меры обучения из эпохи, пока не
будет достигнут критерий останова.
Примечание. Порядок представления примеров обучения может случайным образам меняться от эпохи к эпохе. Параметры момента и скорости обучения настраиваются (и обычно уменьшаются) по мере роста количества итераций. Объяснение этого факта будет приведено ниже.


где η - параметр скорости обучения; α - постоянная момента. 5. Итерации (iteration). Последовательно выполняем прямой и

Слайд 12Логистическая функция, выраженная сигмоидальной формой


гдe vj(n) - индуцированное локальное поле

нейрона j.

Функция активации

Логистическая функция, выраженная сигмоидальной формойгдe vj(n) - индуцированное локальное поле нейрона j.Функция активации

Слайд 13Многослойный перцептрон
Сети свертки

Многослойный перцептронСети свертки

Слайд 14Сеть свертки представляет собой многoслойный персептрон, специально созданный для распознавания

двумерных поверхностей с высокой степенью инвариантности к преобразованиям, масштабированию, искажениям

и прочим видам деформации. Обучение решению этой сложной задачи осуществляется с учителем.
LeNet-5
Неокогнитрон

Сети свертки (convolutional networks)

Сеть свертки представляет собой многoслойный персептрон, специально созданный для распознавания двумерных поверхностей с высокой степенью инвариантности к

Слайд 15Извлечение признаков. Каждый нейрон получает входной сигнал от локального рецептивного

поля (receptive field) в предыдущем слое, извлекая таким образом его

локальные признаки. Как только признак извлечен, eгo точное местоположение не имеет значения, поскольку приблизительно установлено eгo расположение относительно других признаков.
Отображение признаков. Каждый вычислительный слой сети состоит из множества карт признаков (feature mар), каждая из которых имеет форму плоскости, на которой все нейроны должны совместно использовать одно и то же множество синаптических весов. Эта форма структурных ограничений имеет следующие преимущества.

Особенности

Извлечение признаков. Каждый нейрон получает входной сигнал от локального рецептивного поля (receptive field) в предыдущем слое, извлекая

Слайд 16Инвариантность к смещению (shift invariance), реализованную посредством карт признаков с

использованием свертки (convo1ution) с ядром небольшого размера, выполняющим функцию "сплющивания".
Подвыборка

(subsampling). За каждым слоем свертки следует вычислительный слой, осуществляющий локальное усреднение (local averaging) и подвыборку. Посредством этогo достигается уменьшение разрешения для карт признаков. Эта операция приводит к уменьшению чувствительности выходного сигнала оператора отображения признаков, к смещению и прочим формам деформации.


Инвариантность к смещению (shift invariance), реализованную посредством карт признаков с использованием свертки (convo1ution) с ядром небольшого размера,

Слайд 17Следует подчеркнуть, что все веса во всех слоях сверточной сети

обучаются на примерах. Более того, сеть сама учится извлекать признаки

автоматически.


Следует подчеркнуть, что все веса во всех слоях сверточной сети обучаются на примерах. Более того, сеть сама

Слайд 18Неокогнитрон

Неокогнитрон

Слайд 19Работа слоев

Работа слоев

Слайд 20Первый слой сети (U0) представляет собой слой фоторецепторных нейронов, которые

непосредственно реагируют на входящие образы.
Ограничения на входной образ
Фиксированный размер
Минимально-возможная толщина
Бинарность

Входной

слой
Первый слой сети (U0) представляет собой слой фоторецепторных нейронов, которые непосредственно реагируют на входящие образы.Ограничения на входной

Слайд 21Слой извлекающих контраст ячеек (UG) состоит из двух плоскостей: первая

плоскость содержит ячейки с концентрическими рецептивными полями с on-центром (возбуждаются

при освещении центра рецептивного поля ячейки), другая плоскость состоит из ячеек с концентрическими рецептивными полями с off-центром (возбуждаются при его затемнении).

Слой извлечения контраста

Слой извлекающих контраст ячеек (UG) состоит из двух плоскостей: первая плоскость содержит ячейки с концентрическими рецептивными полями

Слайд 22

где:
-индекс связи;
- выход ячейки U0, связанной

связью ;
[x] = max(x; 0);
- сила

фиксированной связи с ячейкой;
- номер плоскости: с on-центром (=2), с off-центром (=1);
AG - радиус рецептивного поля нейрона








где: -индекс связи;   - выход ячейки U0, связанной связью ; [x] = max(x; 0);

Слайд 23Каждый S- и C-слой нейронов разделен на подгруппы, называемые плоскостями

в соответствии с признаками образа которые они выделяют, а каждая

плоскость нейронов организована в 2-мерный массив ячеек.
S-ячейки слоя US1 соответствуют простым ячейкам в первичной зрительной зоне коры головного мозга и выделяют характерные признаки символа (4-9 на символ). Ячейки последующих S-слоев, кроме US4, выделяют детали признаков, выделенных слоем US1.

Основные слои

Каждый S- и C-слой нейронов разделен на подгруппы, называемые плоскостями в соответствии с признаками образа которые они

Слайд 24В результате обучения S-нейрон активизируется только тогда, когда в его

рецептивном поле оказывается именно тот признак образа, на который обучали

данный нейрон. Каждый C-нейрон получает в качестве входа сигналы, поступающие от группы S-нейронов, которые выделяют одинаковый признак образа, но с небольшими смещениями в положении рецептивного поля. Таким образом, C-нейрон распознает выделяемый элемент образа, даже если он немного сдвинут в своем положении, что обеспечивает инвариантность к сдвигам.


В результате обучения S-нейрон активизируется только тогда, когда в его рецептивном поле оказывается именно тот признак образа,

Слайд 25Уровень UC4 является уровнем распознавания, реакция которого показывает конечный результат

распознавания образов сетью в виде имени класса.

Уровень UC4 является уровнем распознавания, реакция которого показывает конечный результат распознавания образов сетью в виде имени класса.

Слайд 26Связи между ячейками

Связи между ячейками

Слайд 27S-ячейки





где:
- номер плоскости текущего слоя
- номер плоскости предыдущего

слоя

Выходы ячеек




S-ячейкигде: - номер плоскости текущего слоя - номер плоскости предыдущего слояВыходы ячеек

Слайд 28l - номер текущего слоя
n - позиция центра рецептивного поля

ячейки
v - индекс связи;
(≥0) -

сила переменной возбуждающей связи, идущей от C-ячейки предыдущей стадии.
ASl - радиус рецептивного поля ячейки, т.е., размер пространственного сдвига входящего образа относительно центра рецептивного поля;
bl(k) (≥0) - сила переменной тормозящей связи, идущей от V-ячейки;
cSl(v) - сила постоянной возбуждающей связи с V-ячейкой.
(<1) - порог чувствительности S-ячейки.





l - номер текущего слояn - позиция центра рецептивного поля ячейкиv - индекс связи;

Слайд 29Ответ S-ячейки уровня USl пространственно размыт в последующих C-ячейках уровня

UCl.


где:


- сила постоянных возбуждающих связей, сходящихся от

группы S-ячеек, которые распространяются в пределах радиуса ACl.





Ответ S-ячейки уровня USl пространственно размыт в последующих C-ячейках уровня UCl.где:   - сила постоянных возбуждающих

Слайд 30Сначала выбирается простой узел, веса синапсов которого должны быть увеличены,

он рассматривается как представитель всех узлов в плоскости, вызывая увеличение

их связей на том же самом образе. Это делается каждый раз, когда представляется новый обучающий образ и для каждой плоскости. В слое US1, обучаемом с помощью контролируемого обучения, ячейки-представители выбираются «учителем». Ячейка, центр рецептивного поля которой совпадает с местоположением признака, становится представителем. В слоях US2 и US3 представители выбираются из тех S-ячеек, которые дают максимальный выход. Слой US4 обучается таким же образом, как и слои US2 и US3, за исключением того, что здесь также запоминается имя соответствующего класса.

Обучение сети

Сначала выбирается простой узел, веса синапсов которого должны быть увеличены, он рассматривается как представитель всех узлов в

Слайд 31Для представителя S-ячейки усиливаются только входные соединения, че­рез которые приходят

не равные нулю сигналы. Все другие S-ячейки в S-плоскости, от

которых выбран представитель, имеют такое же усиление своих входных соединений, как и их представитель.


Для представителя S-ячейки усиливаются только входные соединения, че­рез которые приходят не равные нулю сигналы. Все другие S-ячейки

Слайд 32Пусть ячейка была выбрана в качестве

начальной, следовательно, изменяющиеся связи с этой ячейкой, как и со

всеми S-ячейками в этой плоскости, увеличиваются следующим образом:

где
ql - положительная константа (=100), определяющая скорость обучения.





Пусть ячейка     была выбрана в качестве начальной, следовательно, изменяющиеся связи с этой ячейкой,

Слайд 33Пример

Пример

Слайд 34LeNet-5

LeNet-5

Обратная связь

Если не удалось найти и скачать доклад-презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое TheSlide.ru?

Это сайт презентации, докладов, проектов в PowerPoint. Здесь удобно  хранить и делиться своими презентациями с другими пользователями.


Для правообладателей

Яндекс.Метрика