Искусственные нейронные сети

Когда сигнал проходит по сети слева направо, считается, что нейрон

j находится на один слой правее
нейрона i, а нейрон k - еще на один слой правее нейрона j, если последний принадлежит скрытому слою.
Итерация (такт времени) n соответствует n-му обучающему образу (примеру), поданному на вход сети.
Символ Е(n) означает текущую сумму квадратов ошибок (или энергию ошибки) на итерации n. Среднее значение Е(n) по всем значениям n (т.е. по всему обучающему множеству) называется средней энергией ошибки Еav
Символ ej(n) описывает сигнал ошибки на выходе нейрона j на итерации n.
Символ dj(n) означает желаемый отклик нейрона j и используется для вычисления ej(n).
Символ yj(n) описывает функциональный сигнал, генерируемый на выходе нейрона J на итерации n.
Символ wji(n) используется для обозначения синаптическоrо веса, связывающего выход нейрона i со входом нейрона j на итерации n. Коррекция, применяемая к этому весу на шаге n, обозначается Δwji(n)

Обозначения

порог) нейрона j на итерации n обозначается символом vj(n). Это

значение передается в функцию активации, связанную с нейроном j.
Функция активации, соответствующая нейрону j и описывающая нелинейную взаимосвязь входного и выходного сигналов этого нейрона, обозначается φj(·).
Порог, применяемый к нейрону j, обозначается символом bj. Eгo влияние представлено синапсом с весом wj0 = bj , соединенным с фиксированным входным сигналом, равным +1.
i-й элемент входного вектора обозначается xi(n)
k-й элемент выходного вектора (образа) обозначается ok(n)
Параметр скорости (интенсивности) обучения обозначается символом η.
Символ ml обозначает размерность (количество узлов) слоя l многослойного перцептрона; l = 1, 2,..., L, где L - "глубина" сети. Таким образом, символ m0 означает размерность входного слоя; m1 - первого cкpытoгo слоя; mL - выходнoгo слоя. Для описания размерности выходного слоя будет также использоваться символ М.

Heкоторые скрытые нейроны первого слоя можно использовать для разделения входного

пространства на отдельные области, а остальные нейроны слоя обучать локальным признакам, характеризующим эти области.
Глобальные признаки (global feature) извлекаются во втором скрытом слое. В частности, нейрон второго скрытого слоя "обобщает" выходные сигналы нейронов первого скрытого слоя, относящихся к конкретной области входного пространства. Таким образом он обучается глобальным признакам этой области, а в остальных областях eгo выходной сигнал равен нулю.

слоям сети: прямого и обратного. При прямом проходе (forward pass)

образ (входной вектор) подается на сенсорные узлы сети, после чего распространятся по сети от слоя к слою. В результате генерируется набор выходных сигналов, который и является фактической реакцией сети на данный входной образ.
Во время прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода (backward pass) все синаптические веса настраиваются в соответствии с правилом Koppeкции ошибок, а именно: фактический выход сети вычитается из желаемого (целевого) отклика, в результате чего формируется сигнал ошибки (error signal). Этот сигнал впоследствии распространяется по сети в направлении, обратном направлению синаптических связей.

Алгоритм обратного распространения ошибки

и пороговые значения с помощью датчика paвномерно распределенных чисел со

средним значением О. Дисперсия выбирается таким образом, чтобы стандартное отклонение индуцированного локального поля нейронов приходилось на линейную часть сигмоидальной функции активации (и не достигало области насыщения).
2. Предъявление примеров обучения (presentation oftraining examples). В сеть подаются образы из обучающего множества (эпохи). Для каждого образа последовательно выполняются прямой и обратный проходы, описанные Далее в пп. 3 и 4.
3. Прямой проход (forward computation). Пусть пример обучения представлен парой (х(n), d(n)), где х(n) - входной вектор, предъявляемый входному слою сенсорных узлов; d(n) - желаемый отклик, предоставляемый выходному слою нейронов для формирования сигнала ошибки. Вычисляем индуцированные локальные поля и функциональные сигналы сети, проходя по ней послойно в прямом направлении. Индуцированное локальное поле нейрона j слоя l вычисляется по формуле

Алгоритм

предыдущем слое l-1, на итерации n; wjil(n) - синaптический вес

связи нейрона j слоя l с нейроном i слоя l-1. Для i=0 y0l-1(n) = +1, а wj0l (n) = bjl(n) - поpoг, применяемый к нейрону j слоя l. Если используется сигмоидальная функция, то выходной сигнал нейрона j слоя l выражается следующим образом:

= 1), то

где xj(n) - j-й элемент входного вектора х(n).

Если нейрон j находится в выходном слое (т.е. l = L, где L - глубина сети), то

Вычисляем сигнал ошибки

проход (backward computation). Вычисляем локальные градиенты узлов сети по следующей

формуле:


где штрих в функции φj’(·) обозначает дифференцирование по аргументу. Изменение синаптических весов слоя l сети выполняется в соответствии с обобщенным дельта-правилом

5. Итерации (iteration). Последовательно выполняем прямой и обратный проходы (согласно

пп. 3, 4), предъявляя сети все при меры обучения из эпохи, пока не
будет достигнут критерий останова.
Примечание. Порядок представления примеров обучения может случайным образам меняться от эпохи к эпохе. Параметры момента и скорости обучения настраиваются (и обычно уменьшаются) по мере роста количества итераций. Объяснение этого факта будет приведено ниже.

нейрона j.

Функция активации

двумерных поверхностей с высокой степенью инвариантности к преобразованиям, масштабированию, искажениям

и прочим видам деформации. Обучение решению этой сложной задачи осуществляется с учителем.
LeNet-5
Неокогнитрон

Сети свертки (convolutional networks)

поля (receptive field) в предыдущем слое, извлекая таким образом его

локальные признаки. Как только признак извлечен, eгo точное местоположение не имеет значения, поскольку приблизительно установлено eгo расположение относительно других признаков.
Отображение признаков. Каждый вычислительный слой сети состоит из множества карт признаков (feature mар), каждая из которых имеет форму плоскости, на которой все нейроны должны совместно использовать одно и то же множество синаптических весов. Эта форма структурных ограничений имеет следующие преимущества.

Особенности

использованием свертки (convo1ution) с ядром небольшого размера, выполняющим функцию "сплющивания".
Подвыборка

(subsampling). За каждым слоем свертки следует вычислительный слой, осуществляющий локальное усреднение (local averaging) и подвыборку. Посредством этогo достигается уменьшение разрешения для карт признаков. Эта операция приводит к уменьшению чувствительности выходного сигнала оператора отображения признаков, к смещению и прочим формам деформации.

обучаются на примерах. Более того, сеть сама учится извлекать признаки

автоматически.

непосредственно реагируют на входящие образы.
Ограничения на входной образ
Фиксированный размер
Минимально-возможная толщина
Бинарность

Входной

слой

плоскость содержит ячейки с концентрическими рецептивными полями с on-центром (возбуждаются

при освещении центра рецептивного поля ячейки), другая плоскость состоит из ячеек с концентрическими рецептивными полями с off-центром (возбуждаются при его затемнении).

Слой извлечения контраста

связью ;
[x] = max(x; 0);
- сила

фиксированной связи с ячейкой;
- номер плоскости: с on-центром (=2), с off-центром (=1);
AG - радиус рецептивного поля нейрона

в соответствии с признаками образа которые они выделяют, а каждая

плоскость нейронов организована в 2-мерный массив ячеек.
S-ячейки слоя US1 соответствуют простым ячейкам в первичной зрительной зоне коры головного мозга и выделяют характерные признаки символа (4-9 на символ). Ячейки последующих S-слоев, кроме US4, выделяют детали признаков, выделенных слоем US1.

Основные слои

рецептивном поле оказывается именно тот признак образа, на который обучали

данный нейрон. Каждый C-нейрон получает в качестве входа сигналы, поступающие от группы S-нейронов, которые выделяют одинаковый признак образа, но с небольшими смещениями в положении рецептивного поля. Таким образом, C-нейрон распознает выделяемый элемент образа, даже если он немного сдвинут в своем положении, что обеспечивает инвариантность к сдвигам.

распознавания образов сетью в виде имени класса.

слоя

Выходы ячеек

ячейки
v - индекс связи;
(≥0) -

сила переменной возбуждающей связи, идущей от C-ячейки предыдущей стадии.
ASl - радиус рецептивного поля ячейки, т.е., размер пространственного сдвига входящего образа относительно центра рецептивного поля;
bl(k) (≥0) - сила переменной тормозящей связи, идущей от V-ячейки;
cSl(v) - сила постоянной возбуждающей связи с V-ячейкой.
(<1) - порог чувствительности S-ячейки.

UCl.


где:


- сила постоянных возбуждающих связей, сходящихся от

группы S-ячеек, которые распространяются в пределах радиуса ACl.

он рассматривается как представитель всех узлов в плоскости, вызывая увеличение

их связей на том же самом образе. Это делается каждый раз, когда представляется новый обучающий образ и для каждой плоскости. В слое US1, обучаемом с помощью контролируемого обучения, ячейки-представители выбираются «учителем». Ячейка, центр рецептивного поля которой совпадает с местоположением признака, становится представителем. В слоях US2 и US3 представители выбираются из тех S-ячеек, которые дают максимальный выход. Слой US4 обучается таким же образом, как и слои US2 и US3, за исключением того, что здесь также запоминается имя соответствующего класса.

Обучение сети

не равные нулю сигналы. Все другие S-ячейки в S-плоскости, от

которых выбран представитель, имеют такое же усиление своих входных соединений, как и их представитель.

начальной, следовательно, изменяющиеся связи с этой ячейкой, как и со

всеми S-ячейками в этой плоскости, увеличиваются следующим образом:

где
ql - положительная константа (=100), определяющая скорость обучения.