Нейронные сети. Лекция 2

процесс обучения нейронной сети;
алгоритмы обучения нейронной сети;
сбор данных

для нейронной сети;
пре/пост процессирование;
линейная сеть;
многослойный персептрон;
радиальная базисная функция;
сеть Кохонена;
*примеры.

ящика, у которого имеется n входов и m выходов. Кроме

этого, имеется набор (матрица) весовых коэффициентов, общее количество которых равно произведению n на m.

Элементы, обозначенные цифрами от 1 до m представляют собой слой нейронов. Первый слой сети, на который подаются входные сигналы X1…Xn, играет роль распределительного слоя

нейронной сети имеет связи со всем нейронами следующего слоя, называемого обрабатывающим слоем.

Ключевой вопрос – наличие обратной связи. Простейшая сеть имеет структуру прямой передачи сигнала: Сигналы проходят от входов через скрытые элементы и в конце концов приходят на выходные элементы. Такая структура имеет устойчивое поведение. Если же сеть рекуррентная (т.е. содержит связи, ведущие назад от более дальних к более ближним нейронам), то она может быть неустойчива и иметь очень сложную динамику поведения.

– пороговое значение);
преобразовать значение активации с помощью функции активации;

фондовом рынке. Зная цены акций за последнюю неделю и сегодняшнее

значение индекса FTSE, спрогнозировать завтрашнюю цену акций.
Предоставление кредита. Требуется определить, высок ли риск предоставления кредита частному лицу, обратившемуся с такой просьбой. В результате разговора с ним известен его доход, предыдущая кредитная история и т.д.
Управление. Нужно определить что должен делать робот (повернуться направо или налево, двигаться вперед и т.д.), чтобы достичь цели; известно изображение, которое передает установленная на роботе видеокамера.

Особенности применения нейронных сетей для решения задач
Сеть можно применять в ситуации, когда у Вас имеется определенная известная информация, и Вы хотите из нее получить некоторую пока неизвестную информацию;
Вы должны знать (или хотя бы иметь серьезные подозрения), что между известными входными значениями и неизвестными выходами имеется связь.

данные представляют собой примеры входных данных и соответствующих им выходов.

Сеть учится устанавливать связь между первыми и вторыми;
Нейронная сеть обучается с помощью того или иного алгоритма управляемого обучения, при котором имеющиеся данные используются для корректировки весов и пороговых значений сети таким образом, чтобы минимизировать ошибку прогноза на обучающем множестве.

Обучение без учителя
Обучающие данные содержат только значения входных переменных.

не похоже на прошлое;
Следует учесть все возможности;
Сеть обучается тому, чему

проще всего обучиться;
Несбалансированный набор данных.

исследования брать в качестве входных значений?
Проводить ли перевод из одной

шкалы в другую?
Проводить ли нормировку значений?
Сколько наблюдений необходимо иметь для обучения сети?
Что делать с не вполне достоверными данными (шумы, аномалии, пропуски)?

предполагаете, влияют на результат;
С числовыми и номинальными переменными можно работать

непосредственно*. Переменные других типов следует преобразовать в указанные типы или объявить незначащими;
Чем больше в задаче переменных, тем больше нужно иметь наблюдений;
В случае необходимости можно работать с наблюдениями, содержащими пропущенные значения. Если возможно, удалите выбросы. Если данных достаточное количество, уберите из рассмотрения наблюдения с пропущенными значениями.

образом, чтобы ее входной аргумент мог принимать произвольные значения, а

выходные значения лежали бы в строго ограниченном диапазоне ("сплющивание"). При этом, возникает эффект насыщения, когда элемент оказывается чувствительным

лишь к входным значениям, лежащим в некоторой ограниченной области. На рисунке выходное значение всегда будет лежать в интервале (0,1), а область чувствительности для входов чуть шире интервала (-1,+1). Данная функция является гладкой, а ее производная легко вычисляется - это обстоятельство весьма существенно для работы алгоритма обучения сети.
Коль скоро выходные значения всегда принадлежат некоторой ограниченной области, а вся информация должна быть представлена в числовом виде, очевидно, что при решении реальных задач методами нейронных сетей требуются этапы предварительной обработки - пре-процессирования - и заключительной обработки - пост-процессирования данных.

сети. Обычно исходные данные масштабируются по линейной шкале*.

Номинальные переменные
Номинальная переменная

числовая переменная (Пол = {Муж, Жен} Муж = 0, Жен = 1)
Кодирование 1-из-N: (Животное = {Собака, Овца, Кошка} Собака = {1,0,0}, Овца = {0,1,0}, Кошка = {0,0,1})

которая в выходном слое содержит только линейные элементы.

Во время

работы сеть фактически умножает вектор входов на матрицу весов, а затем к полученному вектору прибавляет вектор смещения (вектор пороговых значений).

Линейная сеть является хорошей точкой отсчета для оценки качества построенных Вами нейронных сетей. Может оказаться так, что задачу, считавшуюся очень сложной, можно успешно не только нейронной сетью, но и простым линейным методом. Если же в задаче не так много обучающих данных, то, вероятно, просто нет оснований использовать более сложные модели.

СМЕНИТЬ

и порогов сети, которые бы минимизировали ошибку прогноза, выдаваемого сетью.

Функции

ошибок:
сумма квадратов ошибок;
среднеквадратическая ошибка.

Поверхности ошибок:
параболоид;
сложная форма (с множеством глобальных минимумов).

величина шага берется пропорциональна «крутизне склона»;
в алгоритм вводится слагаемое

импульса (или инерции).

Проблемы, возникающие при обучении:
переобучение;
обобщение;
нерепрезентативный набор данных.

(в общем случае) гиперсферами.
Отличия сетей RBF от сетей MLP:
моделируют

произвольную нелинейную функцию с помощью всего одного промежуточного слоя;
сети с RBF обучается на порядок быстрее MLP;
«групповое» представление пространства модели (в отличие от «плоскостного»);
при удалении от обучающего множества значение функции отклика быстро спадает до нуля;
сети с RBF более чувствительны к «проклятию размерности»
сети с RBF испытывают трудности, когда число входов велико.

отклонения для радиальных элементов;
Оптимизируются параметры линейного выходного слоя.
Расположение центров должно

соответствовать кластерам, реально присутствующим в исходных данных. Рассмотрим два наиболее часто используемых метода:
выборка из выборки;
алгоритм К-средних.

После того, как определено расположение центров, нужно найти отклонения. Величина отклонения определяет «остроту» гауссовой функции. Используют несколько методов:
явный;
изотропный;
К ближайших соседей.

близость классов;
Выявлять новизну данных.

В результате итеративной процедуры обучения сеть организуется

таким образом, что элементы, соответствующие центрам, расположенным близко друг от друга в пространстве входов, будут располагаться близко друг от друга и на топологической карте. Топологический слой сети можно представлять себе как двумерную решетку, которую нужно так отобразить в N-мерное пространство входов, чтобы по возможности сохранить исходную структуру данных.

и затем применяет следующий алгоритм:
выбрать выигравший нейрон (то

есть тот, который расположен ближе всего к входному примеру);
скорректировать выигравший нейрон так, чтобы он стал более похож на этот входной пример (взяв взвешенную сумму прежнего центра нейрона и обучающего примера).

После того, как сеть обучена распознаванию структуры данных, ее можно использовать как средство визуализации при анализе данных, при котором можно определить разбивается ли карта на отдельные кластеры.
Далее, как только кластеры выявлены, нейроны топологической карты помечаются содержательными по смыслу метками (в некоторых случаях помечены могут быть и отдельные наблюдения).

«Возраст» и «Доход», которые были предварительно нормализованы

трех слоев
Слой S1…Sn - входной сенсорный слой. Служит для принятия сигналов.
Слой

A1…Am - ассоциативный слой. Служит для обработки информации.
Слой R1…Rm – эффекторный слой. Служит для передачи выходных воздействий. Особенностью этого слоя является использование в нейронах пороговой функции активации.