машинное обучение

Обучение по прецедентам, или индуктивное обучение, основано на выявлении закономерностей

в эмпирических данных. Дедуктивное обучение предполагает формализацию знаний экспертов и их перенос в компьютер в виде базы знаний. Дедуктивное обучение принято относить к области экспертных систем, поэтому термины машинное обучение и обучение по прецедентам можно считать синонимами.
Машинное обучение находится на стыке математической статистики, методов оптимизации и дискретной математики, но имеет также и собственную специфику, связанную с проблемами вычислительной эффективности и переобучения. Многие методы индуктивного обучения разрабатывались как альтернатива классическим статистическим подходам. Многие методы тесно связаны с извлечением информации, интеллектуальным анализом данных

Понятие

требуемое решение»:
Метод коррекции ошибки
Метод обратного распространения ошибки
Обучение без учителя -

для каждого прецедента задаётся только «ситуация», требуется сгруппировать объекты в кластеры, используя данные о попарном сходстве объектов, и/или понизить размерность данных:
Метод ближайших соседей
Обучение с подкреплением - для каждого прецедента имеется пара «ситуация, принятое решение»:
Генетические алгоритмы
Альфа-система подкрепления
Гамма-система подкрепления

Способы

самостоятельно назначать следующую исследуемую ситуацию, на которой станет известен верный

ответ:
Обучение с частичным привлечением учителя (semi-supervised learning) - для части прецедентов задается пара «ситуация, требуемое решение», а для части - только «ситуация»
Трансдуктивное обучение (transduction) - обучение с частичным привлечением учителя, когда прогноз предполагается делать только для прецедентов из тестовой выборки
Многозадачное обучение (multi-task learning) - одновременное обучение группе взаимосвязанных задач, для каждой из которых задаются свои пары «ситуация, требуемое решение»
Многовариантное обучение (multi-instant learning) - обучение, когда прецеденты могут быть объединены в группы, в каждой из которых для всех прецедентов имеется «ситуация», но только для одного из них (причем, неизвестно какого) имеется пара «ситуация, требуемое решение»

этапе собственно обучения.
Кластеризация как правило, выполняется с помощью обучения без

учителя
Регрессия как правило, выполняется с помощью обучения с учителем на этапе тестирования, является частным случаем задач прогнозирования.
Понижение размерности данных и их визуализация выполняется с помощью обучения без учителя
Восстановление плотности распределения вероятности по набору данных
Одноклассовая классификация и выявление новизны
Построение ранговых зависимостей

Задачи, решаемые обучением

спама
Категоризация документов
Биржевой технический анализ
Финансовый надзор
Кредитный скоринг
Предсказание ухода клиентов
Хемоинформатика
Обучение ранжированию в

информационном поиске

Практическое применение

своих характеристик, называемых признаками. Признаки могут быть числовыми или нечисловыми.
Матрица

расстояний между объектами. Каждый объект описывается расстояниями до всех остальных объектов обучающей выборки. С этим типом входных данных работают немногие методы, в частности, метод ближайших соседей, метод парзеновского окна, метод потенциальных функций.
Временной ряд или сигнал представляет собой последовательность измерений во времени. Каждое измерение может представляться числом, вектором, а в общем случае — признаковым описанием исследуемого объекта в данный момент времени.
Изображение или видеоряд.
Встречаются и более сложные случаи, когда входные данные представляются в виде графов, текстов, результатов запросов к базе данных, и т. д. Как правило, они приводятся к первому или второму случаю путём предварительной обработки данных и извлечения признаков.

Типы входных данных

векторами), говорят о задачах регрессии и аппроксимации ;
Когда множество возможных

ответов конечно, говорят о задачах классификации и распознавания образов;
Когда ответы характеризуют будущие поведение процесса или явления, говорят о задачах прогнозирования.

Типы откликов

и эталонными выходами (стимул-реакция) может существовать некоторая зависимость, но она

не известна. Известна только конечная совокупность прецедентов — пар «стимул-реакция», называемая обучающей выборкой. На основе этих данных требуется восстановить зависимость (построить модель отношений стимул-реакция, пригодных для прогнозирования), то есть построить алгоритм, способный для любого объекта выдать достаточно точный ответ. Для измерения точности ответов, так же как и в обучении на примерах может вводится функционал качества.

Обучение с учителем

— характеризуется, тем что информационный канал от внешней среды к

системе подкрепления не функционирует. Данная система несмотря на наличие системы управления относится к спонтанному обучению, так как испытуемая система обучается автономно, под действием лишь своих выходных сигналов независимо от их «правильности». При таком методе обучения для управления изменением состояния памяти не требуется никакой внешней информации;
Система подкрепления с управлением по стимулам (S — управляемая система) — характеризуется, тем что информационный канал от испытываемой системы к системе подкрепления не функционирует. Несмотря на не функционирующий канал от выходов испытываемой системы относится к обучению с учителем, так как в этом случае система подкрепления (учитель) заставляет испытываемую систему вырабатывать реакции согласно определенному правилу, хотя и не принимается во внимание наличие истиных реакций испытываемой системы.

Вырожденные виды «учителей»

стороны экспериментатора.
Как правило, это пригодно только для задач, в которых

известны описания множества объектов (обучающей выборки), и требуется обнаружить внутренние взаимосвязи, зависимости, закономерности, существующие между объектами.

Обучение без учителя

(а не специальной системы управления подкреплением, как это происходит в

обучении с учителем) на принятые решения являются сигналы подкрепления, поэтому такое обучение является частным случаем обучения с учителем, но учителем является среда или ее модель.
Также нужно иметь в виду, что некоторые правила подкрепления базируются на неявных учителях, например, в случае ИНС, на одновременной активности формальных нейронов, из-за чего их можно отнести к обучению без учителя.

Обучение с подкреплением

оканчиваются на некотором элементе uj, изменяются на одинаковую величину Δvij(t)

= η, или с постоянной скоростью в течение всего времени действия подкрепления, причем веса неактивных связей за это время не изменяются.
Перцептрон, в котором используется α-система подкрепления, называется α-перцептроном.
Подкрепление называется дискретным, если величина изменения веса является фиксированной, и непрерывным, если эта величина может принимать произвольное значение.

Альфа-система подкрепления

всех активных связей сначала изменяются на равную величину, а затем

из их всех весов связей вычитается другая величина, равная полному изменению весов всех активных связей, деленному на число всех связей.
Эта система обладает свойством консервативности относительно весов, так как у нее полная сумма весов всех связей не может ни возрастать, ни убывать.

Гамма-система подкрепления

по принципу организации и функционирования биологических нейронных сетей — сетей

нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы.

Искусственные нейронные сети

процессоров (искусственных нейронов). Каждый процессор подобной сети имеет дело только

с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи.

задача нелинейной оптимизации. Технически обучение заключается в нахождении коэффициентов связей

между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумленных», частично искаженных данных.

Коско
Радиально-базисные функции (RBF)
Самоорганизующаяся карта Кохонена (SOM)
Классификация

единственного аргумента — линейной комбинации всех входных сигналов. Данную функцию

называют функцией активации или функцией срабатывания, передаточной функцией. Полученный результат посылается на единственный выход.

Формальный нейрон

правило, эти нейроны не выполняют вычислительных операций, а просто передают

полученный входной сигнал на выход, возможно, усилив или ослабив его;
Выходные нейроны — представляют из себя выходы сети. В выходных нейронах могут производиться какие-либо вычислительные операции;
Промежуточные нейроны — выполняют основные вычислительные операции

Классификация

на его входе.
f(x) = tx, где t - параметр функции
Основные

типы передаточных функций

относительно линейной можно назвать то, что они не являются дифференцируемыми

на всей числовой оси, а значит не могут быть использованы при обучении по некоторым алгоритмам.

нейрона не достигает некоторого уровня T — сигнал на выходе

равен нулю. Как только сигнал на входе нейрона превышает указанный уровень — выходной сигнал скачкообразно изменяется на единицу.

t стремится к бесконечности, функция вырождается в пороговую. При t

= 0 сигмоида вырождается в постоянную функцию со значением 0,5. Область значений данной функции находится в интервале (0,1).
Важным достоинством этой функции является простота её производной, что облегчает использование этой функции при обучении сети по алгоритму обратного распространения.

Сигмоидальная