Лекция № 3 Задача классификации

классификации:
Precision, Recall, F1 score, ROC AUC

они являются действительными числами или векторами действительных чисел.




Классификация - множество

ответов дискретно и конечно. Решается задача классификации объектов в один или несколько классов.

речи.
Обнаружение спама.
Классификация документов и т.д.

объектов, принадлежащим различным классам.
Если такая гиперплоскость существует, то говорят

о линейной разделимости выборки (A).
Качество линейных методов классификации невысоко на линейно неразделимой выборке (B).

количеством объектов, чем другой – мажоритарный и миноритарный классы.
Классификация на

подобных выборках может оказаться неэффективной, т.к. модель будет предвзятой и неточной. Причина: классификатор может полностью отнести объекты миноритарных классов к шуму.
Алгоритмы машинного обучения обычно предназначены для повышения точности за счет уменьшения ошибки. Другими словами, классификатор настраивается на мажоритарный класс, получая высокую точность, не выделяя объекты миноритарного класса.

а ожидаема в силу специфики области применения:

В медицинской диагностике объектам

миноритарного класса соответствует наличие редкого заболевания.

Прогнозирование природных катастроф.

Обнаружение аномалий в сценариях обнаружения кражи электроэнергии.

Мошеннические транзакции – 1-2% транзакций, отличающихся от большинства.

– чистые примеры класса (safe examples);
b – пограничные (borderline);
n –

зашумляющие (noisy).

(sampling)
Уменьшение большего класса
Увеличение меньшего класса
2. Изменение порога решения



Сэмплинг представляет собой

выбор прецедентов таким образом, чтобы их количество для обоих классов уравнялось. Этот подход позволяет учесть распределение/соотношение классов.

Imbalanced Data

Over-sampling

Under-sampling

класса в обучающую выборку.
Приводит к уменьшению тренировочной базы
Возможно исключение

важной информации и увеличение ошибки
Самый простой вариант — произвольный выбор прецедентов (Random Undersampling) — не учитывает положение прецедентов относительно друг друга и поверхности, разделяющей классы. Однако, на практике он оказывается наиболее эффективным.

хорошо удаляет записи, которые можно рассматривать в качестве «зашумляющих».

Neighbor Rule)
Этот метод учит классификатор находить отличие между похожими примерами,

но принадлежащими к разным классам.

правило сосредоточенного ближайшего соседа.
Удаляются все мажоритарные примеры, участвующие в связях

Томека.

Таким образом, удаляются большие «сгустки» мажоритарных примеров, а затем область пространства со скоплением миноритарных очищается от потенциальных шумовых эффектов.

примеры классифицируются по правилу трех ближайших соседей.
Удаляются следующие мажоритарные примеры:
получившие

верную метку класса;
являющиеся соседями миноритарных примеров, которые были неверно классифицированы.

Эта стратегия также направлена на то, чтобы удалить те примеры, которые негативно влияют на исход классификации миноритарных.

всю имеющуюся информацию. Недостаток – увеличение размера тренировочной базы и,

как следствие, большее время ее обработки.
Самый простой вариант — дублирование случайных прецедентов меньшего класса, которое не добавляет лишней информации и не изменяет положение разделяющей поверхности.

- генерация некоторого количества искусственных примеров, которые «похожи» на имеющиеся

в миноритарном классе, но при этом не дублируют их.

Миноритарный пример

Мажоритарный пример

Искусственный пример

Алгоритм не подходит в случае, если миноритарные примеры равномерно распределены среди мажоритарных и имеют низкую плотность. Тогда SMOTE только сильнее перемешает классы.

- использование функции плотности распределения как критерия для автоматического определения

числа экземпляров, которые необходимо сгенерировать для каждого из объектов миноритарного класса, адаптивно меняя веса разных экземпляров миноритарного класса

Миноритарный пример

Мажоритарный пример

Искусственный пример

степень достоверности предсказания. При данном подходе, изменяя порог в решающем

правиле, можно получать различные разделяющие поверхности.

Правильно классифицированные объекты миноритарного класса

Неправильно классифицированные объекты миноритарного класса

Правильно классифицированные объекты мажоритарного класса

Центральная гиперплоскость

Центральная гиперплоскость

Такие методы довольно просты в реализации; однако, изменение порога не гарантирует точность формы границы, что может привести к значительному повышению общей ошибки.
Существуют методы, предлагающие показатели эффективности, которые могут дать большее представление о точности модели, чем традиционные метрики.

абсцисс: доля неправильных положительных предсказаний как функция w0
Ось ординат: доля

правильных положительных предсказаний
AUC - площадь под кривой, используется для оценки точности классификации (AUC ≥ 0,5)
Пунктирная линия - наихудшая точность (случайное предсказание)

бинарной классификации

TP - правильные положительные предсказания
FP - неправильные положительные предсказания
FN

- неправильные отрицательные предсказания

как цель таких задач — определить, к какому классу относится

пример.
Чем дальше точка от гиперплоскости, являющейся границей решений (decision boundary), тем выше вероятность, что образец (sample), определяемый этой точкой, попадает в тот или иной класс.
Imbalanced Data : один из классов представлен значительно бо́льшим количеством объектов, чем другой – мажоритарный и миноритарный классы.
Основные подходы к решению проблемы несбалансированных данных в классификации:
1. Сэмплинг
2. Изменение порога решения
Многие алгоритмы классификации определяют степень достоверности предсказания. При данном подходе, изменяя порог в решающем правиле, можно получать различные разделяющие поверхности.