Formal explanation for the sensitivity of AdaBoost to outliers

 Формальное объяснение чувствительности AdaBoost к выбросам

Рассмотрим контролируемую задачу с целевыми значениями y, равными -1 или 1. Допустим, мы подбираем функцию f(x) с помощью  классификатора AdaBoost. Интуитивно нам нужны положительные поля, где поле определяется как yi*f(xi). Положительный запас означает, что мы правильно классифицировали эту выборку, поскольку знаки f и y одинаковы. Отрицательный запас означает, что мы неправильно классифицировали выборку.  Функция потерь для Adaboost определяется как экспоненциальная:

L(y,f (x)) = exp (−y*f(x))

Эта экспонента затем приводит к более сильному наказанию точек с большим отрицательным запасом (т.е. Выбросами), чем другие классификаторы. График зависимости функции потерь от маржи для нескольких классификаторов:

Adaboost подвержен переобучению выбросов из-за формы своей функции потерь.