Bayes Optimal Classifier

 Теорема Байеса, которая обеспечивает систематические средства вычисления условной вероятности, используется для ее описания. Это также связано с апостериорным максимумом (MAP), вероятностной основой для определения наиболее вероятной гипотезы для набора обучающих данных. Возьмем пространство гипотез, в котором есть 3 гипотезы h1, h2 и h3.

Апостериорные вероятности гипотез таковы:

h1 -> 0,4

h2 -> 0,3

h3 -> 0,3

Следовательно, h1 является MAP-гипотезой. 

MAP => макс.  позднейший

Предположим, что встречается новый экземпляр x, который классифицируется как отрицательный по h2 и h3, но положительный по h1.Принимая во внимание все гипотезы, вероятность того, что x положительна, равна 0,4, а вероятность того, что она отрицательна, равна 0,6. Классификация, созданная гипотезой MAP, отличается от наиболее вероятной классификации в этом случае, которая является отрицательной. 

Оптимальный байесовский классификатор выбирает класс с наибольшей апостериорной вероятностью возникновения (так называемая максимальная апостериорная оценка, или MAP). Можно показать, что из всех классификаторов Оптимальный байесовский классификатор будет иметь наименьшую вероятность промаха при классификации наблюдения, то есть наименьшую вероятность ошибки. Так что, если мы знаем апостериорное распределение, то использование байесовского классификатора вполне возможно.

Наиболее вероятная классификация нового случая получается путем объединения предсказаний всех гипотез, взвешенных по их апостериорным вероятностям.

Уравнение ниже демонстрирует, как рассчитать условную вероятность для нового экземпляра (vj) с учетом обучающих данных (D) с учетом пространства гипотез (H).

Если вероятной классификацией нового примера может быть любое значение vj из множества V, вероятность P(vj/D) того, что правильной классификацией для нового примера является vj, равна просто

                   P(vj|D) = Sum{h ∈ H} P(vj|hj)*P(hj|D) 

 Bayes optimal classification is :

argmax         Sigma P(vj|hj)*P(hj|D)                 

                         vj  ∈ V          hj ∈ H

где V множестство экземпляров

Рассмотрим пример для оптимальной классификации Байеса,  пусть имеется 5 гипотез с h1 по h5.

      P(hi/D)       P(F/ hi)       P(L/hi)       P(R/hi)

        0.4                  1                  0                  0

        0.2                  0                  1                  0

        0.1                  0                  0                  1

        0.1                  0                  1                  0

        0.2                  0                  1                  0

Таким образом, теория MAP утверждает, что робот должен двигаться вперед (F). Посмотрим, что предлагает оптимальная процедура Байеса.   

     

Таким образом, оптимальная процедура Байеса рекомендует роботу повернуть налево.

В реальной жизни мы обычно не знаем апостериорного распределения, а оцениваем его. Наивный байесовский классификатор аппроксимирует оптимальный байесовский классификатор, рассматривая эмпирическое распределение и предполагая независимость предикторов. Таким образом, наивный байесовский классификатор сам по себе не является оптимальным, но он приближает оптимальное решение.