McCulloch-Pitts Neuron

Модель нейрона Маккаллоха-Питтса является чрезвычайно упрощенной моделью реальных биологических нейронов. Некоторые из его недостающих функций включают в себя: 

Небинарные входы-выходы, нелинейное суммирование, гладкую пороговую обработку, стохастическую (недетерминированную) и временную обработку информации.Он допускает только двоичное значение (0,1).Он имеет пороговую функцию в качестве функции активации. Это первая математическая модель биологического нейрона.

========================================== 

Ограничения MP-нейрона

1. Внебулевых (скажем, реальных) входных данных?

2. Всегда ли нам нужно вручную кодировать порог? <==

3. Все входы равны? Что, если мы хотим придать большее значение некоторым входным данным?

4. Функции, которые не являются линейно разделимыми? Скажем, функция XOR

Теперь понятно, почему сегодня мы не используем нейрон МП. Преодолев ограничения нейрона MP, Фрэнк Розенблатт, американский психолог, предложил классическую модель восприятия, мощный искусственный нейрон, в 1958 году. Это более обобщенная вычислительная модель, чем нейрон Маккаллоха-Питтса,  где веса и пороги могут быть изучены с течением времени.

========================================

Модель Маккаллоха не может обучаться сама по себе из-за пороговой логики.

Здесь у нас есть запрещающий вход, то есть x_2, поэтому всякий раз, когда x_2 равен 1, выход будет 0. Имея это в виду, мы знаем, что x_1 И !x_2 будут выводить 1 только тогда, когда x_1 равно 1, а x_2 равно 0, поэтому это очевидно. что пороговый параметр должен быть равен 1. Проверим, что g(x), т. е. x_1 + x_2, 

будет ≥ 1 только в 3 случаях:

Случай 1: когда x_1 равно 1, а x_2 равно 0

Случай 2: когда x_1 равно 1, а x_2 равно 1

Случай 3: когда x_1 равен 0, а x_2 равен  1

Посмотрев на приведенный выше график, видно что все точки, которые лежат НА или ВЫШЕ этой плоскости (положительное полупространство), приведут к результату 1 при прохождении через модуль MP функции ИЛИ и все точки, которые лежат НИЖЕ этой плоскости. (отрицательное полупространство) приведет к выводу 0.Только вручную закодировав пороговый параметр, нейрон MP может удобно представлять логические функции,  которые являются линейно разделимыми.

Порог или знак sigmod : не определен  как гладкая (дифференцируемая)  форма пороговой функции.

Линейная отделимость (для логических функций): существует линия (плоскость), такая, что все входы, которые дают 1, лежат по одну сторону от линии (плоскости), а все входы, которые дают 0, лежат по другую сторону линии (плоскость).