Логическое исчисление идей, имманентных нервной деятельности. ⇐ Васина Википедия

[wiki_en]

'''''Логическое исчисление идей, имманентных нервной деятельности''''' — статья 1943 года, написанная Уорреном Стерджисом Маккалоком | Уорреном Маккалоком и Уолтером Питтсом.
Это плодотворная работа в области вычислительной нейробиологии, информатики и искусственного интеллекта. Это был основополагающий результат в теории автоматов. Джон фон Нейман назвал это важным результатом. Фон Нейман Дж. (1951). ''[https://www.vordenker.de/ggphilosophy/j ... tomata.pdf Общая и логическая теория автоматов]''. В Л. А. Джеффрессе (ред.): «Церебральные механизмы поведения; Хиксонский симпозиум» (стр. 1–41). Уайли.

== Математика ==
Искусственный нейрон, использованный в оригинальной статье, немного отличается от современной версии. Они рассматривали нейронные сети, которые работают с дискретными шагами по времени t = 0, 1, \dots.

Нейронная сеть содержит несколько нейронов. Пусть состояние нейрона i в момент времени t равно N_i(t). Состояние нейрона может быть 0 или 1, что означает «не срабатывает» и «срабатывает». У каждого нейрона также есть «порог срабатывания» \theta, который срабатывает, если общий входной сигнал превышает порог.

Каждый нейрон может соединяться с любым другим нейроном (включая самого себя) с помощью «положительных синапсов|синапсов» (возбуждающих) или «отрицательных синапсов» (тормозящих). То есть каждый нейрон может соединяться с другим нейроном с весом w, принимающим целочисленное значение. «Периферический афферент» — это нейрон без входящих синапсов.

Мы можем рассматривать каждую нейронную сеть как ориентированный граф, в котором узлами являются нейроны, а направленными ребрами — синапсы. Нейронная сеть имеет «круг» или «контур» тогда и только тогда, когда на графе существует направленный круг.

Пусть
w_{ij}(т)
— вес связи от нейрона
дж
к нейрону
я
во время
т
, то его следующее состояние —
N_i(t+1) = H \left( \sum_{j=1}^{n} w_{ij}(t) N_j(t) - \theta_i(t) \right),
где H — ступенчатая функция Хевисайда (вывод 1, если входное значение больше или равно 0, и 0 в противном случае).

=== Символьная логика ===
В статье в качестве математического логического языка для описания нейронных сетей использовался «Язык II» из «Логического синтаксиса языка» Рудольфа Карнапа с некоторыми принятыми обозначениями. из «Principia Mathematica» Альфреда Норта Уайтхеда и Бертрана Рассела. Язык II охватывает существенные части классической математики, включая реальный анализ и части теории множеств.
Описать нейронную сеть с периферическими афферентами N_1, N_2, \dots, N_p и непериферийными афферентами N_{p+1}, N_{p+2}, \dots, N_n < /math> они рассматривали логические предложения видаPr(N_1, N_2, \dots, N_p, t) где Pr — логический предикат первого порядка (математическая логика)|функция предиката (функция, которая выводит логическое значение), N_1, \dots, N_p — это предикаты, которые принимают t в качестве аргумента.

Логическое предложение Pr(N_1, N_2, \dots, N_n, t)
'''реализуется''' нейронной сетью тогда и только тогда, когда в сети существует временная задержка T \geq 0 , нейрон i и начальное состояние непериферических нейронов N_{p+1}(0), \dots, N_n(0) , такое, что в любой момент времени t
, истинностное значение логического предложения равно состоянию нейрона i в момент времени t + T
.

=== Эквивалентность ===
В статье они рассмотрели некоторые альтернативные определения искусственных нейронных сетей и показали, что они «эквивалентны», то есть нейронные сети по одному определению реализуют точно те же логические предложения, что и нейронные сети по другому определению. бр />
Они рассматривали три формы торможения: «относительное торможение», «абсолютное торможение» и «угасание». Приведенное выше определение представляет собой относительное торможение. Под «абсолютным торможением» они подразумевали, что если срабатывает какой-либо отрицательный синапс, то нейрон не срабатывает. Под «вымиранием» они подразумевали, что если во времени
т
, любой тормозной синапс срабатывает на нейроне
я
, затем \theta_i(t + j) = \theta_i(0) + b_j для
j = 1, 2, 3, \dots
, до следующего раза, когда на
сработает тормозной синапс. я
. Требуется, чтобы
б_j = 0
для всех больших
дж
.

Теорема 4 и Теорема 5 утверждают, что они эквивалентны.

Они рассматривали три формы возбуждения: «пространственное суммирование», «временное суммирование» и «фасилитация». Приведенное выше определение представляет собой пространственное суммирование (которое они представили как наличие нескольких синапсов, расположенных близко друг к другу, так что эффект их срабатывания суммируется). Под «временным суммированием» они подразумевали, что общий входящий сигнал равен
\sum_{\tau = 0}^T\sum_{j=1}^{n} w_{ij}(t) N_j(t - \tau)
для некоторых
Т \geq 1
. Под «облегчением» они подразумевали то же, что и вымирание, за исключением того, что
b_j \leq 0
. Теорема 6 утверждает, что они эквивалентны.

Они рассмотрели нейронные сети, которые не изменяются, и те, которые меняются, согласно теории Хебба | Хеббианскому обучению. То есть они предполагают, что при
т = 0
, некоторые возбуждающие синаптические связи не активны. Если в любой момент t оба N_i(t) = 1, N_j(t) = 1 , то этот возбуждающий синапс становится активным. Теорема 7 утверждает, что они эквивалентны.

=== Вычислимость ===
В качестве примечания было отмечено, что нейронная сеть, если она оснащена лентой, сканерами и записывающими головками, эквивалентна машине Тьюринга, и наоборот, каждая машина Тьюринга эквивалентна некоторой такой нейронной сети. Таким образом, эти нейронные сети эквивалентны вычислимости Тьюринга, лямбда-исчислению Чёрча|лямбда-определимости Алонзо Чёрча|и примитивной рекурсивной функции Стивена Коула Клини|примитивной рекурсивности.

== Контекст ==

Статья основана на нескольких предыдущих направлениях работы.
С точки зрения символической логики он основывался на предыдущих работах Карнапа, Уайтхеда и Рассела. Этому способствовал Уолтер Питтс, который хорошо владел символической логикой. Питтс придал математическую и логическую строгость смутным идеям Маккаллоха о психонах (атомах психологических событий) и круговой причинности.
В области нейробиологии она основывалась на предыдущих работах исследовательской группы по математической биологии, сосредоточенной вокруг Николаса Рашевского, членом которой был Маккалок. Статья была опубликована в «Бюллетене математической биофизики», основанном Рашевским в 1939 году. В конце 1930-х годов исследовательская группа Рашевского готовила статьи, которые в то время с трудом публиковались в других журналах, поэтому Рашевский решил основать новый журнал, посвященный исключительно математической биофизике.
Также в группе Рашевского был Олстон Скотт Хаусхолдер, который в 1941 году опубликовал абстрактную модель установившейся активности нейронных сетей, которая использует то, что сейчас будет называться функцией активации Rectifier (нейронные сети)|ReLU.
В 1938 году, в возрасте 15 лет, Питтс сбежал из дома в Детройте и поступил в Чикагский университет. Позже он вошел в офис Рудольфа Карнапа с книгой Карнапа, наполненной исправлениями и предложениями по улучшению. Он начал учиться у Карнапа и посещать занятия в 1938–1943 годах. Он написал несколько первых статей по моделированию нейронных сетей и регулярно посещал семинары Рашевского по теоретической биологии. Среди участников семинара были Герхард фон Бонин и Хаусхолдер. В 1940 году фон Бонин познакомил Леттвина с Маккалоком. В 1942 году Леттвин и Питтс переехали в дом Маккалока.
Аффилиация обоих авторов в статье была указана как «Университет Иллинойса, Медицинский колледж, кафедра психиатрии Иллинойского нейропсихиатрического института, Чикагский университет, Чикаго, США».

== См. также ==
* Искусственная нейронная сеть
* Перцептрон
* Коннекционизм
* ''Принципы математики''

Машинное обучение
Искусственные нейронные сети
История искусственного интеллекта

Подробнее: https://en.wikipedia.org/wiki/A_logical ... s_activity