ВОРОНЕЖСКИЙ ИНСТИТУТ ВЫСОКИХ ТЕХНОЛОГИЙ – АНОО ВО
Специальность/Направление 09.03.02 Информационные системы и
технологии
Лабораторная работа № 1
по дисциплине: «Методы искусственного интеллекта»
на тему: «Математический нейрон»
Выполнил: студент группы ИСз-202
название группы
Акилов Юрий Игоревич
ФИО студента
Форма обучения ____заочная_____
(очная, заочная)
Руководитель: Ющенко Олеся Александровна
ФИО руководителя
ВОРОНЕЖ 2022
Лабораторная работа No1 «Модель нейрона Маккалока-Питтса»
Цель работы: изучить понятие «искусственный нейрон», смоделировать логические операции
«конъюнкция» и «дизъюнкция», убедиться в невозможности решения проблемы «исключающего или» с
помощью нейрона с двумя вхо-дами.
Для выполнения лабораторной работы No1 необходимо:
1. Изучить модель нейрона Маккалока-Питтса, а также проблему исключающего «ИЛИ».
2. Ответить на вопросы для самоподготовки, прилагаемые к лабораторной работе No1.
3. Запустить Lr1.exe «Лабораторного практикума» http://www.lbai.ru/.
4. Выполнить лабораторную работу No1, фиксируя в отчёте вводимые параметры нейрона и получаемый
результат.
5. Подготовить и сдать на проверку отчёт по лабораторной работе No1.
Вопросы для самоподготовки
1. В какой работе впервые была описана модель нейрона Маккалока-Питтса?
2. Сколько входов и выходов имеет нейрон Маккалока-Питтса?
3. Какая функция активации используется в модели нейрона Маккалока-Питтса?
4. Запишите таблицы истинности для логических функций «И, ИЛИ, НЕ» и Исключающее «ИЛИ».
5. Приведите примеры нейронов, реализующих логические функции «И, ИЛИ, НЕ» и укажите значения
весовых коэффициентов.
6. Приведите графическую интерпретацию реализации логических функций «И, ИЛИ, НЕ».
7. Почему модель нейрона Маккалока-Питтса не способна реализовать логическую функцию
Исключающее «ИЛИ»?
8. Сформулируйте определение линейно-неразделимых задач Теоретический материал к лабораторной
работе №1
В какой работе впервые была описана модель нейрона Маккалока-Питтса?
Исследования в области ИНС пережили три периода активизации. Первый пик в 40-х годах обусловлен
пионерской работой МакКаллока и Питтса. Считается, что теория нейронных сетей, как научное
направление, впервые была обозначена в классической работе МакКаллока и Питтса 1943 г., в которой
утверждалось, что, в принципе, любую арифметическую или логическую функцию можно реализовать с
помощью простой нейронной сети. Второй возник в 60-х благодаря теореме сходимости персептрона
Розенблатта и работе Минского и Пейперта, указавшей ограниченные возможности простейшего
персептрона. Результаты Минского и Пейперта погасили энтузиазм большинства исследователей, особенно
тех, кто работал в области вычислительных наук. Возникшее в исследованиях по нейронным сетям затишье
продлилось почти 20 лет. С начала 80-х годов ИНС вновь привлекли интерес исследователей, что связано с
энергетическим подходом Хопфилда и алгоритмом обратного распространения для обучения
многослойного персептрона (многослойные сети прямого распространения), впервые предложенного
Вербосом и независимо разработанного рядом других авторов. Алгоритм получил известность благодаря
Румельхарту в 1986году Андерсон и Розенфельд подготовили подробную историческую справку о развитии
ИНС.
Сколько входов и выходов имеет нейрон Маккалока-Питтса?
Математический нейрон Мак-Каллока – Питтса изображен на рис. 1 в виде кружочка. Он имеет несколько
входов и один выход, показанные на рисунке стрелками. Через входы, число которых обозначим j,
математический нейрон принимает входные сигналы xj, которые суммирует, умножая каждый входной
сигнал на некоторый весовой коэффициент wj:
После выполнения операции суммирования математический нейрон формирует выходной сигнал y согласно
следующему правилу:
порог чувствительности нейрона.
Рис. 1. Математический нейрон МакКаллока - Питтса
Таким образом, математический нейрон, как и его биологический прототип — мозг, может существовать в
двух состояниях — возбужденном и невозбужденном. Если взвешенная сумма входных сигналов S меньше
некоторой пороговой величины , то математический нейрон не возбужден и его выходной сигнал равен
нулю. Если же входные сигналы достаточно интенсивны и их сумма достигает порога чувствительности, то
нейрон переходит в возбужденное состояние и на его выходе формируется сигнал y = 1. Весовые
коэффициенты wj: имеют вполне определенный физический смысл. Они имитируют электропроводности
нервных волокон, тех самых, которые биологи назвали силами межнейронных синоптических связей,
или синоптическими весами. Чем эти силы выше, тем больше вероятность перехода нейрона в
возбужденное состояние. Ранее мы уже отмечали, что биологи придают силам синоптических связей очень
важное значение. Считается, что именно с их помощью человеческий мозг кодирует всю имеющуюся у него
информацию. Как мы увидим далее, в искусственном мозге — в нейронных сетях и в нейрокомпьютерах,
происходит то же самое. Вся информация в них тоже кодируется в виде множества цифр, характеризующих
силы межнейронных синоптических связей wj.
Какая функция активации используется в модели нейрона Маккалока-Питтса?
Первой формальной моделью нейронных сетей была модель МакКаллока-Питтса, уточненная и развитая
Клини. Впервые было установлено, что НС могут выполнять любые логические операции и вообще любые
преобразования, реализуемые дискретными устройствами с конечной памятью. Эта модель легла в основу
теории логических сетей и конечных автоматов и активно использовалась психологами и нейрофизиологами
при моделировании некоторых локальных процессов нервной деятельности. В силу своей дискретности она
вполне согласуется с компьютерной парадигмой и, более того, служит её «нейронным фундаментом».
Пусть имеется
входных величин x1,…,xn бинарных признаков, описывающих объект «Х». Значения
этих признаков будем трактовать как величины импульсов, поступающих на вход нейрона
через «n» входных синапсов. Будем считать, что, попадая в нейрон, импульсы складываются с весами
ω1,…,ωn. Если вес положительный, то соответствующий синапс возбуждающий, если отрицательный, то
тормозящий. Если суммарный импульс превышает заданный порог активации ω 0, то нейрон возбуждается и
выдаёт на выходе 1, иначе выдаётся 0.
Таким образом, нейрон вычисляет n-арную булеву функцию
где - ступенчатая функция Хэвисайда.
В теории нейронных сетей функцию φ, преобразующую значение суммарного импульса в выходное
значение нейрона, принято называть функцией активации. Таким образом, модель МакКаллока-Питтса
эквивалентна пороговому линейному классификатору.
Результаты теории, теоретические основы нейро математики были заложены в начале 40-х годов и в 1943
году МакКалок и его ученик Питтс, сформулировали основные положения теории деятельности головного
мозга.
Ими были получены следующие результаты:
разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление
переходной функции от скалярного произведения вектора входных сигналов и вектора весовых
коэффициентов;
предложена конструкция сети таких элементов для выполнения логических и арифметических
операций;
сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать
образы, обобщать полученную информацию.
Недостатком данной модели является сама модель нейрона «пороговой» вид переходной функции. В
формализме Маккалока и Питтса нейроны имеют состояния 0, 1 и пороговую логику перехода из состояния
в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех других нейронов и
сравнивает ее с порогом, чтобы определить свое собственное состояние. Пороговый вид функции не
предоставляет нейронной сети достаточную гибкость при обучении и настройке на заданную задачу. Если
значение вычисленного скалярного произведения, даже незначительно, не достигает до заданного порога, то
выходной сигнал не формируется вовсе и нейрон «не срабатывает». Это значит, что теряется интенсивность
выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровня на
взвешенных входах в следующем слое нейронов. К тому же модель не учитывает многих особенностей
работы реальных нейронов (импульсного характера активности, нелинейности суммирования входной
информации, рефрактерной).
Запишите таблицы истинности для логических функций «И, ИЛИ, НЕ» и Исключающее «ИЛИ».
Логический элемент «И» - конъюнкция, логическое умножение
«И» - логический элемент, выполняющий над входными данными операцию конъюнкции или логического
умножения. Данный элемент может иметь от 2 до 8 (наиболее распространены в производстве элементы «И»
с 2, 3, 4 и 8 входами) входов и один выход. Условные обозначения логических элементов «И» с разным
количеством входов приведены на рисунке. В тексте логический элемент «И» с тем или иным числом
входов обозначается как «2И», «4И» и т. д. - элемент «И» с двумя входами, с четырьмя входами и т. д.
Таблица истинности для элемента 2И показывает, что на выходе элемента будет логическая единица лишь в
том случае, если логические единицы будут одновременно на первом входе И на втором входе. В остальных
трех возможных случаях на выходе будет ноль. На западных схемах значок элемента «И» имеет прямую
черту на входе и закругление на выходе. На отечественных схемах — прямоугольник с символом «&».
Логический элемент «ИЛИ» - дизъюнкция, логическое сложение, OR
«ИЛИ» - логический элемент, выполняющий над входными данными операцию дизъюнкции или
логического сложения. Он так же как и элемент «И» выпускается с двумя, тремя, четырьмя и т. д. входами и
с одним выходом. Условные обозначения логических элементов «ИЛИ» с различным количеством входов
показаны на рисунке. Обозначаются данные элементы так: 2ИЛИ, 3ИЛИ, 4ИЛИ и т. д.
Таблица истинности для элемента «2ИЛИ» показывает, что для появления на выходе логической единицы,
достаточно чтобы логическая единица была на первом входе ИЛИ на втором входе. Если логические
единицы будут сразу на двух входах, на выходе также будет единица. На западных схемах значок элемента
«ИЛИ» имеет закругление на входе и закругление с заострением на выходе. На отечественных схемах —
прямоугольник с символом «1».
Логический элемент «НЕ» - отрицание, инвертор, NOT
«НЕ» - логический элемент, выполняющий над входными данными операцию логического отрицания.
Данный элемент, имеющий один выход и только один вход, называют еще инвертором, поскольку он на
самом деле инвертирует (обращает) входной сигнал. На рисунке приведено условное обозначение
логического элемента «НЕ».
Таблица истинности для инвертора показывает, что высокий потенциал на входе даёт низкий потенциал на
выходе и наоборот. На западных схемах значок элемента «НЕ» имеет форму треугольника с кружочком на
выходе. На отечественных схемах — прямоугольник с символом «1», с кружком на выходе. Логический
элемент «И-НЕ» - конъюнкция (логическое умножение) с отрицанием, NAND
«И-НЕ» - логический элемент, выполняющий над входными данными операцию логического сложения, и
затем операцию логического отрицания, результат подается на выход. Другими словами, это в принципе
элемент «И», дополненный элементом «НЕ». На рисунке приведено условное обозначение логического
элемента «2И-НЕ».
Таблица истинности для элемента «И-НЕ» противоположна таблице для элемента «И». Вместо трех нулей и
единицы — три единицы и ноль. Элемент «И-НЕ» называют еще «элемент Шеффера» в честь математика
Генри Мориса Шеффера, впервые отметившего значимость этой логической операции в 1913 году.
Обозначается как «И», только с кружочком на выходе. Логический элемент «ИЛИ-НЕ» - дизъюнкция
(логическое сложение) с отрицанием, NOR
«ИЛИ-НЕ» - логический элемент, выполняющий над входными данными операцию логического сложения, и
затем операцию логического отрицания, результат подается на выход. Иначе говоря, это элемент «ИЛИ»,
дополненный элементом «НЕ» - инвертором. На рисунке приведено условное обозначение логического
элемента «2ИЛИ-НЕ».
Таблица истинности для элемента «ИЛИ-НЕ» противоположна таблице для элемента «ИЛИ». Высокий
потенциал на выходе получается лишь в одном случае - на оба входа подаются одновременно низкие
потенциалы. Обозначается как «ИЛИ», только с кружочком на выходе, обозначающим инверсию.
Логический элемент «исключающее ИЛИ» - сложение по модулю 2, XOR
«исключающее ИЛИ» - логический элемент, выполняющий над входными данными операцию логического
сложения по модулю 2, имеет два входа и один выход. Часто данные элементы применяют в схемах
контроля. На рисунке приведено условное обозначение данного элемента. Изображение в западных схемах
— как у «ИЛИ» с дополнительной изогнутой полоской на стороне входа, в отечественной — как «ИЛИ»,
только вместо «1» будет написано «=1».
Этот логический элемент еще называют «неравнозначность». Высокий уровень напряжения будет на выходе
лишь тогда, когда сигналы на входе не равны (на одном единица, на другом ноль или на одном ноль, а на
другом единица) если даже на входе будут одновременно две единицы, на выходе будет ноль — в этом
отличие от «ИЛИ». Данные элементы логики широко применяются в сумматорах.
Приведите примеры нейронов, реализующих логические функции «И, ИЛИ, НЕ» и укажите
значения весовых коэффициентов персептрон
Данная модель искусственного нейрона (ИН) предложена в 1943 г. и называется также моделью
МакКаллока и Пится. В этой модели нейрон считается бинарным элементом, его структурная схема
представлена ниже.
Выходной сигнал нейрона может принимать только два значения {0, 1} по следующему правилу:
yi=f(ui)=1, если ui>=0;
yi=f(ui)=0, если ui<0.
Обучение персептрона требует учителя, т.е. множества {<X1, d1i>, ..., <Xp, dpi>} пар, вектор входных
сигналов Xk, ожидаемое значение выходного сигнала dki>. Обучение (отыскание весовых коэффициентов wij)
сводится к задаче минимизации целевой функции E(Wi)=(1/2)*sum[k=1:p](yki-dki)2.
Сигмоидальный нейрон
Нейрон данного типа устраняет основной недостаток персептрона - разрывность функции активации f(ui).
Структурная схема сигмоидального нейрона представлена ниже.
В качестве функции активации f(ui) выступает сигмоидальная функция (т.е. функция, график которой похож
на букву S). На практике используются как униполярные, так и биполярные функции активации.
Униполярная функция, как правило, представляется формулой f(u)=1/(1+exp(-b*u)), тогда как биполярная
функция задается в виде f(u)=tanh(b*u).
Инстар Гроссберга
Структурная схема нейрона данного типа представлена ниже.
Особенностями инстара, отличающими его от нейронов ранее рассмотренных типов, являются:
функция активации f(ui) часто линейна, т.е. yi=ui;
входной вектор X нормализован так, что его эвклидова норма равна 1;
обучение инстара возможно как с учителем, так и без него.
Нейроны типа WTA
Нейроны типа WTA (Winner Takes All - победитель получает все) всегда используются группами, в которых
конкурируют между собой. Структурная схема группы (слоя) нейронов типа WTA представлена ниже.
Каждый конкурирующий нейрон в группе получает одни и те же входные сигналы. Каждый нейрон,
рассчитывает выходной сигнал своего сумматора, обычным образом ui=sum[j=1:N](wij*xj). По результатам
сравнения всех ui, i=1, 2, ..., M, выбирается нейрон-победитель, обладающий наибольшим значением ui.
Выходной сигнал yi нейрона-победителя получает значение 1, выходные сигналы всех остальных нейронов
0.
Нейрон Хебба
Хебб, исследуя поведение природных нервных клеток, зафиксировал в 1949г. усиление связи двух
взаимодействующих клеток при их одновременном возбуждении. Это позволило ему предложить правило
уточнения входных весов нейрона в следующем виде: wij(t+1)=wij(t)+nu*xkj*yi(t), где nu - коэффициент
обучения, значение которого выбирается из интервала (0, 1). Правило Хебба применимо для нейронов с
различными функциями активации. Обучение нейрона может производиться как с учителем, так и без него.
В первом случае в правиле Хебба вместо фактического значения выходного сигнала yi(t) используется
ожидаемая реакция dki. Особенностью правила Хебба является возможность достижения
весом wij произвольно большого значения за счет многократного суммирования приращения в циклах
обучения. Одним из способов стабилизации процесса обучения по Хеббу служит уменьшение уточняемого
веса wij(t) на величину, пропорциональную коэффициенту забывания gamma. При этом правило Хебба
принимает вид wij(t+1)=wij(t)*(1-gamma)+nu*xkj*yi(t). Значение коэффициента забывания gamma выбирается
из интервала (0, 1), рекомендуется соблюдать условие gamma<0,1.
Радиальный нейрон
Нейроны данного типа существенно отличаются от ранее рассмотренных. Они используются только
группами, составляя первый слой в многослойных радиальных сетях. Структурная схема такого нейрона
дана ниже.
Здесь f(X, Ci) - радиальная функция с центром в точке с координатами Ci. Такие функции разнообразны, но
на практике чаще всего используется функция Гаусса, имеющая следующий вид: f(X, Ci)=f(|X-Ci|22)=exp(-|XCi|22/(2*si2)), где |X-Ci|2 - эвклидова норма расстояния между входным вектором X и центром Ci нейрона, si параметр, определяющий "ширину" функции. На рисунке ниже даны графики этой функции в скалярном
варианте для различных значений si.
Почему модель нейрона Маккалока-Питтса не способна реализовать логическую функцию
Исключающее «ИЛИ»?
Согласно таблице в точках A и D выход персептрона должен быть нулевым, а в точках B и C – единичным.
Но для этого надо расположить пороговую прямую так, чтобы точки A и D ле-жали ниже этой линии, а
точки B и C – выше, что невозможно. Это значит, что, сколько бы персептрон ни обучали, какие бы
значения ни придавали его синоптическим весам и порогу, персептрон в принципе не способен
воспроизвести соотношение между входами и выходом, требуемое таблицей истинности функции
Исключающее «ИЛИ». Одно нейронный персептрон в принципе не позволяет моделировать логическую
функцию Исключающее «ИЛИ» и решать другие линейно неразделимые задачи.
Сформулируйте определение линейно-неразделимых задач.
Задачи, которые подобно проблеме Исключающего «ИЛИ» с помощью однослойного персептрона решены
быть не могут, называют линейно неразделимыми задачами. В свое время ученые потратили немало сил и
средств, пытаясь решить такие задачи, ошибочно полагая, что причина их неудач состоит в недостаточной
мощности существующих компьютеров и в недостаточном количестве совершенных попыток.
«МАТЕМАТИЧЕСКИЙ НЕЙРОН»
Математический нейрон был предложен американскими учеными Уорреном Мак Келлогом и Вальтером
Питом в 1943г С помощью этих таблиц и формул (1)-(2) нетрудно убедиться, что математический нейрон,
имеющий два входа с единичными силами
синоптических связей w1 = w2 =1, моделирует
функцию логического умножения «И» при θ = 2
, Этот же нейрон моделирует функцию
логического сложения «ИЛИ» при задании θ =1.
Математический нейрон с одним входом
моделирует функцию «НЕТ» при задании w = −1
и θ = 0. 1 2 "И" "ИЛИ" 1 =1 2=1 1 =1 1 2=1 2 θ =2
θ =1 θ =0 "НЕТ" =−1 Рис.4.
Математические нейроны, моделирующие логические функции Однако существуют логические функции,
которые невозможно моделировать с помощью математического нейрона Мак-Каллока – Питтса
Формула
1
S = x1 ∗ w1 + x2 ∗ w2; y = ∫
0
S≥0
S<0
1
S = x1 ∗ 1 + x2 ∗ 1; 0 = 2; y = ∫
0
S≥0
S<0
1
𝑆 = 𝑥1 ∗ 2 + 𝑥2 ∗ 2; 0 = 4; 𝑦 = ∫
0
𝑆≥0
𝑆<0
Набор логические «ИЛИ»
1
𝑆 = 𝑥1 ∗ 1 + 𝑥2 ∗ 1; 0 = 1; 𝑦 = ∫
0
1
𝑆 = 𝑥1 ∗ 2 + 𝑥2 ∗ 2; 0 = 2; 𝑦 = ∫
0
𝑆≥0
𝑆<0
𝑆≥0
𝑆<0
Набор исключающие «ИЛИ»
Решения нет.
