Нейро́нная сеть (также иску́сственная нейро́нная сеть«3.4.8 нейронная сеть; искусственная нейронная сеть (neural network, NN, neural net, artificial neural network): <искусственный интеллект> Сеть из двух или более слоев, состоящих из нейронов, соединённых взвешенными связями с регулируемыми весовыми коэффициентами; при этом каждый нейрон получает входные данные и вырабатывает результат» ()., ИНС, или просто нейросе́ть) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации нервных сетей (биологических нейронных сетей) — сетей нервных клеток (нейронов) живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Первой такой попыткой были нейронные сети У. Маккалока и У. Питтса в 1943 годуМак-Каллок У. С., Питтс В. Логическое исчисление идей, относящихся к нервной активности // Автоматы / Под ред. К. Э. Шеннона и Дж. Маккарти. — : Изд-во иностр. лит., 1956. — С. 363—384. (Перевод английской статьи 1943 г.). После разработки алгоритмов обучения получаемые модели стали использовать в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и др.
В русский язык термин "нейронная сеть" в современном значении вошел в 90-е годы.Нейросеть // Новые слова и значения. Словарь-справочник по материалам прессы и литературы 90-х годов XX века: в 3 томах. Т.2 Клиент-банк — Паркетный — СПб.: Дмитрий Буланин, 2014. Ранее в СССР сети искусственных нейронов наряду с сетями нейронов естественных называли как "нервными сетями", так и "нейронными сетями".Нервные сети, нейронные сети // Энциклопедия современной техники. Автоматизация производства и промышленная электроника. Том 2 (К – Погрешность измерения) —М.: Советская энциклопедия, 1962.Нейронная сеть // Энциклопедия кибернетики. Том второй. Мих — Яч —Киев: Украинская советская энциклопедия, 1974.
С точки зрения развития вычислительной техники и программирования, нейронная сеть — способ решения проблемы эффективного параллелизмаГорбань А. Н. Кто мы, куда мы идём, как путь наш измерить? Пленарный доклад на открытии конференции Нейроинформатика-99 (МИФИ, 20 января 1999). Журнальный вариант: Горбань А. Н. Нейроинформатика: кто мы, куда мы идём, как путь наш измерить // Вычислительные технологии. — : Машиностроение. — 2000. — № 4. — С. 10—14. = Gorban A.N. Neuroinformatics: What are us, where are we going, how to measure our way? The Lecture at the USA-NIS Neurocomputing Opportunities Workshop, Washington DC, July 1999 (Associated with IJCNN’99)..
Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными и выходными данными, а также выполнять обобщение. Это означает, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумлённых», частично искажённых данных.
Хронология 1943 — У. Маккалок и У. Питтс формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности. В начале своего сотрудничества с Питтсом Н. Винер предлагает ему вакуумные лампы в качестве средства для реализации эквивалентов нейронных сетейН. Винер. Кибернетика. 2-е изд., 1961, гл. I.. 1948 — Опубликована книга Н. Винера о кибернетике. Основной идеей стало представление сложных биологических процессов математическими моделями. 1949 — Д. Хебб предлагает первый алгоритм обучения. 1958 — Ф. Розенблатт изобретает однослойный перцептрон и демонстрирует его способность решать задачи классификации. Перцептрон использовали для распознавания образов, прогнозирования погоды. К моменту изобретения перцептрона завершилось расхождение теоретических работ Маккалока с «кибернетикой» Винера; Маккалок и его последователи вышли из состава «Кибернетического клуба». 1960 — совместно со своим студентом Хоффом на основе дельта-правила (формулы Уидроу) разработали Адалин, который сразу начал использоваться для задач предсказания и адаптивного управления. Адалин был построен на базе созданных ими же (Уидроу — Хоффом) новых элементах — мемисторахУидроу Б., Стирнс С. Адаптивная обработка сигналов. — : Радио и связь, 1989. — 440 c.. 1963 — В институте проблем передачи информации АН СССР А. П. Петровым проводится исследование задач, «трудных» для перцептрона. На эту работу в области моделирования ИНС в СССР опирался М. М. Бонгард в своей работе как «сравнительно небольшой переделкой алгоритма (перцептрона) исправить его недостатки». 1969 — М. Минский публикует формальное доказательство ограниченности перцептрона и показывает, что он не способен решать некоторые задачи (проблема «чётности» и «один в блоке»), связанные с инвариантностью представлений. 1972 — Т. Кохонен и независимо предлагают новый тип нейронных сетей, способных функционировать в качестве памяти. 1973 — Б. В. Хакимов предлагает нелинейную модель с синапсами на основе сплайнов и внедряет её для решения задач в медицине, геологии, экологииХакимов Б. Б. Моделирование корреляционных зависимостей сплайнами на примерах в геологии и экологии. — : Изд-во Моск. ун-та; : Нева, 2003. — 144 с.. 1974 — Пол Дж. ВербосWerbos P. J. Beyond regression: New tools for prediction and analysis in the behavioral sciences. — Ph. D. thesis, Harvard University, Cambridge, MA, 1974. и Галушкин А. И.Галушкин А. И. Синтез многослойных систем распознавания образов. — : Энергия, 1974. одновременно изобретают алгоритм обратного распространения ошибки для обучения многослойных перцептроновRumelhart D.E., Hinton G.E., Williams R.J., Learning Internal Representations by Error Propagation. In: Parallel Distributed Processing, vol. 1, pp. 318—362. Cambridge, MA, MIT Press. 1986.. 1975 — представляет когнитрон — самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов, но это достигается только при помощи запоминания практически всех состояний образа. 1982 — Дж. Хопфилд показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (сеть Хопфилда). Кохоненом представлены модели сети, обучающейся без учителя (нейронная сеть Кохонена), решающей задачи кластеризации, визуализации данных (самоорганизующаяся карта Кохонена) и другие задачи предварительного анализа данных. 1986 — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. ВильямсомRumelhart D. E., Hinton G. E., Williams R. J. Learning Internal Representations by Error Propagation // Parallel Distributed Processing. Vol. 1. — Cambridge, MA: MIT Press, 1986. P. 318—362., а также независимо и одновременно С. И. Барцевым и В. А. ОхонинымБарцев С. И., Охонин В. А. Адаптивные сети обработки информации. — Красноярск: Ин-т физики СО АН СССР, 1986. Препринт № 59Б. — 20 с., переоткрыт и развит метод обратного распространения ошибки. 2007 — Джеффри Хинтоном в университете Торонто созданы алгоритмы глубокого обучения многослойных нейронных сетей. Хинтон при обучении нижних слоёв сети использовал ограниченную машину Больцмана (RBM — Restricted Boltzmann Machine). По Хинтону необходимо использовать много примеров распознаваемых образов (например, множество лиц людей на разных фонах). После обучения получается готовое быстро работающее приложение, способное решать конкретную задачу (например, осуществлять поиск лиц на изображении).
Известные применения
Распознавание образов и классификация
В качестве образов могут выступать различные по своей природе объекты: символы текста, изображения, образцы звуков и так далее. При обучении сети предлагаются различные образцы образов с указанием того, к какому классу они относятся. Образец, как правило, представляется как вектор значений признаков. При этом совокупность всех признаков должна однозначно определять класс, к которому относится образец. В случае, если признаков недостаточно, сеть может соотнести один и тот же образец с несколькими классами, что неверно. По окончании обучения сети ей можно предъявлять неизвестные ранее образы и получать ответ о принадлежности к определённому классу.
Топология такой сети характеризуется тем, что количество нейронов в выходном слое, как правило, равно количеству определяемых классов. При этом устанавливается соответствие между выходом нейронной сети и классом, который он представляет. Когда сети предъявляется некий образ, на одном из её выходов должен появиться признак того, что образ принадлежит этому классу. В то же время на других выходах должен быть признак того, что образ данному классу не принадлежитТакой вид кодирования иногда называют кодом «1 из N». Если на двух или более выходах есть признак принадлежности к классу, считается, что сеть «не уверена» в своём ответе.
Используемые архитектуры нейросетей Обучение с учителем: Перцептрон Свёрточные нейронные сети Обучение без учителя: Сети адаптивного резонанса Смешанное обучение: Сеть радиально-базисных функций
Принятие решений и управление Эта задача близка к задаче классификации. Классификации подлежат ситуации, характеристики которых поступают на вход нейронной сети. На выходе сети при этом должен появиться признак решения, которое она приняла. При этом в качестве входных сигналов используются различные критерии описания состояния управляемой системыОткрытые системы — введение в нейросети .
Кластеризация
Под кластеризацией понимается разбиение множества входных сигналов на классы, при том, что ни количество, ни признаки классов заранее неизвестны. После обучения такая сеть способна определять, к какому классу относится входной сигнал. Сеть также может сигнализировать о том, что входной сигнал не относится ни к одному из выделенных классов — это является признаком новых, отсутствующих в обучающей выборке, данных. Таким образом, подобная сеть может выявлять новые, неизвестные ранее классы сигналов. Соответствие между классами, выделенными сетью, и классами, существующими в предметной области, устанавливается человеком. Кластеризацию осуществляют, например, нейронные сети Кохонена.
Нейронные сети в простом варианте Кохонена не могут быть огромными, поэтому их делят на гиперслои (гиперколонки) и ядра (микроколонки). Если сравнивать с мозгом человека, то идеальное количество параллельных слоёв не должно быть более 112. Эти слои в свою очередь составляют гиперслои (гиперколонку), в которой от 500 до 2000 микроколонок (ядер). При этом каждый слой делится на множество гиперколонок, пронизывающих насквозь эти слои. Микроколонки кодируются цифрами и единицами с получением результата на выходе. Если требуется, то лишние слои и нейроны удаляются или добавляются. Идеально для подбора числа нейронов и слоёв использовать суперкомпьютер. Такая система позволяет нейронным сетям быть пластичными.
Используемые архитектуры нейросетей Обучение без учителя: Перцептрон Самоорганизующаяся карта Кохонена Нейронная сеть Кохонена Сети адаптивного резонанса
Прогнозирование
Способности нейронной сети к прогнозированию напрямую следуют из её способности к обобщению и выделению скрытых зависимостей между входными и выходными данными. После обучения сеть способна предсказать будущее значение некой последовательности на основе нескольких предыдущих значений и (или) каких-то существующих в настоящий момент факторов. Прогнозирование возможно только тогда, когда предыдущие изменения в какой-то степени действительно предопределяют будущие. Например, прогнозирование котировок акций на основе котировок за прошлую неделю может оказаться успешным (а может и не оказаться), тогда как прогнозирование результатов завтрашней лотереи на основе данных за последние 50 лет почти наверняка не даст никаких результатов.
Используемые архитектуры нейросетей Обучение с учителем: Перцептрон Смешанное обучение: