Теорема Цибенка, Універсальна теорема апроксимації — теорема, доведена Джорджем Цибенком (George Cybenko) в 1989 році, яка стверджує, що штучна нейронна мережа прямого зв'язку (; у яких зв'язки не утворюють циклів) з одним прихованим шаром може апроксимувати будь-яку неперервну функцію багатьох змінних з будь-якою точністю. Умовами є достатня кількість нейронів прихованого шару, вдалий підбір і , де — ваги між вхідними нейронами і нейронами прихованого шару — ваги між зв'язками від нейронів прихованого шару і вихідним нейроном — коефіцієнт «упередженості» для нейронів прихованого шару.
Формальне викладення
Нехай будь-яка непрервна сигмоїдна функція, наприклад, . Тоді, якщо дана будь-яка неперервна функція дійсних змінних на (або будь яка інша компактна підмножина ) і , тоді існують вектори та параметризована функція така, що для всіх де
та та .
Посилання Cybenko, G.V. (1989). Approximation by Superpositions of a Sigmoidal function, Mathematics of Control, Signals and Systems, vol. 2 no. 4 pp. 303-314. Hassoun, M. (1995) Fundamentals of Artificial Neural Networks MIT Press, p. 48
Див. також Теорема збіжності перцептрону Перцептрон Winner-take-all