Непараметрична регресія — форма регресійного аналізу, де предиктор не набуває заздалегідь визначеної форми, але повністю побудований за допомогою інформації, отриманої з даних. Тобто, для взаємодії між предикторами й залежною змінною відсутнє параметричне рівняння. Для створення непараметричної моделі з таким самим рівнем , як і параметрична модель, потрібен більший обсяг вибірки, оскільки дані мають забезпечувати як структуру моделі, так і оцінки параметрів.
Визначення Непараметрична регресія припускає таке співвідношення для заданих випадкових величин і :
де — деяка детермінована функція. Лінійна регресія — це обмежений випадок непараметричної регресії, де — лінійна функція даних. Іноді використовується дещо сильніше припущення про адитивний шум:
де випадкова величина — це «шумовий член» із середнім значенням 0. Без припущення, що належить до певної параметричної родини функцій, неможливо отримати неупереджену оцінку для , проте більшість оцінок є узгодженими за відповідних умов.
Поширені алгоритми непараметричної регресії Це не вичерпний список непараметричних моделей для регресії:
згладжування найближчого сусіда (див. також алгоритм k-найближчих сусідів) дерева регресії ядрова регресія
нейронні мережі
Приклади
Регресія на основі гаусових процесів (кригінг) У регресії на основі гаусових процесів, також відомій як кригінг, для кривої регресії передбачається гауссова апріорна ймовірність. Вважається, що похибки мають багатовимірний нормальний розподіл, а крива регресії оцінюється за її апостеріорною модою. Гауссова апріорна ймовірність може залежати від невідомих гіперпараметрів, які зазвичай оцінюються за допомогою . Гіперпараметри зазвичай визначають ядро апріорної коваріації. У випадку, якщо ядро також має бути виведене непараметрично з даних, можна використати .
інтерпретуються як апостеріорна мода гауссової регресії процесу.
Ядрова регресія
Ядрова регресія оцінює неперервну залежну змінну за обмеженим набором точок даних шляхом згортання розташування точок даних за допомогою — приблизно кажучи, функція ядра визначає, як «розмити» вплив точок даних, щоб їхні значення можна було використати для прогнозування значень для сусідніх місць.
Дерева регресії Для прогнозування залежної змінної за даними можна застосувати алгоритми навчання з деревом рішень. Хоча оригінальне формулювання дерева класифікації та регресії застосовувалося лише до прогнозування одновимірних даних, цю платформу можна використовувати для прогнозування багатовимірних даних, включно з часовими рядами.
Див. також
Примітки
Література
Посилання HyperNiche, програмне забезпечення для непараметричної мультиплікативної регресії. Масштабно-адаптивна непараметрична регресія (за допомогою програмного забезпечення Matlab).