У робастній статистиці робастна регресія прагне подолати деякі обмеження традиційного регресійного аналізу . Регресійний аналіз моделює зв'язок між однією або кількома незалежними змінними та залежною змінною . Стандартні типи регресії, такі як метод найменших квадратів, мають гарні результати, в загальних випадках, але в складніших, можуть давати оманливі результати (тобто нестійкі до порушень припущень). Робустні методи регресії розроблені для обмеження впливу порушень припущень базовим процесом генерації даних на оцінки регресії.

Наприклад, оцінки методом найменших квадратів для регресійних моделей дуже чутливі до викидів: наприклад, для типових спостережень, якщо, відбувається викид з вдвічі більшою величиною для похибки, внесок становить в чотири рази(утворюється два зайвих квадрати) більше вкладень у втрату квадрата похибки, і тому має більший вплив на оцінки. Функція втрат Губера є надійною альтернативою стандартним втратам квадратичних помилок, яка зменшує внесок викидів у втрати квадратичних помилок, тим самим обмежуючи їхній вплив на оцінки регресії.

Застосування

Гетероскедастичні помилки Один із випадків, коли слід розглянути надійне оцінювання, – це коли існує сильна підозра щодо гетероскедастичності. У гомоскедастичній моделі передбачається, що дисперсія члена похибки є постійною для всіх значень x. Гетероскедастичність дозволяє дисперсії залежати від x, що є природнім для багатьох реальних сценаріїв та подій. Наприклад, дисперсія витрат часто більша для осіб з вищим доходом, ніж для осіб з нижчим доходом. Програмні пакети, зазвичай, за замовчуванням використовують гомоскедастичну модель, навіть якщо така модель може бути менш точною, ніж гетероскедастична модель. Вони мають простий підхід, що полягає в застосуванні методі найменших квадратів для будь якого випадку.

Наявність викидів Ще одна поширена проблема, яку вирішує робустна оцінка, це коли дані містять викиди. За наявності викидів, які не походять з того самого процесу генерації даних, що й решта даних, оцінка методом найменших квадратів є неефективною та може бути упередженою. Оскільки прогнози при використанні найменших квадратів зміщуються в бік викиду, а дисперсія оцінок отримується штучно завищена, в результаті викиди можна замаскувати цим методом.

Хоч іноді стверджують, що МНК (або в загальному класичні статистичні методи) є стійкими, вони є такими лише в тому сенсі, що коефіцієнт помилок I типу не збільшується навіть якщо модель порушено. Як правило, коефіцієнт помилок I типу нижчий за номінальний рівень, тому, коли присутні викиди, часто спостерігається різке збільшення коефіцієнта помилок II типу. Зниження рівня помилок першого типу було названо консерватизмом класичних методів, і є основним завданням робастної оцінки.

Методи робустної регресії

Альтернативи методу найменших квадратів Найпростішим методом оцінки параметрів у регресійній моделі, який буде менш чутливим до викидів, ніж оцінки НК, є використання методу найменших абсолютних відхилень.

У 1964 році Губер запровадив M-оцінку для регресій. M в даній оцінці означає «тип максимальної правдоподібності». Цей метод є стійким до викидів у змінній відгуку, але, на жаль, виявився нестійким до викидів у точках впливу. Практично ж, коли в пояснювальних змінних є викиди, метод не має переваг над методом найменших квадратів.

У 1980-х роках було запропоновано декілька альтернатив M-оцінці як спроби побороти брак стійкості. Метод найменших усічених квадратів (LTS) є прийнятною альтернативою і нині (2007) є кращим вибором Руссеу та Райана (1997, 2008). Оцінка Тейля-Сена має меншу точку пробою, ніж LTS, проте є статистично ефективною та популярною. Іншим ж запропонованим розв'язком була S-оцінка. Цей метод знаходить лінію (площину або гіперплощину), яка мінімізує робастну оцінку масштабу залишків. Даний спосіб дуже стійкий до точок впливу та є витривалим до викидів у відгуку. Але, цей метод також виявився малоефективним.

MM-оцінювання намагається зберегти стійкість та надійність S-оцінювання, водночас збільшуючи ефективність M-оцінки. Принцип роботи полягає в знаходженні високо надійної та стійкої S-оцінки, яка мінімізує M-оцінку. Оцінений масштаб потім залишається постійним, поки знаходиться близька за M-оцінка параметрів (друга M).

Параметричні альтернативи Інший підхід до робустної оцінки регресійних моделей полягає в заміні нормального розподілу розподілом з важкими хвостами. T -розподіл Стьюдента з 4–6 ступенями свободи є хорошим вибором у різних реальних ситуаціях. Байєсівська робастна регресія, будучи повністю параметричною, значною мірою залежить від таких розподілів.

Можна припустити t-розподіл залишків, це розподіл є сімейством масштабу розташування. Тобто, . Ступені свободи t-розподілу іноді називають параметром ексцесу.

Альтернативний параметричний підхід полягає в припущенні, що залишки відповідають суміші нормальних розподілів; зокрема, забрудненому нормальному розподілу, в якому більшість спостережень належать до заданого нормального розподілу, але невелика частина з них належать до нормального розподілу зі значно більшою дисперсією. Тобто, залишки що мають ймовірність походять з нормального розподілу з дисперсією , де мала, а ймовірність походять з нормального розподілу з дисперсією для деяких :

Зазвичай, .

Параметричні підходи мають перевагу в тому, що теорія правдоподібності забезпечує «готовий» підхід до висновків, і можливо побудувати імітаційні моделі на основі підгонки. Однак такі параметричні моделі все ще припускають, що базова модель буквально істинна. Таким чином, вони не враховують асиметричні розподіли залишків або скінченну точність спостережень.

Одиничні ваги Ще одним надійним методом є використання одиничних вагів (Wainer & Thissen, 1976), метод, який можна застосовувати, коли є кілька предикторів одного результату. Семюел С. Вілкс (1938) показав, що майже всі набори регресійних ваг у сумі зводяться до композитних виразів, які дуже тісно корелюють один з одним, включаючи одиничні ваги, результат, який називають теоремою Вілкса (Ree, Carretta, & Earles, 1998). Робін Доуз (1979) досліджувала прийняття рішень у прикладних умовах, показавши, що прості моделі з одиничними вагами часто перевершують експертів-людей. Бобко, Рот та Бастер (2007) провели огляд літератури щодо одиничних ваг та дійшли висновку, що десятиліття емпіричних досліджень показують, що одиничні ваги працюють подібно до звичайних регресійних ваг при перехресній перевірці.

Див. також

Регресія

Посилання

Ben-Gal I., Outlier detection, In: Maimon O. and Rockach L. (Eds.) Data Mining and Knowledge Discovery Handbook: A Complete Guide for Practitioners and Researchers," Kluwer Academic Publishers, 2005, . Bobko, P., Roth, P. L., & Buster, M. A. (2007). "The usefulness of unit weights in creating composite scores: A literature review, application to content validity, and meta-analysis". Organizational Research Methods, volume 10, pages 689-709. doi:10.1177/1094428106294734 Daemi, Atefeh, Hariprasad Kodamana, and Biao Huang. "Gaussian process modelling with Gaussian mixture likelihood." Journal of Process Control 81 (2019): 209-220. doi:10.1016/j.jprocont.2019.06.007

Burgess, E. W. (1928). "Factors determining success or failure on parole". In A. A. Bruce (Ed.), The Workings of the Indeterminate Sentence Law and Parole in Illinois (pp. 205–249). Springfield, Illinois: Illinois State Parole Board. Google books Dawes, Robyn M. (1979). "The robust beauty of improper linear models in decision making". American Psychologist, volume 34, pages 571-582. doi:10.1037/0003-066X.34.7.571. archived pdf

Lerman, G.; McCoy, M.; Tropp, J. A.; Zhang T. (2012). "Robust computation of linear models, or how to find a needle in a haystack", arXiv:1202.4044.

Ree, M. J., Carretta, T. R., & Earles, J. A. (1998). "In top-down decisions, weighting variables does not matter: A consequence of Wilk's theorem. Organizational Research Methods, volume 1(4), pages 407-420. doi:10.1177/109442819814003

Wainer, H., & Thissen, D. (1976). "Three steps toward robust regression." Psychometrika, volume 41(1), pages 9–34. doi:10.1007/BF02291695 Wilks, S. S. (1938). "Weighting systems for linear functions of correlated variables when there is no dependent variable". Psychometrika, volume 3, pages 23–40. doi:10.1007/BF02287917

Зовнішні посилання

Вікіпідручники з програмування на R Конспект курсу статистики Браяна Ріплі з ґрунтовними порадами. Конспекти Ніка Філлера зі статистичного моделювання та обчислень містять матеріал про робустну регресію. Огляд надійної статистики від Ольфи Насрауї Огляд надійної кластеризації від Ольфи Насрауї Навіщо писати статистичне програмне забезпечення? Випадок надійних статистичних методів, А. Дж. Стромберг Вільне програмне забезпечення (Fortran 95) Регресія L1-норми. Мінімізація абсолютних відхилень замість методу найменших квадратів. Безкоштовна реалізація Python з відкритим кодом для надійної нелінійної регресії.