Перехре́сне затве́рджування (), іноді зване ротаці́йним оці́нюванням () або позави́бірковим випро́буванням (), — це будь-яка з подібних методик затверджування моделі для оцінювання того, наскільки результати статистичного аналізу узагальнюватимуться на незалежний набір даних. Перехресне затверджування включає методи й розділення вибірки, які на різних ітераціях використовують різні частини даних для випробування й тренування моделі. Його часто використовують в постановках, де метою є передбачування, й потрібно оцінити те, наскільки точно передбачувальна модель працюватиме на практиці. Також його можливо використовувати для оцінювання якості допасованої моделі й стабільності її параметрів.
В задачі передбачування зазвичай моделі дають набір відомих даних, на яких виконують тренування (тренувальний набір даних), та набір невідомих даних (або вперше бачених даних), на яких модель випробовують (званий затверджувальним або випробувальним набором даних). Метою перехресного затверджування є випробувати здатність моделі передбачувати нові дані, які не використовували при її визначенні, щоби просигналізувати про такі проблеми як перенавчання та ви́біркове упередження, і щоби дати уявлення про те, як ця модель узагальнюватиметься на незалежний набір даних (тобто, невідомий набір даних, наприклад, з реальної задачі).
Один раунд перехресного затверджування містить розбивання вибірки даних на взаємодоповнювальні піднабори, виконання аналізу на одному з піднаборів (званому тренувальним набором) та затверджування результатів на іншому піднаборі (званому затверджувальним або випробувальним набором). З метою зниження мінливості, в більшості методів виконують декілька раундів перехресного затверджування з використанням різних розбиттів, і, щоби дати оцінку передбачувальної продуктивності моделі, результати затверджування поєднують (наприклад, усереднюють) над раундами.
Коротко, перехресне затверджування поєднує (усереднює) міри допасованості в передбачуванні, щоби вивести точнішу оцінку передбачувальної продуктивності моделі.
Обґрунтування
Розгляньмо модель з одним чи більше невідомими параметрами, та набір даних, до якого цю модель можливо допасувати (тренувальний набір даних). Процес допасовування оптимізує ці параметри моделі, щоби зробити модель якнайкраще допасованою до цих тренувальних даних. Якщо незалежну вибірку затверджувальних даних взяти із тієї ж сукупності, що й тренувальні дані, то, як правило, виявиться, що ця модель не допасовується до затверджувальних даних так же добре, як вона допасовується до даних тренувальних. Розмір цієї різниці може бути великим, особливо коли розмір тренувального набору даних є малим, або коли число параметрів моделі є великим. Перехресне затверджування є одним зі способів оцінити розмір цього ефекту.
Приклад: лінійна регресія
В лінійній регресії існують дійсні значення відгуку , та n p-вимірних векторних коваріат x1, …, xn. Компоненти вектора xi позначують через xi1, …, xip. Якщо використовують найменші квадрати, щоби допасувати функцію в вигляді гіперплощини ŷ = a + βTx до даних (xi, yi) 1 ≤ i ≤ n, то допасованість можливо оцінювати, застосовуючи середньоквадратичну похибку (СКП, ). СКП для заданих оцінюваних значень параметрів a та β на тренувальному наборі (xi, yi) 1 ≤ i ≤ n визначено як:
Якщо модель вказано правильно, то за м'яких припущень може бути показано, що математичне сподівання СКП для тренувального набору становить (n − p − 1)/(n + p + 1) < 1 на математичне сподівання СКП для затверджувального набору (математичне сподівання береться над розподілом тренувальних наборів). Таким чином, допасована модель й обчислена СКП на тренувальному наборі даватимуть в результаті оптимістично упереджену оцінку того, наскільки добре ця модель допасовуватиметься на незалежному наборі даних. Цю упереджену оцінку називають внутрішньовибірковою () оцінкою допасованості, тоді як оцінку перехресного затверджування називають позавибірковою () оцінкою.
Оскільки в лінійній регресії можливо безпосередньо обчислювати коефіцієнт (n − p − 1)/(n + p + 1), на який тренувальна СКП недооцінює затверджувальну СКП за припущення, що модель вказано правильно, то перехресне затверджування можливо застосовувати, щоби перевіряти, чи не було модель перенавчено, в разі чого СКП у затверджувальному наборі значно перевищуватиме її очікуване значення. (Перехресне затверджування в контексті лінійної регресії також корисне тим, що його можливо використовувати, щоби обирати оптимально регуляризовану функцію витрат.)
Загальний випадок
В більшості інших регресійних процедур (наприклад, у логістичній регресії) простої формули для обчислення очікуваної позавибіркової допасованості не існує. Перехресне затверджування, відтак, є загально застосовним способом передбачувати продуктивність моделі на недоступних даних із застосуванням чисельних обчислень замість теоретичного аналізу.
Типи
Можливо вирізнити два типи перехресного затверджування: вичерпне () та невичерпне ().
Вичерпне перехресне затверджування
Вичерпні методи перехресного затверджування — це такі методи перехресного затверджування, які навчаються та випробовуються на всіх можливих способах поділу первинної вибірки на тренувальний та затверджувальний набори.
Перехресне затверджування з виключенням по p
Перехресне затверджування з виключенням по p (ПЗ ВПp, ) передбачає використання p спостережень як затверджувального набору, й решти спостережень як набору тренувального. Це повторюють всіма способами розрізування первинної вибірки на затверджувальний набір із p спостережень, та тренувальний набір.
Перехресне затверджування ВПp вимагає тренування та затверджування моделі разів, де n — число спостережень у первинній вибірці, й де — біноміальний коефіцієнт. Для p > 1 й для навіть помірно великого n ПЗ ВПp може стати обчислювально нездійсненним. Наприклад, за n = 100 та p = 30, .
Варіант перехресного затверджування ВПp із p = 2, відомий як перехресне затверджування з виключенням парами, було рекомендовано як майже неупереджений метод оцінювання площі під кривою РХП бінарних класифікаторів.
Перехресне затверджування з виключенням по одному
Перехресне затверджування з виключенням по одному (ПЗВПО, ) — це окремий випадок перехресного затверджування з виключенням по p із p = 1. Цей процес виглядає подібним до складаного ножа, проте при перехресному затверджуванні обчислюють статистику на виключених зразках, тоді як при складаноножуванні обчислюють статистику лише для залишених зразків.
Перехресне затверджування ВПО вимагає меншого обчислювального часу, ніж ВПp, оскільки має лише проходів замість . Проте проходів все одно можуть вимагати вельми великого обчислювального часу, в разі чого доречнішими можуть бути інші підходи, такі як k-кратне перехресне затверджування.
Псевдокодовий алгоритм:
Вхід:
x, {вектор довжини N зі значеннями x точок входу}
y, {вектор довжини N зі значеннями y очікуваного результату}
interpolate(x_in, y_in, x_out), { повертає оцінку для точки x_out після того, як модель було натреновано на парах x_in—y_in}
Вихід:
err, {оцінка похибки передбачування}
Кроки:
err ← 0 for i ← 1, ..., N do // визначити піднабори перехресного затверджування x_in ← (x, ..., x[i − 1], x[i + 1], ..., x[N]) y_in ← (y, ..., y[i − 1], y[i + 1], ..., y[N]) x_out ← x[i] y_out ← interpolate(x_in, y_in, x_out) err ← err + (y[i] − y_out)^2 end for err ← err/N
Невичерпне перехресне затверджування
Невичерпні методи перехресного затверджування не обчислюють всі способи поділу первинної вибірки. Ці методи є наближенням перехресного затверджування з виключенням по p.
k-кратне перехресне затверджування
В k-кратнім перехреснім затверджуванні () первинну вибірку випадково розбивають на k підвибірок однакового розміру, часто званих «складниками» (). З цих k підвибірок одну підвибірку притримують як затверджувальні дані для випробування моделі, а решту k − 1 вибірок використовують як тренувальні дані. Потім процес перехресного затверджування повторюють k разів, використовуючи кожну з k підвибірок як затверджувальні дані рівно один раз. Відтак ці k результатів можливо усереднити, щоб отримати єдину оцінку. Перевагою цього методу перед повторюваним випадковим взяттям підвибірок (див. нижче) є те, що як для тренування, так і для затверджування використовують всі спостереження, й кожне спостереження використовують для затверджування рівно один раз. Зазвичай використовують 10-кратне затверджування, але загалом k залишається вільним параметром.
Наприклад, встановлення k = 2 призводить до 2-кратного перехресного затверджування. У 2-кратнім перехреснім затверджуванні ми випадково розкида́ємо набір даних на два набори d0 та d1 таким чином, що обидва мають однакові розміри (це зазвичай втілюють через перетасовування масиву даних та поділ його навпіл). Потім ми тренуємо на d0 й затверджуємо на d1, після чого тренуємо на d1 й затверджуємо на d0.
Коли k = n (числу спостережень), k-кратне перехресне затверджування рівнозначне перехресному затверджуванню з виключенням по одному.
В стратифікованім () k-кратнім перехреснім затверджуванні частини обирають таким чином, щоби середнє значення відгуку було приблизно рівним в усіх частинах. У випадку бінарної класифікації це означає, що кожна частина містить приблизно однакову пропорцію двох типів міток класу.
У повторюванім () перехреснім затверджуванні дані випадково ділять на k частин декілька разів. Продуктивність моделі відтак можливо усереднити над декількома проходами, але на практиці це нечасто є бажаним.
Коли розглядають багато різних статистичних моделей або моделей машинного навчання, жадібне () k-кратне перехресне затверджування можуть використовувати для швидкого встановлювання найперспективніших моделей—кандидаток.
Метод притримування
В методі притримування () ми випадково призначуємо точки даних двом наборами d0 та d1, зазвичай званим тренувальним та випробувальним наборами відповідно. Розмір кожного з наборів довільний, хоча зазвичай випробувальний набір менший за тренувальний. Потім ми тренуємо (будуємо модель) на d0, та випробуємо (оцінюємо її продуктивність) на d1.
В типовім перехреснім затверджуванні усереднюють результати декількох пробігань моделювання—випробування. На противагу цьому, метод притримування, наодшибі, містить лише одне пробігання. Його слід застосовувати обережно, оскільки без такого усереднювання декількох пробігань можна досягти дуже оманливих результатів. Показник передбачувальної точності (F*) матиме схильність бути нестійким, оскільки його не буде згладжено декількома ітераціями (див. нижче). Аналогічно, схильність бути нестійкими матимуть показники конкретної ролі, яку відіграю́ть ті чи інші передбачувальні змінні (наприклад, значення регресійних коефіцієнтів).
І хоча метод притримування може бути охарактеризовано як «найпростіший тип перехресного затверджування», багато джерел натомість класифікують притримування як один з типів простого затверджування, а не як просту або вироджену форму затверджування перехресного.
Повторюване випадкове підвибіркове затверджування
Цей метод (), відомий також як перехресне затверджування Монте-Карло, створює декілька випадкових поділів набору даних на тренувальні та затверджувальні дані. Для кожного такого поділу модель допасовують до тренувальних даних, й оцінюють її передбачувальну точність, застосовуючи затверджувальні дані. Результати відтак усереднюють над цими поділами. Перевагою цього методу (перед k-кратним перехресним затверджуванням) є те, що пропорція тренувального/затверджувального поділу не залежить від числа ітерацій (тобто, числа розбиттів). Недоліком цього методу є те, що деякі спостереження може ніколи не бути обрано до затверджувальної підвибірки, тоді як інші може бути обрано понад один раз. Іншими словами, затверджувальні піднабори можуть перекриватися. Цей метод також зазнає́ мінливості Монте-Карло, що означає, що результати варіюватимуться, якщо аналіз повторюватимуть з відмінними випадковими поділами.