Ме́тод головни́х компоне́нтів (МГК, ) — метод факторного аналізу в статистиці, який використовує ортогональне перетворення множини спостережень з можливо пов'язаними змінними (сутностями, кожна з яких набуває різних числових значень) у множину змінних без лінійної кореляції, які називаються головними компонентами.
Метод головних компонент — один з основних способів зменшити розмірність даних, втративши найменшу кількість інформації. Винайдений Карлом Пірсоном у 1901 році та доповнений і розширений Гарольдом Готелінґом в 1933 р. Застосовується в багатьох галузях, зокрема, в економетриці, біоінформатиці, обробці зображень, для стиснення даних, у суспільних науках.
Обчислення головних компонент може бути зведене до обчислення сингулярного розкладу матриці даних або до обчислення власних векторів і власних чисел коваріаційної матриці початкових даних. Іноді метод головних компонент називають перетворенням Кархунена — ЛоеваФактично, метод є емпіричною реалізацією теореми Кархунена, згідно з якою будь-який випадковий процес може бути поданий у вигляді нескінченного ряду ортогональних функцій. У російськомовній науковій літературі поширене також написання «перетворення Карунена — Лоева», що відповідає англійському прочитанню фінського прізвища або перетворенням Хотеллінга ().
Загальна характеристика
Метод головних компонент — один із найпоширеніших методів факторного аналізу.
Серед інших подібних методів, що дозволяють узагальнювати значення елементарних ознак, МГК виділяється простою логічною конструкцією, і, разом з тим, на його прикладі стають зрозумілими загальна ідея й мета чисельних методів факторного аналізу.
Метод головних компонент дає можливість за m — числом початкових ознак виділити r головних компонент, або узагальнених ознак. Простір головних компонент ортогональний. Математична модель методу головних компонент базується на логічному припущенні, що значення множини взаємозалежних ознак породжують деякий загальний результат.
Розв'язування задачі методом головних компонент зводиться до поетапного перетворення матриці початкових даних X.
Формальна постановка задачі Задача аналізу головних компонент має щонайменше чотири базових версії:
апроксимувати дані лінійними многовидами меншої розмірності; знайти підпростори меншої розмірності, в ортогональній проєкції на які розкид даних (тобто середньоквадратичне відхилення від середнього значення) максимальний; знайти підпростори меншої розмірності, в ортогональній проєкції на які середньоквадратична відстань між точками максимальна; для даної багатовимірної випадкової величини побудувати таке ортогональне перетворення координат, внаслідок якого кореляції між окремими координатами перетворяться в нуль.
Перші три версії оперують скінченними множинами даних. Вони еквівалентні і не використовують жодної гіпотези про статистичне породження даних. Четверта версія оперує випадковими величинами. Скінченні множини з'являються тут як вибірки з даного розподілу, а розв'язання трьох перших завдань — як наближення до розкладу за теоремою Кархунена — Лоева («істинного перетворення Кархунена — Лоева»). При цьому виникає додаткове і не цілком тривіальне питання про точність цього наближення.
Апроксимація даних лінійними многовидами
Метод головних компонент починався з задачі найкращої апроксимації скінченної множини точок прямими і площинами (Пірсон, 1901). Дано скінченну множину векторів для кожного серед всіх -вимірних лінійних многовидів у знайти таке , що сума квадратів відхилень від мінімальна:
,
де — евклідова відстань від точки до лінійного многовиду. Кожен -вимірний лінійний многовид в може бути заданий як множина лінійних комбінацій , де параметри пробігають дійсну пряму , а — ортонормований набір векторів
,
де евклідова норма, — евклідів скалярний добуток, або в координатній формі:
.
Розв'язок задачі апроксимації для дається набором вкладених лінійних многовидів , . Ці лінійні многовиди визначаються ортонормованим набором векторів (векторами головних компонент) та вектором . Вектор шукається як розв'язок задачі мінімізації для :
,
тобто
.
Це — вибіркове середнє: .
Фреше в 1948 році звернув увагу, що варіаційне визначення середнього (як точки, що мінімізує суму квадратів відстаней до точок даних) дуже зручно для побудови статистики в довільному метричному просторі, і побудував узагальнення класичної статистики для загальних просторів (узагальнений метод найменших квадратів).
Вектори головних компонент можуть бути знайдені як розв'язки однотипних задач оптимізації:
Централізуються дані (відніманням середнього): . Тепер ; Відшукується перша головна компонента як розв'язок задачі: . якщо розв'язок не єдиний, то вибирається один з них. З даних віднімається проєкція на першу головну компоненту: ; Відшукується друга головна компонента як розв'язок задачі: . Якщо розв'язок не єдиний, то вибирається один з них.
Далі процес триває, тобто на кроці віднімається проєкція на -у головну компоненту (до цього моменту проєкції на попередні головні компоненти вже відняті):
і на кроці визначається -а головна компонента як розв'язок задачі:
(якщо розв'язок не єдиний, то вибирається один з них).
На кожному підготовчому кроці віднімається проєкція на попередню головну компоненту. Знайдені вектори ортонормовані просто внаслідок розв'язування описаної задачі оптимізації, однак, щоб не дати похибкам обчислення порушити взаємну ортогональність векторів головних компонент, можна включати в умови задачі оптимізації.
Неєдиність у визначенні крім тривіальної довільності у виборі знака ( і розв'язують ту саму задачу) може бути більш істотною і походити, наприклад, з умов симетрії даних. Остання головна компонента — одиничний вектор, ортогональний всім попереднім .
Пошук ортогональних проєкцій з найбільшим розсіянням
Нехай нам дано центрований набір векторів даних (середнє арифметичне значення дорівнює нулю). Завдання — знайти таке ортогональне перетворення в нову систему координат, для якого б виконувались такі умови:
Вибіркова дисперсія даних уздовж першої координати максимальна (цю координату називають першою головною компонентою); Вибіркова дисперсія даних уздовж другої координати максимальна за умови ортогональності першій координаті (друга головна компонента); … Вибіркова дисперсія даних уздовж значень -ї координати максимальна за умови ортогональності першим координатами; …
Вибіркова дисперсія даних уздовж напрямку, заданого нормованим вектором , це
(оскільки дані центровані, вибіркова дисперсія тут збігається із середнім квадратом ухилення від нуля).
Розв'язок задачі про найкращу апроксимацію дає ту ж множину головних компонент , що й пошук ортогональних проєкцій з найбільшим розсіянням, з дуже простої причини: і перший доданок не залежить від .
Пошук ортогональних проєкцій з найбільшою середньоквадратичною відстанню між точками Ще одне еквівалентне формулювання випливає з очевидної тотожності, правильної для будь-яких векторів :
У лівій частині цієї тотожності стоїть середньоквадратична відстань між точками, а в квадратних дужках праворуч — вибіркова дисперсія. Таким чином, у методі головних компонент шукаються підпростори, в проєкції на які середньоквадратична відстань між точками максимальна (або, що те ж саме, її спотворення внаслідок проєкції мінімальне)Зінов'єв А. Ю., Візуалізація багатовимірних даних , Красноярськ, Вид. КГТУ, 2000.. Таке переформулювання дозволяє будувати узагальнення зі зважуванням різних парних відстаней (а не тільки точок).
Анулювання кореляцій між координатами Для заданої -вимірної випадкової величини знайти такий ортонормований базис, , в якому коефіцієнт коваріації між різними координатами дорівнює нулю. Після перетворення до цього базису
для .
Тут — коефіцієнт коваріації, де — математичне сподівання.
Діагоналізація коваріаційної матриці Всі задачі про головні компоненти приводять до задачі діагоналізації коваріаційної матриці або вибіркової коваріаційної матриці. Емпірична або вибіркова коваріаційна матриця, це
Коваріаційна матриця багатовимірної випадкової величини , це
Вектори головних компонент для задач про найкращу апроксимацію і про пошук ортогональних проєкцій з найбільшим розсіянням — це ортонормований набір власних векторів емпіричної коваріаційної матриці , розташованих у порядку спадання власних значень Ці вектори слугують оцінкою для власних векторів коваріаційної матриці . У базисі власних векторів коваріаційної матриці вона, природно, діагональна, і в цьому базисі коефіцієнт коваріації між різними координатами дорівнює нулю.
Якщо спектр коваріаційної матриці вироджений, то вибирають довільний ортонормований базис власних векторів. Він існує завжди, а власні числа коваріаційної матриці завжди дійсні і невід'ємні.
Сингулярний розклад матриці даних
Ідея сингулярного розкладу Математичний зміст методу головних компонент — це спектральне розкладання коваріаційної матриці , тобто подання простору даних у вигляді суми взаємно ортогональних власних підпросторів , а самої матриці — у вигляді лінійної комбінації ортогональних проєкторів на ці підпростори з коефіцієнтами . Якщо — матриця, складена з векторів-рядків (розмірності ) центрованих даних, то і задача про спектральний розклад коваріаційної матриці перетворюється на задачу про сингулярний розклад матриці даних .
Число називається сингулярним числом матриці тоді і тільки тоді, коли існують правий і лівий сингулярні вектори: такі -вимірний вектор-рядок і -вимірний вектор-стовпець (обидва одиничної довжини), що виконуються дві рівності:
Нехай — ранг матриці даних. Сингулярний розклад матриці даних — це її подання у вигляді
де — сингулярне число, — відповідний правий сингулярний вектор-стовпець, а — відповідний лівий сингулярний вектор-рядок (). Праві сингулярні вектори-стовпці , що беруть участь у цьому розкладі, є векторами головних компонент і власними векторами емпіричної коваріаційної матриці , що відповідають додатним власним числам .
Хоча формально завдання сингулярного розкладу матриці даних і спектрального розкладу коваріаційної матриці збігаються, алгоритми обчислення сингулярного розкладу безпосередньо, без обчислення коваріаційної матриці і її спектра, більш ефективні і стійкіBau III, D., Trefethen, L. N., Numerical linear algebra , Philadelphia: Society for Industrial and Applied Mathematics, 1997. (Lecture 31) ISBN 978-0-89871-361-9.
Теорія сингулярного розкладання була створена Джеймсом Джозефом Сильвестром у 1889 році і викладена в усіх докладних посібниках з теорії матрицьГантмахер Ф. Р., Теория матриц. — М: Наука, 1966. — 576 с..
Простий ітераційний алгоритм сингулярного розкладання Основна процедура — пошук найкращого наближення довільної матриці матрицею виду (де — -вимірний вектор, а — -вимірний вектор) методом найменших квадратів:
Розв'язок цієї задачі дається послідовними ітераціями за явними формулами. При фіксованому векторі значення , що надають мінімум формі однозначно і явно визначаються з рівностей :
Аналогічно, при фіксованому векторі визначаються значення :
Як початкове наближення вектора береться випадковий вектор одиничної довжини, обчислюємо вектор , далі для цього вектора обчислюємо вектор і т. д. Кожен крок зменшує значення . Як критерій зупинки використовується малість відносного зменшення значення функціоналу , що мінімізується, за крок ітерації () або малість самого значення .
Внаслідок цього для матриці отримується найкраще наближення матрицею виду (тут верхнім індексом позначено номер наближення). Далі, з матриці віднімається отримана матриця , і для отриманої матриці ухилень знову шукається найкраще наближення цього ж виду і т. д., поки, наприклад, норма не стане достатньо малою. В результаті отримали ітераційну процедуру розкладання матриці у вигляді суми матриць рангу 1, тобто . Приймаємо і нормуємо вектори : В результаті отримано апроксимацію сингулярних чисел і сингулярних векторів (правих — і лівих — ).