Линейный дискриминантный анализ

Линейный дискриминантный анализ (ЛДА, , LDA), нормальный дискриминантный анализ (, NDA) или анализ дискриминантных функций () является обобщением линейного дискриминанта Фишера, метода, используемого в статистике, распознавании образов и машинном обучении для поиска линейной комбинации признаков, которая описывает или разделяет два или более классов или событий. Получившаяся комбинация может быть использована как линейный классификатор, или, более часто, для снижения размерности перед классификацией.

ЛДА тесно связан с дисперсионным анализом (=ANOVA) и регрессионным анализом, которые также пытаются выразить одну зависимую переменную в виде линейной комбинации других признаков или измерений. Однако дисперсионный анализ использует качественные независимые переменные и зависимую переменную, в то время как дискриминантный анализ имеет непрерывные независимые переменные и качественную зависимую переменную (то есть метку класса). Логистическая регрессия и пробит-регрессия больше похожи на ЛДА, чем дисперсионный анализ, так как они так же объясняют качественную переменную через непрерывные независимые переменные. Эти другие методы более предпочтительны в приложениях, в которых нет оснований предполагать, что независимые переменные нормально распределены, что является фундаментальным предположением метода ЛДА.

ЛДА тесно связан также c методом главных компонент (МГК, , PCA) и факторным анализом тем, что они ищут линейные комбинации переменных, которые лучшим образом объясняют данные. ЛДА явным образом пытается моделировать разницу между классами данных. МГК, с другой стороны, не принимает во внимание какую-либо разницу в классах, а факторный анализ строит комбинации признаков, опираясь скорее на различия, а не на сходства. Дискриминантный анализ отличается также от факторного анализа тем, что не является независимой техникой — для его работы должно быть определено различие между независимыми переменными и зависимыми переменными (последние называются также критериальными переменными).

ЛДА работает, когда измерения, сделанные на независимых переменных для каждого наблюдения, являются непрерывными величинами. Когда имеем дело с качественными независимыми переменными, эквивалентной техникой является дискриминантный анализ соответствий.

Дискриминантный анализ используется, когда группы известны априори (в отличие от кластерного анализа). Каждый случай должен иметь значение в одной или нескольких мерах количественного предсказания и значение на групповой мере. Выражаясь простыми терминами, анализ дискриминантных функций является классификацией, разбивающей объекты на группы, классы или категории некоторого типа.

История Оригинальный дихотомический дискриминантный анализ разработал сэр Роналд Фишер в 1936. Он отличается от дисперсионного анализа или , которые используются для предсказания одной (дисперсионный анализ) или нескольких (многофакторный дисперсионный анализ) непрерывных зависимых переменных по одной или более независимой качественной переменной. Анализ дискриминантных функций полезен для определения, является ли множество переменных эффективным в предсказании принадлежности категории.

ЛДА для двух классов Рассмотрим множество наблюдений (называемых также признаками, атрибутами, переменными или измерениями) для каждого образца объекта или события с известным классом . Это множество образцов называется . Задача классификации тогда заключается в поиске хорошего предсказателя для класса любого представителя того же распределения (не обязательно из тренировочного множества), заданного только наблюдением .

ЛДА подходит к задаче с предположением, что условные плотности распределения вероятности и распределены нормально со средним и параметрами ковариации и соответственно. При таких предположениях байесово оптимальное решение предсказывает, что точка принадлежит второму классу, если отношение правдоподобия превосходит некоторое (пороговое) значение T, так что:

Без каких-либо дальнейших предположений получающийся классификатор называют КДА (, , QDA).

Вместо этого ЛДА делает дополнительное упрощающее предположение гомоскедастичности (то есть что классы ковариации идентичны, так что ) и что ковариации имеют полный ранг. В этом случае несколько членов исключаются:

, поскольку является эрмитовой и описанный выше критерий решения становится пороговым значением для скалярного произведения

для некоторой пороговой константы c, где

Это означает, что критерий для входного вхождения в класс является функцией только от этой линейной комбинации известных наблюдений.

Часто полезно видеть это заключение в терминах геометрии: критерий входного содержаться в классе является функцией от проекции точки многомерного пространства на вектор (мы рассматриваем только направление вектора). Другими словами, наблюдение принадлежит , если соответствующий расположен на определённое стороне от гиперплоскости, перпендикулярной . Положение плоскости определяется пороговым значением c.

Предположения Предположения дискриминантного анализа являются теми же, что и для многофакторного дисперсионного анализа. Анализ весьма чувствителен к выбросам и размер наименьшей группы должен быть больше, чем число предикторных (независимых) переменных.

Многомерная нормальность: Независимые переменные нормальны для любого уровня группирующей переменной . Однородность дисперсии/ковариации (гомоскедастичность): Дисперсии среди групповых переменных те же самые по всем уровням предикторов. Это может быть проверено с помощью М-статистики Бокса. Предлагается, однако, чтобы линейный дискриминантный анализ применялся, когда ковариации равны, а когда ковариации не равны, может быть использован . Мультиколлинеарность: Сила предсказания может уменьшаться с увеличением корреляции между предикторными (независимыми) переменными . Независимость: Объекты предполагаются случайно распределёнными и оценка по одной переменной для объекта независима от оценки по другой переменной.

Предполагается, что дискриминантный анализ относительно устойчив относительно небольших нарушений этих предположений. Было показано, что дискриминантный анализ может оставаться правдоподобным при применении дихотомических случайных величин (когда многомерная нормальность часто нарушается).

Дискриминантные функции Дискриминантный анализ работает путём создания одной или более линейной комбинаций предикторов, получая новую скрытую переменную для каждой функции. Эти функции называются дискриминантными функциями. Число возможных функций равно либо Ng-1, где Ng=числу групп, либо p (числу предикторов), в зависимости от того, какое из чисел меньше. Первая созданная функция максимизирует разницу между группами по этой функции. Вторая функция максимизирует разницу по этой функции, но не должна коррелировать с предыдущей функцией. Процесс продолжается созданием последовательности функций с требованием, чтобы новая функция не коррелировала со всеми предыдущими.

Если дана группа с множествами выборочного пространства, есть дискриминантное правило, такое, что, если , то . Дискриминантный анализ тогда находит «хорошие» области множеств для минимизации ошибки классификации, потому приводит к высокому проценту классификации.

Каждая функция сопровождается дискриминантной оценкой для определения, насколько хорошо она предсказывает принадлежность группе. Коэффициенты структурной корреляции: Корреляция между каждым предиктором и дискриминантной оценкой для каждой функции. Это полная корреляция. Нормированные коэффициенты: Вклад каждого предиктора в каждую функцию, так что это является . Показывает относительную важность каждого предиктора как вклад в принадлежность группе для каждой функции. Функции от центроидов группы: Средние дискриминантные оценки для каждой переменной для каждой функции. Чем дальше друг от друга находятся средние, тем меньше будет ошибка при классификации.

Правила дискриминанта Метод максимального правдоподобия: Назначает x группе, максимизирующей (групповую) плотность популяции. Правило дискриминанта Байеса: Назначает x группе, максимизирующей , где представляет априорную вероятность классификации и представляет плотность популяции. Правило линейного дискриминанта Фишера: Максимизирует отношение между SSмежду и SSвнутри, и находит линейную комбинацию предикторов для предсказания группы.

Собственные значения Собственное значение в дискриминантном анализе — это собственное значение для каждой функции. Оно показывает, насколько функция разделяет группы. Чем больше собственное значение, тем лучше функция разделяет. Здесь, однако, нужно быть осторожным, поскольку собственные значения не имеют верхнего предела . Собственное значение можно рассматривать как отношение SSмежду и SSвнутри как в дисперсионном анализе, когда зависимая переменная является дискриминантной функцией, а группы являются уровнями IV. Это означает, что наибольшее собственное значение ассоциировано с первой функцией, второе по величине ассоциировано со второй и т. д..

Величина эффекта Некоторые предлагают использовать собственные значения как меру , однако в общем случае это не поддерживается. Вместо этого предпочтительнее в качестве меры эффекта использовать каноническую корреляцию. Она подобна собственному значению, но является квадратным корнем отношения SSмежду и SSполное. Она равна корреляции между группами и функцией.

Другая популярная мера размера эффекта — для каждой функции. Её можно вычислить по формуле: , где является собственным значением для функции, а является суммой всех собственных значений. Величина указывает нам, насколько точно предсказание, даваемое конкретной функцией по сравнению с другими функциями.

Процент правильной классификации может быть проанализирован как размер эффекта.

Канонический дискриминантный анализ для k классов Канонический дискриминантный анализ (, CDA) находит оси (k − 1 канонических координат, где k — число классов), которые лучшим образом разделяют категории. Эти линейные функции не коррелируют и определяют, в результате, оптимальное k − 1 мерное пространство через n-мерное облако данных, которые лучшим образом разделяют k групп. См. «ЛДА с несколькими классами» ниже.

Линейный дискриминант Фишера Термины линейный дискриминант Фишера и ЛДА часто используют как равнозначные, хотя исходная статья Фишера в действительности описывает немного другой дискриминант, который не делает таких предположений, какие делает ЛДА, например, нормальное распределение классов или одинаковость ковариации классов.

Предположим, что два класса наблюдений имеют средние и ковариации . Тогда линейная комбинация признаков будет иметь средние и дисперсии для . Фишер определял разделение между этими двумя распределениями как отношение дисперсии между классами и дисперсии внутри классов:

Эта мера является, в некотором смысле, мерой отношения сигнал/шум для разметки класса. Можно показать, что максимальное разделение будет, когда

Если предположения ЛДА выполняются, вышеприведённое равенство эквивалентно ЛДА.

Заметьте, что вектор является нормалью дискриминантной гиперплоскости. В качестве примера, в двумерной задаче прямая, наилучшим образом разделяющая две группы, является перпендикуляром к .

В общем случае точки данных, которые разделяют, проектируются на . Затем выбирается пороговое значение, которое наилучшим образом разделяет данные, исходя из одномерного распределения. Не существует общего правила для выбора порога. Однако, если проекции точек из обоих классов проявляют примерно то же самое распределение, хорошим выбором будет гиперплоскость между проекциями двух средних, и . В этом случае параметр c в пороговом условии может быть найден явно:

.

Метод Оцу связан с линейным дискриминантом Фишера и был создан для бинаризации гистограммы пикселей в монохромном изображении путём оптимального выбора порога чёрное/белое, который минимизирует дисперсии внутри классов и максимизирует дисперсии между классами.

ЛДА с несколькими классами