Байесовская линейная регрессия — это подход в линейной регрессии, в котором статистический анализ проводится в контексте байесовского вывода: когда регрессионная модель имеет , имеющие нормальное распределение, и, если принимается определённая форма априорного распределения, доступны явные результаты для апостериорных распределений вероятностей параметров модели.

Конфигурация модели Рассмотрим стандартную задачу линейной регрессии, в которой для мы указываем среднее условное распределение величины для заданного вектора предсказаний :

где является вектором, а являются независимыми и одинаково распределёнными нормально случайными величинами:

Это соответствует следующей функции правдоподобия:

Решение обычного метода наименьших квадратов является оценкой вектора коэффициентов с помощью псевдообратной матрицы Мура — Пенроуза:

где является , каждая строка которой является вектором предсказаний , а является вектор-столбцом r .

Это является подходом, и предполагается, что существует достаточно измерений для того, чтобы сказать что-то осмысленное о . В байесовском подходе данные сопровождаются дополнительной информацией в виде априорного распределения вероятности. Априорные убеждения о параметрах комбинируются с функцией правдоподобия данных согласно теореме Байеса для получения апостериорной уверенности о параметрах и . Априорные данные могут принимать различные формы в зависимости от области применения и информации, которая доступна a priori.

Регрессия с сопряжёнными распределениями

Сопряжённое априорное распределение Для любого априорного распределения, может не существовать аналитического решения для апостериорного распределения. В этом разделе мы рассмотрим так называемое сопряжённое априорное распределение, для которого апостериорное распределение можно вывести аналитически.

Априорное распределение является сопряжённым функции правдоподобия, если оно имеет ту же функциональную форму с учётом и . Поскольку логарифмическое правдоподобие квадратично от , его перепишем так, что правдоподобие становится нормальным от . Запишем

Правдоподобие теперь переписывается как

где

и ,

где является числом коэффициентов регрессии.

Это указывает на вид априорного распределения:

где является

В обозначениях, введённых в статье , это плотность распределения с и , где и являются априорными значениями и соответственно. Эквивалентно, эту плотность можно описать как

Далее, условная априорная плотность является нормальным распределением,

В обозначениях нормального распределения условное априорное распределение равно

Апостериорное распределение При указанном априорным распределении апостериорное распределение можно выразить как

После некоторых преобразованийПромежуточные выкладки можно найти в книге O’Hagan (1994) в начале главы по линейным моделям. апостериорная вероятность может быть переписана так, что апостериорное среднее вектора параметров может быть выражено в терминах оценки по методу наименьших квадратов и априорного среднего , где поддержка априорной вероятности выражается матрицей априорной точности

Для подтверждения, что в действительности является апостериорным средним, квадратичные члены в экспоненте можно преобразовать к от Промежуточные выкладки можно найти в книге Fahrmeir и др. (2009 на стр. 188..

Теперь апостериорное распределение можно выразить как нормальное распределение, умноженное на :

Поэтому апостериорное распределение можно параметризовать следующим образом.

где два множителя соответствуют плотностям распределений и с параметрами, задаваемыми выражениями

Это можно интерпретировать как байесовское обучение, в котором параметры обновляются согласно следующим равенствам

Обоснованность модели Обоснованность модели  — это вероятность данных для данной модели . Она известна также как предельное правдоподобие и как априорная предсказательная плотность. Здесь модель определяется функцией правдоподобия и априорным распределением параметров, то есть, . Обоснованность модели фиксируется одним числом, показывающим, насколько хорошо такая модель объясняет наблюдения. Обоснованность модели байесовской линейной регрессии, представленная в этом разделе, может быть использована для сравнения конкурирующих линейных моделей путём байесовского сравнения моделей. Эти модели могут отличаться числом и значениями предсказывающих переменных, как и их априорными значениями в параметрах модели. Сложность модели принимается во внимание обоснованностью модели, поскольку она исключает параметры путём интегрирования по всем возможным значениям и .

Этот интеграл можно вычислить аналитически и решение задаётся следующим равенствомПромежуточные выкладки можно найти в книге O’Hagan (1994) на странице 257.

Здесь означает гамма-функцию. Поскольку мы выбрали сопряжённое априорное распределение, предельное правдоподобие может быть легко вычислено путём решения следующего равенства для произвольных значений и .

Заметим, что это равенство является ни чем иным, как переформулировкой теоремы Байеса. Подстановка формулы для априорной вероятности, правдоподобия и апостериорной вероятности и упрощения получающегося выражения приводит к аналитическому выражению, приведённому выше.

Другие случаи В общем случае может оказаться невозможным или нецелесообразным получать апостериорное распределение аналитически. Однако можно аппроксимировать апостериорную вероятность методом , таким как выборка по методу Монте-КарлоКарлин и Луи (Carlin, Louis, 2008) и Гельман с соавторами (Gelman, et al., 2003) объяснили как использовать методы выборочных наблюдений для байесовской линейной регрессии. или .

Частный случай называется гребневой регрессией.

Аналогичный анализ можно провести для общего случая множественной регрессии и частично для байесовской  — см. .

См. также

Метод регуляризации Тихонова

Примечания

Литература

Minka, Thomas P. (2001) Bayesian Linear Regression , Microsoft research web page

Программное обеспечение Python Bayesian Type-II Linear Regression code, tutorial ARD Linear Regression code ARD Linear Regression with kernelized features code , tutorial

Категория:Методы одного уравнения (математическая экономика) Категория:Байесовский вывод