Ба́єсове висно́вування () — це метод статистичного висновування, за яким для уточнення ймовірності гіпотези при отриманні додаткових або інформації застосовують правило Баєса. Баєсове висновування є важливим прийомом у статистиці, особливо в математичній. Баєсове уточнення є особливо важливим у динамічному аналізі послідовностей даних. Баєсове висновування знайшло застосування в широкому діапазоні галузей, включно із наукою, інженерією, філософією, медициною, спортом та правом. У філософії теорії рішень баєсове висновування тісно пов'язано із суб'єктивною ймовірністю, що її часто називають «баєсовою ймовірністю».

Введення до правила Баєса

Формальне тлумачення

Баєсове висновування виводить апостеріорну ймовірність як логічний наслідок двох передумов, апріорної ймовірності та «функції правдоподібності», виведеної зі статистичної моделі спостережуваних даних. Баєсове висновування обчислює апостеріорну ймовірність відповідно до теореми Баєса:

де позначає «подія за умови» (таким чином, означає A за умови B). означає будь-яку гіпотезу (), на чию ймовірність можуть вплинути дані (що називаються нижче свідченням). Часто існують конкуруючі гіпотези, і задача полягає у визначенні того, яка з них є найімовірнішою. , апріорна ймовірність, є оцінкою ймовірності гіпотези до спостереження даних , поточного свідчення. свідчення () відповідає новим даним, що не використовувалися при обчисленні апріорної ймовірності. , апостеріорна ймовірність, є ймовірністю за умови , тобто, після спостереження . Вона є тим, що ми хочемо знати: ймовірністю гіпотези за умови отриманого свідчення. є ймовірністю спостереження за умови , і її називають правдоподібністю. Як функція від при незмінній , вона вказує на сумісність свідчення з даною гіпотезою. Функція правдоподібності є функцією від свідчення, , тоді як апостеріорна ймовірність є функцією від гіпотези, . іноді називають відособленою правдоподібністю, або «свідченням моделі». Цей множник є однаковим для всіх можливих гіпотез, що розглядаються (що очевидно з того факту, що гіпотеза ніде не з'являється в цьому позначенні, на відміну від усіх інших множників), тож цей множник не входить до визначення відносних ймовірностей різних гіпотез.

Для різних значень на значення впливають лише множники та , обидва в чисельнику, — апостеріорна ймовірність гіпотези є пропорційною її апріорній ймовірності (притаманній їй правдоподібності) та новоотриманій правдоподібності (її сумісності з новим спостереженим свідченням).

Правило Баєса також може бути записано наступним чином:

де множник можна інтерпретувати як вплив на ймовірність .

Альтернативи баєсовому уточненню

Баєсове уточнення широко застосовується та є обчислювально зручним. Однак, це не єдине правило уточнення, що може вважатися раціональним.

зауважив, що традиційні аргументи не визначали використання саме баєсового уточнення: вони залишили відкритою можливість, що не-баєсові правила уточнення можуть обходити голландську систему ставок. Хакінг написав:Hacking (1967, Section 3, p. 316), Hacking (1988, p. 124)

Дійсно, існують не-баєсові правила уточнення, що також обходять голландську систему ставок (як обговорюється в літературі про «кінематику ймовірностей») після публікації правила , що застосовує правило Баєса до випадку, коли свідченню самому встановлюється ймовірність. Додаткові гіпотези, необхідні для однозначної вимоги баєсового уточнення, було визнано значними, складними та незадовільними. (1989) Laws and Symmetry, Oxford University Press.

Формальний опис баєсового висновування

Позначення , точка даних у загальному сенсі. Фактично це може бути вектор значень. , параметр розподілу точки даних, тобто, . Фактично це може бути вектор параметрів. , гіперпараметр розподілу параметра, тобто, . Фактично це може бути вектор гіперпараметрів. є вибіркою, набором спостережуваних точок даних, тобто, . , нова точка даних, чий розподіл потрібно передбачити.

Баєсове висновування

Апріорний розподіл — це розподіл параметра (параметрів) до будь-якого спостереження даних, тобто . Визначити апріорний розподіл може бути не так легко. У даному випадку ми можемо скористатися , щоби отримати апостеріорний розподіл перед уточненням його подальшими спостереженнями.

Вибірковий розподіл — це розподіл спостережуваних даних в залежності від його параметрів, тобто, . Його також називають функцією правдоподібності (), особливо коли розглядають його як функцію від параметра (параметрів), що іноді записується як . Відособлена правдоподібність (що іноді також називають свідченням) — це розподіл спостережуваних даних, відособлений за параметром (параметрами), тобто, . Апостеріорний розподіл — це розподіл параметра (параметрів) після взяття до уваги спостережуваних даних. Він визначається за правилом Баєса, що формує серцевину баєсового висновування:

Зауважте, що словами це виражається як «апостеріорне є пропорційним апріорному, помноженому на правдоподібність», або іноді як «апостеріорне = правдоподібність на апріорне, відносно свідчення».

Баєсове передбачування

 — це розподіл нової точки даних, відособлений за апостеріорним:

 — це розподіл нової точки даних, відособлений за апріорним:

Баєсова теорія передбачає використання апостеріорного передбачуваного розподілу для , тобто, для передбачування розподілу ймовірностей нової, ще не спостережуваної точки даних. Тобто, замість фіксованої точки, як передбачення повертається розподіл ймовірностей над можливими точками. Лише в цьому випадку є повний апостеріорний розподіл параметра (параметрів), що використовуються. Для порівняння, передбачування у частотній статистиці часто полягає у знаходженні оптимальної точкової оцінки параметра (параметрів) — наприклад, методом максимальної правдоподібності або оцінки апостеріорного максимуму — і наступному підставленні цієї оцінки до формули розподілу точки даних. Це має той недолік, що воно не враховує жодної невизначеності у значенні параметра, і відтак недооцінюватиме дисперсію передбачуваного розподілу.

(У деяких випадках частотна статистика може обходити цю проблему. Наприклад, коли довірчі та у частотній статистиці будуються з нормального розподілу з невідомим середнім значенням та дисперсією, вони будуються з використанням t-розподілу Стьюдента. Це дає правильну оцінку дисперсії завдяки тому факту, що (1) середнє значення випадкових величин із нормальним розподілом також має нормальний розподіл; (2) передбачуваний розподіл точки даних з нормальним розподілом та невідомими середнім значенням та дисперсією при використанні спряжених або неінформативних апріорних розподілів має t-розподіл Стьюдента. Однак, у баєсовій статистиці апостеріорний передбачуваний розподіл може завжди визначатися точно — чи, принаймні, з довільним рівнем точності, при застосуванні чисельних методів.)

Зауважте, що обидва типи передбачуваних розподілів мають вигляд (так само, як і відособлена правдоподібність). Справді, якщо апріорний розподіл є спряженим апріорним розподілом, і, отже, апріорний та апостеріорний розподіли походять із одного сімейства, то можна легко переконатися, що як апріорний, так і апостеріорний передбачувані розподіли також походять з одного й того ж сімейства складних розподілів. Різниця лише в тім, що апостеріорний передбачуваний розподіл використовує уточнені значення гіперпараметрів (застосовуючи баєсові правила уточнення, наведені у статті про спряжений апріорний розподіл), тоді як апріорний передбачуваний розподіл використовує значення гіперпараметрів, що фігурують в апріорному розподілі.

Висновування над взаємовиключними вичерпними можливими значеннями

Якщо свідчення використовується для одночасного уточнення переконань над набором взаємовиключних вичерпних можливих значень, то баєсове висновування можна розглядати як таке, що діє над розподілом цих переконань у цілому.

Загальне формулювання

Припустімо, що процес породжує незалежні однаково розподілені події () , але розподіл ймовірностей є невідомим. Нехай простір подій представляє поточний стан переконань для цього процесу. Кожну модель представляють подією . Для визначення моделей вказують умовні ймовірності . є мірою переконання в . Перед першим кроком висновування є набором початкових апріорних ймовірностей. Вони повинні в сумі давати 1, а в іншому можуть бути довільними.

Припустімо, що ми спостерігали, що процес породив . Для кожної апріорна уточнюється до апостеріорної . З теореми Баєса:

Після спостереження подальших свідчень цю процедуру може бути повторено.

Кілька спостережень

Для послідовності незалежних однаково розподілених спостережень за допомогою індукції може бути показано, що повторне застосування наведеного вище еквівалентне

де

Для послідовності, в якій умовну незалежність спостережень гарантовано бути не може, Рейчел Бонд, Ян-Хуей Хе та Томас Ормерод показали з квантової механіки, що

отже,

Параметричне формулювання

При параметризації простору моделей переконання в усіх моделях можуть уточнюватися за один крок. Розподіл переконань над простором моделей може розглядатися як розподіл переконань над простором параметрів. Розподіли в цьому розділі виражаються як безперервні, представлені густинами імовірності, як це й є у звичайній ситуації. Тим не менше, ця методика є так само застосовною й до дискретних розподілів.

Нехай вектор охоплює простір параметрів. Нехай початковим апріорним розподілом над буде , де є набором параметрів самого апріорного розподілу, або гіперпараметрів. Нехай буде послідовністю незалежних однаково розподілених спостережень подій, де всі розподілено як для деякого . Для отримання апостеріорного розподілу над застосовується теорема Баєса:

де

Математичні властивості

Інтерпретація множника

. Тобто, якщо модель була вірною, то свідчення буде правдоподібнішим, ніж передбачено поточним станом переконання. Зворотня ситуація веде до зменшення переконання. Якщо переконання не змінюється, то . Тобто, свідчення не залежить від моделі. Якщо модель була вірною, то свідчення буде правдоподібним рівно настільки, наскільки передбачено поточним станом переконання.

Правило Кромвеля

Якщо , то . Якщо , то . Це може інтерпретуватися так, що категоричні переконання є нечутливими до контр-доказів.

Перше випливає безпосередньо з теореми Баєса. Друге може бути виведено застосуванням першого правила до події «не » замість «», що дасть «якщо , то », з чого результат випливатиме безпосередньо.

Асимптотична поведінка апостеріорного розподілу

Розгляньмо поведінку розподілу переконання у процесі його уточнення велику кількість разів незалежними однаково розподіленими пробами. Для достатньо гарних апріорних ймовірностей дає те, що на границі нескінченних проб апостеріорний розподіл збігається до нормального, незалежно від початкового апріорного розподілу, за певних умов, вперше окреслених та суворо доведених 1948 року, а саме, якщо випадкова змінна у міркуваннях має скінченний імовірнісний простір. Загальніші результати було отримано пізніше статистиком , який опублікував у двох плідних дослідницьких працях 1963 та 1965 років, коли і за яких обставин гарантується асимптотична поведінка апостеріорного розподілу. Його праця 1963 року, як і праця Дуба 1949 року, розглядає скінченний випадок, і приходить до задовільного результату. Однак, якщо випадкова змінна має нескінченний, але зліченний імовірнісний простір (тобто, відповідає гральній кістці з нескінченною кількістю граней), то праця 1965 року демонструє, що для щільної підмножини апріорних ймовірностей не є застосовною. В цьому випадку асимптотичного збігання майже напевно немає. Пізніше у 1980-х та 1990-х роках та продовжили працювати над випадком нескінченних зліченних імовірнісних просторів.Larry Wasserman et alia, JASA 2000. Підсумовуючи, для подолання впливу початкового вибору може бути замало проб, і, особливо у випадку великих (але скінченних) систем, збігання може бути дуже повільним.

Спряжені апріорні розподіли