Прибли́зне ба́єсове обчи́слення (ПБО, ) складає клас , що беруть свої корені з баєсової статистики. В усіх методах статистичного висновування на основі моделей центральне значення має функція правдоподібності, оскільки вона виражає ймовірність спостережуваних даних згідно певної статистичної моделі, і таким чином кількісно оцінює дані, що підтримують певні значення параметрів та обирання серед різних моделей. Для простих моделей формулу функції правдоподібності зазвичай може бути виведено аналітично. Однак для складніших моделей аналітична формула може бути невиразною, або оцінка функції правдоподібності може бути дуже витратною обчислювально.
Методи ПБО уникають обчислення функції правдоподібності. Таким чином, методи ПБО розширюють сферу моделей, для яких може розглядатися статистичне висновування. Методи ПБО є математично обґрунтованими, але вони неминуче роблять припущення та наближення, що потребують ретельної оцінки. Крім того, ширша область застосування ПБО посилює проблеми оцінки параметрів та обирання моделі.
Останніми роками ПБО швидко завоювало популярність, зокрема для аналізу складних задач, що виникають в біологічних науках, наприклад, в популяційній генетиці, екології, епідеміології та системній біології.
Історія
Перші ідеї, пов'язані з ПБО, сходять до 1980-х років. (), обговорюючи інтерпретацію баєсових викладів у 1984 році, описав гіпотетичний механізм вибірки, що дає вибірку з апостеріорного розподілу. Ця схема була більше концептуальним уявним експериментом для демонстрації, якого типу маніпуляції здійснюються при отримуванні висновків про апостеріорні розподіли параметрів. Опис цього механізму вибірки в точності збігається зі схемою ПБО-відхилення, і цю статтю можна розглядати як перший опис приблизного баєсового обчислення. Проте двоетапний було побудовано Френсісом Гальтоном () у пізніх 1800-х, що можна побачити як фізичну реалізацію схеми ПБО-відхилення для одного невідомого (параметра) та одного спостереження — див. мал. 5 у S. Stigler 2010. Інше передбачення було зроблено Рубіним, коли він переконував, що прикладні статистики не повинні обмежуватися в баєсовому висновуванні лише тими моделями, що піддаються аналітичній обробці, а натомість розглядати обчислювальні методи, що дозволяють їм оцінювати потрібний апостеріорний розподіл. Таким чином може розглядатися ширший спектр моделей. Ці аргументи є особливо актуальними в контексті ПБО.
У 1984 році () та Річард Греттон () запропонували застосовувати схему систематичної симуляції для наближення функції правдоподібності, коли її аналітична форма є непіддатливою. Їхній метод ґрунтувався на визначенні ґратки в просторі параметрів та використанні її для наближення правдоподібності шляхом виконання декількох симуляцій для кожної з точок ґратки. Наближення потім покращувалося застосуванням згладжувальних прийомів до виходів цих симуляцій. І хоча ідея використання симуляцій для перевірки гіпотез не була новою, Дігл та Греттон, очевидно, запропонували першу процедуру використання симуляції для здійснення статистичного висновування за умов, коли правдоподібність є непіддатливою.
Хоча підхід Дігла та Греттона й відкрив нові обрії, їхній метод не був повністю ідентичним тому, що тепер відоме як ПБО, оскільки його спрямовано на наближення правдоподібності, замість апостеріорного розподілу. Стаття () та ін. була першою, в якій було запропоновано алгоритм ПБО для апостеріорного висновування. В їхній новаторській праці розглядалося висновування стосовно генеалогії даних послідовностей ДНК, зокрема задача визначення апостеріорного розподілу часу до останнього спільного предка вибраних особин. Таке висновування є аналітично непіддатливим для багатьох демографічних моделей, але автори представили шляхи симуляції зрощених дерев згідно передбачуваних моделей. Вибірку з апостеріорного розподілу параметрів моделі було отримувано шляхом прийняття/відхилення припущень на підставі порівняння кількості відокремлених популяцій у синтетичних та реальних даних. За цією працею послідувало прикладне дослідження () та ін. моделювання варіацій в людській Y-хромосомі із застосуванням методу ПБО. Нарешті, термін «приблизне баєсове обчислення» започаткували Марк Бомон () та ін., додатково розширивши методологію ПБО, та конкретніше обговоривши придатність підходу ПБО для задач у популяційній генетиці. Відтоді ПБО набуло поширення в застосуваннях за межами популяційної генетики, таких як системна біологія, епідеміологія або .
Метод
Обґрунтування
Поширене втілення теореми Баєса ставить у відповідність умовну ймовірність (або густину) певного значення параметра при заданих даних до ймовірності при заданому за правилом:
,
де позначає апостеріорне, — правдоподібність, — апріорне, а — свідчення (що також називають відособленою правдоподібністю, або апріорною передбачуваною правдоподібністю даних).
Апріорне представляє переконання про до того, як стало доступним , і його часто вказують, обираючи певний розподіл з набору добре відомих та піддатливих сімейств розподілів, так, щоби як обчислення апріорних ймовірностей, так і випадкова генерація значень були відносно безпосередніми. Для деяких різновидів моделей прагматичніше вказувати апріорне , застосовуючи розклад спільного розподілу всіх елементів в термінах послідовності їхніх умовних розподілів. Якщо цікавлять лише відносні ймовірності різних значень , то свідченням можна знехтувати, оскільки воно складає , що скасовується для будь-якого співвідношення апостеріорних імовірностей. Залишається, однак, необхідність обрахунку правдоподібності та апріорного . Для численних застосувань обрахунок правдоподібності є обчислювально витратним або й зовсім непіддатливим, що спонукає до застосування ПБО для обходу цієї проблеми.
Алгоритм відхилення ПБО
Всі методи на основі ПБО наближують функцію правдоподібності шляхом симуляцій, виходи яких порівнюють зі спостережуваними даними. Конкретніше, в алгоритмі відхилення ПБО, найбазовішій формі ПБО, спочатку вибирається набір точок параметрів з апріорного розподілу. Потім для заданої вибраної точки параметру симулюється набір даних згідно статистичної моделі , визначеної параметрами . Якщо ці згенеровані надто відрізняються від спостережуваних даних , то вибране значення параметру відхиляється. У точніших термінах, приймається з допуском , якщо:
,
де міра відстані визначає рівень розбіжності між та на основі заданої метрики (наприклад, евклідової відстані). Як правило, потрібен суворо додатній допуск, оскільки ймовірність того, що вихід симуляції точно збіжиться з даними (подія ) є незначною для всіх застосувань ПБО, крім найпримітивніших, що на практиці вело би до відхилення майже всіх вибраних точок параметрів. Виходом алгоритму відхилення ПБО є вибірка значень параметрів, розподілена приблизно відповідно до бажаного апостеріорного розподілу, та, найголовніше, отримана без потреби явного обчислення функції правдоподібності (мал. 1).
Зведена статистика
Ймовірність генерування набору даних з малою відстанню до зазвичай зменшується з ростом розмірності даних. Це призводить до суттєвого зменшення обчислювальної ефективності наведеного вище базового алгоритму відхилення ПБО. Загальним підходом до зменшення цієї проблеми є заміна набором зведеної статистики з меншою розмірністю, який обирається таким чином, щоби охопити доречну інформацію в . Критерій прийнятності в алгоритмі відхилення ПБО стає таким:
.
Якщо зведена статистика є достатньою по відношенню до параметрів моделі , то отримуване таким чином підвищення ефективності не привносить жодних помилок. Дійсно, за визначенням, достатність означає, що всю інформацію в про охоплено в .
Як деталізовано нижче, ідентифікувати скінченномірний набір зведеної статистики за межами зазвичай неможливо. Тим не менш, у випадках, коли висновування здійснюється методами ПБО, часто застосовуються інформативні, але, можливо, не достатні зведені статистики.
Приклад
Ілюстративним прикладом є бістабільна система, яку може бути охарактеризовано прихованою марковською моделлю (ПММ) в умовах зашумлених вимірювань (Мал. 2). Такі моделі використовують для багатьох біологічних систем: наприклад, їх можуть застосовувати до еволюції, сигнальних систем клітин, активації/деактивації, логічної обробки та нерівноважної термодинаміки. Наприклад, поведінка фактора транскрипції сигнального білка () у чорночеревій дрозофілі може моделюватися за допомогою ПММ. (Біологічна) динамічна модель складається з двох станів: A та B. Якщо ймовірність переходу з одного стану до іншого визначається як в обох напрямках, то ймовірністю залишитися в тому ж стані на кожному такті є 1-. Ймовірністю виміряти стан правильно є (і навпаки, ймовірністю неправильного вимірювання є 1-).
Через умовні залежності між станами в різні моменти часу обчислення правдоподібності даних часових рядів є дещо нудним, що ілюструє спонукання до застосування ПБО. Обчислювальною проблемою для базового ПБО є велика розмірність даних у застосуваннях на кшталт цього. Її може бути зменшено застосуванням зведеної статистики S, що є частотою перемикань між двома станами. Як метрика відстані застосовується абсолютна відстань у поєднанні з допуском . Апостеріорне висновування стосовно параметра може бути здійснено шляхом п'ятьох кроків, представлених на мал. 1:
Крок 1: Припустімо, що спостережувані дані є послідовністю станів AAAABAABBAAAAAABAAAA, що було згенеровано з використанням та . Пов'язаною зведеною статистикою, кількістю перемикань між станами, в експериментальних даних є .
Крок 2: Виходячи з припущення, що про не відомо нічого, застосовується рівномірний апріорний розподіл на проміжку . Параметр вважається відомим та фіксованим у значенні, з яким генерувалися дані (), але в загальному випадку його може бути оцінено зі спостережень. З апріорного береться n точок параметрів, і модель симулюється для кожної з точок параметрів , що дає в результаті послідовностей симульованих даних. В цьому прикладі n=5, а кожен взятий параметр та симульований запис набору даних містяться в стовпчиках 2-3 таблиці 1. На практиці для отримання придатної інформації n повинно бути набагато більшим.
+ Таблиця 1: Приклад алгоритму відхилення ПБО i Симульовані набори даних (крок 2) Зведена статистика (крок 3) Відстань (крок 4) Вихід (крок 4) 1 0.08 AABAAAABAABAAABAAAAA 8 2 прийнято 2 0.68 AABBABABAAABBABABBAB 13 7 відхилено 3 0.87 BBBABBABBBBABABBBBBA 9 3 відхилено 4 0.43 AABAAAAABBABBBBBBBBA 6 0 прийнято 5 0.53 ABBBBBAABBABBABAABBB 9 3 відхилено
Крок 3: Зведена статистика обчислюється для кожної послідовності симульованих даних, (стовпчик 4 таблиці 1).
Крок 4: Відстані між спостережуваними та симульованими послідовностями переходів обчислюються для всіх точок параметрів (стовпчик 5 таблиці 1). Точки параметрів, для яких відстань є меншою або рівною , приймаються як приблизні приклади з апостеріорного (стовпчик 6 таблиці 1).
Крок 5: Апостеріорний розподіл наближується прийнятими точками параметрів. Апостеріорний розподіл повинен мати не-незначну ймовірність значень параметрів в області навколо істинного значення в системі, якщо дані є достатньо інформативними. В цьому прикладі масу апостеріорної ймовірності рівномірно поділено між значеннями 0.08 та 0.43.
Малюнок 3 показує апостеріорні ймовірності, отримані за допомогою ПБО та великого n з використанням або зведеної статистики у поєднанні з ( та ), або повної послідовності даних. Вони порівнюються зі справжнім апостеріорним, що може бути обчислено точно та ефективно за допомогою алгоритму Вітербі. Використана зведена статистика не є достатньою, і це видно з того, що навіть при відхилення від теоретичного апостеріорного є значним. Слід зазначити, що для отримання апостеріорного, що буде зосереджено навколо справжнього значення (), знадобиться значно довша послідовність даних спостережень.
Цей приклад застосування ПБО використовує спрощення для ілюстративних цілей. Ряд оглядових статей пропонують посилання на реалістичніші застосування ПБО.
Порівняння моделей за допомогою ПБО