Ба́єсова ймові́рність () — це одна з інтерпретацій поняття ймовірності. На протилежність до інтерпретування ймовірності як «частоти» або певного явища, баєсова ймовірність є величиною, що ми визначаємо з метою представлення стану знанняJaynes, E.T. Bayesian Methods: General Background In Maximum-Entropy and Bayesian Methods in Applied Statistics , by J. H. Justice (ed.). Cambridge: Cambridge Univ. Press, 1986 або переконання. З баєсової точки зору ймовірність призначається гіпотезі, тоді як згідно з частотницькою точкою зору гіпотеза зазвичай перевіряється, не маючи призначеної ймовірності.
Баєсову інтерпретацію ймовірності можна розглядати як розширення логіки висловлень, що уможливлює міркування із гіпотезами, тобто судженнями, чиї істинність або хибність є невизначеними.
Баєсова ймовірність належить до категорії доказових імовірностей; для обчислення ймовірності гіпотези фахівець із баєсової статистики встановлює певну апріорну ймовірність, що потім уточнюється у світлі нових, доречних даних (свідчень).Paulos, John Allen. The Mathematics of Changing Your Mind, New York Times (US). August 5, 2011; retrieved 2011-08-06 Баєсова інтерпретація забезпечує стандартний набір процедур та формул для виконання цього обчислення.
Термін «баєсова» походить від математика та теолога XVIII сторіччя Томаса Баєса, що запропонував перший математичний підхід до нетривіальної задачі баєсового висновування.Stigler, Stephen M. (1986) The history of statistics. Harvard University press. pg 131. Математик П'єр-Симон Лаплас започаткував та популяризував те, що тепер називається баєсовою ймовірністю.Stigler, Stephen M. (1986) The history of statistics. , Harvard University press. pp97-98, 131.
Загалом кажучи, існує два погляди на баєсову ймовірність, що інтерпретують поняття ймовірність різним чином. Згідно з об'єктивістським підходом, правила баєсової статистики може бути підтверджено , та інтерпретовано як розширення логіки.Cox, Richard T. Algebra of Probable Inference, The Johns Hopkins University Press, 2001 Згідно з суб'єктивістським підходом, ймовірність визначає «особисте переконання».de Finetti, B. (1974) Theory of probability (2 vols.), J. Wiley & Sons, Inc., New York
Баєсова методологія
Баєсові методи характеризуються такими поняттями та процедурами:
Використанням випадкових змінних, або, загальніше, невідомих величинDupré, Maurice J., Tipler, Frank T. New Axioms For Bayesian Probability, Bayesian Analysis (2009), Number 3, pp. 599—606 для моделювання всіх джерел невизначеності у статистичних моделях. Це також включає невизначеність, що випливає з браку інформації (див. також ). Потребою визначення апріорного розподілу ймовірності, що враховує наявну (апріорну) інформацію. Послідовним застосуванням формули Баєса: щойно надходять додаткові дані, обчислити апостеріорний розподіл за допомогою формули Баєса; згодом цей апостеріорний розподіл стає наступним апріорним. Для частотника гіпотеза є судженням (що мусить бути або істинним, або хибним), таким чином, частотницька ймовірність гіпотези є або нулем, або одиницею. В баєсовій статистиці, якщо значення істинності є невизначеним, гіпотезі може бути призначено ймовірність, що відрізняється від 0 та 1.
Об'єктивні та суб'єктивні баєсові ймовірності
Загалом кажучи, існує два погляди на баєсову ймовірність, що інтерпретують поняття «ймовірність» різним чином. Для об'єктивістів ймовірність об'єктивно вимірює правдоподібність тверджень, тобто, ймовірність твердження відповідає розсудливому переконанню, яке будь-хто (навіть «робот»), хто поділяють однакові знання, повинні поділяти у відповідності з правилами баєсової статистики, що може бути підтверджено . Для суб'єктивістів ймовірність відповідає «особистому переконанню». Для суб'єктивістів раціональність та зв'язність обмежують властивості, що міг би мати предмет, дозволяючи істотне коливання в межах цих обмежень. Об'єктивні та суб'єктивні варіанти баєсової ймовірності відрізняються переважно в їхній інтерпретації та в побудові апріорної ймовірності.
Історія
Термін баєсів стосується Томаса Баєса (1702—1761), який довів окремий випадок того, що тепер називається теоремою Баєса, у праці під назвою «».McGrayne, Sharon Bertsch. (2011). У цьому окремому випадку апріорний та апостеріорний розподіли були бета-розподілами, а дані вибиралися з проб Бернуллі. П'єр-Симон Лаплас (1749—1827) впровадив загальну версію цієї теореми та застосовував її для підходу до задач небесної механіки, медичної статистики, надійності та юриспруденції.Stigler, Stephen M. (1986) The history of statistics. Harvard University press. Chapter 3. Раннє баєсове висновування, що використовувало рівномірний апріорний розподіл згідно з лапласовим , називалося «» (оскільки воно здійснює зворотне висновування від спостережень до параметрів, або від наслідків до причин ). Після 1920-х років «зворотну ймовірність» було значною мірою витіснено набором методів, що стали називати частотницькою статистикою.
У XX столітті ідеї Лапласа отримали подальший розвиток у двох різних напрямках, давши початок об'єктивній та суб'єктивній течіям у баєсовій практиці. «Теорія ймовірності» Гарольда Джеффріса (вперше опублікована 1939 року) відіграла важливу роль у відродженні баєсового погляду на ймовірність, з наступними працями Абрахама Валда (1950) та (1954). Сам прикметник баєсів сходить до 1950-х років; похідні баєсовизм та нео-баєсовизм викарбувано у 1960-х.«The works of Wald, Statistical Decision Functions (1950) and , The Foundation of Statistics (1954) are commonly regarded starting points for current Bayesian approaches»; «Recent developments of the so-called Bayesian approach to statistics» Marshall Dees Harris, Legal-economic research, University of Iowa. Agricultural Law Center (1959), p. 125 (fn. 52); p. 126.
«This revolution, which may or may not succeed, is neo-Bayesianism. Jeffreys tried to introduce this approach, but did not succeed at the time in giving it general appeal.» Annals of the Computation Laboratory of Harvard University 31 (1962), p. 180. «It is curious that even in its activities unrelated to ethics, humanity searches for a religion. At the present time, the religion being 'pushed' the hardest is Bayesianism.» Oscar Kempthorne, 'The Classical Problem of Inference—Goodness of Fit', Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability (1967), p. 235 . В об'єктивістській течії статистичний аналіз залежить лише від прийнятої моделі та аналізованих даних. (2005), Reference analysis, Handbook of statistics, 25, 17–90 Потреба в залученні суб'єктивних рішень відсутня. На відміну від цього, «суб'єктивістські» статистики заперечують можливість повністю об'єктивного аналізу в загальному випадку.
У 1980-х роках було різке зростання наукових досліджень та застосувань баєсових методів, що здебільшого стосувалися відкриття методів Монте-Карло марковських ланцюгів, які усунули чимало обчислювальних проблем та посилили зацікавленість у нестандартних, складних застосуваннях.Wolpert, R.L. (2004) A conversation with James O. Berger, Statistical science, 9, 205—218 Попри ріст баєсових наукових досліджень, більшість початкового викладання й досі ґрунтується на частотницькій статистиці. (2006) A Bayesian mathematical statistics primer . ICOTS-7 Тим не менш, баєсові методи є широко визнаними та застосовуваними, наприклад, у галузі машинного навчання.Bishop, C.M. Pattern Recognition and Machine Learning. Springer, 2007
Обґрунтування баєсових імовірностей
Використання баєсових ймовірностей як основи для баєсового висновування підтримувалося кількома доведеннями, такими як , , доведенням на базі теорії рішень та .
Аксіоматичний підхід
показав, що баєсове уточнення слідує кільком аксіомам, включно з двома функційними рівняннями та спірною гіпотезою диференційовності. Відомо, що розробка Кокса 1961 року (переважно скопійована ) не є суворою, і насправді було знайдено контрприклад.Halpern, J. A counterexample to theorems of Cox and Fine, Journal of Artificial Intelligence Research, 10: 67-85. Припущення про диференційовність чи навіть безперервність є сумнівним, оскільки булева алгебра виразів може бути лише скінченною. Щоби зробити цю теорію суворішою, різними авторами було запропоновано інші аксіоматизації.
Підхід голландської системи ставок
Доведення голландської системи ставок, що запропонував де Фінетті, базується на парі. Система ставок є тоді, коли вправний гравець укладає такий набір парі, що гарантує вигоду, не залежно від результатів парі. Якщо букмекер у побудові своїх шансів слідує правилам баєсового числення, то голландську систему ставок зробити неможливо.
Проте зауважив, що традиційні аргументи голландської системи ставок не визначали використання саме баєсового уточнення: вони залишили відкритою можливість, що не-баєсові правила уточнення можуть обходити голландську систему ставок. Наприклад, Хакінг пишеHacking (1967, Section 3, page 316), Hacking (1988, page 124) , що
Насправді, існують не-баєсові правила уточнення, що також обходять голландську систему ставок (як обговорюється в літературі про «кінематику ймовірностей» після публікації правила , що й саме розглядається як баєсове ). Додаткові гіпотези, достатні для (однозначного) вказання баєсового уточнення, є значними, складними та незадовільними. (1989) Laws and Symmetry, Oxford University Press. ISBN 0-19-824860-1
Підхід теорії рішень
Обґрунтування статистичної теорії рішень використання баєсового висновування (і відтак баєсових імовірностей) було запропоновано Абрахамом Валдом, який довів, що кожна статистична процедура є або баєсовою процедурою, або границею баєсових процедур.Wald, Abraham. Statistical Decision Functions. Wiley 1950. І навпаки, кожна баєсова процедура є .Bernardo, José M., Smith, Adrian F.M. Bayesian Theory. John Wiley 1994. ISBN 0-471-92416-4.
Особисті ймовірності та об'єктивні методи побудови апріорних
Після праці Ремзі та фон Неймана про теорію очікуваної корисності фахівці з теорії рішень пояснили раціональну поведінку із використанням розподілу ймовірності для агента. Йоган Пфанцагль завершив «», запропонувавши аксіоматизацію суб'єктивної ймовірності та корисності — завдання, залишене незавершеним фон Нейманом та Оскаром Морґенштерном: їхня первісна теорія для зручності передбачала, що всі агенти мають однаковий розподіл ймовірностей.Pfanzagl (1967, 1968) Аксіоматизацію Пфанцагля було схвалено Оскаром Морґенштерном: «Фон Нейман та я передбачили» питання, чи ймовірності «могли би, можливо типовіше, бути суб'єктивними, та конкретно заявили, що в останньому випадку може бути знайдено аксіоми, з яких могло би бути виведено бажану числову корисність разом зі значеннями ймовірностей (пор. с. 19 ). Ми не довершували це; це було продемонстровано Пфанцаглем… з усією необхідною суворістю».Morgenstern (1976, С. 65)
Ремзі та зауважили, що розподіли ймовірностей окремих агентів може бути об'єктивно вивчено в експериментах. Роль обґрунтування й незгоди в науці визнавалася починаючи з Аристотеля, і ще ясніше за Френсіса Бекона. Об'єктивність науки полягає не в психології окремих науковців, але в самому процесі науки, та особливо у статистичних методах, як зауважив Ч. Пірс. Нагадуємо, що, об'єктивні методи спростування припущень про особисті ймовірності використовувалися протягом півстоліття, як було зауважено вище. Процедури перевірки гіпотез про ймовірності (з використанням скінченних проб) завдячують Ремзі (1931) та (1931, 1937, 1964, 1970). Як , так і Френк Ремзі визнають свій борг перед , зокрема (для Ремзі) перед Чарлзом Пірсом.