Ліні́йні фу́нкції перекона́нь () — це розширення теорії Демпстера — Шейфера функцій переконань на випадок, коли цільові змінні неперервні. Прикладами таких змінних є ціни фінансових активів, дохідність портфеля та інші змінні-передумови й змінні-наслідки. Цю теорію первісно запропонував у контексті фільтрів Калмана, а згодом її розвинув, уточнив і застосував до подання знань у штучному інтелекті та ухвалювання рішень у фінансах і бухгалтерському обліку Ліпін Лю.

Концепція

Лінійна функція переконання призначена для подання нашого переконання щодо розташування істинного значення таким чином: ми певні, що істинне значення лежить на так званій гіперплощині певності, але не знаємо його точного розташування; у деяких вимірах гіперплощини певності ми вважаємо, що істинне значення може перебувати будь-де від −∞ до +∞, а ймовірність його перебування в певному місці описується нормальним розподілом; в інших вимірах наше знання беззмістовне (), тобто істинне значення перебуває десь від −∞ до +∞, але відповідна ймовірність невідома. Загалом функція переконання визначається функцією маси на класі фокальних елементів, які можуть мати непорожні перетини. Лінійна функція переконання є особливим типом функції переконання в тому сенсі, що її фокальні елементи є взаємовиключними паралельними підгіперплощинами гіперплощини певності, а її функція маси задається нормальним розподілом на множині цих підгіперплощин.

На основі наведеного вище геометричного опису Шейфер і Лю пропонують два математичні подання ЛФП: скалярний добуток у широкому сенсі та лінійний функціонал у просторі змінних, а також їхні двоїсті подання на гіперплощині у просторі елементарних подій. Монне пропонує ще одну структуру, яку називає ґауссовими підказками (). Хоча ці подання математично витончені, вони, як правило, непридатні для подання знань в експертних системах.

Подання знань

Лінійна функція переконання може подавати як логічні, так і ймовірнісні знання для трьох типів змінних: детермінованих, як-от спостережувані або керовані; випадкових із нормальним розподілом; і беззмістовних змінних, щодо яких немає жодних знань. Логічні знання подають лінійними рівняннями або, геометрично, гіперплощиною певності. Ймовірнісні знання подають нормальним розподілом на множині всіх паралельних фокальних елементів.

У загальному випадку нехай X — вектор кількох нормально розподілених змінних із математичним сподіванням μ та коваріаційною матрицею Σ. Тоді цей багатовимірний нормальний розподіл можна рівносильно подати матрицею моментів ():

Якщо розподіл невироджений, тобто Σ має повний ранг і обернена до неї матриця існує, матрицю моментів можна повністю промести ():

За винятком нормувальної сталої, наведене вище рівняння повністю визначає функцію густини нормального розподілу для X. Отже, подає розподіл імовірності X у потенціальній формі ().

Ці дві прості матриці дають змогу подати три окремі випадки лінійних функцій переконань. По-перше, для звичайного нормального розподілу ймовірності його подає M(X). По-друге, припустімо, що здійснено безпосереднє спостереження X й отримано значення μ. У цьому випадку, оскільки невизначеності немає, як дисперсія, так і коваріація дорівнюють нулю, тобто Σ = 0. Отже, безпосереднє спостереження можна подати як:

По-третє, припустімо, що про X немає жодних знань. Це дуже делікатний випадок у баєсовій статистиці, бо функції густини не існує. Використовуючи повністю прометену матрицю моментів, беззмістовні лінійні функції переконань () подають нульовою матрицею у прометеному вигляді ():

Один зі способів розуміння такого подання полягає в тому, щоби розглядати повне незнання як граничний випадок, коли дисперсія X прямує до ∞. При цьому можна показати, що Σ−1 = 0, а отже, перетворюється на нульову матрицю. Проте наведене вище рівняння не є тим же, що й неналежний апріорний розподіл або нормальний розподіл із нескінченною дисперсією. Насправді воно не відповідає жодному єдиному розподілу імовірності. Тому краще розуміти беззмістовні лінійні функції переконань як нейтральний елемент операції об'єднання.

Для подання решти трьох особливих випадків потрібне поняття частинного промітання (). На відміну від повного промітання, частинне промітання є перетворенням лише підмножини змінних. Нехай X і Y — два вектори нормально розподілених змінних зі спільною матрицею моментів:

Тоді M(X, Y) можна промести частинно. Наприклад, частинне промітання за X можна визначити так:

Якщо X одновимірний, частинне промітання замінює дисперсію X на від'ємну величину, обернену до неї, та передбачає її множення з іншими елементами. Якщо X багатовимірний, ця операція передбачає обернення коваріаційної матриці X та інші операції множення. Прометену матрицю, отриману частинним промітанням за підмножиною змінних, можна рівносильно отримати послідовністю частинних промітань за кожною окремою змінною цієї підмножини, причому порядок цих промітань не має значення. Аналогічно, повністю прометена матриця є результатом частинних промітань за всіма змінними.

Можна зробити два спостереження. По-перше, після частинного промітання за X вектор математичних сподівань і коваріаційна матриця X дорівнюють відповідно і , тобто є такими самими, як і в разі повного промітання матриці моментів відособленого розподілу X. Отже, елементи, що відповідають X у наведеному вище рівнянні частинного промітання, подають відособлений розподіл X у потенціальній формі. По-друге, зі статистики відомо, що є умовним математичним сподіванням Y за умови X = 0; є умовною коваріаційною матрицею Y за умови X = 0; а є коефіцієнтом нахилу регресійної моделі Y за X. Отже, елементи , що відповідають індексам Y та перетину X і Y, подають умовний розподіл Y за умови X = 0.

Ця семантика робить частинне промітання корисним методом оперування багатовимірними нормальними розподілами. Вона також становить основу подання матрицями моментів трьох решти важливих випадків лінійних функцій переконань: належних функцій переконань (), лінійних рівнянь і лінійних регресійних моделей.

Належні лінійні функції переконань

Для змінних X і Y припустімо, що існує свідчення, яке обґрунтовує нормальний розподіл змінних Y, але не містить жодної інформації щодо змінних X. Також припустімо, що X і Y не перебувають в ідеальному лінійному зв'язку, тобто величина їхньої кореляції менша за 1. Цей випадок поєднує звичайний нормальний розподіл для Y та беззмістовну функцію переконання для X. Отже, його подають за допомогою частинно прометеної матриці () таким чином:

Це подання можна зрозуміти так. Оскільки щодо X маємо повне незнання, використовуємо його прометену форму й покладаємо та . Оскільки величина кореляції між X і Y менша за 1, коефіцієнт регресії X за Y прямує до 0, коли дисперсія X прямує до ∞. Отже, . Аналогічно можна довести, що та .

Лінійні рівняння

Нехай X і Y — два вектори-рядки, і Y = XA + b, де A і b — матриці коефіцієнтів. Це рівняння подають частинно прометеною матрицею таким чином:

Це подання можна розуміти, виходячи з того, що лінійне рівняння містить два складники знання: (1) повне незнання щодо всіх змінних; і (2) вироджений умовний розподіл залежних змінних за заданих незалежних змінних. Оскільки X — вектор незалежних змінних у рівнянні, щодо нього маємо повне незнання. Отже, та . За умови X = 0 значення Y однозначно визначається як b. Отже, умовне математичне сподівання Y дорівнює b, а умовна дисперсія — 0. Крім того, матриця коефіцієнтів регресії дорівнює A.

Зауважимо, що знання, подані лінійними рівняннями, дуже близькі до знань, поданих належними лінійними функціями переконань, за винятком того, що в першому випадку між X і Y припускається ідеальна кореляція, а в другому — ні. Це спостереження цікаве тим, що характеризує відмінність між частинним незнанням і лінійними рівняннями одним параметром — кореляцією.

Лінійні регресійні моделі

Лінійна регресійна модель є загальнішим і цікавішим випадком, ніж попередні. Нехай X і Y — два вектори, і Y = XA + b + E, де A і b — відповідні матриці коефіцієнтів, а E — незалежний білий шум, такий що E ~ N(0, Σ). Цю модель подають такою частинно прометеною матрицею:

Цю лінійну регресійну модель можна розглядати як об'єднання двох складників знання (див. нижче): один задається лінійним рівнянням із трьома змінними X, Y та E, а другий є простим нормальним розподілом E, тобто E ~ N(0, Σ). Або ж її можна розглядати подібно до лінійного рівняння, за винятком того, що за умови X = 0 значення Y не визначається однозначно як b. Натомість умовне математичне сподівання Y дорівнює b, а умовна дисперсія — Σ. Зауважте, що за такого альтернативного тлумачення лінійна регресійна модель є базовим структурним елементом подання знань і кодується однією матрицею моментів. Крім того, шумовий член E у цьому поданні не фігурує. Тож це робить таке подання ефективнішим.

З подання цих шести особливих випадків видно очевидну перевагу подання матрицями моментів: воно дає змогу уніфіковано подавати на перший погляд різнорідні типи знань, зокрема лінійні рівняння, спільні й умовні розподіли та повне незнання. Така уніфікація важлива не лише для подання знань у штучному інтелекті, а й для статистичного аналізу та інженерних обчислень. Наприклад, у цьому поданні типові логічні та ймовірнісні складники статистики — спостереження, розподіли, неналежні апріорні розподіли (у баєсовій статистиці) та моделі лінійних рівнянь — розглядають не як окремі поняття, а як прояви одного поняття. Це дає змогу бачити внутрішні зв'язки між цими поняттями або їхніми проявами та поєднувати їх для обчислювальних цілей.

Операції над знаннями

Для здійснення висновування в експертних системах за допомогою лінійних функцій переконань існують дві основні операції: об'єднання та відособлення. Об'єднання відповідає інтегруванню знань, тоді як відособлення відповідає огрубленню знань. Здійснення висновування передбачає об'єднання відповідних знань у повну сукупність знань із подальшим взяттям проєкції цієї сукупності на частинну область, у якій потрібно відповісти на запит висновування.

Відособлення

Відособлення (, див. відособлення ймовірності) утворює проєкцію лінійної функції переконання у функцію з меншою кількістю змінних. У поданні матрицею моментів воно полягає просто в обмеженні непрометеної матриці моментів до підматриці, що відповідає змінним, які залишаються. Наприклад, для спільного розподілу M(X, Y) його відособлення до Y має вигляд:

Під час вилучення змінної важливо, щоби за цією змінною у відповідній матриці моментів не було виконано промітання, тобто над позначенням змінної не повинно бути стрілки. Наприклад, проєкція матриці на Y дає

що не є тією самою лінійною функцією переконання для Y. Водночас легко бачити, що вилучення будь-якої чи всіх змінних Y із частинно прометеної матриці все одно дає правильний результат — матрицю, що подає ту саму функцію для решти змінних.

Щоби вилучити змінну, за якою вже було виконано промітання, потрібно обернути це промітання за допомогою частинного або повного зворотного промітання (). Нехай  — повністю прометена матриця моментів,

Тоді повне зворотне промітання відновлює матрицю моментів M(X) таким чином:

Якщо матриця моментів перебуває в частинно прометеній формі, наприклад

то її частинне зворотне промітання за X визначають так:

Зворотні промітання подібні до прямих, за винятком відмінності знаків у деяких операціях множення. Водночас пряме й зворотне промітання є взаємно оберненими операціями. Легко показати, що застосування повного зворотного промітання до відновлює початкову матрицю моментів M(X). Також можна довести, що застосування частинного зворотного промітання за X до матриці відновлює матрицю моментів M(X,Y). Власне, Лю доводить, що матриця моментів відновлюється зворотним промітанням після прямого промітання за тією самою множиною змінних. Так само вона відновлюється прямим промітанням після зворотного. Інтуїтивно частинне пряме промітання розкладає спільний розподіл на відособлений та умовний, тоді як частинне зворотне промітання перемножує їх, утворюючи спільний розподіл.

Об'єднання