Метад максімальнай праўдападобнасці (ММП) — метад меркаванага размеркавання імавернасцей на аснове выбаркі назіранняў. Ацэнка дасягаецца такім чынам, каб згодна з меркаванай былі найбольш праўдабадобнымі. у , які максімізуе функцыю праўдападобнасці, называецца ацэнкай максімальнай праўдападобнасці. Логіка метаду адначасова інтуіцыйная і гнуткая, таму ён стаў дамінуючым сродкам .
Калі функцыя праўдападобнасці , можна прымяніць для знаходжання яе максімумаў. У некаторых выпадках максімум функцыі праўдападобнасці можна знайсці аналітычна; напрыклад, ацэнка для мадэлі лінейнай рэгрэсіі максімізуе праўдападобнасць, калі мяркуецца, што ўсе назіранні маюць нармальнае размеркаванне з роўнай дысперсіяй.
З пункту гледжання , ацэнка максімальнай праўдападобнасці, як правіла, эквівалентная з раўнамерным апрыёрным размеркаваннем (або нармальным апрыёрным размеркаваннем з бесканечным стандартным адхіленнем). У метад максімальнай праўдападобнасці — асаблівы выпадак з мэтавай функцыяй роўнай праўдападобнасці.
Прынцыпы
Набор назіранняў мадэлюецца як выпадковая з невядомага супольнага размеркавання, якое задаецца наборам . Мэта метаду максімальнай праўдападобнасці — знайсці параметры, для якіх назіранні маюць найбольшую супольную імавернасць. Параметры, якія задаюць супольнае размеркаванне, запісваюцца як вектар , таму кажуць, што гэтае размеркаванне адносяцца да , дзе — , канечнамернае падмноства . Падстаўляючы назіранні у функцыю шчыльнасці супольнага размеркавання, атрымліваем рэчаісназначную функцыю
якая называецца . Для , можна запісаць як здабытак аднамерных функцый шчыльнасці імавернасці:
Мэта метаду максімальнай праўдападобнасці — знайсці такія значэнні параметраў мадэлі з прасторы параметраў, для якіх функцыя праўдападобнасці будзе максімальнай:
Інтуітыўна, знойдзенае такім чынам значэнне параметраў робіць назіранні найбольш імавернымі. Значэнне , якое максімізуе функцыю праўдападобнасці , называецца значэннем ацэнкі максімальнай праўдападобнасці. Калі існуе , то такая функцыя называецца максімальнай праўдападобнасці. Звычайна гэтая функцыя задаецца на прасторы элементарных падзей і яе аргументам выступае пэўная выбарка. ўмова яе існавання — непарыўнасць функцыі праўдападобнасці на параметраў. Для , функцыя праўдападобнасці можа павялічвацца не дасягаючы супрэмуму.
На практыцы часта бывае зручна працаваць з натуральным лагарыфмам функцыі праўдападобнасці, які называецца :
Праз тое што лагарыфм — , максімум дасягаецца пры тым самым значэнні , што і максімум . Калі — на , то для максімуму (мінімуму) умовы
называюцца раўнаннямі праўдападобнасці. Для некаторых мадэляў удаецца знайсці іх аналітычныя развязкі , але агульнага аналітычнага развязка задачы максімізацыі не існуе, і ацэнка максімальнай праўдападобнасці можа быць знойдзена толькі з дапамогай . Іншая праблема ў тым, што для канечных выбарак можа існаваць некалькі каранёў раўнанняў праўдападобнасці. , матрыца частковых вытворных другога парадку, можа выкарыстоўвацца каб зразумець ці з’яўляецца знойдзены максімум лакальным:
Калі гесіян ў , то функцыя лакальна . Зручна тое, што найбольш вядомыя размеркаванні — у прыватнасці — .
Абмежаваная прастора параметраў Хаця звычайна абсяг вызначэння функцыі праўдападобнасці () — канечнамернае падмноства , часам на яго могуць накладацца дадатковыя . У такім выпадку прастору параметраў можна запісаць як
дзе — з у . Тады знайсці ацэнку максімальнай праўдападобнасці параметра з мноства значыць знайсці , для якога дасягаецца максімум функцыі праўдападобнасці пры выкананні ўмоў .
Тэарэтычна, самы натуральны падыход да гэтай задачы — метад падстаноўкі. Гэта значыць дапаўненне ўмоў да мноства такім чынам, што — ін’екцыя з у , і рэпараметрызацыя функцыі праўдападобнасці ўвядзеннем . Праз эквіварыянтнасць функцыі ацэнкі максімальнай праўдападобнасці, уласцівасці распаўсюджваюцца і на абмежаваныя ацэнкі. Напрыклад, для многавымернага нармальнага размеркавання мусіць быць ; гэта абмежаванне можна выканаць падстаноўкай , дзе — рэчаісная , а — транспанаваная (гл. для доказу ін’ектыўнасці).
На практыцы ўмовы звычайна накладаюцца , які прыводзіць да раўнанняў абмежаванай праўдападобнасці: і дзе — вектар-слупок множнікаў Лагранжа, а — матрыца Якобі частковых вытворных памеру . Натуральна, калі абмежаванні не ўплываюць на максімум, множнікі Лагранжа маюць быць роўнымі нулю. Гэта, у сваю чаргу, дазваляе правесці статыстычную праверку валіднасці абмежавання, вядомую як .
Уласцівасці Ацэнка максімальнай праўдападобнасці — , якая максімізуе па θ . Калі назіранні , маем
што ёсць выбаркавым аналагам матэматычнага спадзявання лагарыфму праўдападобнасці , узятага па сапраўднай шчыльнасці.
Ацэнка максімальнай праўдападобнасці не мае аптымальных уласцівасцей для канечных выбарак у тым сэнсе, што іншыя ацэнкі на канечных выбарках могуць мець большую канцэнтрацыю вакол сапраўднага значэння параметру. Аднак, як і іншыя метады ацэнкі, ацэнка максімальнай праўдападобнасці мае шэраг прывабных : калі памер выбаркі павялічваецца да бясконцасці, паслядоўнасць ацэнак максімальнай праўдападобнасці мае наступныя ўласцівасці: : паслядоўнасць ацэнак максімальнай праўдападобнасці збягаецца паводле імавернасці да ацэньваемага значэння. Функцыянальная інварыянтнасць: Калі — ацэнка максімальнай праўдападобнасці для , а — адвольнае пераўтварэнне над , то ацэнка максімальнай праўдападобнасці для роўная . : ацэнка дасягае ніжняй , калі памер выбаркі імкнецца к бесканечнасці. Гэта значыць, што ніводная слушная ацэнка не мае меншай асімптатычнай , чым ацэнка максімальнай праўдападобнасці (або іншыя ацэнкі, якія дасягаюць гэтай мяжы). Гэта таксама значыць, што для ацэнкі максімальнай праўдападобнасці ўласцівая . Эфектыўнасць другога парадку пасля карэкцыі ўхілу.
Слушнасць Пры выкананні прыведзеных ніжэй умоў, ацэнка максімальнай праўдападобнасці . Гэта значыць, што калі даныя былі ўтвораны функцыяй і мы маем дастаткова вялікую колькасць назіранняў , то магчыма знайсці значэнне з адвольнай дакладнасцю. У матэматычных тэрмінах гэта значыць, што калі імкнецца да бесканечнасці, ацэнка да сапраўднага значэння:
Пры трохі стражэйшых умовах, ацэнка збягаецца (або моцна):
На практыцы, даныя ніколі не ўтвараюцца . Наадварот, — гэта мадэль, часта ў ідэалізаванай форме, працэсу, які ўтварае даныя. Паводле распаўсюджанага ў статыстыцы афарызму, . Такім чынам, сапраўдная слушнасць ніколі не дасягаецца на практыцы. Тым не менш, слушнасць часта ўважаецца пажаданай уласцівасцю для ацэнак.
Для слушнасці дастаткова наступных умоў.Тэарэма 2.5 у
мадэлі: Іншымі словамі, розным параметрам адпавядаюць розныя размеркаванні мадэлі. Калі гэтая ўмова не выконваецца, існуе пэўнае значэнне , такое што і утвараюць роўныя размеркаванні даных. Тады немагчыма адрозніць гэтыя параметры нават з бясконцай колькасцю даных. Такія параметры называюцца .Ідэнтыфікавальнасць неабходная для слушнасці ацэнкі максімальнай праўдападобнасці. Калі гэтая ўмова выконваецца, абмежаваная функцыя лагарыфму праўдападобнасці мае адзіны глабальны максімум у . Кампактнасць: прастора параметраў мадэлі . Умова ідэнтыфікавальнасці гарантуе, што ў лагарыфма праўдападобнасці існуе адзіны глабальны максімум. Кампактнасць азначае, што праўдападобнасць не можа імкнуцца к максімальнаму значэнню ў нейкім іншым месцы (напрыклад як паказана на рысунку справа).Кампактнасць — толькі дастатковая, але не неабходная ўмова. Яна можа быць заменена некаторымі іншымі ўмовамі, такімі як: адначасовая функцыі лагарыфму праўдападобнасці і кампактнасць некаторага з яе непустых , або існаванне кампактнага для , такога што па-за наваколлем функцыя лагарыфму праўдападобнасці меншая за максімум прынамсі на некаторы . Непарыўнасць: функцыя непарыўная ў для амаль усіх значэнняў : Непарыўнасць можа быць замененая слабейшай умовай . Дамінантнасць: існуе інтэгравальная па размеркаванні функцыя , такая што Паводле раўнамернага закона вялікіх лікаў, умова дамінантнасці разам з непарыўнасцю гарантуе раўнамерную збежнасць паводле імавернасці лагарыфма праўдападобнасці: Умова дамінантнасці можа быць выкарыстана ў выпадку . Інакш, раўнамерная збежнасць паводле імавернасці можа быць забяспечана тым, што .
Калі неабходна прадэманстраваць, што ацэнка максімальнай праўдападобнасці збягаецца да , то мае выконвацца стражэйшая ўмова непарыўнай збежнасці амаль напэўна:
Акрамя таго, у дапушчэнні што даныя былі ўтвораны функцыяй , пры пэўных умовах можна паказаць, што ацэнка максімальнай праўдападобнасці к нармальнаму размеркаваннюТэарэма 3.3 у , дзе — .
Функцыянальная інварыянтнасць Калі — ацэнка максімальнай праўдападобнасці для , а — трансфармацыя над , то ацэнка максімальнай праўдападобнасці для роўная
Яна максімізуе так званую :
Акрамя таго, ацэнка максімальнай праўдападобнасці інварыянтная ў дачыненні некаторых трансфармацый даных. Калі , дзе — біекцыя, якая не залежыць ад ацэньваемых параметраў, то функцыя шчыльнасці адпавядае
і функцыі праўдападобнасці для і адрозніваюцца толькі множнікам, які не залежыць ад параметраў мадэлі.
Напрыклад, ацэнка максімальнай праўдападобнасці параметраў лог-нармальнага размеркавання такая самая як і ў нармальнага размеркавання, атрыманая на лагарыфмаваных даных.
Крыніцы
Літаратура
Катэгорыя:Матэматычная статыстыка