У статистиці вне́сок, фу́нкція вне́ску, або ефекти́вний вне́сок () показує, наскільки чутливо функція правдоподібності залежить від свого параметра . В явному вигляді внесок є градієнтом логарифмічної правдоподібності по відношенню до .
Внесок відіграє важливу роль у деяких аспектах висновування. Наприклад:
у формулюванні статистики критерію для локально найпотужнішого критерію; у наближенні похибки в оцінці максимальної правдоподібності; у показуванні асимптотичної достатності оцінки максимальної правдоподібності; у формулюванні довірчих інтервалів; у показуваннях нерівності Крамера — Рао.
Функція внеску також відіграє важливу роль в , оскільки вона може грати певну роль в обчисленні оцінок максимальної правдоподібності.
Визначення
Функція внеску, або ефективний внесок, — це градієнт (вектор часткових похідних) відносно деякого параметра логарифма (зазвичай, натурального логарифма) функції правдоподібності (логарифмічної правдоподібності). Якщо спостереженням є , а його правдоподібністю є , то внесок може бути знайдено за допомогою ланцюгового правила:
Таким чином, внесок показує чутливість (її похідну, нормалізовану за її значенням). Зауважте, що є функцією від та спостереження , отже, взагалі кажучи, він не є статистикою. Проте в деяких застосуваннях, таких як , внесок оцінюється на певному значення (такому як значення нульової гіпотези, або оцінка максимальної правдоподібності ), і в такому випадку результатом є статистика.
У старій літературі для позначення внеску по відношенню до нескінченно малого перенесення заданої густини може застосовуватися термін «лінійний внесок» (). Цей звичай походить з того часу, коли основним параметром, що становив інтерес, було середнє значення або медіана розподілу. В цьому випадку правдоподібність спостереження задається густиною вигляду . Тоді «лінійний внесок» визначається як
Властивості
Середнє значення
За деяких умов , математичне сподівання по відношенню до спостереження за умови істинності параметра , що записується як , є нульовим. Щоби побачити це, перепишімо функцію правдоподібності L як функцію густини ймовірності . Тоді
Якщо дотримуються певні умови диференційовності (див. Формула Лейбніца), то цей інтеграл може бути переписано як
Варто перевикласти отриманий вище результат словами: математичне сподівання внеску є нульовим. Таким чином, якщо потрібно було повторювано брати проби з деякого розподілу, і повторювано обчислювати внесок, то при наближенні числа повторюваних проб до нескінченності середнє значення цих внесків прямуватиме до нуля.
Дисперсія
Дисперсія внеску відома як інформація за Фішером, і записується як . Оскільки математичне сподівання внеску є нульовим, її може бути записано як
Зауважте, що визначена таким чином інформація за Фішером не є функцією будь-якого конкретного спостереження, оскільки випадкову змінну було усереднено. Це поняття інформації є корисним при порівнянні двох методів спостереження деякого випадкового процесу.
Приклади
Процес Бернуллі
Розгляньмо з A успіхами та B невдачами; ймовірністю успіху є θ.
Тоді правдоподібністю L є
таким чином, внеском V є
Тепер ми можемо перевірити, що математичне сподівання внеску є нульовим. Зауважуючи, що математичним сподіванням A є nθ, а математичним сподіванням B є n(1параметру − θ) [пригадаймо, що A та B є випадковими змінними], ми можемо побачити, що математичним сподіванням V є
Ми можемо також перевірити й дисперсію . Нам відомо, що A + B = n (таким чином, B = n − A), і що дисперсією A є nθ(1 − θ), таким чином, дисперсією V є
Модель із двійковим виходом
Для моделей з двійковими виходами (Y = 1 або 0) внесок моделі може оцінюватися за допомогою логарифма передбачень
де p є ймовірністю в оцінюваній моделі, а S є внеском.
Застосування
Внесковий алгоритм
Внесковий алгоритм () — це ітеративний метод чисельного визначення статистичної оцінки максимальної правдоподібності.
Перевірка внеску
Див. також
Інформація за Фішером Теорія інформації
Примітки
Література