Баєсів інформаційний критерій — Вікіпедія

Частина з циклу Статистика
Баєсова статистика
Теорія
Апостеріорна ймовірність Апостеріорний прогнозний розподіл[en] Апріорна ймовірність Баєсів інформаційний критерій Баєсова ефективність[en] Баєсова ймовірність Баєсова мережа Баєсове висновування Гіперапріорний розподіл[en] Гіперпараметр Емпіричний баєсів метод[en] Імовірний інтервал Інтерпретації ймовірності Коефіцієнт Баєса Оцінка апостеріорного максимуму Правдоподібність Правило Баєса Правило Кромвеля[en] Прийнятне правило рішення[en] Принцип максимальної ентропії[en] Принцип недостатнього обґрунтування[en] Спряжений апріорний розподіл Теорема Баєса Теорема Бернштайна — фон Мізеса[de]
Методи
Баєсова лінійна регресія Баєсова оцінка Приблизне баєсове обчислення
п о р

У статистиці, ба́єсів інформаці́йний крите́рій (БІК, англ. bayesian information criterion, BIC), або крите́рій Шва́рца (англ. Schwarz criterion, також англ. SBC, SBIC) — статистичний критерій для обирання моделі серед скінченної множини моделей; найприйнятнішою є модель із найнижчим БІК. Він ґрунтується, зокрема, на функції правдоподібності, і тісно пов'язаний з інформаційним критерієм Акаіке (ІКА).

При допасовуванні моделей можливо підвищувати правдоподібність шляхом додавання параметрів, але це може призводити до перенавчання. Як БІК, так і ІКА намагаються розв'язувати цю проблему введенням члена штрафу для числа параметрів у моделі; член штрафу в БІК є більшим, ніж в ІКА.

БІК було розроблено Ґідеоном Шварцем, і опубліковано в праці 1978 року,^[1] в якій він навів баєсове обґрунтування його застосування.

Визначення[ред. | ред. код]

БІК формально визначається як^[2]

${\displaystyle \mathrm {BIC} ={\ln(n)k-2\ln({\hat {L}})}.\ }$

де

• ${\displaystyle {\hat {L}}}$ = максимізоване значення функції правдоподібності моделі ${\displaystyle M}$, тобто, ${\displaystyle {\hat {L}}=p(x|{\hat {\theta }},M)}$, де ${\displaystyle {\hat {\theta }}}$ є значеннями параметрів, які максимізують функцію правдоподібності;
• ${\displaystyle x}$ = спостережувані дані;
• ${\displaystyle n}$ = число точок даних в ${\displaystyle x}$, число спостережень, або, рівнозначно, розмір вибірки;
• ${\displaystyle k}$ = число вільних параметрів, які належить оцінити. Якщо модель, що розглядають, є лінійною регресією, то ${\displaystyle k}$ є числом регресорів, включно з відтином;

БІК є асимптотичним результатом, виведеним за припущення, що розподіл даних належить до експоненційного сімейства^[en]. Тобто, інтеграл функції правдоподібності ${\displaystyle p(x|\theta ,M)}$, помножений на апріорний розподіл ймовірності ${\displaystyle p(\theta |M)}$ над параметрами ${\displaystyle \theta }$ моделі ${\displaystyle M}$, для незмінних спостережених даних ${\displaystyle x}$ наближується як

${\displaystyle {-2\cdot \ln {p(x|M)}}\approx \mathrm {BIC} ={-2\cdot \ln {\hat {L}}+k\cdot (\ln(n)-\ln(2\pi ))}.\ }$

Для великих ${\displaystyle n}$ це може бути наближено наведеною вище формулою. БІК використовують в задачах обирання моделі, що в них додавання сталої до БІК не змінює результату.

Властивості[ред. | ред. код]

Цей розділ потребує додаткових посилань на джерела для поліпшення його перевірності. Будь ласка, допоможіть удосконалити цей розділ, додавши посилання на надійні (авторитетні) джерела. Зверніться на сторінку обговорення за поясненнями та допоможіть виправити недоліки. Матеріал без джерел може бути піддано сумніву та вилучено. (червень 2017)

• Він не залежить від апріорного, або апріорне є «невизначеним» (сталою).
• Він може вимірювати ефективність параметризованої моделі в термінах передбачування даних.
• Він штрафує складність моделі, де складність позначає кількість параметрів моделі.
• Він наближено дорівнює критерієві мінімальної довжини опису, але з протилежним знаком.
• Його можна застосовувати для обирання числа кластерів відповідно до внутрішньої складності, присутньої в певному наборі даних.
• Він тісно пов'язаний з іншими критеріями штрафованої правдоподібності, такими як RIC^{[прояснити: ком.]} та інформаційний критерій Акаіке.

Обмеження[ред. | ред. код]

Критерій БІК страждає на два головні обмеження^[3]

1. наведене вище наближення чинне лише для розміру вибірки ${\displaystyle n}$, який є набагато більшим за число параметрів моделі ${\displaystyle k}$.
2. БІК не може обробляти складні зібрання моделей, як у задачі обирання змінних (або обирання ознак) за високої розмірності.^[3]

Гаусів особливий випадок[ред. | ред. код]

За припущення, що похибки або збурення моделі є незалежними та однаково розподіленими згідно нормального розподілу, і граничної умови, що похідна логарифмічної правдоподібності щодо істинної дисперсії є нульовою, це перетворюється (з точністю до адитивної сталої, яка залежить від n, але не від моделі) на^[4]

${\displaystyle \mathrm {BIC} =n\cdot \ln({\widehat {\sigma _{e}^{2}}})+k\cdot \ln(n)\ }$

де ${\displaystyle {\widehat {\sigma _{e}^{2}}}}$ є дисперсією похибки. Дисперсію похибки в цьому випадку визначають як

${\displaystyle {\widehat {\sigma _{e}^{2}}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\hat {x_{i}}})^{2}}$

що є зсунутою оцінкою істинної дисперсії.

В термінах залишкової суми квадратів^[en] БІК є

${\displaystyle \mathrm {BIC} =n\cdot \ln(RSS/n)+k\cdot \ln(n)\ }$

При перевірці декількох лінійних моделей відносно насиченої моделі БІК може бути переписано в термінах девіантності^[en] ${\displaystyle \chi ^{2}}$ як^[5]

${\displaystyle \mathrm {BIC} =\chi ^{2}+k\cdot \ln(n)}$

де ${\displaystyle k}$ є числом параметрів моделі в перевірці.

При обиранні з декількох моделей найприйнятнішою є модель із найнижчим БІК. БІК є висхідною функцією дисперсії похибки ${\displaystyle \sigma _{e}^{2}}$, і висхідною функцією k. Тобто, незрозуміла дисперсія в залежній змінній та число описових змінних збільшують значення БІК. Отже, нижчий БІК означає або меншу кількість описових змінних, або кращу допасованість, або обидві. Силу свідчення проти моделі з вищим БІК може бути узагальнено наступним чином:^[5]

БІК зазвичай штрафує вільні параметри сильніше за Інформаційний критерій Акаіке, хоча це залежить від розміру n і відносної величини n і k.

Важливо мати на увазі, що БІК можна застосовувати для порівняння оцінюваних моделей лише якщо числові значення залежної змінної є однаковими для всіх порівнюваних оцінок. Порівнюваним моделям не потрібно бути вкладеними, на відміну від випадку, коли моделі порівнюють із застосуванням критерію Фішера або перевірки відношенням правдоподібностей.

Див. також[ред. | ред. код]

• Інформаційний критерій Акаіке
• Баєсове порівняння моделей
• Інформаційний критерій девіантності^[en]
• Інформаційний критерій Геннена — Куїнна^[en]
• Відстань Єнсена — Шеннона^[en]
• Відстань Кульбака — Лейблера
• Мінімальна довжина повідомлення
• Обирання моделі

Примітки[ред. | ред. код]

Джерела[ред. | ред. код]

• Bhat, H. S.; Kumar, N (2010). On the derivation of the Bayesian Information Criterion (PDF). Архів оригіналу (PDF) за 28 березня 2012. (англ.)
• Findley, D. F. (1991). Counterexamples to parsimony and BIC. Annals of the Institute of Statistical Mathematics^[en]. 43: 505—514. doi:10.1007/BF00053369. (англ.)
• Kass, R. E.; Wasserman, L. (1995). A reference Bayesian test for nested hypotheses and its relationship to the Schwarz criterion. Journal of the American Statistical Association^[en]. 90: 928—934. (англ.)
• Liddle, A. R. (2007). Information criteria for astrophysical model selection. Monthly Notices of the Royal Astronomical Society. 377: L74—L78. (англ.)
• McQuarrie, A. D. R.; Tsai, C.-L. (1998). Regression and Time Series Model Selection. World Scientific. (англ.)

Посилання[ред. | ред. код]

• Information Criteria and Model Selection [Архівовано 27 березня 2017 у Wayback Machine.] (англ.)
• Sparse Vector Autoregressive Modeling [Архівовано 2 серпня 2017 у Wayback Machine.] (англ.)