Графова модель — Вікіпедія

Гра́фова моде́ль, або імові́рнісна гр́афова моде́ль (ІГМ, англ. probabilistic graphical model, PGM) — це ймовірнісна модель, для якої умовні залежності^[en] між випадковими змінними виражено графом. Вони поширені в теорії ймовірностей, статистиці, — зокрема, баєсовій, — та в машинному навчанні.

Типи графових моделей[ред. | ред. код]

Як правило, ймовірнісні графові моделі як основу для кодування повного розподілу над багатовимірним простором використовують представлення на основі графів, і граф, що є компактним або факторним^[en] представленням набору незалежностей, що містяться у певному розподілі. Зазвичай застосовують дві галузі графових представлень розподілів, а саме баєсові та марковські мережі. Обидва сімейства охоплюють властивості розкладу та незалежностей, але вони мають відмінності в наборі незалежностей, що вони можуть кодувати, та факторизації розподілу, що вони спричиняють.^[1]

Баєсова мережа[ред. | ред. код]

Докладніше: Баєсова мережа

Якщо мережеву структуру моделі представлено як орієнтований ациклічний граф, то ця модель представляє розклад спільної ймовірності всіх випадкових змінних. Точніше, якщо подіями є $X_{1},\ldots ,X_{n}$ , то спільна ймовірність задовольняє

P[X_{1},\ldots ,X_{n}]=\prod _{i=1}^{n}P[X_{i}|pa_{i}]

де $pa_{i}$ є набором батьків вершини $X_{i}$ . Іншими словами, спільний розподіл розкладається у добуток умовних розподілів. Наприклад, зображена вище статистична модель (що насправді є не орієнтованим ациклічним, а родовим графом^[en]) складається з випадкових змінних $A,B,C,D$ з густиною спільного розподілу ймовірності, що розкладається як

P[A,B,C,D]=P[A]\cdot P[B]\cdot P[C|B,D]\cdot P[D|A,B,C].

Будь-які дві вершини є умовно незалежними^[en] для заданих значень їх батьків. Загалом, будь-які дві множини вершин є умовно незалежними для заданої третьої множини, якщо в графі виконується критерій, що називається о-розділеністю. В баєсових мережах локальна та глобальна незалежності є еквівалентними.

Цей тип графової моделі відомий як орієнтована графова модель, баєсова мережа, або мережа переконань. Класичні методи машинного навчання, такі як приховані марковські моделі, нейронні мережі, та новіші моделі, такі як марковські моделі зі змінним порядком^[en], можуть розглядатися як окремі випадки баєсових мереж.

Марковське випадкове поле[ред. | ред. код]

Докладніше: Марковське випадкове поле

Марковське випадкове поле, відоме також як марковська мережа, є моделлю над неорієнтованим графом. Графічну модель з багатьма повторюваними підблоками може бути представлено за допомогою пластинного позначення^[en].

Інші типи[ред. | ред. код]

Факторний граф^[en] — це неорієнтований двочастковий граф, що з'єднує змінні та фактори. Кожен фактор представляє функцію над змінними, з якими його з'єднано. Це представлення є корисним для розуміння та реалізації поширення переконання^[en].
Дерево клік або дерево злук, є деревом, що складається з клік, яке застосовується в алгоритмі дерева злук^[en].
Ланцюговий граф^[en] — це граф, що може мати як орієнтовані, так і неорієнтовані ребра, але без жодних орієнтованих циклів (тобто, якщо ми почали з будь-якої вершини і рухаємось графом, дотримуючись напрямків наявних стрілок, то ми не зможемо повернутися до початкової вершини, якщо ми пройшли стрілку). Як орієнтовані ациклічні графи, так і неорієнтовані графи є окремими випадками ланцюгових графів, що відтак забезпечують спосіб уніфікації та узагальнення баєсових та марковських мереж.^[2]
Родовий граф^[en] є подальшим розширенням, що має орієнтовані, біорієнтовані та неорієнтовані ребра.^[3]
Умовне випадкове поле є розрізнювальною моделлю, визначеною над неорієнтованим графом.
Обмежена машина Больцмана є двочастковою породжувальною моделлю, визначеною над неорієнтованим графом.

Застосування[ред. | ред. код]

Система моделей, що забезпечує алгоритми для виявлення та аналізу структур складних розподілів для їх стислого опису та витягування не структурованої інформації, дозволяє будувати та використовувати їх ефективно.^[1] Застосування графових моделей включають витягування інформації, розпізнавання мовлення, комп'ютерний зір, декодування кодів з малою щільністю перевірок на парність, моделювання генних регуляторних мереж, пошуку генів та діагностування захворювань, та графові моделі структури білка^[en].

Примітки[ред. | ред. код]

↑ ^а ^б Koller; Friedman (2009). Probabilistic Graphical Models. Massachusetts: MIT Press. ISBN 0-262-01319-3. (англ.)
↑ Frydenberg, Morten (1990). The Chain Graph Markov Property. Scandinavian Journal of Statistics. 17 (4): 333—353. JSTOR 4616181. MR 1096723. (англ.)
↑ Richardson, Thomas; Spirtes, Peter (2002). Ancestral graph Markov models. Annals of Statistics^[en]. 30 (4): 962—1030. doi:10.1214/aos/1031689015. MR 1926166. Zbl 1033.60008. (англ.)

Навчальні посібники[ред. | ред. код]

Graphical models and Conditional Random Fields [Архівовано 4 березня 2016 у Wayback Machine.] (англ.)
Probabilistic Graphical Models taught by Eric Xing at CMU [Архівовано 24 вересня 2015 у Wayback Machine.] (англ.)

Джерела та література[ред. | ред. код]

Книги та глави книг[ред. | ред. код]

Bishop, Christopher M. (2006). Chapter 8. Graphical Models. Pattern Recognition and Machine Learning. Springer. с. 359—422. ISBN 0-387-31073-8. MR 2247587. Архів оригіналу (PDF) за 3 жовтня 2008. Процитовано 23 вересня 2015. (англ.)
Cowell, Robert G.; Dawid, A. Philip^[en]; Lauritzen, Steffen L.; Spiegelhalter, David J.^[en] (1999). Probabilistic networks and expert systems. Berlin: Springer. ISBN 0-387-98767-3. MR 1697175. (англ.) Досконаліша та статистично орієнтована книга
Jensen, Finn (1996). An introduction to Bayesian networks. Berlin: Springer. ISBN 0-387-91502-8.
Koller, D.; Friedman, N.^[en] (2009). [http://pgm.stanford.edu/ Probabilistic Graphical Models]. Massachusetts: MIT Press. с. 1208. ISBN 0-262-01319-3. (англ.)
Pearl, Judea (1988). Probabilistic Reasoning in Intelligent Systems (вид. 2nd revised). San Mateo, CA: Morgan Kaufmann^[en]. ISBN 1-55860-479-0. MR 0965765. (англ.) Обчислювальний підхід до аргументації, в якому було формально представлено взаємозв'язки між графами та ймовірностями.

Статті в наукових журналах[ред. | ред. код]

Edoardo M. Airoldi (2007). Getting Started in Probabilistic Graphical Models. PLoS Computational Biology. 3 (12): e252. doi:10.1371/journal.pcbi.0030252. PMC 2134967. PMID 18069887.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання) (англ.)
Jordan, M. I. (2004). Graphical Models. Statistical Science. 19: 140—155. doi:10.1214/088342304000000026. (англ.)

Інше[ред. | ред. код]

Heckerman's Bayes Net Learning Tutorial [Архівовано 1 травня 2015 у Wayback Machine.] (англ.)
A Brief Introduction to Graphical Models and Bayesian Networks [Архівовано 12 листопада 2020 у Wayback Machine.] (англ.)
Sargur Srihari's lecture slides on probabilistic graphical models [Архівовано 16 серпня 2015 у Wayback Machine.] (англ.)

[koller09-1] а ^б Koller; Friedman (2009). Probabilistic Graphical Models. Massachusetts: MIT Press. ISBN 0-262-01319-3. (англ.)

[2] Frydenberg, Morten (1990). The Chain Graph Markov Property. Scandinavian Journal of Statistics. 17 (4): 333—353. JSTOR 4616181. MR 1096723. (англ.)

[3] Richardson, Thomas; Spirtes, Peter (2002). Ancestral graph Markov models. Annals of Statistics^[en]. 30 (4): 962—1030. doi:10.1214/aos/1031689015. MR 1926166. Zbl 1033.60008. (англ.)

[1]

[2]

[3]