blog/docs/Maths/baes.md

Немного про Байесовскую статистику

Задача

Представим, что у нас есть монета, честность которой нам неизвестна (если быть точным, мы не знаем с каким шансом выпадает орёл, с каким — решка). Поэтому мы бы хотели оценить вероятность p — шанс выпадения орла.

!!! Note

Понятно, что вероятность выпадения решки равна $1 - p$

В классической статистике эта задача бы решалась бы так:

• Монета подбрасывается n раз.
• Из них m — количество выпавших орлов.
• Отношение \frac{m}{n} будет оценкой p.

В Байесовской статистике подход иной:

1. Обозначим монету как бернуллевскую случайную величину \xi с параметром \theta, у которой 1 — это выпадение орла, 0 — решки.

2. Предполагается априорное распределение \pi(\theta) (т.е. распределение, которое мы предполагаем, исходя из того, что нам известно о параметре \theta), как правило, это равномерное распределение U \left(0,1\right).

3. Монета подбрасывается.

4. Распределение \theta уточняется по формуле: $$\Large \pi(\theta | \xi) = \frac{p(\xi|\theta)p(\theta)} {\int\limits_{\Theta}p(\xi|\theta)p(\theta)d\theta}

   
   
   !!! Note
       $p(\theta|\xi)$ -- это функция правдоподобия.
   
   

5. Повторить пункты 2-4, предполагая \pi(\theta) = \pi(\theta|\xi)

Тогда оценкой \theta будет:

\hat \theta = \arg \max_\theta \pi ( \theta | \xi )