# Немного про Байесовскую статистику

## Задача

Представим, что у нас есть монета, честность которой нам неизвестна (если быть
точным, мы не знаем с каким шансом выпадает орёл, с каким — решка). Поэтому мы
бы хотели оценить вероятность $p$ — шанс выпадения орла.

!!! Note

    Понятно, что вероятность выпадения решки равна $1 - p$
    
В [классической статистике](https://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0)
эта задача бы решалась бы так:

- Монета подбрасывается $n$ раз.
- Из них $m$ — количество выпавших орлов.
- Отношение $\frac{m}{n}$ будет оценкой $p$.

В Байесовской статистике подход иной:

1. Обозначим монету как бернуллевскую случайную величину $\xi$ с параметром $\theta$, у
   которой $1$ — это выпадение орла, $0$ — решки. 
2. Предполагается априорное распределение $\pi(\theta)$ (т.е. распределение, которое мы
   предполагаем, исходя из того, что нам известно о параметре $\theta$), как правило,
   это равномерное распределение $U \left(0,1\right)$. 
3. Монета подбрасывается. 
4. Распределение $\theta$ уточняется по формуле:
    $$\Large
    \pi(\theta | \xi) = \frac{p(\xi|\theta)p(\theta)}
    {\int\limits_{\Theta}p(\xi|\theta)p(\theta)d\theta} 
    $$
    
    !!! Note
        $p(\theta|\xi)$ -- это функция правдоподобия.

5. Повторить пункты 2-4, предполагая $\pi(\theta) = \pi(\theta|\xi)$

Тогда оценкой $\theta$ будет:
$$
\hat \theta = \arg \max_\theta \pi ( \theta | \xi )
$$