43 lines
2.2 KiB
Markdown
43 lines
2.2 KiB
Markdown
# Немного про Байесовскую статистику
|
||
|
||
## Задача
|
||
|
||
Представим, что у нас есть монета, честность которой нам неизвестна (если быть
|
||
точным, мы не знаем с каким шансом выпадает орёл, с каким — решка). Поэтому мы
|
||
бы хотели оценить вероятность $p$ — шанс выпадения орла.
|
||
|
||
!!! Note
|
||
|
||
Понятно, что вероятность выпадения решки равна $1 - p$
|
||
|
||
В [классической статистике](https://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0)
|
||
эта задача бы решалась бы так:
|
||
|
||
- Монета подбрасывается $n$ раз.
|
||
- Из них $m$ — количество выпавших орлов.
|
||
- Отношение $\frac{m}{n}$ будет оценкой $p$.
|
||
|
||
В Байесовской статистике подход иной:
|
||
|
||
1. Обозначим монету как бернуллевскую случайную величину $\xi$ с параметром $\theta$, у
|
||
которой $1$ — это выпадение орла, $0$ — решки.
|
||
2. Предполагается априорное распределение $\pi(\theta)$ (т.е. распределение, которое мы
|
||
предполагаем, исходя из того, что нам известно о параметре $\theta$), как правило,
|
||
это равномерное распределение $U \left(0,1\right)$.
|
||
3. Монета подбрасывается.
|
||
4. Распределение $\theta$ уточняется по формуле:
|
||
$$\Large
|
||
\pi(\theta | \xi) = \frac{p(\xi|\theta)p(\theta)}
|
||
{\int\limits_{\Theta}p(\xi|\theta)p(\theta)d\theta}
|
||
$$
|
||
|
||
!!! Note
|
||
$p(\theta|\xi)$ -- это функция правдоподобия.
|
||
|
||
5. Повторить пункты 2-4, предполагая $\pi(\theta) = \pi(\theta|\xi)$
|
||
|
||
Тогда оценкой $\theta$ будет:
|
||
$$
|
||
\hat \theta = \arg \max_\theta \pi ( \theta | \xi )
|
||
$$
|