theta estimating

docs/Maths/baes.md

@@ -17,3 +17,26 @@
 - Из них $m$ — количество выпавших орлов.
 - Отношение $\frac{m}{n}$ будет оценкой $p$.
 
+В Байесовской статистике подход иной:
+
+1. Обозначим монету как бернуллевскую случайную величину $\xi$ с параметром $\theta$, у
+   которой $1$ — это выпадение орла, $0$ — решки. 
+2. Предполагается априорное распределение $\pi(\theta)$ (т.е. распределение, которое мы
+   предполагаем, исходя из того, что нам известно о параметре $\theta$), как правило,
+   это равномерное распределение $U \left(0,1\right)$. 
+3. Монета подбрасывается. 
+4. Распределение $\theta$ уточняется по формуле:
+    $$\Large
+    \pi(\theta | \xi) = \frac{p(\xi|\theta)p(\theta)}
+    {\int\limits_{\Theta}p(\xi|\theta)p(\theta)d\theta} 
+    $$
+    
+    !!! Note
+        $p(\theta|\xi)$ -- это функция правдоподобия.
+
+5. Повторить пункты 2-4, предполагая $\pi(\theta) = \pi(\theta|\xi)$
+
+Тогда оценкой $\theta$ будет:
+$$
+\hat \theta = \arg \max_\theta \pi ( \theta | \xi )
+$$