ДЗ4.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Задание 4.1\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Критерий согласия <b>$\\chi^2$</b> (Хи-квадрат)\n",
    "\n",
    "Пусть  $\\vec{x}=(X_1, X_2, ..., X_n)$ - выобрка независимых одинаково распределённых случайных величин. <br>\n",
    "$\\nu_1$, $\\nu_2$, ..., $\\nu_N$ - частоты попадания выборочных данных в соответсвующие подмножества группировки $\\epsilon_1$, $\\epsilon_2$, ..., $\\epsilon_N$ (в дискретном случае - в подмножества значений исследуемой случайной величины)<br>\n",
    "$$\\nu_j=\\sum_{j=1}^{n}I(X_i=j), j=1,...,N$$ \n",
    "\n",
    "Тогда вектор $\\nu = (\\nu_1, \\nu_2, ..., \\nu_N) \\sim M(n, p_1, p_2, ... , p_n)$, т.е. имеет полиномиальное распределение, где $\\vec{p}=(p_1, p_2, ... , p_n)$ - вероятности попадания исследуемой случайной величины в соответсвующие подмножества группировки $\\epsilon_1$, $\\epsilon_2$, ..., $\\epsilon_N$<br>\n",
    "\n",
    "Простую гипотеза $H_0$ заключается в том, что $\\underline{p} = \\underline{\\mathring{p}} = (\\mathring{p_1}, \\mathring{p_2}, ... , \\mathring{p_N}) $ - заданый вероятностный вектор $(0<\\mathring{p_j}<1, j=1,...,N; \\space\\mathring{p_1}+...+\\mathring{p_N}=0)$<br>\n",
    "\n",
    "Статистика критерия $\\mathring{X_n^2}=\\mathring{X_n^2}(\\vec{x})=\\mathring{X_n^2}(\\nu)=\\sum_{j=1}^{N}\\frac{(\\nu_j-n \\mathring{p_j})^2}{n \\mathring{p_j}}=\\sum_{j=1}^{N}\\frac{\\nu_j^2}{n \\mathring{p_j}}-n$ <br>\n",
    "<br>\n",
    "Если гипотеза $H_0$ справедлива, то поскольку относительная частота $\\frac{\\nu_j}{n}$ события $\\{\\xi = j\\}$ является состаятельной оценкой его вероятности $\\mathring{p_j}\\space(j=1,...,N)$, то при больших объёмах выборки $n$ разности $|\\frac{\\nu_j}{n} - p_j|$ должны быть малы, следовательно значение статистики $\\mathring{X_n^2}$ не должно быть слишком большим. Поэтому естесвтенно задать критическую область для гипотезы $H_0$ в виде $X_{1\\alpha}=\\{\\vec{x}: \\mathring{X_n^2}(\\vec{x})>t_\\alpha\\}$, где $t_\\alpha$ при заданном уровне значимости $\\alpha$ должна быть выбранна из условия $P(\\mathring{X_n^2} > t_\\alpha | H_0)=\\alpha$<br>\n",
    "<br>\n",
    "Поскольку для вычисление точное значение границы $t_\\alpha$ требуется знать $L(t_\\alpha|H_0)$, а точное распредение статистики при гипотезе $H_0$ неудобно для расчёта критерия, граничное значение находят из пределеного распределения (при $n \\rightarrow \\infty\\space\\space L(t_\\alpha|H_0)\\rightarrow \\chi^2(N-1)$).<br>\n",
    "То есть граница уровня значимости $\\alpha$ - это есть ни что иное, как $1-\\alpha$-квантиль распределения $\\chi^2(N-1)$ <br>\n",
    "<br>\n",
    "К достоинствам данного критерия можно отнести тот факт, что его можно применять даже в том случае, когда данные имеют нечисловой характер. <br>\n",
    "Одним из недостатков критерия является потеря некоторой информации о выборке при группировке слагаемых.<br>\n",
    "Для уменьшения эффекта потери инфрмации чаще всего принимают $N\\approx 5$ для мальеньких выборок и $N\\approx 10,...,15$ для больших выборок. <br>\n",
    "Наиболее оптимальное значение $N$ помогает заключить эвристическое правило Старджесса, которое говорит, что <br>\n",
    "$$ N = 1 + \\lfloor log_2 n \\rfloor $$\n",
    "\n",
    "Из всего выше сказанно следует заключить, что критерий согласия $\\chi^2$ обычно применяется, когда $n\\geq 50$, $\\nu_j\\geq5 \\space \\forall j$, и выглядит следующим обазом<br>\n",
    "\n",
    "$$ H_0\\space отвергается \\space \\space \\Leftrightarrow \\space\\space \\mathring{X_n^2}>квантиль\\space уровня \\space 1-\\alpha \\space распределения \\space\\chi^2(N-1) $$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Зададим гипергеометрическое распределение $HG(200, 70, 10)$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "from scipy.stats import hypergeom\n",
    "\n",
    "volumes = [5, 10, 100, 1000, 10**5]\n",
    "count_samples = 5\n",
    "\n",
    "N, M, n = (200, 70, 10)\n",
    "hg = hypergeom(N, n, M)\n",
    "\n",
    "np.random.seed(1000)\n",
    "data = {v: np.array([hg.rvs(size=v) for _ in range(count_samples)]) for v in volumes}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Применим критерий для простой гипотезы\n",
    "Рассмотрим уровени значимости $\\alpha = 0.1, \\space 0.05 $<br> \n",
    "Гиптоза $H_0$ утверждает, что исследуемая случайная величина распределена как $HG(200,70,10)$.<br>\n",
    "Правилом Старджесса в данном случае пользоваться не будем, так как значения полученных величин заключены в пределах от 0 до 10, то есть получить больше чем 11 интервалов не представляется возможным."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from scipy.stats import chi2\n",
    "from math import ceil\n",
    "from scipy.special import binom "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "def compute_quntile(cdf, a, eps=0.001, max_range=30):\n",
    "    x = np.arange(-1, max_range, eps)\n",
    "    for xx in x:\n",
    "        if cdf(xx)<a and cdf(xx+eps)>a:\n",
    "            return xx+eps\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "def find_ps(boxes, hyposis):\n",
    "    N, M, n = hyposis\n",
    "    ans = np.empty(0)\n",
    "    for i in boxes:\n",
    "        p = binom(M, i) * binom(N-M, n-i) / binom(N, n)\n",
    "        ans = np.append(ans, p)\n",
    "    return ans"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "def find_nus(boxes, data):\n",
    "    ans = np.empty(0)\n",
    "    for i in boxes:\n",
    "        nu = len(np.where(data==i)[0])\n",
    "        ans = np.append(ans, nu)\n",
    "    return ans"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.1              \n",
      "\n",
      "n = 5, Выборка №1, Значение статистики Пирсона = 4.406 Квантиль 15.99, H0 принимается\n",
      "n = 5, Выборка №2, Значение статистики Пирсона = 3.506 Квантиль 15.99, H0 принимается\n",
      "n = 5, Выборка №3, Значение статистики Пирсона = 2.473 Квантиль 15.99, H0 принимается\n",
      "n = 5, Выборка №4, Значение статистики Пирсона = 11.86 Квантиль 15.99, H0 принимается\n",
      "n = 5, Выборка №5, Значение статистики Пирсона = 2.536 Квантиль 15.99, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборка №1, Значение статистики Пирсона = 5.152 Квантиль 15.99, H0 принимается\n",
      "n = 10, Выборка №2, Значение статистики Пирсона = 21.44 Квантиль 15.99, H0 отклоняется\n",
      "n = 10, Выборка №3, Значение статистики Пирсона = 5.681 Квантиль 15.99, H0 принимается\n",
      "n = 10, Выборка №4, Значение статистики Пирсона = 11.61 Квантиль 15.99, H0 принимается\n",
      "n = 10, Выборка №5, Значение статистики Пирсона = 5.25 Квантиль 15.99, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, Значение статистики Пирсона = 5.723 Квантиль 15.99, H0 принимается\n",
      "n = 100, Выборка №2, Значение статистики Пирсона = 4.168 Квантиль 15.99, H0 принимается\n",
      "n = 100, Выборка №3, Значение статистики Пирсона = 8.578 Квантиль 15.99, H0 принимается\n",
      "n = 100, Выборка №4, Значение статистики Пирсона = 6.211 Квантиль 15.99, H0 принимается\n",
      "n = 100, Выборка №5, Значение статистики Пирсона = 6.749 Квантиль 15.99, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, Значение статистики Пирсона = 5.325 Квантиль 15.99, H0 принимается\n",
      "n = 1000, Выборка №2, Значение статистики Пирсона = 10.44 Квантиль 15.99, H0 принимается\n",
      "n = 1000, Выборка №3, Значение статистики Пирсона = 8.078 Квантиль 15.99, H0 принимается\n",
      "n = 1000, Выборка №4, Значение статистики Пирсона = 9.352 Квантиль 15.99, H0 принимается\n",
      "n = 1000, Выборка №5, Значение статистики Пирсона = 13.28 Квантиль 15.99, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, Значение статистики Пирсона = 14.41 Квантиль 15.99, H0 принимается\n",
      "n = 100000, Выборка №2, Значение статистики Пирсона = 10.56 Квантиль 15.99, H0 принимается\n",
      "n = 100000, Выборка №3, Значение статистики Пирсона = 4.466 Квантиль 15.99, H0 принимается\n",
      "n = 100000, Выборка №4, Значение статистики Пирсона = 10.57 Квантиль 15.99, H0 принимается\n",
      "n = 100000, Выборка №5, Значение статистики Пирсона = 10.7 Квантиль 15.99, H0 принимается\n",
      "====================================================================================================\n",
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.05              \n",
      "\n",
      "n = 5, Выборка №1, Значение статистики Пирсона = 4.406 Квантиль 18.31, H0 принимается\n",
      "n = 5, Выборка №2, Значение статистики Пирсона = 3.506 Квантиль 18.31, H0 принимается\n",
      "n = 5, Выборка №3, Значение статистики Пирсона = 2.473 Квантиль 18.31, H0 принимается\n",
      "n = 5, Выборка №4, Значение статистики Пирсона = 11.86 Квантиль 18.31, H0 принимается\n",
      "n = 5, Выборка №5, Значение статистики Пирсона = 2.536 Квантиль 18.31, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборка №1, Значение статистики Пирсона = 5.152 Квантиль 18.31, H0 принимается\n",
      "n = 10, Выборка №2, Значение статистики Пирсона = 21.44 Квантиль 18.31, H0 отклоняется\n",
      "n = 10, Выборка №3, Значение статистики Пирсона = 5.681 Квантиль 18.31, H0 принимается\n",
      "n = 10, Выборка №4, Значение статистики Пирсона = 11.61 Квантиль 18.31, H0 принимается\n",
      "n = 10, Выборка №5, Значение статистики Пирсона = 5.25 Квантиль 18.31, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, Значение статистики Пирсона = 5.723 Квантиль 18.31, H0 принимается\n",
      "n = 100, Выборка №2, Значение статистики Пирсона = 4.168 Квантиль 18.31, H0 принимается\n",
      "n = 100, Выборка №3, Значение статистики Пирсона = 8.578 Квантиль 18.31, H0 принимается\n",
      "n = 100, Выборка №4, Значение статистики Пирсона = 6.211 Квантиль 18.31, H0 принимается\n",
      "n = 100, Выборка №5, Значение статистики Пирсона = 6.749 Квантиль 18.31, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, Значение статистики Пирсона = 5.325 Квантиль 18.31, H0 принимается\n",
      "n = 1000, Выборка №2, Значение статистики Пирсона = 10.44 Квантиль 18.31, H0 принимается\n",
      "n = 1000, Выборка №3, Значение статистики Пирсона = 8.078 Квантиль 18.31, H0 принимается\n",
      "n = 1000, Выборка №4, Значение статистики Пирсона = 9.352 Квантиль 18.31, H0 принимается\n",
      "n = 1000, Выборка №5, Значение статистики Пирсона = 13.28 Квантиль 18.31, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, Значение статистики Пирсона = 14.41 Квантиль 18.31, H0 принимается\n",
      "n = 100000, Выборка №2, Значение статистики Пирсона = 10.56 Квантиль 18.31, H0 принимается\n",
      "n = 100000, Выборка №3, Значение статистики Пирсона = 4.466 Квантиль 18.31, H0 принимается\n",
      "n = 100000, Выборка №4, Значение статистики Пирсона = 10.57 Квантиль 18.31, H0 принимается\n",
      "n = 100000, Выборка №5, Значение статистики Пирсона = 10.7 Квантиль 18.31, H0 принимается\n",
      "====================================================================================================\n"
     ]
    }
   ],
   "source": [
    "hyposis = (200, 70, 10)\n",
    "for alpha in [0.1, 0.05]:\n",
    "    print()\n",
    "    print(f\"                     УРОВЕНЬ ЗНАЧИМОСТИ {alpha}              \")\n",
    "    print()\n",
    "    for volume in volumes:\n",
    "#         if volume<=10:\n",
    "#             continue\n",
    "        for choice in range(count_samples):\n",
    "            N_boxes =  11\n",
    "            boxes = range(0, 11)\n",
    "            hyposis_ps = find_ps(boxes, hyposis)\n",
    "            nus = find_nus(boxes, data[volume][choice])\n",
    "            \n",
    "            chi_stat = 0\n",
    "            for j in range(len(nus)):\n",
    "                chi_stat += (nus[j] - volume*hyposis_ps[j])**2 / (volume*hyposis_ps[j])\n",
    "                \n",
    "            q = compute_quntile(chi2(N_boxes-1).cdf, 1-alpha)\n",
    "            if(chi_stat<q):\n",
    "                answ = \"H0 принимается\"\n",
    "            else:\n",
    "                answ = \"H0 отклоняется\"\n",
    "            print(f\"{'n = '+str(volume)},\",\n",
    "                  f\"Выборка №{choice+1},\",\n",
    "                  f\"Значение статистики Пирсона = {chi_stat:.4}\",\n",
    "                  f\"Квантиль {q:.4},\",\n",
    "                  answ)\n",
    "        print(\"=\"*100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Как видно, критерий принял H0 для почти всех выборок для обоих уровней значимости.<br>\n",
    "Теперь проверим как работает этот критерий для близкой, но заведомо неверной гипотезе H0. <br>\n",
    "Пусть H0 утверждает, что исследуемая случайная величина распределена как $HG(190,70,10)$.<br>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.1              \n",
      "\n",
      "n = 5, Выборка №1, Значение статистики Пирсона = 3.9 Квантиль 15.99, H0 принимается\n",
      "n = 5, Выборка №2, Значение статистики Пирсона = 4.29 Квантиль 15.99, H0 принимается\n",
      "n = 5, Выборка №3, Значение статистики Пирсона = 2.995 Квантиль 15.99, H0 принимается\n",
      "n = 5, Выборка №4, Значение статистики Пирсона = 9.322 Квантиль 15.99, H0 принимается\n",
      "n = 5, Выборка №5, Значение статистики Пирсона = 2.743 Квантиль 15.99, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборка №1, Значение статистики Пирсона = 3.645 Квантиль 15.99, H0 принимается\n",
      "n = 10, Выборка №2, Значение статистики Пирсона = 27.63 Квантиль 15.99, H0 отклоняется\n",
      "n = 10, Выборка №3, Значение статистики Пирсона = 7.596 Квантиль 15.99, H0 принимается\n",
      "n = 10, Выборка №4, Значение статистики Пирсона = 11.33 Квантиль 15.99, H0 принимается\n",
      "n = 10, Выборка №5, Значение статистики Пирсона = 5.238 Квантиль 15.99, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, Значение статистики Пирсона = 4.952 Квантиль 15.99, H0 принимается\n",
      "n = 100, Выборка №2, Значение статистики Пирсона = 8.45 Квантиль 15.99, H0 принимается\n",
      "n = 100, Выборка №3, Значение статистики Пирсона = 4.13 Квантиль 15.99, H0 принимается\n",
      "n = 100, Выборка №4, Значение статистики Пирсона = 8.816 Квантиль 15.99, H0 принимается\n",
      "n = 100, Выборка №5, Значение статистики Пирсона = 3.716 Квантиль 15.99, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, Значение статистики Пирсона = 18.85 Квантиль 15.99, H0 отклоняется\n",
      "n = 1000, Выборка №2, Значение статистики Пирсона = 30.02 Квантиль 15.99, H0 отклоняется\n",
      "n = 1000, Выборка №3, Значение статистики Пирсона = 38.27 Квантиль 15.99, H0 отклоняется\n",
      "n = 1000, Выборка №4, Значение статистики Пирсона = 18.45 Квантиль 15.99, H0 отклоняется\n",
      "n = 1000, Выборка №5, Значение статистики Пирсона = 27.18 Квантиль 15.99, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, Значение статистики Пирсона = 1.6e+03 Квантиль 15.99, H0 отклоняется\n",
      "n = 100000, Выборка №2, Значение статистики Пирсона = 1.51e+03 Квантиль 15.99, H0 отклоняется\n",
      "n = 100000, Выборка №3, Значение статистики Пирсона = 1.644e+03 Квантиль 15.99, H0 отклоняется\n",
      "n = 100000, Выборка №4, Значение статистики Пирсона = 1.618e+03 Квантиль 15.99, H0 отклоняется\n",
      "n = 100000, Выборка №5, Значение статистики Пирсона = 1.711e+03 Квантиль 15.99, H0 отклоняется\n",
      "====================================================================================================\n",
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.05              \n",
      "\n",
      "n = 5, Выборка №1, Значение статистики Пирсона = 3.9 Квантиль 18.31, H0 принимается\n",
      "n = 5, Выборка №2, Значение статистики Пирсона = 4.29 Квантиль 18.31, H0 принимается\n",
      "n = 5, Выборка №3, Значение статистики Пирсона = 2.995 Квантиль 18.31, H0 принимается\n",
      "n = 5, Выборка №4, Значение статистики Пирсона = 9.322 Квантиль 18.31, H0 принимается\n",
      "n = 5, Выборка №5, Значение статистики Пирсона = 2.743 Квантиль 18.31, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборка №1, Значение статистики Пирсона = 3.645 Квантиль 18.31, H0 принимается\n",
      "n = 10, Выборка №2, Значение статистики Пирсона = 27.63 Квантиль 18.31, H0 отклоняется\n",
      "n = 10, Выборка №3, Значение статистики Пирсона = 7.596 Квантиль 18.31, H0 принимается\n",
      "n = 10, Выборка №4, Значение статистики Пирсона = 11.33 Квантиль 18.31, H0 принимается\n",
      "n = 10, Выборка №5, Значение статистики Пирсона = 5.238 Квантиль 18.31, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, Значение статистики Пирсона = 4.952 Квантиль 18.31, H0 принимается\n",
      "n = 100, Выборка №2, Значение статистики Пирсона = 8.45 Квантиль 18.31, H0 принимается\n",
      "n = 100, Выборка №3, Значение статистики Пирсона = 4.13 Квантиль 18.31, H0 принимается\n",
      "n = 100, Выборка №4, Значение статистики Пирсона = 8.816 Квантиль 18.31, H0 принимается\n",
      "n = 100, Выборка №5, Значение статистики Пирсона = 3.716 Квантиль 18.31, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, Значение статистики Пирсона = 18.85 Квантиль 18.31, H0 отклоняется\n",
      "n = 1000, Выборка №2, Значение статистики Пирсона = 30.02 Квантиль 18.31, H0 отклоняется\n",
      "n = 1000, Выборка №3, Значение статистики Пирсона = 38.27 Квантиль 18.31, H0 отклоняется\n",
      "n = 1000, Выборка №4, Значение статистики Пирсона = 18.45 Квантиль 18.31, H0 отклоняется\n",
      "n = 1000, Выборка №5, Значение статистики Пирсона = 27.18 Квантиль 18.31, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, Значение статистики Пирсона = 1.6e+03 Квантиль 18.31, H0 отклоняется\n",
      "n = 100000, Выборка №2, Значение статистики Пирсона = 1.51e+03 Квантиль 18.31, H0 отклоняется\n",
      "n = 100000, Выборка №3, Значение статистики Пирсона = 1.644e+03 Квантиль 18.31, H0 отклоняется\n",
      "n = 100000, Выборка №4, Значение статистики Пирсона = 1.618e+03 Квантиль 18.31, H0 отклоняется\n",
      "n = 100000, Выборка №5, Значение статистики Пирсона = 1.711e+03 Квантиль 18.31, H0 отклоняется\n",
      "====================================================================================================\n"
     ]
    }
   ],
   "source": [
    "hyposis = (190,70,10)\n",
    "for alpha in [0.1, 0.05]:\n",
    "    print()\n",
    "    print(f\"                     УРОВЕНЬ ЗНАЧИМОСТИ {alpha}              \")\n",
    "    print()\n",
    "    for volume in volumes:\n",
    "#         if volume<=10:\n",
    "#             continue\n",
    "        for choice in range(count_samples):\n",
    "            N_boxes =  11\n",
    "            boxes = range(0, 11)\n",
    "            hyposis_ps = find_ps(boxes, hyposis)\n",
    "            nus = find_nus(boxes, data[volume][choice])\n",
    "            \n",
    "            chi_stat = 0\n",
    "            for j in range(len(nus)):\n",
    "                chi_stat += (nus[j] - volume*hyposis_ps[j])**2 / (volume*hyposis_ps[j])\n",
    "                \n",
    "            q = compute_quntile(chi2(N_boxes-1).cdf, 1-alpha)\n",
    "            if(chi_stat<q):\n",
    "                answ = \"H0 принимается\"\n",
    "            else:\n",
    "                answ = \"H0 отклоняется\"\n",
    "            print(f\"{'n = '+str(volume)},\",\n",
    "                  f\"Выборка №{choice+1},\",\n",
    "                  f\"Значение статистики Пирсона = {chi_stat:.4}\",\n",
    "                  f\"Квантиль {q:.4},\",\n",
    "                  answ)\n",
    "        print(\"=\"*100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Видно, что близкие по своей алтернативе гипотезы критерий отклоняет неверную гипотезу только при больших объёмах выборки.<br>\n",
    "Это говорит о том, что при малых объёмах выборки критерий говорит лишь о приближённых значениях, близких к истинным."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Критерий согласия <b>$\\chi^2$</b> (Хи-квадрат) для сложной гипотезы\n",
    "\n",
    "В общем случае сложные для полиномиального распределения, используемого в критерии <b>$\\chi^2$</b>  гипотезы будут принимать следующий вид. <br><br>\n",
    "$$H_0: \\space \\underline{p} = \\underline{p}(\\theta), \\space \\theta=(\\theta_1, ... , \\theta_r), \\space \\theta \\in \\Theta, \\space r < N-1$$ <br>\n",
    "Тогда по аналогии с предыдущим случаем можем получить статистику $\\mathring{X_n^2}(\\theta)=\\sum_{j=1}^{N}\\frac{(\\nu_j-n p_j(\\theta))^2}{n p_j(\\theta)}$\n",
    "\n",
    "Эта статистик зависит от неизвестного параметра, поэтому использовать непосредственно её нельзя. Для этого параметр $\\theta$ заменяеют некоторой оценкой $\\tilde{\\theta}$ и получают в итоге статистику $\\tilde{X_n^2} = X_n^2(\\tilde{\\theta})$. Однако узнать распределение $\\tilde{X_n^2}$ при гипотезе $H_0$ представляется трудной задачей. Кроме того, величины $p_j(\\tilde{\\theta})$ представляют собой функции от наблюдений.<br>\n",
    "\n",
    "\n",
    "Простую гипотеза $H_0$ заключается в том, что $\\underline{p} = \\underline{\\mathring{p}} = (\\mathring{p_1}, \\mathring{p_2}, ... , \\mathring{p_N}) $ - заданый вероятностный вектор $(0<\\mathring{p_j}<1, j=1,...,N; \\space\\mathring{p_1}+...+\\mathring{p_N}=0)$<br>\n",
    "Р. Фишер в 1924 г. получил, предельное распределение статистики $\\tilde{X_n^2}$, использующая оценку максимального правдоподобия \n",
    "$$\\hat{\\theta} = arg \\underset{\\theta}\\max{\\Pi_{j=1}^N(p_j(\\theta))^{\\nu_j}}\\space,$$\n",
    "или иначе оценка по видоизменённому методу минимизации $\\chi^2$, является распределением $\\chi^2(N-1-r)$<br>\n",
    "$$L(\\tilde{X_n^2}|H_0)\\rightarrow \\chi^2(N-1-r), \\space \\space n \\rightarrow \\infty$$ \n",
    "Тогда можно заключить, что критерий имеет вид:\n",
    "$$ H_0\\space отвергается \\space \\space \\Leftrightarrow \\space\\space \\mathring{X_n^2}>квантиль\\space уровня \\space 1-\\alpha \\spaceраспределения \\space\\chi^2(N-1-r) $$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для упрощения задачи будем пользоваться оценкой параметра, найденной методом максимального правдоподобия"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.1              \n",
      "\n",
      "n = 5, оцениваемый параметр = 175, Выборка №1, Значение статистики Пирсона = 3.589 Квантиль 14.68, H0 принимается\n",
      "n = 5, оцениваемый параметр = 250, Выборка №2, Значение статистики Пирсона = 2.173 Квантиль 14.68, H0 принимается\n",
      "n = 5, оцениваемый параметр = 218, Выборка №3, Значение статистики Пирсона = 2.069 Квантиль 14.68, H0 принимается\n",
      "n = 5, оцениваемый параметр = 166, Выборка №4, Значение статистики Пирсона = 6.076 Квантиль 14.68, H0 принимается\n",
      "n = 5, оцениваемый параметр = 218, Выборка №5, Значение статистики Пирсона = 2.504 Квантиль 14.68, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, оцениваемый параметр = 170, Выборка №1, Значение статистики Пирсона = 2.273 Квантиль 14.68, H0 принимается\n",
      "n = 10, оцениваемый параметр = 304, Выборка №2, Значение статистики Пирсона = 10.25 Квантиль 14.68, H0 принимается\n",
      "n = 10, оцениваемый параметр = 250, Выборка №3, Значение статистики Пирсона = 3.934 Квантиль 14.68, H0 принимается\n",
      "n = 10, оцениваемый параметр = 194, Выборка №4, Значение статистики Пирсона = 11.34 Квантиль 14.68, H0 принимается\n",
      "n = 10, оцениваемый параметр = 205, Выборка №5, Значение статистики Пирсона = 5.481 Квантиль 14.68, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, оцениваемый параметр = 194, Выборка №1, Значение статистики Пирсона = 4.882 Квантиль 14.68, H0 принимается\n",
      "n = 100, оцениваемый параметр = 212, Выборка №2, Значение статистики Пирсона = 2.773 Квантиль 14.68, H0 принимается\n",
      "n = 100, оцениваемый параметр = 183, Выборка №3, Значение статистики Пирсона = 3.184 Квантиль 14.68, H0 принимается\n",
      "n = 100, оцениваемый параметр = 203, Выборка №4, Значение статистики Пирсона = 6.11 Квантиль 14.68, H0 принимается\n",
      "n = 100, оцениваемый параметр = 185, Выборка №5, Значение статистики Пирсона = 3.473 Квантиль 14.68, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, оцениваемый параметр = 199, Выборка №1, Значение статистики Пирсона = 5.279 Квантиль 14.68, H0 принимается\n",
      "n = 1000, оцениваемый параметр = 201, Выборка №2, Значение статистики Пирсона = 10.2 Квантиль 14.68, H0 принимается\n",
      "n = 1000, оцениваемый параметр = 205, Выборка №3, Значение статистики Пирсона = 4.66 Квантиль 14.68, H0 принимается\n",
      "n = 1000, оцениваемый параметр = 198, Выборка №4, Значение статистики Пирсона = 8.515 Квантиль 14.68, H0 принимается\n",
      "n = 1000, оцениваемый параметр = 199, Выборка №5, Значение статистики Пирсона = 13.17 Квантиль 14.68, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, оцениваемый параметр = 200, Выборка №1, Значение статистики Пирсона = 14.41 Квантиль 14.68, H0 принимается\n",
      "n = 100000, оцениваемый параметр = 199, Выборка №2, Значение статистики Пирсона = 21.45 Квантиль 14.68, H0 отклоняется\n",
      "n = 100000, оцениваемый параметр = 200, Выборка №3, Значение статистики Пирсона = 4.466 Квантиль 14.68, H0 принимается\n",
      "n = 100000, оцениваемый параметр = 200, Выборка №4, Значение статистики Пирсона = 10.57 Квантиль 14.68, H0 принимается\n",
      "n = 100000, оцениваемый параметр = 200, Выборка №5, Значение статистики Пирсона = 10.7 Квантиль 14.68, H0 принимается\n",
      "====================================================================================================\n",
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.05              \n",
      "\n",
      "n = 5, оцениваемый параметр = 175, Выборка №1, Значение статистики Пирсона = 3.589 Квантиль 16.92, H0 принимается\n",
      "n = 5, оцениваемый параметр = 250, Выборка №2, Значение статистики Пирсона = 2.173 Квантиль 16.92, H0 принимается\n",
      "n = 5, оцениваемый параметр = 218, Выборка №3, Значение статистики Пирсона = 2.069 Квантиль 16.92, H0 принимается\n",
      "n = 5, оцениваемый параметр = 166, Выборка №4, Значение статистики Пирсона = 6.076 Квантиль 16.92, H0 принимается\n",
      "n = 5, оцениваемый параметр = 218, Выборка №5, Значение статистики Пирсона = 2.504 Квантиль 16.92, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, оцениваемый параметр = 170, Выборка №1, Значение статистики Пирсона = 2.273 Квантиль 16.92, H0 принимается\n",
      "n = 10, оцениваемый параметр = 304, Выборка №2, Значение статистики Пирсона = 10.25 Квантиль 16.92, H0 принимается\n",
      "n = 10, оцениваемый параметр = 250, Выборка №3, Значение статистики Пирсона = 3.934 Квантиль 16.92, H0 принимается\n",
      "n = 10, оцениваемый параметр = 194, Выборка №4, Значение статистики Пирсона = 11.34 Квантиль 16.92, H0 принимается\n",
      "n = 10, оцениваемый параметр = 205, Выборка №5, Значение статистики Пирсона = 5.481 Квантиль 16.92, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, оцениваемый параметр = 194, Выборка №1, Значение статистики Пирсона = 4.882 Квантиль 16.92, H0 принимается\n",
      "n = 100, оцениваемый параметр = 212, Выборка №2, Значение статистики Пирсона = 2.773 Квантиль 16.92, H0 принимается\n",
      "n = 100, оцениваемый параметр = 183, Выборка №3, Значение статистики Пирсона = 3.184 Квантиль 16.92, H0 принимается\n",
      "n = 100, оцениваемый параметр = 203, Выборка №4, Значение статистики Пирсона = 6.11 Квантиль 16.92, H0 принимается\n",
      "n = 100, оцениваемый параметр = 185, Выборка №5, Значение статистики Пирсона = 3.473 Квантиль 16.92, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, оцениваемый параметр = 199, Выборка №1, Значение статистики Пирсона = 5.279 Квантиль 16.92, H0 принимается\n",
      "n = 1000, оцениваемый параметр = 201, Выборка №2, Значение статистики Пирсона = 10.2 Квантиль 16.92, H0 принимается\n",
      "n = 1000, оцениваемый параметр = 205, Выборка №3, Значение статистики Пирсона = 4.66 Квантиль 16.92, H0 принимается\n",
      "n = 1000, оцениваемый параметр = 198, Выборка №4, Значение статистики Пирсона = 8.515 Квантиль 16.92, H0 принимается\n",
      "n = 1000, оцениваемый параметр = 199, Выборка №5, Значение статистики Пирсона = 13.17 Квантиль 16.92, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, оцениваемый параметр = 200, Выборка №1, Значение статистики Пирсона = 14.41 Квантиль 16.92, H0 принимается\n",
      "n = 100000, оцениваемый параметр = 199, Выборка №2, Значение статистики Пирсона = 21.45 Квантиль 16.92, H0 отклоняется\n",
      "n = 100000, оцениваемый параметр = 200, Выборка №3, Значение статистики Пирсона = 4.466 Квантиль 16.92, H0 принимается\n",
      "n = 100000, оцениваемый параметр = 200, Выборка №4, Значение статистики Пирсона = 10.57 Квантиль 16.92, H0 принимается\n",
      "n = 100000, оцениваемый параметр = 200, Выборка №5, Значение статистики Пирсона = 10.7 Квантиль 16.92, H0 принимается\n",
      "====================================================================================================\n"
     ]
    }
   ],
   "source": [
    "hyposis = [None, 70, 10]\n",
    "for alpha in [0.1, 0.05]:\n",
    "    print()\n",
    "    print(f\"                     УРОВЕНЬ ЗНАЧИМОСТИ {alpha}              \")\n",
    "    print()\n",
    "    for volume in volumes:\n",
    "        for choice in range(count_samples):\n",
    "            N_boxes =  11\n",
    "            boxes = range(0, 11)\n",
    "            hyposis[0] = int(hyposis[2]*hyposis[1]/np.mean(data[volume][choice]))\n",
    "            hyposis_ps = find_ps(boxes, hyposis)\n",
    "            nus = find_nus(boxes, data[volume][choice])\n",
    "            chi_stat = 0\n",
    "            for j in range(len(nus)):\n",
    "                chi_stat += (nus[j] - volume*hyposis_ps[j])**2 / (volume*hyposis_ps[j])\n",
    "                \n",
    "            q = compute_quntile(chi2(N_boxes-2).cdf, 1-alpha)\n",
    "            if(chi_stat<q):\n",
    "                answ = \"H0 принимается\"\n",
    "            else:\n",
    "                answ = \"H0 отклоняется\"\n",
    "            print(f\"{'n = '+str(volume)},\",\n",
    "                  f\"оцениваемый параметр = {hyposis[0]:},\",\n",
    "                  f\"Выборка №{choice+1},\",\n",
    "                  f\"Значение статистики Пирсона = {chi_stat:.4}\",\n",
    "                  f\"Квантиль {q:.4},\",\n",
    "                  answ)\n",
    "        print(\"=\"*100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Показательным в этом примере является то, что оценка метода максимального правдоподобия даёт относительно точные результаты.<br>\n",
    "То есть для маленьких выборор, где ещё довольно информации о распределении, эта оценка даёт хорошее приближение значения. <br>\n",
    "Похожий результат был получен выше, когда наблюдалось поведение криетриея $\\chi^2$ на малых объёмах выборки. <br> \n",
    "Показательным же явлется то, что при больших объёмах выборки критерий без погрешности оценвиает точное значение искомого параметра, что и наблюдается во 2-ой выборке с $10^5$ наблюдениями <br>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Критерий согласия Колмогорова"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пусть  $\\vec{x}=(X_1, X_2, ..., X_n)$ - выобрка независимых одинаково распределённых случайных величин из распределения $L(\\xi)$, а искомая функция распределения $-$ это $F_\\xi(x)$. <br>\n",
    "Выдвинем гипотезу $H_0:\\space \\space F_\\xi(x)=F(x)$. Тогда статистика критерия определяется формулой <br>\n",
    "$$D_n (\\vec{x}) = \\underset{x\\in \\mathbb{R}}\\sup{|\\hat{F_n}(x) - F(x)|},$$\n",
    "где $\\hat{F_n}(x)$ - эмпирическая функция распределения.<br>\n",
    "При каждом значении $x$ величина $\\hat{F_n}(x)$ является оптимальной и состоятельной оценкой для $F(x)$, поэтому при больших n отличие $\\hat{F_n}(x)$ от $F_\\xi(x)$ будет не велико, а значит критерий будет определять отклонение гипотетической $F(x)$ от искомой $F_\\xi(x)$.<br>\n",
    "Поскольку большие значения статистики свидетельствуют о наиболее вероятном отклонении гипотизы от истины, то естесвтенно задать критическую область для гипотезы $H_0$ в виде $X_{1\\alpha}=\\{\\vec{x}: D_n(\\vec{x})>t_\\alpha\\}$, где $t_\\alpha$ при заданном уровне значимости $\\alpha$ должна быть расчитана на основании теоремы Колмогорова. То есть при больших $n$ (уже при $n\\geq20$) можно положить $t_\\alpha=\\lambda_\\alpha\\space/\\space\\sqrt{n}$, где $\\lambda_\\alpha\\space \\space - \\space$ квантиль распределения Колмогорова уровня $1-\\alpha$.<br>\n",
    "Тогда можно заключить, что критерий имеет вид: <br><br>\n",
    "$$ H_0\\space отвергается \\space \\space \\Leftrightarrow \\space\\space \\sqrt{n} \\space D_n\\geq1-\\alpha-квантиль\\spaceраспределения \\space Колмогорова $$\n",
    "<br>\n",
    "Скорость сходимости статистики $\\sqrt{n} D_n$ к распределению Колмогорова проядка $O(\\frac{1}{n \\sqrt{n}})$. Однако часто используют следующий вид статистики с поправкой Большева<br>\n",
    "$$S_n = \\frac{6 n D_n +1}{6\\sqrt{n}},$$\n",
    "которая тоже имеет распределение Колмогорова, но сходится к нему быстрее, подряка $O(\\frac{1}{n^2})$.\n",
    "Это позволяет использовать критерий при меньших объёмах выборки. В проверки гипотезы $H_0$ будем использовать статистику $S_n$\n",
    "<br>\n",
    "Тогда итоговый вид криетрия будет:<br>\n",
    "$$ H_0\\space отвергается \\space \\space \\Leftrightarrow \\space\\space S_n\\geq квантиль\\space уровня \\space 1-\\alpha \\spaceраспределения \\space Колмогорова $$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Зададим гамма-распределение $\\Gamma(2, 1/2)$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "from scipy.stats import gamma\n",
    "\n",
    "volumes = [5, 10, 100, 1000, 10**5]\n",
    "count_samples = 5\n",
    "\n",
    "a, th = 2, 1/2 \n",
    "g = gamma(a, scale=1/th)\n",
    "\n",
    "np.random.seed(1000)\n",
    "data = {v: np.array([g.rvs(size=v) for _ in range(count_samples)]) for v in volumes}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Применим критерий для простой гипотезы\n",
    "Рассмотрим уровени значимости $\\alpha = 0.1, \\space 0.05 $<br> \n",
    "Гиптоза $H_0$ утверждает, что исследуемая случайная величина распределена как $\\Gamma(2, 1/2)$.<br>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from scipy.special import kolmogorov"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "def compute_quntile(cdf, a, eps=0.001, min_range=-1, max_range=30):\n",
    "    x = np.arange(min_range, max_range, eps)\n",
    "    for xx in x:\n",
    "        if cdf(xx)<a and cdf(xx+eps)>a:\n",
    "            return xx+eps\n",
    "    return compute_quntile(cdf, a, eps=eps, min_range=max_range, max_range=max_range+30)\n",
    "\n",
    "def ecdf(x, data):\n",
    "    return data[data<=x].size / data.size\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.1              \n",
      "\n",
      "n = 5, Выборка №1, Значение статистики Sn = 0.6904 Квантиль 1.224, H0 принимается\n",
      "n = 5, Выборка №2, Значение статистики Sn = 0.8788 Квантиль 1.224, H0 принимается\n",
      "n = 5, Выборка №3, Значение статистики Sn = 0.65 Квантиль 1.224, H0 принимается\n",
      "n = 5, Выборка №4, Значение статистики Sn = 0.8443 Квантиль 1.224, H0 принимается\n",
      "n = 5, Выборка №5, Значение статистики Sn = 0.8247 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборка №1, Значение статистики Sn = 1.789 Квантиль 1.224, H0 отклоняется\n",
      "n = 10, Выборка №2, Значение статистики Sn = 0.7956 Квантиль 1.224, H0 принимается\n",
      "n = 10, Выборка №3, Значение статистики Sn = 0.8386 Квантиль 1.224, H0 принимается\n",
      "n = 10, Выборка №4, Значение статистики Sn = 0.8299 Квантиль 1.224, H0 принимается\n",
      "n = 10, Выборка №5, Значение статистики Sn = 1.203 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, Значение статистики Sn = 1.387 Квантиль 1.224, H0 отклоняется\n",
      "n = 100, Выборка №2, Значение статистики Sn = 1.349 Квантиль 1.224, H0 отклоняется\n",
      "n = 100, Выборка №3, Значение статистики Sn = 1.021 Квантиль 1.224, H0 принимается\n",
      "n = 100, Выборка №4, Значение статистики Sn = 0.8972 Квантиль 1.224, H0 принимается\n",
      "n = 100, Выборка №5, Значение статистики Sn = 0.5558 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, Значение статистики Sn = 1.056 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборка №2, Значение статистики Sn = 0.6776 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборка №3, Значение статистики Sn = 0.5261 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборка №4, Значение статистики Sn = 0.9453 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборка №5, Значение статистики Sn = 0.5872 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, Значение статистики Sn = 0.6754 Квантиль 1.224, H0 принимается\n",
      "n = 100000, Выборка №2, Значение статистики Sn = 0.6019 Квантиль 1.224, H0 принимается\n",
      "n = 100000, Выборка №3, Значение статистики Sn = 1.293 Квантиль 1.224, H0 отклоняется\n",
      "n = 100000, Выборка №4, Значение статистики Sn = 1.625 Квантиль 1.224, H0 отклоняется\n",
      "n = 100000, Выборка №5, Значение статистики Sn = 1.052 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.05              \n",
      "\n",
      "n = 5, Выборка №1, Значение статистики Sn = 0.6904 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборка №2, Значение статистики Sn = 0.8788 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборка №3, Значение статистики Sn = 0.65 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборка №4, Значение статистики Sn = 0.8443 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборка №5, Значение статистики Sn = 0.8247 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборка №1, Значение статистики Sn = 1.789 Квантиль 1.359, H0 отклоняется\n",
      "n = 10, Выборка №2, Значение статистики Sn = 0.7956 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборка №3, Значение статистики Sn = 0.8386 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборка №4, Значение статистики Sn = 0.8299 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборка №5, Значение статистики Sn = 1.203 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, Значение статистики Sn = 1.387 Квантиль 1.359, H0 отклоняется\n",
      "n = 100, Выборка №2, Значение статистики Sn = 1.349 Квантиль 1.359, H0 принимается\n",
      "n = 100, Выборка №3, Значение статистики Sn = 1.021 Квантиль 1.359, H0 принимается\n",
      "n = 100, Выборка №4, Значение статистики Sn = 0.8972 Квантиль 1.359, H0 принимается\n",
      "n = 100, Выборка №5, Значение статистики Sn = 0.5558 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, Значение статистики Sn = 1.056 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборка №2, Значение статистики Sn = 0.6776 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборка №3, Значение статистики Sn = 0.5261 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборка №4, Значение статистики Sn = 0.9453 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборка №5, Значение статистики Sn = 0.5872 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, Значение статистики Sn = 0.6754 Квантиль 1.359, H0 принимается\n",
      "n = 100000, Выборка №2, Значение статистики Sn = 0.6019 Квантиль 1.359, H0 принимается\n",
      "n = 100000, Выборка №3, Значение статистики Sn = 1.293 Квантиль 1.359, H0 принимается\n",
      "n = 100000, Выборка №4, Значение статистики Sn = 1.625 Квантиль 1.359, H0 отклоняется\n",
      "n = 100000, Выборка №5, Значение статистики Sn = 1.052 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n"
     ]
    }
   ],
   "source": [
    "hyposis = [2, 0.5]\n",
    "F = gamma(hyposis[0], scale=1/hyposis[1]).cdf\n",
    "for alpha in [0.1, 0.05]:\n",
    "    print()\n",
    "    print(f\"                     УРОВЕНЬ ЗНАЧИМОСТИ {alpha}              \")\n",
    "    print()\n",
    "    for volume in volumes:\n",
    "        for choice in range(count_samples):\n",
    "            F_n = lambda x: ecdf(x, data[volume][choice])\n",
    "            xx = np.arange(-1,16, 0.001)\n",
    "            D_n = max(map(lambda x : abs(F_n(x) - F(x)), xx))\n",
    "            S_n = np.sqrt(volume)*D_n+1/(6*np.sqrt(volume))\n",
    "            K = lambda x: 1 - kolmogorov(x)\n",
    "            q = compute_quntile(K, 1-alpha)\n",
    "            if(S_n<q):\n",
    "                answ = \"H0 принимается\"\n",
    "            else:\n",
    "                answ = \"H0 отклоняется\"\n",
    "\n",
    "\n",
    "            print(f\"{'n = '+str(volume)},\",\n",
    "                  f\"Выборка №{choice+1},\",\n",
    "                  f\"Значение статистики Sn = {S_n:.4}\",\n",
    "                  f\"Квантиль {q:.4},\",\n",
    "                  answ)\n",
    "        print(\"=\"*100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Результат является показательным, поскольку на этом примере видно, уровень значимости - это доля выборок, которые попавил в критическую область. Даже при большом объёме выборки возможность отклонить истинно верную гипотезу равна уровню значимости "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Применим критерий для заранее неверной гипотезы"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Рассмотрим уровени значимости $\\alpha = 0.1, \\space 0.05 $<br> \n",
    "Гиптоза $H_0$ утверждает, что исследуемая случайная величина распределена как $\\Gamma(3, 1/2)$.<br>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.1              \n",
      "\n",
      "n = 5, Выборка №1, Значение статистики Sn = 1.257 Квантиль 1.224, H0 отклоняется\n",
      "n = 5, Выборка №2, Значение статистики Sn = 1.439 Квантиль 1.224, H0 отклоняется\n",
      "n = 5, Выборка №3, Значение статистики Sn = 0.767 Квантиль 1.224, H0 принимается\n",
      "n = 5, Выборка №4, Значение статистики Sn = 1.275 Квантиль 1.224, H0 отклоняется\n",
      "n = 5, Выборка №5, Значение статистики Sn = 1.398 Квантиль 1.224, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 10, Выборка №1, Значение статистики Sn = 2.349 Квантиль 1.224, H0 отклоняется\n",
      "n = 10, Выборка №2, Значение статистики Sn = 1.295 Квантиль 1.224, H0 отклоняется\n",
      "n = 10, Выборка №3, Значение статистики Sn = 1.141 Квантиль 1.224, H0 принимается\n",
      "n = 10, Выборка №4, Значение статистики Sn = 1.495 Квантиль 1.224, H0 отклоняется\n",
      "n = 10, Выборка №5, Значение статистики Sn = 2.053 Квантиль 1.224, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, Значение статистики Sn = 3.9 Квантиль 1.224, H0 отклоняется\n",
      "n = 100, Выборка №2, Значение статистики Sn = 1.944 Квантиль 1.224, H0 отклоняется\n",
      "n = 100, Выборка №3, Значение статистики Sn = 2.386 Квантиль 1.224, H0 отклоняется\n",
      "n = 100, Выборка №4, Значение статистики Sn = 3.59 Квантиль 1.224, H0 отклоняется\n",
      "n = 100, Выборка №5, Значение статистики Sn = 3.051 Квантиль 1.224, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, Значение статистики Sn = 9.242 Квантиль 1.224, H0 отклоняется\n",
      "n = 1000, Выборка №2, Значение статистики Sn = 8.282 Квантиль 1.224, H0 отклоняется\n",
      "n = 1000, Выборка №3, Значение статистики Sn = 8.845 Квантиль 1.224, H0 отклоняется\n",
      "n = 1000, Выборка №4, Значение статистики Sn = 8.631 Квантиль 1.224, H0 отклоняется\n",
      "n = 1000, Выборка №5, Значение статистики Sn = 8.789 Квантиль 1.224, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, Значение статистики Sn = 86.0 Квантиль 1.224, H0 отклоняется\n",
      "n = 100000, Выборка №2, Значение статистики Sn = 85.85 Квантиль 1.224, H0 отклоняется\n",
      "n = 100000, Выборка №3, Значение статистики Sn = 84.59 Квантиль 1.224, H0 отклоняется\n",
      "n = 100000, Выборка №4, Значение статистики Sn = 84.58 Квантиль 1.224, H0 отклоняется\n",
      "n = 100000, Выборка №5, Значение статистики Sn = 86.39 Квантиль 1.224, H0 отклоняется\n",
      "====================================================================================================\n",
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.05              \n",
      "\n",
      "n = 5, Выборка №1, Значение статистики Sn = 1.257 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборка №2, Значение статистики Sn = 1.439 Квантиль 1.359, H0 отклоняется\n",
      "n = 5, Выборка №3, Значение статистики Sn = 0.767 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборка №4, Значение статистики Sn = 1.275 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборка №5, Значение статистики Sn = 1.398 Квантиль 1.359, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 10, Выборка №1, Значение статистики Sn = 2.349 Квантиль 1.359, H0 отклоняется\n",
      "n = 10, Выборка №2, Значение статистики Sn = 1.295 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборка №3, Значение статистики Sn = 1.141 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборка №4, Значение статистики Sn = 1.495 Квантиль 1.359, H0 отклоняется\n",
      "n = 10, Выборка №5, Значение статистики Sn = 2.053 Квантиль 1.359, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, Значение статистики Sn = 3.9 Квантиль 1.359, H0 отклоняется\n",
      "n = 100, Выборка №2, Значение статистики Sn = 1.944 Квантиль 1.359, H0 отклоняется\n",
      "n = 100, Выборка №3, Значение статистики Sn = 2.386 Квантиль 1.359, H0 отклоняется\n",
      "n = 100, Выборка №4, Значение статистики Sn = 3.59 Квантиль 1.359, H0 отклоняется\n",
      "n = 100, Выборка №5, Значение статистики Sn = 3.051 Квантиль 1.359, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, Значение статистики Sn = 9.242 Квантиль 1.359, H0 отклоняется\n",
      "n = 1000, Выборка №2, Значение статистики Sn = 8.282 Квантиль 1.359, H0 отклоняется\n",
      "n = 1000, Выборка №3, Значение статистики Sn = 8.845 Квантиль 1.359, H0 отклоняется\n",
      "n = 1000, Выборка №4, Значение статистики Sn = 8.631 Квантиль 1.359, H0 отклоняется\n",
      "n = 1000, Выборка №5, Значение статистики Sn = 8.789 Квантиль 1.359, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, Значение статистики Sn = 86.0 Квантиль 1.359, H0 отклоняется\n",
      "n = 100000, Выборка №2, Значение статистики Sn = 85.85 Квантиль 1.359, H0 отклоняется\n",
      "n = 100000, Выборка №3, Значение статистики Sn = 84.59 Квантиль 1.359, H0 отклоняется\n",
      "n = 100000, Выборка №4, Значение статистики Sn = 84.58 Квантиль 1.359, H0 отклоняется\n",
      "n = 100000, Выборка №5, Значение статистики Sn = 86.39 Квантиль 1.359, H0 отклоняется\n",
      "====================================================================================================\n"
     ]
    }
   ],
   "source": [
    "hyposis = [3, 0.5]\n",
    "F = gamma(hyposis[0], scale=1/hyposis[1]).cdf\n",
    "for alpha in [0.1, 0.05]:\n",
    "    print()\n",
    "    print(f\"                     УРОВЕНЬ ЗНАЧИМОСТИ {alpha}              \")\n",
    "    print()\n",
    "    for volume in volumes:\n",
    "        for choice in range(count_samples):\n",
    "            F_n = lambda x: ecdf(x, data[volume][choice])\n",
    "            xx = np.arange(-1,16, 0.001)\n",
    "            D_n = max(map(lambda x : abs(F_n(x) - F(x)), xx))\n",
    "            S_n = volume**(0.5)*D_n+1/(6*volume**(0.5))\n",
    "            K = lambda x: 1 - kolmogorov(x)\n",
    "            q = compute_quntile(K, 1-alpha)\n",
    "            if(S_n<q):\n",
    "                answ = \"H0 принимается\"\n",
    "            else:\n",
    "                answ = \"H0 отклоняется\"\n",
    "\n",
    "            print(f\"{'n = '+str(volume)},\",\n",
    "                  f\"Выборка №{choice+1},\",\n",
    "                  f\"Значение статистики Sn = {S_n:.4}\",\n",
    "                  f\"Квантиль {q:.4},\",\n",
    "                  answ)\n",
    "        print(\"=\"*100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Примечательно то, что даже при малых размерах выборки, критерий начинает отклонять гиптоезы, что говорит о состяотельности данного метода."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Критерий Колмогорова для сложной гипотезы"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В случае сложной гипотезы идёт предположение на то, что функция распределения исследуемой случайно величины $\\xi$ принадлежит какому-то параметрическому семейству, то есть $F_\\xi(x) \\in \\mathcal{F}=\\{F(x, \\theta), \\theta\\in \\mathcal{\\Theta}\\}$.<br>\n",
    "Тогда $D_n = D_n (\\vec{x}, \\theta) = \\underset{x\\in \\mathbb{R}}\\sup{|\\hat{F_n}(x) - F(x, \\theta)|}$ $-$ тоже является некоторой параметрической зависимостью, а не статистикой от выборки.<br>\n",
    "Пользуются следущей статистикой для построения критической области. <br>\n",
    "$$\\hat{D_n} (\\vec{x}) = \\underset{x\\in \\mathbb{R}}\\sup{|\\hat{F_n}(x) - F(x, \\hat{\\theta})|},$$\n",
    "где $\\hat{\\theta}\\space -$ оценка максимального правдоподобия. Однако теперь ассимптотическое распределение статистики $\\hat{D_n}$ имеет отличный от Колмогорова вид. <br>\n",
    "Для того, чтобы избежать этого можно разделить выборку на 2 части и по 1ой оценить параметр, а по 2ой проверять гипотезу."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Рассмотрим уровени значимости $\\alpha = 0.1, \\space 0.05 $<br> \n",
    "Гиптоза $H_0$ утверждает, что выборка иммеет распределение $\\Gamma(2, \\theta)$<br>\n",
    "Оценка маскимального правдоподобия $\\hat{\\theta}=\\frac{2}{\\bar{x}}$, где $\\bar{x} \\space -$ выборочное среднее"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.1              \n",
      "\n",
      "n = 10, Выборка №1, ОМП = 1.211536386587555 Значение статистики Sn = 0.8207 Квантиль 1.224, H0 принимается\n",
      "n = 10, Выборка №2, ОМП = 0.7211274737375505 Значение статистики Sn = 1.252 Квантиль 1.224, H0 отклоняется\n",
      "n = 10, Выборка №3, ОМП = 0.3262028465785545 Значение статистики Sn = 1.368 Квантиль 1.224, H0 отклоняется\n",
      "n = 10, Выборка №4, ОМП = 0.4422002840684584 Значение статистики Sn = 1.279 Квантиль 1.224, H0 отклоняется\n",
      "n = 10, Выборка №5, ОМП = 0.778522987392111 Значение статистики Sn = 0.722 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, ОМП = 0.5856850908274844 Значение статистики Sn = 0.4983 Квантиль 1.224, H0 принимается\n",
      "n = 100, Выборка №2, ОМП = 0.46145134776080315 Значение статистики Sn = 0.9909 Квантиль 1.224, H0 принимается\n",
      "n = 100, Выборка №3, ОМП = 0.4516488410030905 Значение статистики Sn = 0.7466 Квантиль 1.224, H0 принимается\n",
      "n = 100, Выборка №4, ОМП = 0.584453961013945 Значение статистики Sn = 1.107 Квантиль 1.224, H0 принимается\n",
      "n = 100, Выборка №5, ОМП = 0.5447652060637204 Значение статистики Sn = 0.6533 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, ОМП = 0.5105618951223495 Значение статистики Sn = 0.7763 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборка №2, ОМП = 0.4918963908410329 Значение статистики Sn = 0.9583 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборка №3, ОМП = 0.4889729143388579 Значение статистики Sn = 0.7608 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборка №4, ОМП = 0.4802112886984444 Значение статистики Sn = 1.658 Квантиль 1.224, H0 отклоняется\n",
      "n = 1000, Выборка №5, ОМП = 0.5032848414977396 Значение статистики Sn = 0.5961 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, ОМП = 0.49935655708229576 Значение статистики Sn = 1.169 Квантиль 1.224, H0 принимается\n",
      "n = 100000, Выборка №2, ОМП = 0.5018296129541316 Значение статистики Sn = 0.8409 Квантиль 1.224, H0 принимается\n",
      "n = 100000, Выборка №3, ОМП = 0.49982411661624265 Значение статистики Sn = 1.428 Квантиль 1.224, H0 отклоняется\n",
      "n = 100000, Выборка №4, ОМП = 0.4971861565357864 Значение статистики Sn = 0.7815 Квантиль 1.224, H0 принимается\n",
      "n = 100000, Выборка №5, ОМП = 0.5000258131842641 Значение статистики Sn = 1.242 Квантиль 1.224, H0 отклоняется\n",
      "====================================================================================================\n",
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.05              \n",
      "\n",
      "n = 10, Выборка №1, ОМП = 1.211536386587555 Значение статистики Sn = 0.8207 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборка №2, ОМП = 0.7211274737375505 Значение статистики Sn = 1.252 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборка №3, ОМП = 0.3262028465785545 Значение статистики Sn = 1.368 Квантиль 1.359, H0 отклоняется\n",
      "n = 10, Выборка №4, ОМП = 0.4422002840684584 Значение статистики Sn = 1.279 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборка №5, ОМП = 0.778522987392111 Значение статистики Sn = 0.722 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, ОМП = 0.5856850908274844 Значение статистики Sn = 0.4983 Квантиль 1.359, H0 принимается\n",
      "n = 100, Выборка №2, ОМП = 0.46145134776080315 Значение статистики Sn = 0.9909 Квантиль 1.359, H0 принимается\n",
      "n = 100, Выборка №3, ОМП = 0.4516488410030905 Значение статистики Sn = 0.7466 Квантиль 1.359, H0 принимается\n",
      "n = 100, Выборка №4, ОМП = 0.584453961013945 Значение статистики Sn = 1.107 Квантиль 1.359, H0 принимается\n",
      "n = 100, Выборка №5, ОМП = 0.5447652060637204 Значение статистики Sn = 0.6533 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, ОМП = 0.5105618951223495 Значение статистики Sn = 0.7763 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборка №2, ОМП = 0.4918963908410329 Значение статистики Sn = 0.9583 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборка №3, ОМП = 0.4889729143388579 Значение статистики Sn = 0.7608 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборка №4, ОМП = 0.4802112886984444 Значение статистики Sn = 1.658 Квантиль 1.359, H0 отклоняется\n",
      "n = 1000, Выборка №5, ОМП = 0.5032848414977396 Значение статистики Sn = 0.5961 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, ОМП = 0.49935655708229576 Значение статистики Sn = 1.169 Квантиль 1.359, H0 принимается\n",
      "n = 100000, Выборка №2, ОМП = 0.5018296129541316 Значение статистики Sn = 0.8409 Квантиль 1.359, H0 принимается\n",
      "n = 100000, Выборка №3, ОМП = 0.49982411661624265 Значение статистики Sn = 1.428 Квантиль 1.359, H0 отклоняется\n",
      "n = 100000, Выборка №4, ОМП = 0.4971861565357864 Значение статистики Sn = 0.7815 Квантиль 1.359, H0 принимается\n",
      "n = 100000, Выборка №5, ОМП = 0.5000258131842641 Значение статистики Sn = 1.242 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n"
     ]
    }
   ],
   "source": [
    "hyposis = [2, None]\n",
    "for alpha in [0.1, 0.05]:\n",
    "    print()\n",
    "    print(f\"                     УРОВЕНЬ ЗНАЧИМОСТИ {alpha}              \")\n",
    "    print()\n",
    "    for volume in volumes:\n",
    "        if volume < 10:\n",
    "            continue\n",
    "        for choice in range(count_samples):\n",
    "            data_to_mle = data[volume][choice][:volume//2]\n",
    "            data_to_h0 =data[volume][choice][volume//2:]\n",
    "            x_sr = np.mean(data_to_mle)\n",
    "            mle = hyposis[0] / x_sr\n",
    "            hyposis[1] = mle\n",
    "            F = gamma(hyposis[0], scale=1/hyposis[1]).cdf\n",
    "            F_n = lambda x: ecdf(x, data_to_h0)\n",
    "            xx = np.arange(-1,16, 0.001)\n",
    "            D_n = max(map(lambda x : abs(F_n(x) - F(x)), xx))\n",
    "            S_n = len(data_to_h0)**(0.5)*D_n+1/(6*len(data_to_h0)**(0.5))\n",
    "            K = lambda x: 1 - kolmogorov(x)\n",
    "            q = compute_quntile(K, 1-alpha)\n",
    "            if(S_n<q):\n",
    "                answ = \"H0 принимается\"\n",
    "            else:\n",
    "                answ = \"H0 отклоняется\"\n",
    "\n",
    "            print(f\"{'n = '+str(volume)},\",\n",
    "                  f\"Выборка №{choice+1},\",\n",
    "                  f\"ОМП = {mle:4}\",\n",
    "                  f\"Значение статистики Sn = {S_n:.4}\",\n",
    "                  f\"Квантиль {q:.4},\",\n",
    "                  answ)\n",
    "        print(\"=\"*100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Критерий однородности Смирнова"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пусть $X_1, X_2, ..., X_n$ - выборка размера $n$, $Y_1, Y_2, ..., Y_m$ - выборка размера $m$.<br>\n",
    "Пусть $\\hat{F_n}(x)$ и $\\hat{F_m}(x)$ - соответсвующие эмпрические функции распределения.<br>\n",
    "Критерий однородности Симрнова отвечает на вопрос, принадлежат ли две выборки одному распределению или нет.<br>\n",
    "Для этого используется статистика \n",
    "$$D_{n,m} (\\vec{x}) = \\underset{x\\in \\mathbb{R}}\\sup{|\\hat{F_n}(x) - \\hat{F_m}(x)|},$$\n",
    "Тогда по Теореме Смирнова, которая утверждает, что $\\underset{n,m\\rightarrow \\infty}{lim} P(\\sqrt{{\\frac{m n}{m+n}}}D_{n,m}\\leq t)= K(t)$, то есть статистика $\\sqrt{{\\frac{m n}{m+n}}}D_{n,m}$ стреимтся к распределению Колмогорова при $n,m\\rightarrow \\infty$<br>\n",
    "На основе этого и аналогичных рассуждений, как и с критерием согласия Колмогорова, итоговый вид критерия будет иметь вид<br>\n",
    "$$ H_0\\space отвергается \\space \\space \\Leftrightarrow \\space\\space \\sqrt{\\frac{m n}{m+n}}D_{n,m}\\geq квантиль\\space уровня \\space 1-\\alpha \\spaceраспределения \\space Колмогорова $$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Применим критерий однородности Смирнова для выборок из $\\Gamma(2,1/2)$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Рассмотрим уровени значимости $\\alpha = 0.1, \\space 0.05 $<br> \n",
    "Гиптоза $H_0$ утверждает, что функции распределения двух выборок одинаковы<br>\n",
    "Мы будем рассматривать рассматривать пары распределений из выборок одинавково объёма. В таком случае $n=m$ и критерий выглядит следующим образом.<br>\n",
    "$$ H_0\\space отвергается \\space \\space \\Leftrightarrow \\space\\space \\sqrt{\\frac{n}{2}}D_{n,m}\\geq квантиль\\space уровня \\space 1-\\alpha \\spaceраспределения \\space Колмогорова $$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.1              \n",
      "\n",
      "n = 5, Выборки №1 и 2, Значение статистики = 0.6325 Квантиль 1.224, H0 принимается\n",
      "n = 5, Выборки №1 и 3, Значение статистики = 0.6325 Квантиль 1.224, H0 принимается\n",
      "n = 5, Выборки №1 и 4, Значение статистики = 0.6325 Квантиль 1.224, H0 принимается\n",
      "n = 5, Выборки №1 и 5, Значение статистики = 0.6325 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 5, Выборки №2 и 3, Значение статистики = 0.6325 Квантиль 1.224, H0 принимается\n",
      "n = 5, Выборки №2 и 4, Значение статистики = 0.9487 Квантиль 1.224, H0 принимается\n",
      "n = 5, Выборки №2 и 5, Значение статистики = 0.6325 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 5, Выборки №3 и 4, Значение статистики = 0.6325 Квантиль 1.224, H0 принимается\n",
      "n = 5, Выборки №3 и 5, Значение статистики = 0.6325 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 5, Выборки №4 и 5, Значение статистики = 0.9487 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборки №1 и 2, Значение статистики = 0.8944 Квантиль 1.224, H0 принимается\n",
      "n = 10, Выборки №1 и 3, Значение статистики = 1.565 Квантиль 1.224, H0 отклоняется\n",
      "n = 10, Выборки №1 и 4, Значение статистики = 1.118 Квантиль 1.224, H0 принимается\n",
      "n = 10, Выборки №1 и 5, Значение статистики = 1.342 Квантиль 1.224, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 10, Выборки №2 и 3, Значение статистики = 0.6708 Квантиль 1.224, H0 принимается\n",
      "n = 10, Выборки №2 и 4, Значение статистики = 0.8944 Квантиль 1.224, H0 принимается\n",
      "n = 10, Выборки №2 и 5, Значение статистики = 0.8944 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборки №3 и 4, Значение статистики = 0.8944 Квантиль 1.224, H0 принимается\n",
      "n = 10, Выборки №3 и 5, Значение статистики = 1.118 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборки №4 и 5, Значение статистики = 1.118 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборки №1 и 2, Значение статистики = 1.626 Квантиль 1.224, H0 отклоняется\n",
      "n = 100, Выборки №1 и 3, Значение статистики = 1.344 Квантиль 1.224, H0 отклоняется\n",
      "n = 100, Выборки №1 и 4, Значение статистики = 0.8485 Квантиль 1.224, H0 принимается\n",
      "n = 100, Выборки №1 и 5, Значение статистики = 0.9899 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборки №2 и 3, Значение статистики = 0.7071 Квантиль 1.224, H0 принимается\n",
      "n = 100, Выборки №2 и 4, Значение статистики = 1.414 Квантиль 1.224, H0 отклоняется\n",
      "n = 100, Выборки №2 и 5, Значение статистики = 1.061 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборки №3 и 4, Значение статистики = 1.273 Квантиль 1.224, H0 отклоняется\n",
      "n = 100, Выборки №3 и 5, Значение статистики = 0.8485 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборки №4 и 5, Значение статистики = 0.6364 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборки №1 и 2, Значение статистики = 0.9391 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборки №1 и 3, Значение статистики = 0.8944 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборки №1 и 4, Значение статистики = 0.805 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборки №1 и 5, Значение статистики = 0.7826 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборки №2 и 3, Значение статистики = 0.6261 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборки №2 и 4, Значение статистики = 0.7155 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборки №2 и 5, Значение статистики = 0.559 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборки №3 и 4, Значение статистики = 0.6037 Квантиль 1.224, H0 принимается\n",
      "n = 1000, Выборки №3 и 5, Значение статистики = 0.6261 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборки №4 и 5, Значение статистики = 0.9391 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборки №1 и 2, Значение статистики = 0.4137 Квантиль 1.224, H0 принимается\n",
      "n = 100000, Выборки №1 и 3, Значение статистики = 1.185 Квантиль 1.224, H0 принимается\n",
      "n = 100000, Выборки №1 и 4, Значение статистики = 1.556 Квантиль 1.224, H0 отклоняется\n",
      "n = 100000, Выборки №1 и 5, Значение статистики = 0.6932 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборки №2 и 3, Значение статистики = 1.183 Квантиль 1.224, H0 принимается\n",
      "n = 100000, Выборки №2 и 4, Значение статистики = 1.491 Квантиль 1.224, H0 отклоняется\n",
      "n = 100000, Выборки №2 и 5, Значение статистики = 0.7737 Квантиль 1.224, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборки №3 и 4, Значение статистики = 0.7424 Квантиль 1.224, H0 принимается\n",
      "n = 100000, Выборки №3 и 5, Значение статистики = 1.59 Квантиль 1.224, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 100000, Выборки №4 и 5, Значение статистики = 1.733 Квантиль 1.224, H0 отклоняется\n",
      "====================================================================================================\n",
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.05              \n",
      "\n",
      "n = 5, Выборки №1 и 2, Значение статистики = 0.6325 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборки №1 и 3, Значение статистики = 0.6325 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборки №1 и 4, Значение статистики = 0.6325 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборки №1 и 5, Значение статистики = 0.6325 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 5, Выборки №2 и 3, Значение статистики = 0.6325 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборки №2 и 4, Значение статистики = 0.9487 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборки №2 и 5, Значение статистики = 0.6325 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 5, Выборки №3 и 4, Значение статистики = 0.6325 Квантиль 1.359, H0 принимается\n",
      "n = 5, Выборки №3 и 5, Значение статистики = 0.6325 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 5, Выборки №4 и 5, Значение статистики = 0.9487 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборки №1 и 2, Значение статистики = 0.8944 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборки №1 и 3, Значение статистики = 1.565 Квантиль 1.359, H0 отклоняется\n",
      "n = 10, Выборки №1 и 4, Значение статистики = 1.118 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборки №1 и 5, Значение статистики = 1.342 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборки №2 и 3, Значение статистики = 0.6708 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборки №2 и 4, Значение статистики = 0.8944 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборки №2 и 5, Значение статистики = 0.8944 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "n = 10, Выборки №3 и 4, Значение статистики = 0.8944 Квантиль 1.359, H0 принимается\n",
      "n = 10, Выборки №3 и 5, Значение статистики = 1.118 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборки №4 и 5, Значение статистики = 1.118 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборки №1 и 2, Значение статистики = 1.626 Квантиль 1.359, H0 отклоняется\n",
      "n = 100, Выборки №1 и 3, Значение статистики = 1.344 Квантиль 1.359, H0 принимается\n",
      "n = 100, Выборки №1 и 4, Значение статистики = 0.8485 Квантиль 1.359, H0 принимается\n",
      "n = 100, Выборки №1 и 5, Значение статистики = 0.9899 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборки №2 и 3, Значение статистики = 0.7071 Квантиль 1.359, H0 принимается\n",
      "n = 100, Выборки №2 и 4, Значение статистики = 1.414 Квантиль 1.359, H0 отклоняется\n",
      "n = 100, Выборки №2 и 5, Значение статистики = 1.061 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборки №3 и 4, Значение статистики = 1.273 Квантиль 1.359, H0 принимается\n",
      "n = 100, Выборки №3 и 5, Значение статистики = 0.8485 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборки №4 и 5, Значение статистики = 0.6364 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборки №1 и 2, Значение статистики = 0.9391 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборки №1 и 3, Значение статистики = 0.8944 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборки №1 и 4, Значение статистики = 0.805 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборки №1 и 5, Значение статистики = 0.7826 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборки №2 и 3, Значение статистики = 0.6261 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборки №2 и 4, Значение статистики = 0.7155 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборки №2 и 5, Значение статистики = 0.559 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборки №3 и 4, Значение статистики = 0.6037 Квантиль 1.359, H0 принимается\n",
      "n = 1000, Выборки №3 и 5, Значение статистики = 0.6261 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборки №4 и 5, Значение статистики = 0.9391 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборки №1 и 2, Значение статистики = 0.4137 Квантиль 1.359, H0 принимается\n",
      "n = 100000, Выборки №1 и 3, Значение статистики = 1.185 Квантиль 1.359, H0 принимается\n",
      "n = 100000, Выборки №1 и 4, Значение статистики = 1.556 Квантиль 1.359, H0 отклоняется\n",
      "n = 100000, Выборки №1 и 5, Значение статистики = 0.6932 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборки №2 и 3, Значение статистики = 1.183 Квантиль 1.359, H0 принимается\n",
      "n = 100000, Выборки №2 и 4, Значение статистики = 1.491 Квантиль 1.359, H0 отклоняется\n",
      "n = 100000, Выборки №2 и 5, Значение статистики = 0.7737 Квантиль 1.359, H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборки №3 и 4, Значение статистики = 0.7424 Квантиль 1.359, H0 принимается\n",
      "n = 100000, Выборки №3 и 5, Значение статистики = 1.59 Квантиль 1.359, H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 100000, Выборки №4 и 5, Значение статистики = 1.733 Квантиль 1.359, H0 отклоняется\n",
      "====================================================================================================\n"
     ]
    }
   ],
   "source": [
    "for alpha in [0.1, 0.05]:\n",
    "    print()\n",
    "    print(f\"                     УРОВЕНЬ ЗНАЧИМОСТИ {alpha}              \")\n",
    "    print()\n",
    "    for volume in data:\n",
    "        for i in range(len(data[volume])-1):\n",
    "            for j in range(i+1, len(data[volume])):\n",
    "                xx = np.arange(-1,11, 0.001)\n",
    "                D_n_M = max(list(map(lambda x: abs(ecdf(x,data[volume][i])-ecdf(x,data[volume][j])), xx)))\n",
    "                S_c = np.sqrt((volume/2)) * D_n_M\n",
    "                K = lambda x: 1 - kolmogorov(x)\n",
    "                q = compute_quntile(K, 1-alpha)\n",
    "                if(S_c<q):\n",
    "                    answ = \"H0 принимается\"\n",
    "                else:\n",
    "                    answ = \"H0 отклоняется\"\n",
    "    \n",
    "                print(f\"{'n = '+str(volume)},\",\n",
    "                      f\"Выборки №{i+1} и {j+1},\",\n",
    "                      f\"Значение статистики = {S_c:.4}\",\n",
    "                      f\"Квантиль {q:.4},\",\n",
    "                      answ)\n",
    "            print(\"=\"*100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Задание 4.2\n",
    "\n",
    "## Параметрические гипотезы. Критерий Неймонна-Пирсона.\n",
    "\n",
    "### Теоретическое введение"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В общем случае параметрические гипотезы строятся по следующему принципу. Пусть априори изветен вид распределения исследуемой случайной величины, то есть априори известно, что $F_\\xi(x) \\in \\mathcal{F}=\\{F(x, \\theta), \\theta\\in \\mathcal{\\Theta}\\}$.<br>\n",
    "В общем случае параметрической гипотезой будет $H_0$, утверждающая, что $\\theta \\in \\Theta_0$, где $\\Theta_0 \\subset \\Theta$ против альтернативной $H_1$, утверждающей, что $\\theta \\in \\Theta_1$, где $\\Theta_1 \\subset \\Theta \\backslash  \\Theta _0$.<br>\n",
    "Критерий - это правило, по которому случаную выборку стоит отнести к $H_0$ или $H_1$, поэтому он делает выборочное пространство $\\mathfrak{X} $ на 2 непересекающися множества $\\mathfrak{X}_0$ и $\\mathfrak{X}_1$ соответсвенно, в каком-то соотношении. <br>\n",
    "<br>\n",
    "Ошибкой 1го рода называют отвержение нулевой гипотезы, когда она истинна, а ошибкой 2го рода - принятие нулевой гипотезы, когда она ложна. Таким образом, граница критической области может задаваться ошибками 1го или 2го рода, например, чтобы вероянность ошибки 1го рода была не больше, чем $\\alpha$, то есть $P(\\vec{x}\\in{\\mathfrak{X}_1}|H_0)\\leq \\alpha$. При таком построении говорят, что критерий имеет уровня значимости и подчёркивают это обозначая $\\mathfrak{X}_1 = \\mathfrak{X}_{1\\alpha}$<br>\n",
    "Естественно стримиться построить критерий так, чтобы минимизировать обе ошибки, однако при фиксированном объёме выборки невозможно сделать сумму вероятнотсей ошибок сколь угодно малой. Поэтому рациональным принципом построения ошибок является выбор из всех критических областей $\\mathfrak{X}_{1\\alpha}$ (при заданном уровне значимости $\\alpha$) ту, у которой ошибка 2го рода минимальна.<br>\n",
    "<br>\n",
    "В параметрических гипотезах удобно рассматривать простой случай, когда нужно выбрать одну из двух гипотез: $H_0$, говоряющу, что параметр распределения равен $\\theta_0$, и $H_1$, говоряющу, что параметр распределения равен $\\theta_1$, где  $\\theta_0, \\space \\theta_1 \\in \\Theta \\space$ конкретные числа.<br>\n",
    "<br>\n",
    "Критерий Неймонна-Пирсона, заключается в том, чтобы сравнить отношение функций правдоподобия с неким числом, определяемым уровнем значимости $\\alpha$.<br>\n",
    "$$ l(\\vec{x}) = \\frac{L(\\vec{x}, \\theta_1)}{L(\\vec{x}, \\theta_0)},$$\n",
    "где $\\vec{x} =(x_1, ..., x_n ) \\space-$ выборка, $L(\\vec{x}, \\theta_j) = \\Pi_{i=1}^n f(x_i, \\theta_j), \\space j=0,1$<br>\n",
    "Тогда критическая область будет задаваться условием $l(\\vec{x})\\geq c_\\alpha$, где $c_\\alpha$ должно быть выбрано в соотвествии с уровнем значимости."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В некоторых случая расчитать закон распределения $l(\\vec{x})$ или $ln \\space l(\\vec{x})$ бывает сложно и затруднительно.<br>\n",
    "На помощь приходит центральная предельная теорма. Обозначим за $S_n = \\sum_{i=1}^n z_i$,  где  $z_i=ln\\frac{f(x_i, \\theta_1)}{f(x_i, \\theta_0)}=ln\\frac{f_1(x_i)}{f_0(x_i)}$, $i=1,...n$. Надо сказать, что $S_n$ - сумма независимых одинаково распределённых случайных величин. <br>\n",
    "Тогда событие $\\{l(\\vec{x})\\geq c\\}$ можно записать в виде $\\{S_n\\geq c'=ln\\space c\\}$ <br>\n",
    "Обозначим за $a_j = E_{\\theta_j}[Z_1]$, $\\space \\sigma_j^2 = D_{\\theta_j}[Z_1]$, $\\space j=0,1$ (считая, что эти моменты существуют).<br>\n",
    "Тогда при $n \\rightarrow \\infty$ на основании центральной предельной теоремы. <br>\n",
    "$$\\mathcal{L}_{\\theta_j}(\\frac{S_n - n \\space a_j}{\\sqrt{n}\\sigma_j}) \\sim \\mathcal{N}(0, 1), \\space\\space\\space j=0,1$$\n",
    "<br>\n",
    "Отсюда для больших выборок следует, что $\\alpha=P(S_n\\geq c'|H_0) = P(\\frac{S_n - n \\space a_0}{\\sqrt{n}\\sigma_0}\\geq \\frac{c' - n \\space a_0}{\\sqrt{n}\\sigma_0}|H_0) $, то есть $\\frac{c' - n \\space a_0}{\\sqrt{n}\\sigma_0}$ - это квантиль уровня $1-\\alpha$ стандартного нормельного распределения.<br>\n",
    "Это можно записать как $\\frac{c' - n \\space a_0}{\\sqrt{n}\\sigma_0}=t_\\alpha, \\Phi(t_\\alpha)=\\alpha$, где $t_\\alpha -$ искомый квантиль, $\\Phi$ - функция Лапласса.<br>\n",
    "Таким образом, можно заключить, что для больших выборок критерий может выглядеть как:<br>\n",
    "\n",
    "$$ H_0\\space отвергается \\space \\space \\Leftrightarrow \\space\\space S_n\\geq na_0 + t_\\alpha \\sigma_0 \\sqrt{n}$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Вопрос о выборе значений для $\\theta_1$ и $\\theta_2$ остаётся открытым, но решаемым. Так, например, для того, чтобы избавиться от зависимости от распределения выборку можно раздить на 2 части, по одной из которых оценить  $\\theta_1$, а  $\\theta_2$ взять с неким отклонением от  $\\theta_1$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Критерий Неймонна-Пирсона для Гипергеометрического распределения"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пусть $\\vec{x} = (x_1, x_2, ..., x_m)$ - выборка исследуемого распределения, заданного семейством $\\mathcal{F}=\\{HG(\\theta, M, n), \\theta\\in \\mathcal{\\Theta}\\}$, где $M,\\space  n \\space -$ известные параметры.<br>\n",
    "Пусть есть простая гипотеза $H_0: \\space \\theta=\\theta_0$, против альтернативной $H_1: \\space \\theta=\\theta_1$, где $\\theta_0<\\theta_1$. <br>\n",
    "Для начала воспользуемся известным приближением. Будем предпологать, что $\\frac{M}{\\theta} << 1$ и $n >> 1$, тогда гиепергеометрическое распределение приближается распределением Пуассона $\\Pi(\\frac{nM}{\\theta}) $.<br>\n",
    "Найдём распределение $ln \\space l(\\vec{x})$ и определим $c_\\alpha$ для заданного уровня значимости<br><br>\n",
    "$$ ln \\space l(\\vec{x}) = \\sum_{i=1}^m\\big(-\\frac{nM}{\\theta_1} + x_i \\space ln \\frac{nM}{\\theta_1}- ln \\space x_i! +\\frac{nM}{\\theta_0} - x_i \\space ln \\frac{nM}{\\theta_0}+ ln \\space x_i! \\big) =$$\n",
    "$$ = \\sum_{i=1}^n\\big(-\\frac{nM}{\\theta_1} + x_i \\space ln \\frac{nM}{\\theta_1} +\\frac{nM}{\\theta_0} - x_i \\space ln \\frac{nM}{\\theta_0} \\big) = m n M\\space ( \\frac{1}{\\theta_0} - \\frac{1}{\\theta_1}) + ln \\frac{\\theta_0}{\\theta_1}\\sum_{i=1}^n x_i \\space \\geq c_\\alpha$$\n",
    "<br>\n",
    "$$\\alpha = P( m n M\\space ( \\frac{1}{\\theta_0} - \\frac{1}{\\theta_1}) + ln \\frac{\\theta_0}{\\theta_1}\\sum_{i=1}^n x_i \\space \\geq c_\\alpha|H_0) = P(\\sum_{i=1}^n x_i \\leq \\frac{c_\\alpha -  m n M\\space ( \\frac{1}{\\theta_0} - \\frac{1}{\\theta_1})}{ln \\frac{\\theta_0}{\\theta_1}}|H_0)$$<br>\n",
    "Тогда, вспомнив, что $\\xi=\\sum_{i=1}^n x_i$ (при верности гипотезы $H_0$) будет распределена как $\\Pi(m\\frac{nM}{\\theta_0}) $.<br><br>\n",
    "Значит, c надо выбирать равным $c_\\alpha = t_\\alpha ln \\frac{\\theta_0}{\\theta_1} + m n M\\space ( \\frac{1}{\\theta_0} - \\frac{1}{\\theta_1})$, где $t_{1-\\alpha} \\space -$ кваниль уровня $\\alpha$ распределения $\\Pi(m\\frac{nM}{\\theta_0})$.\n",
    "<br>\n",
    "Преобразуем итоговое неравенство:<br>\n",
    "$$ m n M\\space ( \\frac{1}{\\theta_0} - \\frac{1}{\\theta_1}) + ln \\frac{\\theta_0}{\\theta_1}\\sum_{i=1}^n x_i \\geq c_\\alpha = t_{1-\\alpha} ln \\frac{\\theta_0}{\\theta_1} + m n M\\space ( \\frac{1}{\\theta_0} - \\frac{1}{\\theta_1})$$\n",
    "<br>\n",
    "$$ \\sum_{i=1}^n x_i \\leq t_{1-\\alpha} $$\n",
    "<br>\n",
    "Имеем итоговый вид критерия:<br>\n",
    "$$ H_0\\space отвергается \\space \\space \\Leftrightarrow \\space\\space \\sum_{i=1}^n x_i \\leq t_{1-\\alpha},\\spaceгде\\space t_{1-\\alpha} \\space -\\spaceкваниль\\spaceуровня\\space\\alpha\\spaceраспределения\\space\\Pi(m\\frac{nM}{\\theta_0})$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Поскольку мы получили критерий, который имеет зависимость только от нулевой гипотезы, расчитаем также значение ошибки 2го рода, потому что нам важно её уменьшение с ростом выборки.<br>\n",
    "$$1-\\beta = P(ln \\space l(\\vec{x}) \\leq c_\\alpha|H_1) = P(\\sum_{i=1}^n x_i \\geq \\frac{c_\\alpha -  m n M\\space ( \\frac{1}{\\theta_0} - \\frac{1}{\\theta_1})}{ln \\frac{\\theta_0}{\\theta_1}}|H_1)$$<br>\n",
    "Подставив значение $c_\\alpha$ получим $\\beta = P(\\sum_{i=1}^n x_i  \\geq t_{1-\\alpha}|H_1)=1-F_\\eta(t_{1-\\alpha})$, где $\\eta=\\sum_{i=1}^n x_i \\space \\sim \\space \\Pi(m\\frac{nM}{\\theta_1})$. Тогда имеем, что<br><br> $$ \\beta =1-F_\\eta(t_{1-\\alpha}) $$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Зададим  гипергеометрическое распределение $HG(200, 70, 10)$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "from scipy.stats import hypergeom, poisson\n",
    "\n",
    "volumes = [5, 10, 100, 1000, 10**5]\n",
    "count_samples = 5\n",
    "\n",
    "N, M, n = (200, 70, 10)\n",
    "hg = hypergeom(N, n, M)\n",
    "\n",
    "np.random.seed(1000)\n",
    "data = {v: np.array([hg.rvs(size=v) for _ in range(count_samples)]) for v in volumes}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Применим параметрический критерий для $HG(\\theta, 70, 10)$\n",
    "Рассмотрим уровени значимости $\\alpha = 0.1, \\space 0.05 $<br> \n",
    "Гиптоза $H_0$ утверждает, что исследуемая $\\theta = 200$, в то время как гиптоза $H_1$ утверждает, что исследуемая $\\theta = 300$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "def compute_quntile(cdf, a, eps=0.001, min_range=-1, max_range=30):\n",
    "    x = np.arange(min_range, max_range, eps)\n",
    "    for xx in x:\n",
    "        if cdf(xx)<a and cdf(xx+eps)>a:\n",
    "            return xx+eps\n",
    "    return compute_quntile(cdf, a, eps=eps*5, min_range=max_range, max_range=max_range*10)\n",
    "\n",
    "def ecdf(x, data):\n",
    "    return data[data<=x].size / data.size\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.1              \n",
      "\n",
      "n = 5, Выборка №1, Значение суммы = 20 Квантиль 12.1, Ошибка 2-го рода 0.386 H0 принимается\n",
      "n = 5, Выборка №2, Значение суммы = 14 Квантиль 12.1, Ошибка 2-го рода 0.386 H0 принимается\n",
      "n = 5, Выборка №3, Значение суммы = 16 Квантиль 12.1, Ошибка 2-го рода 0.386 H0 принимается\n",
      "n = 5, Выборка №4, Значение суммы = 21 Квантиль 12.1, Ошибка 2-го рода 0.386 H0 принимается\n",
      "n = 5, Выборка №5, Значение суммы = 16 Квантиль 12.1, Ошибка 2-го рода 0.386 H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборка №1, Значение суммы = 41 Квантиль 28.1, Ошибка 2-го рода 0.143 H0 принимается\n",
      "n = 10, Выборка №2, Значение суммы = 23 Квантиль 28.1, Ошибка 2-го рода 0.143 H0 отклоняется\n",
      "n = 10, Выборка №3, Значение суммы = 28 Квантиль 28.1, Ошибка 2-го рода 0.143 H0 отклоняется\n",
      "n = 10, Выборка №4, Значение суммы = 36 Квантиль 28.1, Ошибка 2-го рода 0.143 H0 принимается\n",
      "n = 10, Выборка №5, Значение суммы = 34 Квантиль 28.1, Ошибка 2-го рода 0.143 H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, Значение суммы = 359 Квантиль 327.5, Ошибка 2-го рода 2.985e-09 H0 принимается\n",
      "n = 100, Выборка №2, Значение суммы = 330 Квантиль 327.5, Ошибка 2-го рода 2.985e-09 H0 принимается\n",
      "n = 100, Выборка №3, Значение суммы = 382 Квантиль 327.5, Ошибка 2-го рода 2.985e-09 H0 принимается\n",
      "n = 100, Выборка №4, Значение суммы = 344 Квантиль 327.5, Ошибка 2-го рода 2.985e-09 H0 принимается\n",
      "n = 100, Выборка №5, Значение суммы = 377 Квантиль 327.5, Ошибка 2-го рода 2.985e-09 H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, Значение суммы = 3507 Квантиль 3.425e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 1000, Выборка №2, Значение суммы = 3473 Квантиль 3.425e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 1000, Выборка №3, Значение суммы = 3409 Квантиль 3.425e+03, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 1000, Выборка №4, Значение суммы = 3533 Квантиль 3.425e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 1000, Выборка №5, Значение суммы = 3514 Квантиль 3.425e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, Значение суммы = 349755 Квантиль 3.494e+05, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 100000, Выборка №2, Значение суммы = 350191 Квантиль 3.494e+05, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 100000, Выборка №3, Значение суммы = 349428 Квантиль 3.494e+05, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 100000, Выборка №4, Значение суммы = 349546 Квантиль 3.494e+05, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 100000, Выборка №5, Значение суммы = 349160 Квантиль 3.494e+05, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "====================================================================================================\n",
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.05              \n",
      "\n",
      "n = 5, Выборка №1, Значение суммы = 20 Квантиль 11.1, Ошибка 2-го рода 0.4998 H0 принимается\n",
      "n = 5, Выборка №2, Значение суммы = 14 Квантиль 11.1, Ошибка 2-го рода 0.4998 H0 принимается\n",
      "n = 5, Выборка №3, Значение суммы = 16 Квантиль 11.1, Ошибка 2-го рода 0.4998 H0 принимается\n",
      "n = 5, Выборка №4, Значение суммы = 21 Квантиль 11.1, Ошибка 2-го рода 0.4998 H0 принимается\n",
      "n = 5, Выборка №5, Значение суммы = 16 Квантиль 11.1, Ошибка 2-го рода 0.4998 H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборка №1, Значение суммы = 41 Квантиль 26.1, Ошибка 2-го рода 0.2497 H0 принимается\n",
      "n = 10, Выборка №2, Значение суммы = 23 Квантиль 26.1, Ошибка 2-го рода 0.2497 H0 отклоняется\n",
      "n = 10, Выборка №3, Значение суммы = 28 Квантиль 26.1, Ошибка 2-го рода 0.2497 H0 принимается\n",
      "n = 10, Выборка №4, Значение суммы = 36 Квантиль 26.1, Ошибка 2-го рода 0.2497 H0 принимается\n",
      "n = 10, Выборка №5, Значение суммы = 34 Квантиль 26.1, Ошибка 2-го рода 0.2497 H0 принимается\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, Значение суммы = 359 Квантиль 320.0, Ошибка 2-го рода 3.196e-08 H0 принимается\n",
      "n = 100, Выборка №2, Значение суммы = 330 Квантиль 320.0, Ошибка 2-го рода 3.196e-08 H0 принимается\n",
      "n = 100, Выборка №3, Значение суммы = 382 Квантиль 320.0, Ошибка 2-го рода 3.196e-08 H0 принимается\n",
      "n = 100, Выборка №4, Значение суммы = 344 Квантиль 320.0, Ошибка 2-го рода 3.196e-08 H0 принимается\n",
      "n = 100, Выборка №5, Значение суммы = 377 Квантиль 320.0, Ошибка 2-го рода 3.196e-08 H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, Значение суммы = 3507 Квантиль 3.412e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 1000, Выборка №2, Значение суммы = 3473 Квантиль 3.412e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 1000, Выборка №3, Значение суммы = 3409 Квантиль 3.412e+03, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 1000, Выборка №4, Значение суммы = 3533 Квантиль 3.412e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 1000, Выборка №5, Значение суммы = 3514 Квантиль 3.412e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, Значение суммы = 349755 Квантиль 3.491e+05, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 100000, Выборка №2, Значение суммы = 350191 Квантиль 3.491e+05, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 100000, Выборка №3, Значение суммы = 349428 Квантиль 3.491e+05, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 100000, Выборка №4, Значение суммы = 349546 Квантиль 3.491e+05, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 100000, Выборка №5, Значение суммы = 349160 Квантиль 3.491e+05, Ошибка 2-го рода 0.0 H0 принимается\n",
      "====================================================================================================\n"
     ]
    }
   ],
   "source": [
    "hyposis = [[200, 300], 70, 10]\n",
    "for alpha in [0.1, 0.05]:\n",
    "    print()\n",
    "    print(f\"                     УРОВЕНЬ ЗНАЧИМОСТИ {alpha}              \")\n",
    "    print()\n",
    "    for volume in volumes:\n",
    "#         if volume >1000:\n",
    "#             continue\n",
    "        for choice in range(count_samples):\n",
    "            lamb = volume*hyposis[1]*hyposis[2]/hyposis[0][0]\n",
    "            F_xi = poisson(lamb).cdf\n",
    "            t = compute_quntile(F_xi, alpha, eps=0.1)\n",
    "            summ = np.sum(data[volume][choice])\n",
    "            if(summ>=t):\n",
    "                answ = \"H0 принимается\"\n",
    "            else:\n",
    "                answ = \"H0 отклоняется\"\n",
    "            lamb_eta = volume*hyposis[1]*hyposis[2]/hyposis[0][1]\n",
    "            F_eta = poisson(lamb_eta).cdf\n",
    "            beta = 1- F_eta(t)\n",
    "            print(f\"{'n = '+str(volume)},\",\n",
    "                  f\"Выборка №{choice+1},\",\n",
    "                  f\"Значение суммы = {summ}\",\n",
    "                  f\"Квантиль {t:.4},\",\n",
    "                  f\"Ошибка 2-го рода {beta:.4}\",\n",
    "                  answ)\n",
    "        print(\"=\"*100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Критерий Неймонна-Пирсона для Гамма распределения"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пусть $\\vec{x} = (x_1, x_2, ..., x_n)$ - выборка исследуемого распределения, заданного семейством $\\mathcal{F}=\\{\\Gamma(\\alpha, \\theta), \\theta\\in \\mathcal{\\Theta}\\}$, где $\\alpha \\space -$ известный параметр .<br>\n",
    "Пусть есть простая гипотеза $H_0: \\space \\theta=\\theta_0$, против альтернативной $H_1: \\space \\theta=\\theta_1$, где $\\theta_0<\\theta_1$. <br>\n",
    "Найдём распределение $ln \\space l(\\vec{x})$ и определим $c_\\alpha$ для заданного уровня значимости<br>\n",
    "$$ ln \\space l(\\vec{x}) = \\sum_{i=1}^n\\big((\\alpha-1)ln\\space x_i + \\alpha \\space ln\\space \\theta_1 - \\theta_1 x_i - \\Gamma(\\alpha) - (\\alpha-1)ln\\space x_i - \\alpha \\space ln\\space \\theta_0 + \\theta_0 x_i + \\Gamma(\\alpha) \\big) =$$\n",
    "$$ = \\sum_{i=1}^n\\big(\\alpha \\space ln\\space \\theta_1 - \\theta_1 x_i - \\alpha \\space ln\\space \\theta_0 + \\theta_0 x_i \\big) = n \\space ln \\frac{\\theta_1}{\\theta_0} + (\\theta_0-\\theta_1)\\sum_{i=1}^n x_i \\space \\geq c_\\alpha$$\n",
    "<br>\n",
    "$$\\alpha = P(n \\space ln \\frac{\\theta_1}{\\theta_0} + (\\theta_0-\\theta_1)\\sum_{i=1}^n x_i \\space \\geq c_\\alpha|H_0) = P(\\sum_{i=1}^n x_i \\leq \\frac{c_\\alpha - n\\space\\alpha\\space ln \\frac{\\theta_1}{\\theta_0}}{\\theta_0-\\theta_1}|H_0)$$\n",
    "Тогда, вспомнив, что $\\xi=\\sum_{i=1}^n x_i$ (при верности гипотезы $H_0$) будет распределена как $\\Gamma(n\\alpha, \\theta_0)$.<br><br>\n",
    "Значит, c надо выбирать равным $c_\\alpha = t_{1-\\alpha} \\space (\\theta_0-\\theta_1) + n\\space\\alpha\\space ln \\frac{\\theta_1}{\\theta_0}$, где $t_{1-\\alpha} \\space -$ кваниль уровня $\\alpha$ распределения $\\Gamma(n\\space \\alpha, \\theta_0)$.\n",
    "<br>\n",
    "Преобразуем итоговое неравенство:<br>\n",
    "$$ n \\space ln \\frac{\\theta_1}{\\theta_0} + (\\theta_0-\\theta_1)\\sum_{i=1}^n x_i \\space =ln \\space l(\\vec{x}) \\geq c_\\alpha=t_{1-\\alpha} \\space (\\theta_0-\\theta_1) + n\\space\\alpha\\space ln \\frac{\\theta_1}{\\theta_0}$$\n",
    "<br>\n",
    "$$ \\sum_{i=1}^n x_i \\leq t_{1-\\alpha} $$\n",
    "<br>\n",
    "Имеем итоговый вид критерия:<br>\n",
    "$$ H_0\\space отвергается \\space \\space \\Leftrightarrow \\space\\space \\sum_{i=1}^n x_i \\leq t_{1-\\alpha},\\spaceгде\\space t_{1-\\alpha} \\space -\\spaceкваниль\\spaceуровня\\space\\alpha\\spaceраспределения\\space\\Gamma(n\\alpha, \\theta_0)$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Поскольку мы получили критерий, который имеет зависимость только от нулевой гипотезы, расчитаем также значение ошибки 2го рода, потому что нам важно её уменьшение с ростом выборки.<br>\n",
    "$$1-\\beta = P(ln \\space l(\\vec{x}) \\leq c_\\alpha|H_1) = P(\\sum_{i=1}^n x_i \\geq \\frac{c_\\alpha - n\\space\\alpha\\space ln \\frac{\\theta_1}{\\theta_0}}{\\theta_0-\\theta_1}|H_1)$$<br>\n",
    "Подставив значение $c_\\alpha$ получим $\\beta = P(\\sum_{i=1}^n x_i  \\geq t_{1-\\alpha}|H_1)=1-F_\\eta(t_{1-\\alpha})$, где $\\eta=\\sum_{i=1}^n x_i \\space \\sim \\space \\Gamma(n\\space \\alpha, \\theta_1)$. Тогда имеем, что<br><br> $$ \\beta =1-F_\\eta(t_{1-\\alpha}) $$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Зададим гамма-распределение $\\Gamma(2, 1/2)$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "from scipy.stats import gamma\n",
    "\n",
    "volumes = [5, 10, 100, 1000, 10**5]\n",
    "count_samples = 5\n",
    "\n",
    "a, th = 2, 1/2 \n",
    "g = gamma(a, scale=1/th)\n",
    "\n",
    "np.random.seed(1000)\n",
    "data = {v: np.array([g.rvs(size=v) for _ in range(count_samples)]) for v in volumes}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Применим параметрический критерий для $\\Gamma(2, \\theta)$\n",
    "Рассмотрим уровени значимости $\\alpha = 0.1, \\space 0.05 $<br> \n",
    "Гиптоза $H_0$ утверждает, что исследуемая $\\theta = 15/31$, в то время как гиптоза $H_1$ утверждает, что исследуемая $\\theta = 31/41$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "def compute_quntile(cdf, a, eps=0.001, min_range=-1, max_range=30):\n",
    "    x = np.arange(min_range, max_range, eps)\n",
    "    for xx in x:\n",
    "        if cdf(xx)<a and cdf(xx+eps)>a:\n",
    "            return xx+eps\n",
    "    return compute_quntile(cdf, a, eps=eps*5, min_range=max_range, max_range=max_range*10)\n",
    "\n",
    "def ecdf(x, data):\n",
    "    return data[data<=x].size / data.size\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.1              \n",
      "\n",
      "n = 5, Выборка №1, Значение суммы = 18.07 Квантиль 12.9, Ошибка 2-го рода 0.4891 H0 принимается\n",
      "n = 5, Выборка №2, Значение суммы = 14.26 Квантиль 12.9, Ошибка 2-го рода 0.4891 H0 принимается\n",
      "n = 5, Выборка №3, Значение суммы = 22.11 Квантиль 12.9, Ошибка 2-го рода 0.4891 H0 принимается\n",
      "n = 5, Выборка №4, Значение суммы = 22.93 Квантиль 12.9, Ошибка 2-го рода 0.4891 H0 принимается\n",
      "n = 5, Выборка №5, Значение суммы = 13.02 Квантиль 12.9, Ошибка 2-го рода 0.4891 H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборка №1, Значение суммы = 15.73 Квантиль 30.5, Ошибка 2-го рода 0.2339 H0 отклоняется\n",
      "n = 10, Выборка №2, Значение суммы = 42.34 Квантиль 30.5, Ошибка 2-го рода 0.2339 H0 принимается\n",
      "n = 10, Выборка №3, Значение суммы = 46.46 Квантиль 30.5, Ошибка 2-го рода 0.2339 H0 принимается\n",
      "n = 10, Выборка №4, Значение суммы = 33.21 Квантиль 30.5, Ошибка 2-го рода 0.2339 H0 принимается\n",
      "n = 10, Выборка №5, Значение суммы = 26.12 Квантиль 30.5, Ошибка 2-го рода 0.2339 H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, Значение суммы = 331.8 Квантиль 377.5, Ошибка 2-го рода 3.949e-08 H0 отклоняется\n",
      "n = 100, Выборка №2, Значение суммы = 457.6 Квантиль 377.5, Ошибка 2-го рода 3.949e-08 H0 принимается\n",
      "n = 100, Выборка №3, Значение суммы = 443.1 Квантиль 377.5, Ошибка 2-го рода 3.949e-08 H0 принимается\n",
      "n = 100, Выборка №4, Значение суммы = 363.5 Квантиль 377.5, Ошибка 2-го рода 3.949e-08 H0 отклоняется\n",
      "n = 100, Выборка №5, Значение суммы = 376.8 Квантиль 377.5, Ошибка 2-го рода 3.949e-08 H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, Значение суммы = 3.906e+03 Квантиль 4.025e+03, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 1000, Выборка №2, Значение суммы = 4.003e+03 Квантиль 4.025e+03, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 1000, Выборка №3, Значение суммы = 4.058e+03 Квантиль 4.025e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 1000, Выборка №4, Значение суммы = 4.077e+03 Квантиль 4.025e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 1000, Выборка №5, Значение суммы = 3.91e+03 Квантиль 4.025e+03, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, Значение суммы = 3.997e+05 Квантиль 4.122e+05, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 100000, Выборка №2, Значение суммы = 3.991e+05 Квантиль 4.122e+05, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 100000, Выборка №3, Значение суммы = 4.012e+05 Квантиль 4.122e+05, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 100000, Выборка №4, Значение суммы = 4.028e+05 Квантиль 4.122e+05, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 100000, Выборка №5, Значение суммы = 3.989e+05 Квантиль 4.122e+05, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "====================================================================================================\n",
      "\n",
      "                     УРОВЕНЬ ЗНАЧИМОСТИ 0.05              \n",
      "\n",
      "n = 5, Выборка №1, Значение суммы = 18.07 Квантиль 11.3, Ошибка 2-го рода 0.6473 H0 принимается\n",
      "n = 5, Выборка №2, Значение суммы = 14.26 Квантиль 11.3, Ошибка 2-го рода 0.6473 H0 принимается\n",
      "n = 5, Выборка №3, Значение суммы = 22.11 Квантиль 11.3, Ошибка 2-го рода 0.6473 H0 принимается\n",
      "n = 5, Выборка №4, Значение суммы = 22.93 Квантиль 11.3, Ошибка 2-го рода 0.6473 H0 принимается\n",
      "n = 5, Выборка №5, Значение суммы = 13.02 Квантиль 11.3, Ошибка 2-го рода 0.6473 H0 принимается\n",
      "====================================================================================================\n",
      "n = 10, Выборка №1, Значение суммы = 15.73 Квантиль 27.4, Ошибка 2-го рода 0.4079 H0 отклоняется\n",
      "n = 10, Выборка №2, Значение суммы = 42.34 Квантиль 27.4, Ошибка 2-го рода 0.4079 H0 принимается\n",
      "n = 10, Выборка №3, Значение суммы = 46.46 Квантиль 27.4, Ошибка 2-го рода 0.4079 H0 принимается\n",
      "n = 10, Выборка №4, Значение суммы = 33.21 Квантиль 27.4, Ошибка 2-го рода 0.4079 H0 принимается\n",
      "n = 10, Выборка №5, Значение суммы = 26.12 Квантиль 27.4, Ошибка 2-го рода 0.4079 H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 100, Выборка №1, Значение суммы = 331.8 Квантиль 367.5, Ошибка 2-го рода 3.855e-07 H0 отклоняется\n",
      "n = 100, Выборка №2, Значение суммы = 457.6 Квантиль 367.5, Ошибка 2-го рода 3.855e-07 H0 принимается\n",
      "n = 100, Выборка №3, Значение суммы = 443.1 Квантиль 367.5, Ошибка 2-го рода 3.855e-07 H0 принимается\n",
      "n = 100, Выборка №4, Значение суммы = 363.5 Квантиль 367.5, Ошибка 2-го рода 3.855e-07 H0 отклоняется\n",
      "n = 100, Выборка №5, Значение суммы = 376.8 Квантиль 367.5, Ошибка 2-го рода 3.855e-07 H0 принимается\n",
      "====================================================================================================\n",
      "n = 1000, Выборка №1, Значение суммы = 3.906e+03 Квантиль 3.988e+03, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 1000, Выборка №2, Значение суммы = 4.003e+03 Квантиль 3.988e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 1000, Выборка №3, Значение суммы = 4.058e+03 Квантиль 3.988e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 1000, Выборка №4, Значение суммы = 4.077e+03 Квантиль 3.988e+03, Ошибка 2-го рода 0.0 H0 принимается\n",
      "n = 1000, Выборка №5, Значение суммы = 3.91e+03 Квантиль 3.988e+03, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "====================================================================================================\n",
      "n = 100000, Выборка №1, Значение суммы = 3.997e+05 Квантиль 4.119e+05, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 100000, Выборка №2, Значение суммы = 3.991e+05 Квантиль 4.119e+05, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 100000, Выборка №3, Значение суммы = 4.012e+05 Квантиль 4.119e+05, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 100000, Выборка №4, Значение суммы = 4.028e+05 Квантиль 4.119e+05, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "n = 100000, Выборка №5, Значение суммы = 3.989e+05 Квантиль 4.119e+05, Ошибка 2-го рода 0.0 H0 отклоняется\n",
      "====================================================================================================\n"
     ]
    }
   ],
   "source": [
    "hyposis = [2, [15/31, 31/41]]\n",
    "for alpha in [0.1, 0.05]:\n",
    "    print()\n",
    "    print(f\"                     УРОВЕНЬ ЗНАЧИМОСТИ {alpha}              \")\n",
    "    print()\n",
    "    for volume in volumes:\n",
    "#         if volume >1000:\n",
    "#             continue\n",
    "        for choice in range(count_samples):\n",
    "            F_xi = gamma(volume*hyposis[0], scale=1/hyposis[1][0]).cdf\n",
    "            t = compute_quntile(F_xi, alpha, eps=0.1)\n",
    "            summ = np.sum(data[volume][choice])\n",
    "            if(summ>=t):\n",
    "                answ = \"H0 принимается\"\n",
    "            else:\n",
    "                answ = \"H0 отклоняется\"\n",
    "            F_eta = gamma(volume*hyposis[0], scale=1/hyposis[1][1]).cdf\n",
    "            beta = 1- F_eta(t)\n",
    "            print(f\"{'n = '+str(volume)},\",\n",
    "                  f\"Выборка №{choice+1},\",\n",
    "                  f\"Значение суммы = {summ:.4}\",\n",
    "                  f\"Квантиль {t:.4},\",\n",
    "                  f\"Ошибка 2-го рода {beta:.4}\",\n",
    "                  answ)\n",
    "        print(\"=\"*100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Как видно из примера, если значение одной из гипотез близко к истинному, то приниматься критерием будет именно она. Однако же на больших выборках, критерий начинает отклонять эту гипотезу, что позволяет более точно искать значение параметра."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}