Популярные статистические тесты.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Домашнее задание"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Используя информацию по мидиям Петербурга и Магадана, которые представлены в виде двух массивов petersburg и magadan в разделе ANOVA тест, проверьте данные на нормальность и на наличие корреляции. Для этого объедините 2 массива в DataFrame. Обоснуйте выбор теста на корреляцию. Сделайте вывод по гипотезе.\n",
    " \n",
    " \n",
    "Также ответьте на вопрос:\n",
    "Какова разница в среднем размере мидии в зависимости от города-производителя. Обоснуйте выбор теста. Сделайте вывод по гипотезе.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "metadata": {},
   "outputs": [],
   "source": [
    "# В качестве данных возьмем информацию по размерам раковины мидий, выращенных в разных местах.\n",
    "petersburg = [0.0974, 0.1352, 0.0817, 0.1016, 0.0968, 0.1064, 0.105]\n",
    "magadan = [0.1033, 0.0915, 0.0781, 0.0685, 0.0677, 0.0697, 0.0764,\n",
    "           0.0689]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "from scipy.stats import shapiro\n",
    "from scipy.stats import normaltest"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "False"
      ]
     },
     "execution_count": 81,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_petersburg = pd.DataFrame({'petersburg': petersburg})\n",
    "df_magadan = pd.DataFrame({'magadan': magadan})\n",
    "data = pd.concat([df_petersburg, df_magadan], axis=1)\n",
    "len(petersburg)==len(magadan)   # Равны ли длины списков?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Длины списков не равны, в общем датафрейме будут NaN\n",
    "f_df = data.copy()  # копия исходного датафрейма\n",
    "# Поскольку информации о наличии выбросов нет, заменим NaN медианным значением\n",
    "f_df = f_df.fillna(f_df.median()) # f_df - датафрейм без NaN, data - исходный"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Проверка данных на нормальность"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {},
   "outputs": [],
   "source": [
    "H0 = 'Данные распределены нормально'\n",
    "Ha = 'Данные не распределены нормально (мы отвергаем H0)'\n",
    "alpha = 0.05   # Установим уровень значимости"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Тест Шапиро-Уилка"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "petersburg:  p=0.106   Данные распределены нормально\n",
      "magadan:  p=0.036   Данные не распределены нормально (мы отвергаем H0)\n"
     ]
    }
   ],
   "source": [
    "def get_shapiro(df, col):\n",
    "    \"\"\"Аргументы: df - датафрейм, col - столбец анализируемого датафрейма;\n",
    "    возвращаемые значения - значение \"p\" и интерпретация гипотез \"H\" \"\"\"\n",
    "    global alpha\n",
    "    _, p = shapiro(df[col])\n",
    "    # Интерпретация \n",
    "    if p > alpha:\n",
    "\t    H = H0\n",
    "    else:\n",
    "\t    H = Ha\n",
    "    return p, H\n",
    "\n",
    "for col in list(f_df.columns):\n",
    "    print(f'{col}:  p={round(get_shapiro(f_df, col)[0], 3)}   {get_shapiro(f_df, col)[1]}')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Одна группа не прошла тест на нормальность, корректнее будет проводить непараметрический корреляционный тест."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Тест Д’Агостино"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "petersburg:  p=0.035   Данные распределены нормально\n",
      "magadan:  p=0.154   Данные распределены нормально\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "c:\\Users\\Rui\\AppData\\Local\\Programs\\Python\\Python39\\lib\\site-packages\\scipy\\stats\\_stats_py.py:1477: UserWarning: kurtosistest only valid for n>=20 ... continuing anyway, n=8\n",
      "  warnings.warn(\"kurtosistest only valid for n>=20 ... continuing \"\n"
     ]
    }
   ],
   "source": [
    "def get_n_t(df, i):\n",
    "    \"\"\"Аргументы: df - датафрейм, i - номер столбца анализируемого датафрейма;\n",
    "    возвращаемые значения - значение \"p\" и интерпретация гипотез \"H\" \"\"\"    \n",
    "    global alpha\n",
    "    _, p = normaltest(df)\n",
    "    # normaltest возвращает двустороннюю вероятность для проверки гипотезы\n",
    "    # Интерпретация \n",
    "    if p[i] > alpha/2:\n",
    "    \tH = H0\n",
    "    else:\n",
    "    \tH = Ha\n",
    "    return p[i], H \n",
    "\n",
    "for i in range(f_df.shape[1]):\n",
    "    print(\n",
    "    f'{list(f_df.columns)[i]}:  p={round(get_n_t(f_df, i)[0],3)}   {get_n_t(f_df, i)[1]}')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Тест Д’Агостино  вычисляет эксцесс и перекос по данным, чтобы определить, отклоняется ли распределение данных от нормального распределения. Перекос (асимметрию skewness) по исходным данным определить невозможно.\n",
    "\n",
    "\n",
    "\"skewtest is not valid with less than 8 samples; 7 samples were given\"\n",
    "\n",
    "В столбце 'petersburg' до замены Nan на медианное значение 7 значений. \n",
    "\n",
    "Вообще тест Д’Агостино использовать некорректно для числа наблюдений меньше 20. \n",
    "\n",
    "Имеем две количественных переменных, причем одна группа не прошла проверку на нормальность по тесту Шапиро-Уилка.\n",
    " \n",
    "Поэтому выбираем тест на корреляцию Спирмена."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Корреляция Спирмана"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "corr = 0.155691, p = 0.712762\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>petersburg</th>\n",
       "      <th>magadan</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>petersburg</th>\n",
       "      <td>1.000000</td>\n",
       "      <td>0.155691</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>magadan</th>\n",
       "      <td>0.155691</td>\n",
       "      <td>1.000000</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "            petersburg   magadan\n",
       "petersburg    1.000000  0.155691\n",
       "magadan       0.155691  1.000000"
      ]
     },
     "execution_count": 86,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from scipy.stats import spearmanr\n",
    "corr, p = spearmanr(f_df['petersburg'], f_df['magadan'])\n",
    "print(f'corr = {round(corr, 6)}, p = {round(p, 6)}')\n",
    "f_df.corr(method = 'spearman')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 87,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.713 > 0.05. Мы не можем отвергнуть нулевую гипотезу об отсутствии зависимости между переменными.\n"
     ]
    }
   ],
   "source": [
    "if p>alpha:\n",
    "    print(f\"{round(p, 3)} > {alpha}. Мы не можем отвергнуть нулевую гипотезу об отсутствии зависимости между переменными.\")\n",
    "else:\n",
    "    print(f\"{round(p, 3)} <= {alpha}. Мы отвергаем нулевую гипотезу об отсутствии зависимости между переменными.\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Делаем вывод, что зависимость между размерами мидий из Магадана и Санкт-Петербурга отсутствует (очень слабая, corr меньше 0.3)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Независимый T-тест "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Независимый T-тест проверяет разницу между одной и той же переменной из разных совокупностей и используется на выборках размером меньше 30. Зависимая переменная (размер мидии) является количественной. Группы происходят из разных совокупностей. Но для T-теста необходимо, чтобы данные выборок имели распределение близкое к нормальному. Его применение в данном случае не совсем корректно."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {},
   "outputs": [],
   "source": [
    "from scipy.stats import ttest_ind\n",
    "H0 = 'Нет значимой разницы между размерами мидий из Магадана и Санкт-Петербурга.'\n",
    "Ha = 'Есть значимая разница между размерами мидий из Магадана и Санкт-Петербурга.'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "*** Результаты независимого T-теста ***\n",
      "0.003 <= 0.05. Мы отвергаем нулевую гипотезу. Есть значимая разница между размерами мидий из Магадана и Санкт-Петербурга.\n"
     ]
    }
   ],
   "source": [
    "def t_test(data):\n",
    "    print(\"*** Результаты независимого T-теста ***\")\n",
    "    test_results = ttest_ind(f_df['petersburg'], f_df['magadan'], equal_var=True)\n",
    "\n",
    "    p = round(test_results[1],3)\n",
    "\n",
    "    if p>alpha:\n",
    "        print(f\"{p} > {alpha}. Мы не можем отвергнуть нулевую гипотезу. {H0}\")\n",
    "    else:\n",
    "        print(f\"{p} <= {alpha}. Мы отвергаем нулевую гипотезу. {Ha}\")\n",
    "\n",
    "t_test(f_df)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Критерий Уилкоксона\n",
    "Критерий Уилкоксона - это непараметрическая версия парного Т-теста. Его применение в данном случае более корректно."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "*** Результаты по тесту Уилкоксона ***\n",
      "0.023 <= 0.05. Мы отвергаем нулевую гипотезу. Есть значимая разница между размерами мидий из Магадана и Санкт-Петербурга.\n"
     ]
    }
   ],
   "source": [
    "from scipy.stats import wilcoxon\n",
    "\n",
    "test_results = wilcoxon(f_df['petersburg'], f_df['magadan'])\n",
    "\n",
    "p = round(test_results[1],3)\n",
    "print(\"*** Результаты по тесту Уилкоксона ***\")\n",
    "if p>alpha:\n",
    "        print(f\"{p} > {alpha}. Мы не можем отвергнуть нулевую гипотезу. {H0}\")\n",
    "else:\n",
    "        print(f\"{p} <= {alpha}. Мы отвергаем нулевую гипотезу. {Ha}\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Оба теста показали наличие значимой разницы между размерами мидий из разных городов.\n",
    "\n",
    "Вычислим разницу между средними размерами мидий из Магадана и Санкт-Петербурга."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 91,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Относительная разница между средними размерами мидий из Магадана и Санкт-Петербурга 24.58 %\n"
     ]
    }
   ],
   "source": [
    "# Разница между средними размерами мидий\n",
    "diff = abs(data['petersburg'].mean()-data['magadan'].mean()) \n",
    "diff_perc = round(diff/(max(data['magadan'].mean(), data['petersburg'].mean()))*100, 2)\n",
    "\n",
    "print(f\"Относительная разница между средними размерами мидий из Магадана и Санкт-Петербурга {diff_perc} %\")"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.9.12 64-bit",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.12"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "93e5499867a482d1f69126f65754e04e21327fbe16c28c259dff18a59fe0a8c0"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}