HW05/HW05-writeup.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Оценка неопределенностей в задаче линейной регрессии"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Максимальный балл = 100. Вес = 2. Срок сдачи - 15.12.2019\n",
    "\n",
    "Исследовать задачу регрессии по предложенным данным с использованием модели линейной регрессии. Допустимо порождение признаков (полиномиальных, экспоненциальных, логарифмических, etc.)<br />\n",
    "В решении ожидается наличие следующих ключевых составляющих:<br />\n",
    "\n",
    "- формулировка задачи, формулировка признакового описания объектов, формулировка функции ошибки, формулировка меры качества модели;\n",
    "- исследование исходных данных на предмет скоррелированности признаков; фильтрация признаков; порождение признаков (при необходимости);\n",
    "- оценка параметров модели и их неопределенностей; исследование на предмет оптимального размера и количества bootstrap-выборок с точки зрения неопределенности оценки параметров модели;\n",
    "- оценка качества модели методом bootstrap-сэмплирования на OOB-выборках; оценка доверительного интервала для качества модели с уровнем доверия 0.95;\n",
    "- оценка неопределенностей аппроксимации целевой переменной;\n",
    "- аппроксмация целевой переменной на выборке вновь поступающих объектов, оценка доверительных интервалов (уровень доверия 0.95) на каждом из объектов этой выборки;\n",
    "\n",
    "Визуализация:\n",
    "- распределение признаков\n",
    "- распределение целевой переменной\n",
    "- распределение (распределения) оценок параметров\n",
    "- распределение (распределения) оценок меры качества модели\n",
    "- (при возможности) визуализация вывода модели с отображением доверительных интервалов\n",
    "\n",
    "ВЫВОДЫ:\n",
    "- вывод о наличии и величинах алеаторической и эпистемической неопределенности\n",
    "- вывод о том, насколько модель подходит для описания данных\n",
    "- вывод о достаточности данных для оценки параметров модели\n",
    "- вывод о соотношении выразительности модели и ее обобщающей способности (наблюдаются ли явления переобучения или недообучения)\n",
    "\n",
    "Реализация линейной регрессии может быть написана с использованием библиотеки Numpy.<br />\n",
    "Реализация bootstrap-сэмплирования может быть написана с использованием библиотеки Numpy.<br />"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Данные находятся в следующих файлах:\n",
    "\n",
    "Признаковое описание объектов обучающей выборки - в файле X_train.npy\n",
    "\n",
    "Значения целевой переменной на обучающей выборке - в файле y_train.npy\n",
    "\n",
    "Признаковое описание вновь поступающих объектов - в файле X_inference.npy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Способ чтения данных из файлов *.npy :\n",
    "\n",
    "```\n",
    "import numpy as np\n",
    "\n",
    "data = np.load('./filename.npy')\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}