Exercicio-02-casas.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---\n",
    " \n",
    "Author : Halisson S. Gomides - halisson.gomides@gmail.com\n",
    "\n",
    "Date : 22/01/2021\n",
    "\n",
    "---\n",
    "\n",
    "### Conjunto de dados House Sales in King County, USA\n",
    ">https://www.kaggle.com/harlfoxem/housesalesprediction\n",
    "\n",
    "\n",
    "### Novas perguntas do CEO:\n",
    ">1. Qual a data do imóvel mais antigo no portfolio?\n",
    ">2. Quantos imóveis possuem o número máximo de andares?\n",
    ">3. Criar uma classificação para os imóveis, separando-os em baixo e alto padrão, de acordo com o preço.\n",
    ">> Acima de 540.000 -> alto padrão\n",
    ">> Abaixo de 540.000 -> baixo padrão\n",
    ">4. Relatório ordenado pelo preço e contendo as seguintes informações:\n",
    ">> id do imóvel, data que o imóvel ficou disponível para compra, número de quartos, tamanho tota do terreno, preço, a classificação do imóvel (alto e baixo padrão)\n",
    ">5. Mapa indicando onde as casas estão localizadas geograficamente"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-01-11T20:51:01.000798Z",
     "start_time": "2021-01-11T20:50:51.233463Z"
    }
   },
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-01-12T13:35:15.965140Z",
     "start_time": "2021-01-12T13:35:15.901214Z"
    }
   },
   "outputs": [],
   "source": [
    "dfhouses = pd.read_csv('dados/originais/kc_house_data.csv.zip', parse_dates=['date'], infer_datetime_format=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-01-12T13:35:17.114179Z",
     "start_time": "2021-01-12T13:35:17.092266Z"
    }
   },
   "outputs": [],
   "source": [
    "dfhouses.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-01-12T13:35:29.470896Z",
     "start_time": "2021-01-12T13:35:29.459926Z"
    }
   },
   "outputs": [],
   "source": [
    "dfhouses.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-01-12T13:38:11.613750Z",
     "start_time": "2021-01-12T13:38:10.435739Z"
    }
   },
   "outputs": [],
   "source": [
    "# Verificando se existem indices duplicados\n",
    "\n",
    "for k,v in dfhouses['id'].value_counts().to_dict().items():\n",
    "    if v > 1: \n",
    "        print(k, v)\n",
    "        print(dfhouses.loc[dfhouses['id'] == k])\n",
    "\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-01-11T20:51:28.238901Z",
     "start_time": "2021-01-11T20:51:28.232912Z"
    }
   },
   "outputs": [],
   "source": [
    "# Função para apresentar o resultado (pergunta / resposta)\n",
    "from typing import Union\n",
    "\n",
    "def resultado(iq:int, resposta:Union[int,float,list], txtcompl:str = '') -> None:\n",
    "    '''\n",
    "    Função para apresentar o resultado (pergunta / resposta)\n",
    "    '''\n",
    "    \n",
    "    list_questoes = [\n",
    "        'Qual a data do imóvel mais antigo no portfolio?',\n",
    "        'Quantos imóveis possuem o número máximo de andares?',\n",
    "        'Criar uma classificação para os imóveis, separando-os em baixo e alto padrão, de acordo com o preço.',\n",
    "        'Relatório ordenado pelo preço.',\n",
    "        'Mapa indicando onde as casas estão localizadas geograficamente.']\n",
    "    \n",
    "    if type(resposta) is list:\n",
    "        resposta = ', '.join(map(str, resposta))\n",
    "        \n",
    "    print(f'{iq+1}. {list_questoes[iq]}\\n Resp.: {txtcompl} {resposta}')\n",
    "    \n",
    "    \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-01-12T15:07:43.306144Z",
     "start_time": "2021-01-12T15:07:43.267249Z"
    }
   },
   "outputs": [],
   "source": [
    "# Removendo as casas com IDs duplicados, mantendo apenas o registro com a data mais recente\n",
    "\n",
    "df_houses = dfhouses.sort_values(by=['id', 'date'])\n",
    "# df_order.head(10)\n",
    "df_houses.drop_duplicates(subset=['id'], keep='last', inplace=True)\n",
    "\n",
    "# testando o resultado com um id que eu sei que é duplicado\n",
    "df_houses.query('id == 795000620')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-01-12T15:07:53.116537Z",
     "start_time": "2021-01-12T15:07:53.112547Z"
    }
   },
   "outputs": [],
   "source": [
    "# Qual a data do imóvel mais antigo no portfolio?\n",
    "\n",
    "resultado(0, df_houses.nsmallest(1, 'date')['date'].tolist()[0].strftime('%d/%m/%Y'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-01-12T15:07:56.572452Z",
     "start_time": "2021-01-12T15:07:56.567466Z"
    }
   },
   "outputs": [],
   "source": [
    "# Quantos imóveis possuem o número máximo de andares?\n",
    "\n",
    "resultado(1, df_houses.loc[df_houses['floors'] == df_houses['floors'].max()].shape[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-01-12T15:08:03.324515Z",
     "start_time": "2021-01-12T15:08:03.320525Z"
    }
   },
   "outputs": [],
   "source": [
    "# Criar uma classificação para os imóveis, separando-os em baixo e alto padrão, de acordo com o preço.\n",
    "\n",
    "df_houses['padrao'] = df_houses['price'].apply(lambda preco: 'baixo_padrao' if preco < 540000 else 'alto_padrao')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# nº de casas de alto padrão\n",
    "lst_padrao = [df_houses.query('padrao == \"alto_padrao\"').shape[0], df_houses.query('padrao == \"baixo_padrao\"').shape[0]]\n",
    "lst_padrao[0]\n",
    "\n",
    "# nº de casas de baixo padrão\n",
    "lst_padrao[1]\n",
    "\n",
    "resultado(2, lst_padrao, 'nº de casas de alto padrão e baixo padrão respectivamente.')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-01-12T15:08:17.473959Z",
     "start_time": "2021-01-12T15:08:17.463958Z"
    }
   },
   "outputs": [],
   "source": [
    "# Relatório ordenado pelo preço.\n",
    "\n",
    "# id do imóvel, \n",
    "# data que o imóvel ficou disponível para compra, \n",
    "# número de quartos, \n",
    "# tamanho total do terreno, \n",
    "# preço, \n",
    "# a classificação do imóvel (alto e baixo padrão)\n",
    "\n",
    "lst_columns = ['id', 'date', 'bedrooms', 'sqft_lot', 'price', 'padrao']\n",
    "df_houses.sort_values(by='price')[lst_columns].to_csv('dados/processados/ex02_relatorioCEO.csv', index=False)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-01-12T15:09:13.149326Z",
     "start_time": "2021-01-12T15:09:13.143345Z"
    }
   },
   "outputs": [],
   "source": [
    "# Mapa indicando onde as casas estão localizadas geograficamente.\n",
    "\n",
    "!pip install plotly"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import plotly.express as px"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "lst_columns = ['id', 'lat', 'long', 'price']\n",
    "mapa = px.scatter_mapbox( df_houses[lst_columns], lat='lat', lon='long',\n",
    "                 hover_name='id',\n",
    "                 hover_data=['price'],\n",
    "                 color_discrete_sequence=['fuchsia'],\n",
    "                 size='price',\n",
    "                 height=300)\n",
    "mapa.update_layout(mapbox_style='open-street-map')\n",
    "mapa.update_layout(height=600, margin={'r':0, 't':0, 'l':0, 'b':0})\n",
    "mapa.show()\n",
    "\n",
    "mapa.write_html('dados/processados/ex02_mapa_house_rocket.html')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "zero-ao-ds",
   "language": "python",
   "name": "zero-ao-ds"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}