como-criar-conjunto-de-dados.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import glob\n",
    "import pandas as pd\n",
    "from bs4 import BeautifulSoup"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1) Varrer os textos do Arquivo Pessoa\n",
    "\n",
    "Fomos buscar os textos ao [Arquivo Pessoa](http://arquivopessoa.net/). Para isso, usámos o [Wget](https://www.gnu.org/software/wget/manual/wget.html).\n",
    "\n",
    "Para ir buscar as páginas de todos os textos disponíveis no site, basta colocar na linha de comandos:\n",
    "\n",
    "``` for i in {0..9999}; do wget http://arquivopessoa.net/textos/$i; sleep 1; done ```\n",
    "\n",
    "_Como estamos a fazer um pedido por segundo, este processo deverá levar quase três horas a transferir todos os documentos._\n",
    "\n",
    "### 2) Limpar os ficheiros HTML\n",
    "\n",
    "Depois de colocarmos todos os ficheiros HTML na mesma pasta, vamos iterá-los para removermos as tags."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "#ir buscar os ficheiros html\n",
    "file_location = os.path.join('pessoa-textos', '*.html')\n",
    "\n",
    "#inicialização de lista vazia; a info de cada html é convertida num dicionário\n",
    "dict_lst = []\n",
    "\n",
    "for file in glob.glob(file_location):\n",
    "    with open(file) as fp:\n",
    "        \n",
    "        soup = BeautifulSoup(fp)\n",
    "        \n",
    "        #ir buscar autor\n",
    "        autor = soup.find(\"div\", attrs = {\"class\": \"autor\"}).string\n",
    "            \n",
    "        #ir buscar título + limpar título\n",
    "        titulo = soup.find(\"h1\", attrs = {\"class\": \"titulo-texto\"})\n",
    "        titulo_limpo = titulo.text.replace('\\n', '').replace('\\xa0', '')  \n",
    "            \n",
    "        #ir buscar data\n",
    "        data = soup.find(\"div\", attrs = {\"class\": \"data\"}).string \n",
    "            \n",
    "        try:\n",
    "            #ir buscar poema + limpar poema\n",
    "            texto = soup.find(\"div\", attrs = {\"class\": \"texto-poesia\"})\n",
    "            texto_limpo = texto.text.replace('<p>', '').replace('\\xa0', '').replace('</p>','\\n')\n",
    "            poema_dict = {}\n",
    "            for variable in [\"autor\", \"titulo_limpo\", \"texto_limpo\", \"data\"]:\n",
    "                poema_dict[variable] = eval(variable)\n",
    "            poema_dict[\"text_type\"] = \"poesia\"\n",
    "            dict_lst.append(poema_dict)\n",
    "        \n",
    "        except:\n",
    "            #ir buscar prosa + limpar prosa\n",
    "            texto = soup.find(\"div\", attrs = {\"class\": \"texto-prosa\"})\n",
    "            texto_limpo = texto.text.replace('<p>', '').replace('\\xa0', '').replace('</p>','\\n')       \n",
    "            prosa_dict = {}\n",
    "            for variable in [\"autor\", \"titulo_limpo\", \"texto_limpo\", \"data\"]:\n",
    "                prosa_dict[variable] = eval(variable)\n",
    "            prosa_dict[\"text_type\"] = \"prosa\"\n",
    "            dict_lst.append(prosa_dict)\n",
    "            \n",
    "    #criar o conjunto de dados     \n",
    "    full_data = pd.DataFrame(dict_lst)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "#ajustar nomes de colunas\n",
    "\n",
    "full_data.rename(columns={\"titulo_limpo\":\"título\",\"texto_limpo\":\"texto\", \"text_type\":\"tipo\"}, inplace=True)\n",
    "\n",
    "#remover quebras de linhas no início dos textos\n",
    "full_data[\"texto\"] = full_data.texto.str.lstrip()\n",
    "\n",
    "#exportar para csv\n",
    "full_data.to_csv(\"textos-pessoa.csv\", index=False)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}