0_corpora_generator.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "4ea6e7f4",
   "metadata": {},
   "source": [
    "# Setup"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "360c3779",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import re\n",
    "import os\n",
    "\n",
    "import warnings\n",
    "warnings.filterwarnings('ignore')\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b7e28377",
   "metadata": {},
   "source": [
    "## Import datasets"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cef49ebd",
   "metadata": {},
   "source": [
    "Leggo e printo le prime righe del dataset per controllare sia a posto"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "227c76bf",
   "metadata": {},
   "outputs": [],
   "source": [
    "N = 30\n",
    "with open(\"./data/CSV/BIC_VOCABOLARIO_202209082053.csv\") as myfile:\n",
    "    head = [next(myfile) for x in range(N)]\n",
    "print(head)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5d2894f0",
   "metadata": {},
   "source": [
    "### VOCABOLARIO"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "81eb57a4",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID_VOCABOLO</th>\n",
       "      <th>ID_OPERA</th>\n",
       "      <th>VOCABOLO</th>\n",
       "      <th>SEPARATORE</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>243294066</td>\n",
       "      <td>2</td>\n",
       "      <td>Canto</td>\n",
       "      <td>S1P1P</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>243294067</td>\n",
       "      <td>2</td>\n",
       "      <td>Le</td>\n",
       "      <td>S</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>243294068</td>\n",
       "      <td>2</td>\n",
       "      <td>donne</td>\n",
       "      <td>,S</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>243294069</td>\n",
       "      <td>2</td>\n",
       "      <td>i</td>\n",
       "      <td>S</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>243294070</td>\n",
       "      <td>2</td>\n",
       "      <td>cavallier</td>\n",
       "      <td>,S</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   ID_VOCABOLO  ID_OPERA   VOCABOLO SEPARATORE\n",
       "0    243294066         2      Canto      S1P1P\n",
       "1    243294067         2         Le          S\n",
       "2    243294068         2      donne         ,S\n",
       "3    243294069         2          i          S\n",
       "4    243294070         2  cavallier         ,S"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# vocabolario = pd.read_csv(\"BIC_VOCABOLARIO_prime4.csv\", sep=\"*\") # test\n",
    "vocabolario = pd.read_csv(\"./data/CSV/BIC_VOCABOLARIO_202209082053.csv\", sep=\"\\t\", quotechar = \"%\")\n",
    "vocabolario.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "835cd30a",
   "metadata": {},
   "outputs": [],
   "source": [
    "# check\n",
    "# vocabolario[vocabolario['ID_VOCABOLO'] == 121442978]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3cf0f707",
   "metadata": {},
   "source": [
    "### OPERE"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "33c24790",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ID_OPERA               int64\n",
      "ID_AUTORE              int64\n",
      "ID_GENERE              int64\n",
      "TITOLO                object\n",
      "FINE_STESURA          object\n",
      "PUBBLICAZIONE         object\n",
      "ANNO_FINE_STESURA      Int64\n",
      "ANNO_PUBBLICAZIONE     Int64\n",
      "dtype: object\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID_OPERA</th>\n",
       "      <th>ID_AUTORE</th>\n",
       "      <th>ID_GENERE</th>\n",
       "      <th>TITOLO</th>\n",
       "      <th>FINE_STESURA</th>\n",
       "      <th>PUBBLICAZIONE</th>\n",
       "      <th>ANNO_FINE_STESURA</th>\n",
       "      <th>ANNO_PUBBLICAZIONE</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>2130</td>\n",
       "      <td>Orlando furioso</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1532-01-31</td>\n",
       "      <td>&lt;NA&gt;</td>\n",
       "      <td>1532</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>3</td>\n",
       "      <td>4</td>\n",
       "      <td>2300</td>\n",
       "      <td>Novelle</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1554-01-01</td>\n",
       "      <td>&lt;NA&gt;</td>\n",
       "      <td>1554</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "      <td>2300</td>\n",
       "      <td>Decameron</td>\n",
       "      <td>1353-12-31</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1353</td>\n",
       "      <td>&lt;NA&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>5</td>\n",
       "      <td>6</td>\n",
       "      <td>2130</td>\n",
       "      <td>Orlando innamorato</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1494-12-31</td>\n",
       "      <td>&lt;NA&gt;</td>\n",
       "      <td>1494</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>6</td>\n",
       "      <td>7</td>\n",
       "      <td>2210</td>\n",
       "      <td>Margherita Pusterla</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1838-01-01</td>\n",
       "      <td>&lt;NA&gt;</td>\n",
       "      <td>1838</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   ID_OPERA  ID_AUTORE  ID_GENERE               TITOLO FINE_STESURA  \\\n",
       "0         2          3       2130      Orlando furioso          NaN   \n",
       "1         3          4       2300              Novelle          NaN   \n",
       "2         4          5       2300            Decameron   1353-12-31   \n",
       "3         5          6       2130   Orlando innamorato          NaN   \n",
       "4         6          7       2210  Margherita Pusterla          NaN   \n",
       "\n",
       "  PUBBLICAZIONE  ANNO_FINE_STESURA  ANNO_PUBBLICAZIONE  \n",
       "0    1532-01-31               <NA>                1532  \n",
       "1    1554-01-01               <NA>                1554  \n",
       "2           NaN               1353                <NA>  \n",
       "3    1494-12-31               <NA>                1494  \n",
       "4    1838-01-01               <NA>                1838  "
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "opere = pd.read_csv(\"./data/CSV/BIC_OPERE_202209090122.csv\", sep=\"\\t\", quotechar = \"%\", parse_dates=True)\n",
    "opere['ANNO_FINE_STESURA'] = opere['FINE_STESURA'].str[:4].astype('Int64')\n",
    "opere['ANNO_PUBBLICAZIONE'] = opere['PUBBLICAZIONE'].str[:4].astype('Int64')\n",
    "print(opere.dtypes)\n",
    "opere.head()\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b276facb",
   "metadata": {},
   "source": [
    "### GENERI"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "b20be211",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ID_GENERE     int64\n",
      "ID_TESTO      int64\n",
      "GENERE       object\n",
      "dtype: object\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID_GENERE</th>\n",
       "      <th>ID_TESTO</th>\n",
       "      <th>GENERE</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>[inclassificato]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>4050</td>\n",
       "      <td>2501</td>\n",
       "      <td>carteggio</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1001</td>\n",
       "      <td>1001</td>\n",
       "      <td>[lirica grave]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>1501</td>\n",
       "      <td>1001</td>\n",
       "      <td>[lirica leggera]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2110</td>\n",
       "      <td>2001</td>\n",
       "      <td>poema eroico</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   ID_GENERE  ID_TESTO            GENERE\n",
       "0          0         0  [inclassificato]\n",
       "1       4050      2501         carteggio\n",
       "2       1001      1001    [lirica grave]\n",
       "3       1501      1001  [lirica leggera]\n",
       "4       2110      2001      poema eroico"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "generi = pd.read_csv(\"./data/CSV/BIC_GENERI_202209090122.csv\", sep=\"\\t\", quotechar = \"%\", parse_dates=True)\n",
    "print(generi.dtypes)\n",
    "generi.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "d85d472c",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([   0, 2501, 1001, 2001, 4501, 4001, 5501, 5001, 3001], dtype=int64)"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "generi['ID_TESTO'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "306cfa27",
   "metadata": {},
   "source": [
    "### AUTORI"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "b94408af",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ID_AUTORE             int64\n",
      "NOME                 object\n",
      "COGNOME              object\n",
      "DATA_NASCITA         object\n",
      "DATA_MORTE           object\n",
      "ANNO_DATA_NASCITA     Int64\n",
      "ANNO_DATA_MORTE       Int64\n",
      "dtype: object\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID_AUTORE</th>\n",
       "      <th>NOME</th>\n",
       "      <th>COGNOME</th>\n",
       "      <th>DATA_NASCITA</th>\n",
       "      <th>DATA_MORTE</th>\n",
       "      <th>ANNO_DATA_NASCITA</th>\n",
       "      <th>ANNO_DATA_MORTE</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2</td>\n",
       "      <td>Dante</td>\n",
       "      <td>Alighieri</td>\n",
       "      <td>1265-05-22</td>\n",
       "      <td>1321-09-14</td>\n",
       "      <td>1265</td>\n",
       "      <td>1321</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>3</td>\n",
       "      <td>Ludovico</td>\n",
       "      <td>Ariosto</td>\n",
       "      <td>1474-09-08</td>\n",
       "      <td>1533-07-06</td>\n",
       "      <td>1474</td>\n",
       "      <td>1533</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>4</td>\n",
       "      <td>Matteo</td>\n",
       "      <td>Bandello</td>\n",
       "      <td>1485-01-01</td>\n",
       "      <td>1561-12-31</td>\n",
       "      <td>1485</td>\n",
       "      <td>1561</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>5</td>\n",
       "      <td>Giovanni</td>\n",
       "      <td>Boccaccio</td>\n",
       "      <td>1313-06-16</td>\n",
       "      <td>1375-12-21</td>\n",
       "      <td>1313</td>\n",
       "      <td>1375</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>6</td>\n",
       "      <td>Matteo Maria</td>\n",
       "      <td>Boiardo</td>\n",
       "      <td>1441-01-01</td>\n",
       "      <td>1494-12-19</td>\n",
       "      <td>1441</td>\n",
       "      <td>1494</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   ID_AUTORE          NOME    COGNOME DATA_NASCITA  DATA_MORTE  \\\n",
       "0          2         Dante  Alighieri   1265-05-22  1321-09-14   \n",
       "1          3      Ludovico    Ariosto   1474-09-08  1533-07-06   \n",
       "2          4        Matteo   Bandello   1485-01-01  1561-12-31   \n",
       "3          5      Giovanni  Boccaccio   1313-06-16  1375-12-21   \n",
       "4          6  Matteo Maria    Boiardo   1441-01-01  1494-12-19   \n",
       "\n",
       "   ANNO_DATA_NASCITA  ANNO_DATA_MORTE  \n",
       "0               1265             1321  \n",
       "1               1474             1533  \n",
       "2               1485             1561  \n",
       "3               1313             1375  \n",
       "4               1441             1494  "
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "autori = pd.read_csv(\"./data/CSV/BIC_AUTORI_202209090121.csv\", sep=\"\\t\", quotechar = \"%\", parse_dates=True)\n",
    "autori['ANNO_DATA_NASCITA'] = autori['DATA_NASCITA'].str[:4].astype('Int64')\n",
    "autori['ANNO_DATA_MORTE'] = autori['DATA_MORTE'].str[:4].astype('Int64')\n",
    "print(autori.dtypes)\n",
    "autori.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4d1163b1",
   "metadata": {},
   "source": [
    "### TESTI"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "9f486a48",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ID_TESTO            int64\n",
      "CLASSIFICAZIONE    object\n",
      "dtype: object\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID_TESTO</th>\n",
       "      <th>CLASSIFICAZIONE</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>testo inclassificabile</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1001</td>\n",
       "      <td>testo espressivo</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2001</td>\n",
       "      <td>testo riferitivo con patto finzionale</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2501</td>\n",
       "      <td>testo riferitivo senza patto finzionale</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>3001</td>\n",
       "      <td>testo dichiarativo</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   ID_TESTO                          CLASSIFICAZIONE\n",
       "0         0                   testo inclassificabile\n",
       "1      1001                         testo espressivo\n",
       "2      2001    testo riferitivo con patto finzionale\n",
       "3      2501  testo riferitivo senza patto finzionale\n",
       "4      3001                       testo dichiarativo"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "testi = pd.read_csv(\"./data/CSV/BIC_TESTI_202209120226.csv\", sep=\"\\t\", quotechar = \"%\", parse_dates=True)\n",
    "#testi['ANNO_DATA_NASCITA'] = testi['DATA_NASCITA'].str[:4].astype('Int64')\n",
    "#testi['ANNO_DATA_MORTE'] = testi['DATA_MORTE'].str[:4].astype('Int64')\n",
    "print(testi.dtypes)\n",
    "testi.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0d38bced",
   "metadata": {},
   "source": [
    "# Merging"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5f67e5f3",
   "metadata": {},
   "source": [
    "Per prima cosa unisco in un'unica tabella le meta-information rilevanti riguardanti ogni opera"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "15a82790",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID_OPERA</th>\n",
       "      <th>ID_AUTORE</th>\n",
       "      <th>ID_GENERE</th>\n",
       "      <th>TITOLO</th>\n",
       "      <th>FINE_STESURA</th>\n",
       "      <th>PUBBLICAZIONE</th>\n",
       "      <th>ANNO_FINE_STESURA</th>\n",
       "      <th>ANNO_PUBBLICAZIONE</th>\n",
       "      <th>NOME</th>\n",
       "      <th>COGNOME</th>\n",
       "      <th>DATA_NASCITA</th>\n",
       "      <th>DATA_MORTE</th>\n",
       "      <th>ANNO_DATA_NASCITA</th>\n",
       "      <th>ANNO_DATA_MORTE</th>\n",
       "      <th>AUTORE</th>\n",
       "      <th>ID_TESTO</th>\n",
       "      <th>GENERE</th>\n",
       "      <th>CLASSIFICAZIONE</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>2130</td>\n",
       "      <td>Orlando furioso</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1532-01-31</td>\n",
       "      <td>&lt;NA&gt;</td>\n",
       "      <td>1532</td>\n",
       "      <td>Ludovico</td>\n",
       "      <td>Ariosto</td>\n",
       "      <td>1474-09-08</td>\n",
       "      <td>1533-07-06</td>\n",
       "      <td>1474</td>\n",
       "      <td>1533</td>\n",
       "      <td>Ludovico Ariosto</td>\n",
       "      <td>2001</td>\n",
       "      <td>poema cavalleresco</td>\n",
       "      <td>testo riferitivo con patto finzionale</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>3</td>\n",
       "      <td>4</td>\n",
       "      <td>2300</td>\n",
       "      <td>Novelle</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1554-01-01</td>\n",
       "      <td>&lt;NA&gt;</td>\n",
       "      <td>1554</td>\n",
       "      <td>Matteo</td>\n",
       "      <td>Bandello</td>\n",
       "      <td>1485-01-01</td>\n",
       "      <td>1561-12-31</td>\n",
       "      <td>1485</td>\n",
       "      <td>1561</td>\n",
       "      <td>Matteo Bandello</td>\n",
       "      <td>2001</td>\n",
       "      <td>novella o racconto</td>\n",
       "      <td>testo riferitivo con patto finzionale</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "      <td>2300</td>\n",
       "      <td>Decameron</td>\n",
       "      <td>1353-12-31</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1353</td>\n",
       "      <td>&lt;NA&gt;</td>\n",
       "      <td>Giovanni</td>\n",
       "      <td>Boccaccio</td>\n",
       "      <td>1313-06-16</td>\n",
       "      <td>1375-12-21</td>\n",
       "      <td>1313</td>\n",
       "      <td>1375</td>\n",
       "      <td>Giovanni Boccaccio</td>\n",
       "      <td>2001</td>\n",
       "      <td>novella o racconto</td>\n",
       "      <td>testo riferitivo con patto finzionale</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>5</td>\n",
       "      <td>6</td>\n",
       "      <td>2130</td>\n",
       "      <td>Orlando innamorato</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1494-12-31</td>\n",
       "      <td>&lt;NA&gt;</td>\n",
       "      <td>1494</td>\n",
       "      <td>Matteo Maria</td>\n",
       "      <td>Boiardo</td>\n",
       "      <td>1441-01-01</td>\n",
       "      <td>1494-12-19</td>\n",
       "      <td>1441</td>\n",
       "      <td>1494</td>\n",
       "      <td>Matteo Maria Boiardo</td>\n",
       "      <td>2001</td>\n",
       "      <td>poema cavalleresco</td>\n",
       "      <td>testo riferitivo con patto finzionale</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>6</td>\n",
       "      <td>7</td>\n",
       "      <td>2210</td>\n",
       "      <td>Margherita Pusterla</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1838-01-01</td>\n",
       "      <td>&lt;NA&gt;</td>\n",
       "      <td>1838</td>\n",
       "      <td>Cesare</td>\n",
       "      <td>Cantù</td>\n",
       "      <td>1804-12-05</td>\n",
       "      <td>1895-03-15</td>\n",
       "      <td>1804</td>\n",
       "      <td>1895</td>\n",
       "      <td>Cesare Cantù</td>\n",
       "      <td>2001</td>\n",
       "      <td>romanzo</td>\n",
       "      <td>testo riferitivo con patto finzionale</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   ID_OPERA  ID_AUTORE  ID_GENERE               TITOLO FINE_STESURA  \\\n",
       "0         2          3       2130      Orlando furioso          NaN   \n",
       "1         3          4       2300              Novelle          NaN   \n",
       "2         4          5       2300            Decameron   1353-12-31   \n",
       "3         5          6       2130   Orlando innamorato          NaN   \n",
       "4         6          7       2210  Margherita Pusterla          NaN   \n",
       "\n",
       "  PUBBLICAZIONE  ANNO_FINE_STESURA  ANNO_PUBBLICAZIONE          NOME  \\\n",
       "0    1532-01-31               <NA>                1532      Ludovico   \n",
       "1    1554-01-01               <NA>                1554        Matteo   \n",
       "2           NaN               1353                <NA>      Giovanni   \n",
       "3    1494-12-31               <NA>                1494  Matteo Maria   \n",
       "4    1838-01-01               <NA>                1838        Cesare   \n",
       "\n",
       "     COGNOME DATA_NASCITA  DATA_MORTE  ANNO_DATA_NASCITA  ANNO_DATA_MORTE  \\\n",
       "0    Ariosto   1474-09-08  1533-07-06               1474             1533   \n",
       "1   Bandello   1485-01-01  1561-12-31               1485             1561   \n",
       "2  Boccaccio   1313-06-16  1375-12-21               1313             1375   \n",
       "3    Boiardo   1441-01-01  1494-12-19               1441             1494   \n",
       "4      Cantù   1804-12-05  1895-03-15               1804             1895   \n",
       "\n",
       "                 AUTORE  ID_TESTO              GENERE  \\\n",
       "0      Ludovico Ariosto      2001  poema cavalleresco   \n",
       "1       Matteo Bandello      2001  novella o racconto   \n",
       "2    Giovanni Boccaccio      2001  novella o racconto   \n",
       "3  Matteo Maria Boiardo      2001  poema cavalleresco   \n",
       "4          Cesare Cantù      2001             romanzo   \n",
       "\n",
       "                         CLASSIFICAZIONE  \n",
       "0  testo riferitivo con patto finzionale  \n",
       "1  testo riferitivo con patto finzionale  \n",
       "2  testo riferitivo con patto finzionale  \n",
       "3  testo riferitivo con patto finzionale  \n",
       "4  testo riferitivo con patto finzionale  "
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "opere_autori = pd.merge(opere, autori, on='ID_AUTORE', how='left')\n",
    "opere_autori['AUTORE'] = opere_autori['NOME'] + ' ' + opere_autori['COGNOME']\n",
    "opere_autori_generi = pd.merge(opere_autori, generi, on='ID_GENERE', how='left')\n",
    "opere_autori_generi_testi = pd.merge(opere_autori_generi, testi, on='ID_TESTO', how='left')\n",
    "opere_autori_generi_testi.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7adc5d8f",
   "metadata": {},
   "source": [
    "### Test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "id": "c24b12bc",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[2, 3, 2130, 'Orlando furioso', nan, '1532-01-31', <NA>, 1532, 'Ludovico', 'Ariosto', '1474-09-08', '1533-07-06', 1474, 1533, 'Ludovico Ariosto', 2001, 'poema cavalleresco', 'testo riferitivo con patto finzionale']\n",
      "ciao\n"
     ]
    }
   ],
   "source": [
    "# test = list(map(str, opere_autori_generi_testi[opere_autori_generi_testi['ID_OPERA'] == 2].values.tolist()[0]))\n",
    "# print(\",\".join(test) + \"\\n\" + \"ciao\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "id": "66089db2",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'TITOLO,AUTORE,GENERE,CLASSIFICAZIONE,ANNO_FINE_STESURA,ANNO_PUBBLICAZIONE'"
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# meta_columns = ['TITOLO', 'AUTORE','GENERE','CLASSIFICAZIONE','ANNO_FINE_STESURA','ANNO_PUBBLICAZIONE']\n",
    "# \",\".join(meta_columns)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "id": "578a45e0",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[   2    3    4 ... 9429 9432 9440]\n"
     ]
    }
   ],
   "source": [
    "# opere_autori_generi_testi[opere_autori_generi_testi['ID_OPERA'] == 35]\n",
    "# print(opere_autori_generi_testi['ID_OPERA'].unique())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5f41a875",
   "metadata": {},
   "source": [
    "# Books Generator"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "793d9544",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Faccio una merge in modo da avere il titolo dell'opera nella funzione\n",
    "#vocabolario = pd.merge(vocabolario, opere[['ID_OPERA', 'TITOLO']], left_on='ID_OPERA', right_on='ID_OPERA', how='left', copy=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 101,
   "id": "903b901c",
   "metadata": {},
   "outputs": [],
   "source": [
    "def rebuild_text(vocabolario_,meta_data, path): # passare dataframe completo\n",
    "    id_opere = vocabolario_['ID_OPERA'].unique().tolist() # estraggo id_opere unici\n",
    "\n",
    "    for i in id_opere:\n",
    "        df_vocabolario = vocabolario_[vocabolario_['ID_OPERA'] == i]\n",
    "        \n",
    "        # Sostituisco eventuali NaN con la sigla MW (Missing Word) o MS (Missing Separator)\n",
    "        df_vocabolario.VOCABOLO = df_vocabolario.VOCABOLO.fillna('MW')\n",
    "        df_vocabolario.SEPARATORE = df_vocabolario.SEPARATORE.fillna('MS')\n",
    "        \n",
    "        # Traduco le lettere nei separatori\n",
    "        df_vocabolario['SEPARATORE'] = df_vocabolario['SEPARATORE'].str.replace('S',' ', regex=False)\n",
    "        df_vocabolario['SEPARATORE'] = df_vocabolario['SEPARATORE'].str.replace('P','\\n', regex=False) # uso \\n per andare a capo quando scrivo il .txt\n",
    "        \n",
    "        # Creo la lista con VOCABOLO + SEPARATORE\n",
    "        word_list = df_vocabolario['VOCABOLO']\n",
    "        sep_list = df_vocabolario['SEPARATORE']\n",
    "        result = [None]*(len(word_list)+len(sep_list))\n",
    "        result[::2] = word_list\n",
    "        result[1::2] = sep_list\n",
    "        \n",
    "        # Creo il dataframe necessario, con manipolazione\n",
    "        df_2 = pd.DataFrame(result)\n",
    "        df_2.rename(columns={0: \"PAROLA\"}, inplace=True)\n",
    "        df_2['PARAGRAFO'] = df_2[\"PAROLA\"].str.contains('\\n', regex=False).cumsum()\n",
    "        df_2['PARAGRAFO'] = df_2['PARAGRAFO'].where(~df_2['PAROLA'].str.contains('\\n', regex=False), df_2['PARAGRAFO']-1)\n",
    "                        # Riduco di 1 il valore di paragrafo quando ho l'escape character \\n per andare a capo nel punto giusto\n",
    "        \n",
    "        # Creo il dataframe per costruire le frasi, con manipolazione\n",
    "        groups = df_2.groupby(\"PARAGRAFO\")\n",
    "        sentences = groups.apply(lambda sdf: \"\".join(sdf.PAROLA))\n",
    "        df_3 = pd.DataFrame(sentences)\n",
    "        df_3.reset_index(inplace=True)\n",
    "        df_3.drop('PARAGRAFO', axis=1, inplace=True)\n",
    "        \n",
    "        # Meta data\n",
    "        meta_columns = ['TITOLO', 'AUTORE','GENERE','CLASSIFICAZIONE','ANNO_FINE_STESURA','ANNO_PUBBLICAZIONE']\n",
    "        df_meta_data = meta_data[meta_data['ID_OPERA'] == i][meta_columns]\n",
    "        # print(\"OPERA \" + str(i))\n",
    "        # print(df_meta_data)\n",
    "        if len(df_meta_data) != 0:\n",
    "            text_title = re.sub(r'[\\\\/*?:\"<>|/]',\"\",df_meta_data['TITOLO'].unique().tolist()[0]).strip() # Rendo il file salvabile (elimino forbidden char)\n",
    "            text_title = text_title[:175]\n",
    "            meta_info = list(map(str, df_meta_data.values.tolist()[0]))\n",
    "        else:\n",
    "            text_title = re.sub(r'[\\\\/*?:\"<>|]',\"\",'0_UnknownOperaID' + str(i)).strip()\n",
    "        # Creo il .txt\n",
    "        try:\n",
    "            with open(path + text_title + '.txt', \"r\", encoding='utf-8') as file:\n",
    "                # print('pass')\n",
    "                pass  \n",
    "        except FileNotFoundError:\n",
    "            with open(path + text_title + '.txt', \"w\", encoding='utf-8') as file:\n",
    "                # Meta information\n",
    "                if len(df_meta_data) != 0:\n",
    "                    file.write(\",\".join(meta_columns) + \"\\n\")\n",
    "                    file.write(\",\".join(meta_info) + \"\\n\\n\")\n",
    "                else:\n",
    "                    file.write(\"\\n\\n\\n\")\n",
    "                    print('OPERA ' + str(i) + ' non ha un match in df_meta_data')\n",
    "                # Testo\n",
    "                for index, row in df_3.iterrows():\n",
    "                    file.write(row[0])\n",
    "        finally:\n",
    "            pass"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "b1040b06",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Mi sposto nella cartella \"Books\" per salvare i libri\n",
    "# import os\n",
    "# os.chdir('Books')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 102,
   "id": "f78b042d",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "OPERA 6240 non ha un match in df_meta_data\n",
      "OPERA 8399 non ha un match in df_meta_data\n"
     ]
    }
   ],
   "source": [
    "rebuild_text(vocabolario, opere_autori_generi_testi, \"./data/books/\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ef7040b0",
   "metadata": {},
   "source": [
    "## Correzione errori"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c1aac260",
   "metadata": {},
   "source": [
    "### Check conteggio"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "82d9e7d2",
   "metadata": {},
   "source": [
    "Sono stati generati 3001 libri, di cui 8 senza titolo (senza match in BIC_OPERE), rispetto ai 3118 iniziali"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 103,
   "id": "5eda5331",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3118"
      ]
     },
     "execution_count": 103,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Conteggio libri unici / verifico che matchino con i libri printati\n",
    "vocabolario['ID_OPERA'].nunique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 107,
   "id": "7b30502a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3118"
      ]
     },
     "execution_count": 107,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(vocabolario['ID_OPERA'].unique().tolist())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 109,
   "id": "ebefefb0",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3111"
      ]
     },
     "execution_count": 109,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Conteggio libri unici nel dataset delle opere\n",
    "# La differenza è di 8 libri, esattamente i 8 sconosciuti\n",
    "opere_autori_generi_testi['ID_OPERA'].nunique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 108,
   "id": "c597bfae",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2997"
      ]
     },
     "execution_count": 108,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Controllo che non ci siano delle opere con medesimo nome (Questo potrebbe aver\n",
    "# portato a ottenere solo 3001 libri finali)\n",
    "opere_autori_generi_testi['TITOLO'].nunique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "a034df66",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "12"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\n",
    "len(opere_autori_generi_testi[opere_autori_generi_testi['GENERE'] == 'carteggio'])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b2136dc8",
   "metadata": {},
   "source": [
    "# Aggiunta libri dal 1922"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "005ce887",
   "metadata": {},
   "source": [
    "Aggiunta line-break dopo ogni punto nei file"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "id": "ea000bf5",
   "metadata": {},
   "outputs": [],
   "source": [
    "# test\n",
    "\n",
    "with open(\".\\data\\\\books_after_1922\\\\test\\CESARE PAVESE. - Eriberto.txt\", \"r\") as file:\n",
    "    filedata = file.read()\n",
    "# prima tolgo interruzioni non relative a punti\n",
    "filedata = filedata.replace('\\n', '')\n",
    "# poi aggiunto line-break dopo ogni punto\n",
    "filedata = filedata.replace('.', '.\\n')\n",
    "with open(\".\\data\\\\books_after_1922\\\\test\\CESARE PAVESE. - Eriberto_1.txt\", 'w') as file:\n",
    "  file.write(filedata)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3f469d82",
   "metadata": {},
   "source": [
    "Trattamento dei libri:\n",
    "- Elimino tutti i line break (anche quelli scorretti) -> Elimino solo i single line break e mantengo quelli > 1 (dei titoli o altro)\n",
    "- Aggiungo un line-break dopo ogni punto"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 93,
   "id": "adc5af29",
   "metadata": {},
   "outputs": [],
   "source": [
    "path_libri_non_trattati = '.\\data\\\\books_after_1922\\\\libri_non_trattati'\n",
    "path_libri_trattati = '.\\data\\\\books_after_1922\\\\libri_trattati'\n",
    "\n",
    "for filename in os.listdir(path_libri_non_trattati):\n",
    "    filedata = None # azzero\n",
    "    with open(f\"{path_libri_non_trattati}\\{filename}\", \"r\", encoding=\"utf8\") as file:\n",
    "        filedata = file.read()\n",
    "    # prima tolgo interruzioni non relative a punti\n",
    "    # filedata = filedata.replace('\\n', '')\n",
    "    filedata = re.sub(r\"(?<!\\n)\\n(?!\\n)\", \" \", filedata)\n",
    "    # poi aggiunto line-break dopo ogni punto\n",
    "    filedata = filedata.replace('.', '.\\n')\n",
    "    with open(f\"{path_libri_trattati}\\{filename}\", 'w', encoding=\"utf8\") as file:\n",
    "        file.write(filedata)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4f00cd1d",
   "metadata": {},
   "source": [
    "## Creazione tabella libri aggiuntivi"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bbf2411b",
   "metadata": {},
   "source": [
    "Importo i nomi di tutti i libri per poi:\n",
    "- Generare un dataframe a una colonna\n",
    "- Splittare la data in una prima colonna\n",
    "- Splttare Titolo e Autore\n",
    "- Mantenendo nome file"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "646a6795",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Filename</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1923 La coscienza di Zeno, Italo Svevo.txt</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1926 Uno, nessuno e centomila, Luigi Pirandell...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1930 Gente in Aspromonte, Corrado Alvaro.txt</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>1933 Fontamara, Ignazio Silone.txt</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>1934 Sorelle Materassi, Aldo Palazzeschi.txt</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            Filename\n",
       "0         1923 La coscienza di Zeno, Italo Svevo.txt\n",
       "1  1926 Uno, nessuno e centomila, Luigi Pirandell...\n",
       "2       1930 Gente in Aspromonte, Corrado Alvaro.txt\n",
       "3                 1933 Fontamara, Ignazio Silone.txt\n",
       "4       1934 Sorelle Materassi, Aldo Palazzeschi.txt"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "path_libri_trattati = '.\\data\\\\books_after_1922\\\\libri_trattati'\n",
    "lista_libri_trattati = os.listdir(f\"{path_libri_trattati}\\\\tutti\")\n",
    "opere_aggiuntive = pd.DataFrame(lista_libri_trattati, columns = ['Filename'])\n",
    "opere_aggiuntive.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "62296809",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ANNO_RIFERIMENTO</th>\n",
       "      <th>TITOLO</th>\n",
       "      <th>AUTORE</th>\n",
       "      <th>Filename</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1923</td>\n",
       "      <td>La coscienza di Zeno</td>\n",
       "      <td>Italo Svevo</td>\n",
       "      <td>1923 La coscienza di Zeno, Italo Svevo.txt</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1926</td>\n",
       "      <td>Uno</td>\n",
       "      <td>nessuno e centomila, Luigi Pirandello</td>\n",
       "      <td>1926 Uno, nessuno e centomila, Luigi Pirandell...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1930</td>\n",
       "      <td>Gente in Aspromonte</td>\n",
       "      <td>Corrado Alvaro</td>\n",
       "      <td>1930 Gente in Aspromonte, Corrado Alvaro.txt</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>1933</td>\n",
       "      <td>Fontamara</td>\n",
       "      <td>Ignazio Silone</td>\n",
       "      <td>1933 Fontamara, Ignazio Silone.txt</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>1934</td>\n",
       "      <td>Sorelle Materassi</td>\n",
       "      <td>Aldo Palazzeschi</td>\n",
       "      <td>1934 Sorelle Materassi, Aldo Palazzeschi.txt</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>1937</td>\n",
       "      <td>Novelle per un anno</td>\n",
       "      <td>Luigi Pirandello</td>\n",
       "      <td>1937 Novelle per un anno, Luigi Pirandello.txt</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>1938</td>\n",
       "      <td>Il mulino del Po</td>\n",
       "      <td>Riccardo Bacchelli</td>\n",
       "      <td>1938 Il mulino del Po, Riccardo Bacchelli.txt</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>1939</td>\n",
       "      <td>La pietra lunare</td>\n",
       "      <td>Tommaso Landolfi</td>\n",
       "      <td>1939 La pietra lunare, Tommaso Landolfi.txt</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>1940</td>\n",
       "      <td>Il deserto dei tartari</td>\n",
       "      <td>Dino Buzzati</td>\n",
       "      <td>1940 Il deserto dei tartari, Dino Buzzati.txt</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>1944</td>\n",
       "      <td>Kaputt</td>\n",
       "      <td>Curzio Malaparte</td>\n",
       "      <td>1944 Kaputt, Curzio Malaparte.txt</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   ANNO_RIFERIMENTO                  TITOLO  \\\n",
       "0              1923    La coscienza di Zeno   \n",
       "1              1926                     Uno   \n",
       "2              1930     Gente in Aspromonte   \n",
       "3              1933               Fontamara   \n",
       "4              1934       Sorelle Materassi   \n",
       "5              1937     Novelle per un anno   \n",
       "6              1938        Il mulino del Po   \n",
       "7              1939        La pietra lunare   \n",
       "8              1940  Il deserto dei tartari   \n",
       "9              1944                  Kaputt   \n",
       "\n",
       "                                  AUTORE  \\\n",
       "0                            Italo Svevo   \n",
       "1  nessuno e centomila, Luigi Pirandello   \n",
       "2                         Corrado Alvaro   \n",
       "3                         Ignazio Silone   \n",
       "4                       Aldo Palazzeschi   \n",
       "5                       Luigi Pirandello   \n",
       "6                     Riccardo Bacchelli   \n",
       "7                       Tommaso Landolfi   \n",
       "8                           Dino Buzzati   \n",
       "9                       Curzio Malaparte   \n",
       "\n",
       "                                            Filename  \n",
       "0         1923 La coscienza di Zeno, Italo Svevo.txt  \n",
       "1  1926 Uno, nessuno e centomila, Luigi Pirandell...  \n",
       "2       1930 Gente in Aspromonte, Corrado Alvaro.txt  \n",
       "3                 1933 Fontamara, Ignazio Silone.txt  \n",
       "4       1934 Sorelle Materassi, Aldo Palazzeschi.txt  \n",
       "5     1937 Novelle per un anno, Luigi Pirandello.txt  \n",
       "6      1938 Il mulino del Po, Riccardo Bacchelli.txt  \n",
       "7        1939 La pietra lunare, Tommaso Landolfi.txt  \n",
       "8      1940 Il deserto dei tartari, Dino Buzzati.txt  \n",
       "9                  1944 Kaputt, Curzio Malaparte.txt  "
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "opere_aggiuntive[['ANNO_RIFERIMENTO','altro']] = opere_aggiuntive['Filename'].str.split(' ', 1, expand=True)\n",
    "opere_aggiuntive[['TITOLO','AUTORE']] = opere_aggiuntive['altro'].str.split(', ', 1, expand=True)\n",
    "opere_aggiuntive['AUTORE'] = opere_aggiuntive['AUTORE'].str.replace(\".txt\",\"\")\n",
    "opere_aggiuntive.drop('altro',1,inplace=True)\n",
    "opere_aggiuntive = opere_aggiuntive[['ANNO_RIFERIMENTO','TITOLO','AUTORE','Filename']]\n",
    "opere_aggiuntive['ANNO_RIFERIMENTO'] = opere_aggiuntive['ANNO_RIFERIMENTO'].astype('Int64')\n",
    "opere_aggiuntive.head(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c09d189c",
   "metadata": {},
   "source": [
    "# Corpus"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ab026e8d",
   "metadata": {},
   "source": [
    "## Divisione per Periodo storico"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "956ad1b4",
   "metadata": {},
   "source": [
    "### Generazione colonne relative al periodo storico"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6af513b7",
   "metadata": {},
   "source": [
    "Aggiungo un anno di riferimento danno preferenzialità a ANNO_PUBBLICAZIONE"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "bc574203",
   "metadata": {},
   "outputs": [],
   "source": [
    "conditions = [\n",
    "    (opere_autori_generi_testi['ANNO_PUBBLICAZIONE'].notnull()),\n",
    "    (~opere_autori_generi_testi['ANNO_PUBBLICAZIONE'].notnull() & opere_autori_generi_testi['ANNO_FINE_STESURA'].notnull()),\n",
    "    (~opere_autori_generi_testi['ANNO_PUBBLICAZIONE'].notnull() & ~opere_autori_generi_testi['ANNO_FINE_STESURA'].notnull()),\n",
    "    ]\n",
    "values = [opere_autori_generi_testi['ANNO_PUBBLICAZIONE'], opere_autori_generi_testi['ANNO_FINE_STESURA'], None]\n",
    "\n",
    "opere_autori_generi_testi['ANNO_RIFERIMENTO'] = np.select(conditions, values, default=None)\n",
    "opere_autori_generi_testi['ANNO_RIFERIMENTO'] = opere_autori_generi_testi['ANNO_RIFERIMENTO'].astype('Int64')\n",
    "# sum(~opere_autori_generi_testi['ANNO_RIFERIMENTO'].notnull()) nessun null, abbiamo una data di riferimento per ognuno"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "adf39258",
   "metadata": {},
   "source": [
    "- Il libro più antico ha una fine stesura nel 1224\n",
    "- Ottengo una suddivisione della storia italiana da varie fonti:\n",
    "  - https://it.wikipedia.org/wiki/Storia_d%27Italia#Domini_spagnoli_in_Italia\n",
    "- Genero un nuovo campo 'Periodo_Storico' che userò per suddividere\n",
    "- Genero un nuovo campo 'Info_Periodo_Storico'"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d233e2b5",
   "metadata": {},
   "source": [
    "La generazione avviene SIA sulle opere di SCRIPTA che su quelle AGGIUNTIVE"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "id": "77ba51a4",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Range periodi storici italia\n",
    "range_periodi_storici_italia = [1000, 1250, 1454, 1559, 1707, 1796, 1814, 1860, 1914, 1922, 1945]\n",
    "# Label da assegnare\n",
    "range_periodi_storici_italia_label = ['1000_1250_Pieno Medievo', # 5 testi\n",
    "                                '1250_1454_Tardo_Medioevo', #113 testi\n",
    "                                '1454_1559_Rinascimento', #229 testi\n",
    "                                '1559_1707_Seicento', #267 ttesti \n",
    "                                '1707_1796_Settecento', #322 testi\n",
    "                                '1796_1814_Periodo_napoleonico', #90 testi\n",
    "                                '1814_1860_Risorgimento', #361 opere\n",
    "                                '1861_1914_L\\'Italia_liberale', #1352\n",
    "                                '1915_1922_L\\'Italia_nella_Prima_Guerra_Mondiale_e_dopoguerra', # 308\n",
    "                                '1922_1945_Ventennio_Fascista_Seconda_Guerra_Mondiale', # 11 romanzi\n",
    "                                '1945_presente_La_Repubblica_Italiana' # 61 romanzi\n",
    "                                ]\n",
    "range_periodi_storici_italia_meta = ['Lotta per le investiture, Crociate, Normanni e regno di sicilia, I comuni, Federico II di Svevia',\n",
    "    'Evoluzione comuni nord italia in signorie Declino Impero e papato, Republiche Marinare, Angioini e Aragonesi nel meridione, Lotte tra stati italiani',\n",
    "    'Pace di lodi (equilibrio) e sviluppo rinascimento/umanesimo, Scoperta America, Guerre D\\'italia e Riforma Protestante, Carlo VIII, controriforma e concilio di Trento, Carlo V, Venezia guerre con impero ottomano',\n",
    "    'Pace di Cateau-Cambrésis 1559, Domini spagnoli in Italia, Guerra di successione spagnola con successione austriaca 1707',\n",
    "    'Dominazione austriaca degli Asburgo, guerra di successione Polacca e rottenimento dei regni di Napoli e di Siciali dei Borbone di Spagna, Illuminismo',\n",
    "    'Periodo napoleonico',\n",
    "    'La Restaurazione (1815-1848) - Regno borbonico delle due Sicilie - Il Regno di Sardegna, I moti carbonari (prima e seconda guerra d\\'indipendenza',\n",
    "    'Destra storica, Sinistra storica, Questione meridionale',\n",
    "    'L\\'iniziale neutralità, 1915-1918, epilogo',\n",
    "    'Marcia su Roma, Dittatura e impero, Allenza con la Germania, Caduta e resisttenza, Epilogo e costo della guerra',\n",
    "    'Gli anni costituenti, La prima repubblica, La seconda repubblica']\n",
    "\n",
    "# Opere da SCRIPTA\n",
    "conditions = [\n",
    "    ((opere_autori_generi_testi['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[1])).to_numpy(dtype=bool), \n",
    "    ((opere_autori_generi_testi['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[1]) & (opere_autori_generi_testi['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[2])).to_numpy(dtype=bool),\n",
    "    ((opere_autori_generi_testi['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[2]) & (opere_autori_generi_testi['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[3])).to_numpy(dtype=bool),\n",
    "    ((opere_autori_generi_testi['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[3]) & (opere_autori_generi_testi['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[4])).to_numpy(dtype=bool),\n",
    "    ((opere_autori_generi_testi['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[4]) & (opere_autori_generi_testi['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[5])).to_numpy(dtype=bool),\n",
    "    ((opere_autori_generi_testi['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[5]) & (opere_autori_generi_testi['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[6])).to_numpy(dtype=bool),\n",
    "    ((opere_autori_generi_testi['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[6]) & (opere_autori_generi_testi['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[7])).to_numpy(dtype=bool),\n",
    "    ((opere_autori_generi_testi['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[7]) & (opere_autori_generi_testi['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[8])).to_numpy(dtype=bool),\n",
    "    ((opere_autori_generi_testi['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[8]) & (opere_autori_generi_testi['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[9])).to_numpy(dtype=bool),\n",
    "    ((opere_autori_generi_testi['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[9]) & (opere_autori_generi_testi['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[10])).to_numpy(dtype=bool),\n",
    "    ((opere_autori_generi_testi['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[10])).to_numpy(dtype=bool)\n",
    "    ]\n",
    "\n",
    "# Opere aggiuntive\n",
    "conditions1 = [\n",
    "    ((opere_aggiuntive['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[1])).to_numpy(dtype=bool), \n",
    "    ((opere_aggiuntive['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[1]) & (opere_aggiuntive['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[2])).to_numpy(dtype=bool),\n",
    "    ((opere_aggiuntive['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[2]) & (opere_aggiuntive['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[3])).to_numpy(dtype=bool),\n",
    "    ((opere_aggiuntive['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[3]) & (opere_aggiuntive['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[4])).to_numpy(dtype=bool),\n",
    "    ((opere_aggiuntive['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[4]) & (opere_aggiuntive['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[5])).to_numpy(dtype=bool),\n",
    "    ((opere_aggiuntive['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[5]) & (opere_aggiuntive['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[6])).to_numpy(dtype=bool),\n",
    "    ((opere_aggiuntive['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[6]) & (opere_aggiuntive['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[7])).to_numpy(dtype=bool),\n",
    "    ((opere_aggiuntive['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[7]) & (opere_aggiuntive['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[8])).to_numpy(dtype=bool),\n",
    "    ((opere_aggiuntive['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[8]) & (opere_aggiuntive['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[9])).to_numpy(dtype=bool),\n",
    "    ((opere_aggiuntive['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[9]) & (opere_aggiuntive['ANNO_RIFERIMENTO'] < range_periodi_storici_italia[10])).to_numpy(dtype=bool),\n",
    "    ((opere_aggiuntive['ANNO_RIFERIMENTO'] >= range_periodi_storici_italia[10])).to_numpy(dtype=bool)\n",
    "    ]\n",
    "\n",
    "# Opere da SCRIPTA\n",
    "opere_autori_generi_testi['PERIODO_STORICO'] = np.select(conditions, range_periodi_storici_italia_label, default=None)\n",
    "opere_autori_generi_testi['INFO_PERIODO_STORICO'] = np.select(conditions, range_periodi_storici_italia_meta, default=None)\n",
    "# Opere Aggiuntive\n",
    "opere_aggiuntive['PERIODO_STORICO'] = np.select(conditions1, range_periodi_storici_italia_label, default=None)\n",
    "opere_aggiuntive['INFO_PERIODO_STORICO'] = np.select(conditions1, range_periodi_storici_italia_meta, default=None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "id": "bb664bb1",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ANNO_RIFERIMENTO</th>\n",
       "      <th>PERIODO_STORICO</th>\n",
       "      <th>INFO_PERIODO_STORICO</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1532</td>\n",
       "      <td>1454_1559_Rinascimento</td>\n",
       "      <td>Pace di lodi (equilibrio) e sviluppo rinascime...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1554</td>\n",
       "      <td>1454_1559_Rinascimento</td>\n",
       "      <td>Pace di lodi (equilibrio) e sviluppo rinascime...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1353</td>\n",
       "      <td>1250_1454_Tardo_Medioevo</td>\n",
       "      <td>Evoluzione comuni nord italia in signorie Decl...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>1494</td>\n",
       "      <td>1454_1559_Rinascimento</td>\n",
       "      <td>Pace di lodi (equilibrio) e sviluppo rinascime...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>1838</td>\n",
       "      <td>1814_1860_Risorgimento</td>\n",
       "      <td>La Restaurazione (1815-1848) - Regno borbonico...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>1901</td>\n",
       "      <td>1861_1914_L'Italia_liberale</td>\n",
       "      <td>Destra storica, Sinistra storica, Questione me...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>1522</td>\n",
       "      <td>1454_1559_Rinascimento</td>\n",
       "      <td>Pace di lodi (equilibrio) e sviluppo rinascime...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>1913</td>\n",
       "      <td>1861_1914_L'Italia_liberale</td>\n",
       "      <td>Destra storica, Sinistra storica, Questione me...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>1890</td>\n",
       "      <td>1861_1914_L'Italia_liberale</td>\n",
       "      <td>Destra storica, Sinistra storica, Questione me...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>1894</td>\n",
       "      <td>1861_1914_L'Italia_liberale</td>\n",
       "      <td>Destra storica, Sinistra storica, Questione me...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   ANNO_RIFERIMENTO              PERIODO_STORICO  \\\n",
       "0              1532       1454_1559_Rinascimento   \n",
       "1              1554       1454_1559_Rinascimento   \n",
       "2              1353     1250_1454_Tardo_Medioevo   \n",
       "3              1494       1454_1559_Rinascimento   \n",
       "4              1838       1814_1860_Risorgimento   \n",
       "5              1901  1861_1914_L'Italia_liberale   \n",
       "6              1522       1454_1559_Rinascimento   \n",
       "7              1913  1861_1914_L'Italia_liberale   \n",
       "8              1890  1861_1914_L'Italia_liberale   \n",
       "9              1894  1861_1914_L'Italia_liberale   \n",
       "\n",
       "                                INFO_PERIODO_STORICO  \n",
       "0  Pace di lodi (equilibrio) e sviluppo rinascime...  \n",
       "1  Pace di lodi (equilibrio) e sviluppo rinascime...  \n",
       "2  Evoluzione comuni nord italia in signorie Decl...  \n",
       "3  Pace di lodi (equilibrio) e sviluppo rinascime...  \n",
       "4  La Restaurazione (1815-1848) - Regno borbonico...  \n",
       "5  Destra storica, Sinistra storica, Questione me...  \n",
       "6  Pace di lodi (equilibrio) e sviluppo rinascime...  \n",
       "7  Destra storica, Sinistra storica, Questione me...  \n",
       "8  Destra storica, Sinistra storica, Questione me...  \n",
       "9  Destra storica, Sinistra storica, Questione me...  "
      ]
     },
     "execution_count": 65,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# check correttezza assegnazioni\n",
    "opere_autori_generi_testi[['ANNO_RIFERIMENTO', 'PERIODO_STORICO', 'INFO_PERIODO_STORICO']].head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "id": "2afa2e88",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ANNO_RIFERIMENTO</th>\n",
       "      <th>PERIODO_STORICO</th>\n",
       "      <th>INFO_PERIODO_STORICO</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1923</td>\n",
       "      <td>1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...</td>\n",
       "      <td>Marcia su Roma, Dittatura e impero, Allenza co...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1926</td>\n",
       "      <td>1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...</td>\n",
       "      <td>Marcia su Roma, Dittatura e impero, Allenza co...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1930</td>\n",
       "      <td>1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...</td>\n",
       "      <td>Marcia su Roma, Dittatura e impero, Allenza co...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>1933</td>\n",
       "      <td>1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...</td>\n",
       "      <td>Marcia su Roma, Dittatura e impero, Allenza co...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>1934</td>\n",
       "      <td>1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...</td>\n",
       "      <td>Marcia su Roma, Dittatura e impero, Allenza co...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>1937</td>\n",
       "      <td>1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...</td>\n",
       "      <td>Marcia su Roma, Dittatura e impero, Allenza co...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>1938</td>\n",
       "      <td>1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...</td>\n",
       "      <td>Marcia su Roma, Dittatura e impero, Allenza co...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>1939</td>\n",
       "      <td>1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...</td>\n",
       "      <td>Marcia su Roma, Dittatura e impero, Allenza co...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>1940</td>\n",
       "      <td>1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...</td>\n",
       "      <td>Marcia su Roma, Dittatura e impero, Allenza co...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>1944</td>\n",
       "      <td>1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...</td>\n",
       "      <td>Marcia su Roma, Dittatura e impero, Allenza co...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   ANNO_RIFERIMENTO                                    PERIODO_STORICO  \\\n",
       "0              1923  1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...   \n",
       "1              1926  1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...   \n",
       "2              1930  1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...   \n",
       "3              1933  1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...   \n",
       "4              1934  1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...   \n",
       "5              1937  1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...   \n",
       "6              1938  1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...   \n",
       "7              1939  1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...   \n",
       "8              1940  1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...   \n",
       "9              1944  1922_1945_Ventennio_Fascista_Seconda_Guerra_Mo...   \n",
       "\n",
       "                                INFO_PERIODO_STORICO  \n",
       "0  Marcia su Roma, Dittatura e impero, Allenza co...  \n",
       "1  Marcia su Roma, Dittatura e impero, Allenza co...  \n",
       "2  Marcia su Roma, Dittatura e impero, Allenza co...  \n",
       "3  Marcia su Roma, Dittatura e impero, Allenza co...  \n",
       "4  Marcia su Roma, Dittatura e impero, Allenza co...  \n",
       "5  Marcia su Roma, Dittatura e impero, Allenza co...  \n",
       "6  Marcia su Roma, Dittatura e impero, Allenza co...  \n",
       "7  Marcia su Roma, Dittatura e impero, Allenza co...  \n",
       "8  Marcia su Roma, Dittatura e impero, Allenza co...  \n",
       "9  Marcia su Roma, Dittatura e impero, Allenza co...  "
      ]
     },
     "execution_count": 66,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "opere_aggiuntive[['ANNO_RIFERIMENTO', 'PERIODO_STORICO', 'INFO_PERIODO_STORICO']].head(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "caa26574",
   "metadata": {},
   "source": [
    "### Generazione corpus "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dfca4e5f",
   "metadata": {},
   "source": [
    "Utilizzo una funzione analoga a quella vista per rigenerare i libri, ma qui per generare i corpus\n",
    "- Accortezza di aggiungere i libri post 2022 nelle due epoche"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 133,
   "id": "65c21185",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0"
      ]
     },
     "execution_count": 133,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Check che tutti i libri e i vocaboli abbiano id non nullo\n",
    "sum(~vocabolario['ID_OPERA'].notnull())\n",
    "sum(~opere_autori_generi_testi['ID_OPERA'].notnull())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 153,
   "id": "338d3cd2",
   "metadata": {},
   "outputs": [],
   "source": [
    "path_libri_trattati = '.\\data\\\\books_after_1922\\\\libri_trattati'\n",
    "\n",
    "\n",
    "# passare dataframe completo\n",
    "def build_corpus_periodo_storico(vocabolario_, meta_data, path):\n",
    "    label_periodo_storico = meta_data['PERIODO_STORICO'].unique(\n",
    "    ).tolist()  # estraggo periodi storici\n",
    "    for label in label_periodo_storico:\n",
    "        corpus_title = label  # nome del corpus\n",
    "\n",
    "        if ((label != '1922_1945_Ventennio_Fascista_Seconda_Guerra_Mondiale') & (label != '1945_presente_La_Repubblica_Italiana')):\n",
    "            # opere relative al periodo storico\n",
    "            opere_periodo = meta_data[meta_data['PERIODO_STORICO'] == label]\n",
    "            lista_opere_periodo = opere_periodo['ID_OPERA'].unique().tolist()\n",
    "\n",
    "            vocabolario_periodo = vocabolario_[vocabolario_['ID_OPERA'].isin(\n",
    "                lista_opere_periodo)]  # selezione vocaboli delle opere in questione\n",
    "            print(label)\n",
    "            print(str(len(opere_periodo)) + ' opere')\n",
    "            try:\n",
    "                with open(path + corpus_title + '.txt', \"r\", encoding='utf-8') as file:\n",
    "                    # print('pass')\n",
    "                    pass\n",
    "            except FileNotFoundError:\n",
    "                # print(vocabolario_periodo.head(5))\n",
    "\n",
    "                # Sostituisco eventuali NaN con la sigla MW (Missing Word) o MS (Missing Separator)\n",
    "                vocabolario_periodo.VOCABOLO = vocabolario_periodo.VOCABOLO.fillna(\n",
    "                    'MW')\n",
    "                vocabolario_periodo.SEPARATORE = vocabolario_periodo.SEPARATORE.fillna(\n",
    "                    'MS')\n",
    "\n",
    "                # Traduco le lettere nei separatori\n",
    "                vocabolario_periodo['SEPARATORE'] = vocabolario_periodo['SEPARATORE'].str.replace(\n",
    "                    'S', ' ', regex=False)\n",
    "                vocabolario_periodo['SEPARATORE'] = vocabolario_periodo['SEPARATORE'].str.replace(\n",
    "                    'P', '\\n', regex=False)  # uso \\n per andare a capo quando scrivo il .txt\n",
    "\n",
    "                # Creo la lista con VOCABOLO + SEPARATORE\n",
    "                word_list = vocabolario_periodo['VOCABOLO']\n",
    "                sep_list = vocabolario_periodo['SEPARATORE']\n",
    "                result = [None]*(len(word_list)+len(sep_list))\n",
    "                result[::2] = word_list\n",
    "                result[1::2] = sep_list\n",
    "\n",
    "                # Creo il dataframe necessario, con manipolazione\n",
    "                df_2 = pd.DataFrame(result)\n",
    "                df_2.rename(columns={0: \"PAROLA\"}, inplace=True)\n",
    "                df_2['PARAGRAFO'] = df_2[\"PAROLA\"].str.contains(\n",
    "                    '\\n', regex=False).cumsum()\n",
    "                df_2['PARAGRAFO'] = df_2['PARAGRAFO'].where(\n",
    "                    ~df_2['PAROLA'].str.contains('\\n', regex=False), df_2['PARAGRAFO']-1)\n",
    "                # Riduco di 1 il valore di paragrafo quando ho l'escape character \\n per andare a capo nel punto giusto\n",
    "\n",
    "                # Creo il dataframe per costruire le frasi, con manipolazione\n",
    "                groups = df_2.groupby(\"PARAGRAFO\")\n",
    "                sentences = groups.apply(lambda sdf: \"\".join(sdf.PAROLA))\n",
    "                df_3 = pd.DataFrame(sentences)\n",
    "                df_3.reset_index(inplace=True)\n",
    "                df_3.drop('PARAGRAFO', axis=1, inplace=True)\n",
    "\n",
    "                with open(path + corpus_title + '.txt', \"w\", encoding='utf-8') as file:\n",
    "                    # Testo\n",
    "                    for index, row in df_3.iterrows():\n",
    "                        file.write(row[0])\n",
    "            finally:\n",
    "                pass\n",
    "        # unisco libri aggiuntivi fino al 1945\n",
    "        elif (label == '1922_1945_Ventennio_Fascista_Seconda_Guerra_Mondiale'):\n",
    "            print(label)\n",
    "            try:\n",
    "                with open(path + corpus_title + '.txt', \"r\", encoding='utf-8') as file:\n",
    "                    # print('pass')\n",
    "                    pass\n",
    "            except FileNotFoundError:\n",
    "                with open(path + corpus_title + '.txt', \"w\", encoding='utf-8') as file:\n",
    "                    # Testo\n",
    "                    # for index, row in df_3.iterrows():\n",
    "                    #    file.write(row[0])\n",
    "                    print(\n",
    "                        str(len(os.listdir(f\"{path_libri_trattati}\\pre_1945\"))) + ' opere')\n",
    "                    for filename in os.listdir(f\"{path_libri_trattati}\\pre_1945\"):\n",
    "                        filedata = None  # azzero\n",
    "                        with open(f\"{path_libri_trattati}\\pre_1945\\{filename}\", \"r\", encoding=\"utf8\") as file_book:\n",
    "                            # filedata = file_book.read()\n",
    "                            for line in file_book:\n",
    "                                file.write(line)\n",
    "            finally:\n",
    "                pass\n",
    "        else:  # (label == '1945_presente_La_Repubblica_Italiana'): #unisco libri aggiuntivi dopo 1945\n",
    "            try:\n",
    "                with open(path + corpus_title + '.txt', \"r\", encoding='utf-8') as file:\n",
    "                    # print('pass')\n",
    "                    pass\n",
    "            except FileNotFoundError:\n",
    "                with open(path + corpus_title + '.txt', \"w\", encoding='utf-8') as file:\n",
    "                    # Testo\n",
    "                    # for index, row in df_3.iterrows():\n",
    "                    #     file.write(row[0])\n",
    "                    print(\n",
    "                        str(len(os.listdir(f\"{path_libri_trattati}\\post_1945\"))) + ' opere')\n",
    "                    for filename in os.listdir(f\"{path_libri_trattati}\\post_1945\"):\n",
    "                        filedata = None  # azzero\n",
    "                        with open(f\"{path_libri_trattati}\\post_1945\\{filename}\", \"r\", encoding=\"utf8\") as file_book:\n",
    "                            # filedata = file_book.read()\n",
    "                            for line in file_book:\n",
    "                                file.write(line)\n",
    "            finally:\n",
    "                pass\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 154,
   "id": "67da44f2",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1454_1559_Rinascimento\n",
      "229 opere\n",
      "1250_1454_Tardo_Medioevo\n",
      "113 opere\n",
      "1814_1860_Risorgimento\n",
      "361 opere\n",
      "1861_1914_L'Italia_liberale\n",
      "1352 opere\n",
      "1559_1707_Seicento\n",
      "267 opere\n",
      "1915_1922_L'Italia_nella_Prima_Guerra_Mondiale_e_dopoguerra\n",
      "308 opere\n",
      "1796_1814_Periodo_napoleonico\n",
      "90 opere\n",
      "1707_1796_Settecento\n",
      "322 opere\n",
      "1000_1250_Pieno Medievo\n",
      "5 opere\n",
      "1922_1945_Ventennio_Fascista_Seconda_Guerra_Mondiale\n",
      "11 opere\n",
      "61 opere\n"
     ]
    }
   ],
   "source": [
    "build_corpus_periodo_storico(\n",
    "    vocabolario, opere_autori_generi_testi, \"./data/Corpora/periodi_storici/\")\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "034a95da",
   "metadata": {},
   "source": [
    "## Divisione per movimenti letterali"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "73cd825f",
   "metadata": {},
   "source": [
    "Fonti:\n",
    "- https://it.wikipedia.org/wiki/Storia_della_letteratura_italiana#La_letteratura_religiosa\n",
    "- https://it.wikipedia.org/wiki/Corrente_letteraria\n",
    "\n",
    "Definisco quelle che sono le diverse correnti letterarie e i principali esponenti, al fine poi di andare a creare una label che assegni a ogni opera una label."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5b636657",
   "metadata": {},
   "source": [
    "### Definizione periodi"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "94544cd8",
   "metadata": {},
   "outputs": [],
   "source": [
    "#################### Duecento: 16 opere ####################\n",
    "\n",
    "# Duecento poetica: 6 opere\n",
    "duecento_letteratura_allegorica = [\n",
    "    'Alano di Lilla', 'Giacomino da Verona', 'Bonvesin de la Riva degli Umiliati']  # 0 opere\n",
    "duecento_letteratura_religiosa = ['Francesco d\\'Assisi', 'Raniero Fasani',\n",
    "                                  'Tommaso da Celano', 'Bonaventura da Bagnoregio', 'Jacopone da Todi']  # due opere\n",
    "duecento_scuola_siciliana = ['Giacomo da Lentini', 'Guido delle Colonne', 'Pier della Vigna',\n",
    "                             'Rinaldo d\\'Aquino', 'Giacomo Pugliese', 'Stefano Protonotaro', 'Cielo d\\'Alcamo']  # due opere\n",
    "duecento_scuola_toscana = ['Bonagiunta Orbicciani da Lucca', 'Monte Andrea',\n",
    "                           'Chiaro Davanzati', 'Compiuta Donzella', 'Guittone']  # una opera\n",
    "duecento_peosia_comico_realistica = ['Rustico di Filippo', 'Meo de\\' Tolomei',\n",
    "                                     'Cenne della Chitarra', 'Cecco Angiolieri', 'Folgóre da San Gimignano']  # una opera\n",
    "duecento_poetica = duecento_letteratura_allegorica + duecento_letteratura_religiosa + \\\n",
    "    duecento_scuola_siciliana + duecento_scuola_toscana + \\\n",
    "    duecento_peosia_comico_realistica\n",
    "\n",
    "# Duecento prosa: 10 opere\n",
    "duecento_prosa = ['Salimbene de Adam', 'Jacopo da Varazze', 'Brunetto Latini', 'Bono Giamboni',\n",
    "                  'Restoro d\\'Arezzo', 'Paolino Minorita', 'Guidotto da Bologna', 'Ricordano Malispini', 'Marco Polo', 'Rustichello da Pisa']  # 10 opere\n",
    "\n",
    "duecento_poetica_e_prosa = duecento_poetica + duecento_prosa  # 16 opere\n",
    "\n",
    "#################### Trecento ####################\n",
    "\n",
    "# DOLCE STIL NOVO :10 opere\n",
    "\n",
    "dolce_stil_novo = ['Dante Alighieri', 'Guido Guinizzelli', 'Guido Cavalcanti',\n",
    "                   'Lapo Gianni', 'Gianni Alfani', 'Cino da Pistoia', 'Dino Frescobaldi']  # 10 opere\n",
    "\n",
    "# PETRARCHISMO\n",
    "\n",
    "# petrarca è considerato il più grande PRECURSORE dell'umanesimo, si può includere nel punto dopo\n",
    "petrarchismo = ['Francesco Petrarca', 'Boiardo', 'Poliziano', 'Lorenzo il Magnifico', 'Michelangelo Buonarroti', 'Alfonso Gatto', 'Libero de Libero', 'Mario Luzi', 'Leonardo Sinisgalli',\n",
    "                'Corrado Pavolini', 'Gatto', 'Piero Bigongiari', 'Sinisgalli', 'Luzi', 'Alessandro Parronchi', 'Vittorio Sereni']  # 6 opere\n",
    "\n",
    "#DolceStilNovo_petrarchismo = dolce_stil_novo + petrarchismo\n",
    "\n",
    "\n",
    "#################### Quattrocento e prima metà Cinquecento (RINASCIMENTO)): Umanesimo, letteratura volgare, letteratura rinascimentale ####################\n",
    "\n",
    "# UMANESIMO\n",
    "\n",
    "# 14 opere, precursore, insieme a petrarca, dell'umanesimo, egli è ancora poeta del trecento\n",
    "boccaccio = ['Giovanni Boccaccio', 'Giambattista Basile']\n",
    "\n",
    "umanesimo = ['Ludovico Ariosto', 'Francesco Guicciardini', ' Tommaso Campanella', 'Leonardo Bruni', 'Poggio Bracciolini', 'Lorenzo Valla', 'Flavio Biondo', 'Leon Battista Alberti', 'Marsilio Ficino',\n",
    "             'Cristoforo Landino', 'Pico della Mirandola', 'Poliziano', 'Savonarola', 'Leonardo da Vinci', 'Machiavelli', 'Feo Belcari', 'Bernardino da Siena']\n",
    "\n",
    "# torquato_tasso = ['Torquato Tasso'] # 10 opere, non si può inserirlo nell'umanesimo perchè a cavallo tra rinascimento e controriforma (influenze diverse)\n",
    "\n",
    "boccaccio_e_umanesimo = umanesimo + boccaccio  # 92 opere\n",
    "\n",
    "#################### Seicento ####################\n",
    "\n",
    "# MANIERISMO e LETTERATURA BAROCCA (consecutivi e molto simili nella visione del mondo, per questo li accorpo)\n",
    "\n",
    "# Segna il passaggio tra la cultura rinascimentale e quella barocca\n",
    "manierismo = ['Torquato Tasso', 'Giordano Bruno', 'Battista Guarini']  # 17\n",
    "\n",
    "barocco = ['Giambattista Marino', 'Alessandro Tassoni',\n",
    "           'Gabriello Chiabrera', 'Fulvio Testi', 'Galileo Galilei', 'Copernico']  # 30\n",
    "\n",
    "manirismo = [\"Girolamo Fontanella\", \"Scipione Errico\", \"Girolamo Brusoni\", \"Giacomo Lubrano\", \"Giambattista Basile\",\n",
    "             \"Girolamo Preti\", \"Francesco Bracciolini\", \"Guidubaldo Benamati\", \"Agazio di Somma\", \"Scipione Errico\"]  # 11\n",
    "\n",
    "manierismo_e_barocco = manierismo + barocco + manirismo\n",
    "\n",
    "#################### Settecento (e non solo) ####################\n",
    "\n",
    "# Classicismo (ARCADIA) e Neoclassicismo\n",
    "\n",
    "# ARCADIA (classicismo anti-barocco, si ispira al petrarchismo) -> 63 opere\n",
    "\n",
    "classicismo_arcadia = ['Pietro Metastasio', 'Gian Vincenzo Gravina',\n",
    "                       'Giambattista Felice Zappi', 'Paolo Rolli']  # 63 opere\n",
    "\n",
    "# NEOCLASSICISMO (non lo trattiamo perchè si mischia con illuminismo e rimanticismo)\n",
    "# neoclassicismo = [\"Ludovico Savioli\", \"Giuseppe Parini\",\n",
    "#                  \"Vincenzo Monti\", \"Vittorio Alfieri\", \"Ugo Foscolo\"] # 60 opere\n",
    "\n",
    "# ILLUMINISMO e NEOCLASSICISMO -> 61 opere\n",
    "\n",
    "illuminismo_neoclassicismo = ['Cesare Beccaria', 'Pietro Verri', 'Giuseppe Parini', 'Vittorio Alfieri', 'Ludovico Savioli', \"Francesco Algarotti\", \"Maria Gaetana Agnesi\",\n",
    "                              \"Sallustio Bandini\", \"Giuseppe Baretti\", \"Melchiorre Cesarotti\", \"Carlo Denina\", \"Gaetano Filangieri\", \"Antonio Genovesi\", \"Pietro Giannone\", \"Gaspare Gozzi\", \"Alessandro Verri\"]\n",
    "\n",
    "#################### Fine settecento e Ottocento ####################\n",
    "\n",
    "# PRE-ROMANTICISMO e ROMANTICISMO -> 78 opere\n",
    "\n",
    "romanticismo = [\"Ugo Foscolo\", \"Ippolito Pindemonte\", \"Alessandro Manzoni\", \"Giacomo Leopardi\",\n",
    "                \"Giuseppe Botero\", \"Ippolito Nievo\", \"Massimo d'Azeglio\", \"Carlo Pisacane\", \"Vincenzo Gioberti\",\n",
    "                \"Giuseppe Mazzini\", \"Massimo d'Azeglio\", \"Vincenzo Gioberti\", \"Luigi Settembrini\", \"Carlo Cattaneo\", \"Carlo Pisacane\", \"Cesare Cantù\", \"Gino Capponi\", \"Vincenzo Cuoco\", \"Silvio Pellico\"]\n",
    "\n",
    "verismo = [\"Giovanni Verga\", \"Luigi Capuana\", \"Federico De Roberto\", \"Matilde Serao\", \"Salvatore Di Giacomo\",\n",
    "           \"Nicola Misasi\", \"Grazia Deledda\", \"Domenico Ciampoli\", \"Giuseppe Mezzanotte\", \"Cesare Pascarella\", \"Renato Fucini\"]\n",
    "\n",
    "decadentismo = [\"Giovanni Pascoli\", \"Italo Svevo\", \"Antonio Fogazzaro\",\n",
    "                \"Luigi Pirandello\", \"Gabriele D'Annunzio\", \"Giuseppe Antonio Borghese\"]\n",
    "\n",
    "#################### PRIMO NOVECENTO ####################\n",
    "\n",
    "# AVANGUARDIE del primo novecento\n",
    "\n",
    "crepuscolarismo = [\"Corrado Govoni\", \"Marino Moretti\",\n",
    "                   \"Sergio Corazzini\", \"Guido Gozzano\"]\n",
    "futurismo = [\"Filippo Tommaso Marinetti\", \"Aldo Palazzeschi\",\n",
    "             \"Francesco Cangiullo\", \"Luciano Folgore\", \"Ardengo Soffici\", \"Corrado Govoni\"]\n",
    "\n",
    "ermetismo = [\"Camillo Sbarbaro\", \"Clemente Rebora\", \"Dino Campana\", \"Arturo Onofri\",\n",
    "             \"Giuseppe Ungaretti\", \"Salvatore Quasimodo\", \"Alfonso Gatto\", \"Vittorio Sereni\", \"Mario Luzi\"]\n",
    "\n",
    "avanguardie_primo_novecento = crepuscolarismo + futurismo + ermetismo\n",
    "\n",
    "#################### DOPOGUERRA ####################\n",
    "\n",
    "# Neorealismo\n",
    "\n",
    "neorealismo = [\"Alberto Moravia\", \"Ignazio Silone\", \"Vasco Pratolini\", \"Beppe Fenoglio\", \"Pier Paolo Pasolini\", \"Carlo Cassola\", \"Giorgio Bassani\", \"Vasco Pratolini\", \"Carlo Emilio Gadda\", \"Emilio Lussu\", \"Mario Rigoni Stern\", \"Italo Calvino\", \"Dino Buzzati\", \"Carlo Levi\", \"Alberto Moravia\", \"Elsa Morante\", \"Cesare Pavese\", \"Ignazio Silone\", \"Ennio Flaiano\", \"Goffredo Parise\", \"Pier Paolo Pasolini\", \"Primo Levi\", \"Carlo Bernari\", \"Corrado Alvaro\", \"Guido Piovene\", \"Rocco Scotellaro\", \"Vitaliano Brancati\", \"Giuseppe Tomasi di Lampedusa\", \"Elio Vittorini\",\n",
    "               \"Leonardo Sciascia\", \"Gesualdo Bufalino\", \"Romano Bilenchi\", \"Natalia Ginzburg\", \"Giovanni Arpino\", \"Umberto Eco\", \"Beppe Fenoglio\", \"Antonio Tabucchi\", \"Giuseppe Berto\", \"Giovanni Testori\", \"Pier Antonio Quarantotti Gambini\", \"Francesco Jovine\", \"Antonio Delfini\", \"Giovannino Guareschi\", \"Alberto Arbasino\", \"Luciano Bianciardi\", \"Attilio Bertolucci\", \"Giorgio Caproni\", \"Sandro Penna\", \"Vittorio Sereni\", \"Giorgio Orelli\", \"Mario Soldati\", \"Lucio Mastronardi\", \"Luigi Malerba\", \"Antonio Pizzuto\", \"Dacia Maraini\", \"Tommaso Landolfi\", \"Vincenzo Consolo\", \"Andrea Camilleri\", \"Eugenio Corti\"]\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f24fd768",
   "metadata": {},
   "source": [
    "- duecento_poetica_e_prosa (16 opere)  \n",
    "- dolce_stil_novo (10 opere)\n",
    "- petrarchismo (6 opere)\n",
    "- boccaccio_e_umanesimo (92)\n",
    "- manierismo_e_barocco (58)\n",
    "- classicismo_arcadia (63 opere)\n",
    "- illuminismo_neoclassicismo (61 opere)\n",
    "- romanticismo (112)\n",
    "- verismo (171)\n",
    "- decadentismo (108 + 3 libri aggiuntivi)\n",
    "- avanguardie_primo_novecento (24 + 1 libro aggiuntivo)\n",
    "- neorealismo (42 libri aggiuntivi)\n",
    "\n",
    "Autori importanti: Dante Alighieri, Francesco Petrarca, Giovanni Boccaccio, Ludovico Ariosto, Torquato Tasso, Giambattista Marino, Giuseppe Parini, Vittorio Alfieri (preromantico), Ugo Foscolo (preromantico), Alessandro Manzoni (romantico), Giacomo Leopardi (romanttico differentte)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4b2b0168",
   "metadata": {},
   "source": [
    "Check numero di opere in ogni periodo"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "id": "8ceb6307",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1\n",
      "0\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ANNO_RIFERIMENTO</th>\n",
       "      <th>TITOLO</th>\n",
       "      <th>AUTORE</th>\n",
       "      <th>Filename</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "Empty DataFrame\n",
       "Columns: [ANNO_RIFERIMENTO, TITOLO, AUTORE, Filename]\n",
       "Index: []"
      ]
     },
     "execution_count": 59,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# opere_autori_generi_testi[opere_autori_generi_testi['AUTORE'].str.contains(\"Dino Frescobaldi\", na=False)]\n",
    "# opere_autori_generi_testi[opere_autori_generi_testi['AUTORE'] in dolce_stil_novo]\n",
    "\n",
    "print(len(opere_autori_generi_testi[opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(neorealismo), na=False, case = False)]))\n",
    "opere_autori_generi_testi[opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(neorealismo), na=False, case = False)].head(10)\n",
    "\n",
    "# opere aggiuntive\n",
    "print(len(opere_aggiuntive[opere_aggiuntive['AUTORE'].str.contains(\"|\".join(verismo), na=False, case = False)]))\n",
    "opere_aggiuntive[opere_aggiuntive['AUTORE'].str.contains(\"|\".join(verismo), na=False, case = False)].head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "18f7fc5b",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Check che le opere con autore null non rompano tutto\n",
    "# opere_autori_generi_testi[~opere_autori_generi_testi['AUTORE'].notnull()]['AUTORE'].str.contains(\"|\".join(verismo), na=False, case = False)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "be89b546",
   "metadata": {},
   "source": [
    "### Generazione colonna FASE_LETTERARIA"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 75,
   "id": "4fc6ea48",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Range periodi storici italia\n",
    "fasi_letterarie_italiane_liste_autori = [duecento_poetica_e_prosa, dolce_stil_novo, petrarchismo,\n",
    "                                boccaccio_e_umanesimo, manierismo_e_barocco, classicismo_arcadia, \n",
    "                                illuminismo_neoclassicismo, romanticismo, verismo, decadentismo, avanguardie_primo_novecento, neorealismo]\n",
    "# Label da assegnare\n",
    "fasi_letterarie_italiane = ['1_duecento_poetica_e_prosa Medievo',\n",
    "                            '2_dolce_stil_novo',\n",
    "                            '3_petrarchismo',\n",
    "                            '4_boccaccio_e_umanesimo',\n",
    "                            '5_manierismo_e_barocco',\n",
    "                            '6_classicismo_arcadia',\n",
    "                            '7_illuminismo_neoclassicismo',\n",
    "                            '8_romanticismo',\n",
    "                            '9_verismo',\n",
    "                            '10_decadentismo',\n",
    "                            '11_avanguardie_primo_novecento',\n",
    "                            '12_neorealismo'\n",
    "                            ]\n",
    "\n",
    "# Opere da SCRIPTA\n",
    "conditions = [\n",
    "    (opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[0]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[1]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[2]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[3]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[4]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[5]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[6]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[7]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[8]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[9]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[10]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_autori_generi_testi['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[11]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "]\n",
    "\n",
    "# Opere aggiuntive\n",
    "conditions1 = [\n",
    "    (opere_aggiuntive['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[0]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_aggiuntive['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[1]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_aggiuntive['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[2]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_aggiuntive['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[3]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_aggiuntive['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[4]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_aggiuntive['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[5]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_aggiuntive['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[6]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_aggiuntive['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[7]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_aggiuntive['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[8]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_aggiuntive['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[9]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_aggiuntive['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[10]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "    (opere_aggiuntive['AUTORE'].str.contains(\"|\".join(fasi_letterarie_italiane_liste_autori[11]), na=False, case = False)).to_numpy(dtype=bool),\n",
    "]\n",
    "\n",
    "# Opere da SCRIPTA\n",
    "opere_autori_generi_testi['FASE_LETTERARIA'] = np.select(\n",
    "    conditions, fasi_letterarie_italiane, default=None)\n",
    "# Opere Aggiuntive\n",
    "opere_aggiuntive['FASE_LETTERARIA'] = np.select(\n",
    "    conditions1, fasi_letterarie_italiane, default=None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "id": "ab3814c9",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "719\n",
      "                 AUTORE          FASE_LETTERARIA\n",
      "0      Ludovico Ariosto  4_boccaccio_e_umanesimo\n",
      "1       Matteo Bandello                     None\n",
      "2    Giovanni Boccaccio  4_boccaccio_e_umanesimo\n",
      "3  Matteo Maria Boiardo           3_petrarchismo\n",
      "4          Cesare Cantù           8_romanticismo\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "None                                  2392\n",
       "9_verismo                              171\n",
       "8_romanticismo                         112\n",
       "10_decadentismo                        108\n",
       "4_boccaccio_e_umanesimo                 90\n",
       "6_classicismo_arcadia                   63\n",
       "7_illuminismo_neoclassicismo            61\n",
       "5_manierismo_e_barocco                  57\n",
       "11_avanguardie_primo_novecento          24\n",
       "1_duecento_poetica_e_prosa Medievo      16\n",
       "2_dolce_stil_novo                       10\n",
       "3_petrarchismo                           6\n",
       "12_neorealismo                           1\n",
       "Name: FASE_LETTERARIA, dtype: int64"
      ]
     },
     "execution_count": 88,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Check dei not null e print\n",
    "print(sum(opere_autori_generi_testi['FASE_LETTERARIA'].notnull())) # conti tornano più o meno\n",
    "print(opere_autori_generi_testi[['AUTORE', 'FASE_LETTERARIA']].head(5))\n",
    "opere_autori_generi_testi['FASE_LETTERARIA'].value_counts(dropna=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "id": "af281a88",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "46\n",
      "                 AUTORE FASE_LETTERARIA\n",
      "67  Pier Paolo Pasolini  12_neorealismo\n",
      "68     Antonio Tabucchi  12_neorealismo\n",
      "69    Goliarda Sapienza            None\n",
      "70          Umberto Eco  12_neorealismo\n",
      "71       Elena Ferrante            None\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "12_neorealismo                    42\n",
       "None                              26\n",
       "10_decadentismo                    3\n",
       "11_avanguardie_primo_novecento     1\n",
       "Name: FASE_LETTERARIA, dtype: int64"
      ]
     },
     "execution_count": 89,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "print(sum(opere_aggiuntive['FASE_LETTERARIA'].notnull())) # conti tornano\n",
    "print(opere_aggiuntive[['AUTORE', 'FASE_LETTERARIA']].tail(5))\n",
    "opere_aggiuntive['FASE_LETTERARIA'].value_counts(dropna=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 96,
   "id": "85158b67",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "False"
      ]
     },
     "execution_count": 96,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\"10_decadentismo\" not in opere_aggiuntive['FASE_LETTERARIA'].dropna().unique().tolist()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5caa1092",
   "metadata": {},
   "source": [
    "### Generazione corpus"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 106,
   "id": "20a72cb9",
   "metadata": {},
   "outputs": [],
   "source": [
    "path_libri_trattati = '.\\data\\\\books_after_1922\\\\libri_trattati\\\\tutti'\n",
    "\n",
    "\n",
    "# passare dataframe completo\n",
    "def build_corpus_fasi_letterarie(vocabolario_, meta_data, meta_data_agg, path): \n",
    "    for label in fasi_letterarie_italiane: # estraggo periodi storici\n",
    "        corpus_title = label  # nome del corpus\n",
    "        \n",
    "        # opere relative alla fase specifica\n",
    "        opere_fase = meta_data[meta_data['FASE_LETTERARIA'] == label]\n",
    "        lista_opere_fase = opere_fase['ID_OPERA'].unique().tolist()\n",
    "\n",
    "        vocabolario_fase = vocabolario_[vocabolario_['ID_OPERA'].isin(\n",
    "            lista_opere_fase)]  # selezione vocaboli delle opere in questione\n",
    "        print(label + \"\\t\" + str(len(opere_fase) + len(meta_data_agg[meta_data_agg['FASE_LETTERARIA'] == label])) + ' opere totali')\n",
    "        try:\n",
    "            with open(path + corpus_title + '.txt', \"r\", encoding='utf-8') as file:\n",
    "                print('---')\n",
    "                pass\n",
    "        except FileNotFoundError:\n",
    "            # print(vocabolario_fase.head(5))\n",
    "            print('-->')\n",
    "            # Sostituisco eventuali NaN con la sigla MW (Missing Word) o MS (Missing Separator)\n",
    "            vocabolario_fase.VOCABOLO = vocabolario_fase.VOCABOLO.fillna(\n",
    "                'MW')\n",
    "            vocabolario_fase.SEPARATORE = vocabolario_fase.SEPARATORE.fillna(\n",
    "                'MS')\n",
    "\n",
    "            # Traduco le lettere nei separatori\n",
    "            vocabolario_fase['SEPARATORE'] = vocabolario_fase['SEPARATORE'].str.replace(\n",
    "                'S', ' ', regex=False)\n",
    "            vocabolario_fase['SEPARATORE'] = vocabolario_fase['SEPARATORE'].str.replace(\n",
    "                'P', '\\n', regex=False)  # uso \\n per andare a capo quando scrivo il .txt\n",
    "\n",
    "            # Creo la lista con VOCABOLO + SEPARATORE\n",
    "            word_list = vocabolario_fase['VOCABOLO']\n",
    "            sep_list = vocabolario_fase['SEPARATORE']\n",
    "            result = [None]*(len(word_list)+len(sep_list))\n",
    "            result[::2] = word_list\n",
    "            result[1::2] = sep_list\n",
    "\n",
    "            # Creo il dataframe necessario, con manipolazione\n",
    "            df_2 = pd.DataFrame(result)\n",
    "            df_2.rename(columns={0: \"PAROLA\"}, inplace=True)\n",
    "            df_2['PARAGRAFO'] = df_2[\"PAROLA\"].str.contains(\n",
    "                '\\n', regex=False).cumsum()\n",
    "            df_2['PARAGRAFO'] = df_2['PARAGRAFO'].where(\n",
    "                ~df_2['PAROLA'].str.contains('\\n', regex=False), df_2['PARAGRAFO']-1)\n",
    "            # Riduco di 1 il valore di paragrafo quando ho l'escape character \\n per andare a capo nel punto giusto\n",
    "\n",
    "            # Creo il dataframe per costruire le frasi, con manipolazione\n",
    "            groups = df_2.groupby(\"PARAGRAFO\")\n",
    "            sentences = groups.apply(lambda sdf: \"\".join(sdf.PAROLA))\n",
    "            df_3 = pd.DataFrame(sentences)\n",
    "            df_3.reset_index(inplace=True)\n",
    "            df_3.drop('PARAGRAFO', axis=1, inplace=True)\n",
    "\n",
    "            with open(path + corpus_title + '.txt', \"w\", encoding='utf-8') as file:\n",
    "                # Testo\n",
    "                for index, row in df_3.iterrows():\n",
    "                    file.write(row[0])\n",
    "                # Se e solo se ci sono libri aggiuntivi per quella fase letteraria procedo aggiungendoli\n",
    "                if (label in meta_data_agg['FASE_LETTERARIA'].dropna().unique().tolist()):\n",
    "                    # Dalle opere aggiuntive seleziono solo le rilevanti \n",
    "                    opere_fase = meta_data_agg[meta_data_agg['FASE_LETTERARIA'] == label]\n",
    "                    # Selezioni i nomi dei file unici\n",
    "                    lista_path_opere_fase = opere_fase['Filename'].unique().tolist()\n",
    "                    # Seleziono uno a uno i diversi file e li aggiungo\n",
    "                    for filename in lista_path_opere_fase:\n",
    "                        filedata = None  # azzero\n",
    "                        with open(f\"{path_libri_trattati}\\{filename}\", \"r\", encoding=\"utf8\") as file_book:\n",
    "                            # filedata = file_book.read()\n",
    "                            for line in file_book:\n",
    "                                file.write(line)        \n",
    "        finally:\n",
    "            pass\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 107,
   "id": "ea4585e7",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1_duecento_poetica_e_prosa Medievo\t16 opere totali\n",
      "---\n",
      "2_dolce_stil_novo\t10 opere totali\n",
      "---\n",
      "3_petrarchismo\t6 opere totali\n",
      "---\n",
      "4_boccaccio_e_umanesimo\t90 opere totali\n",
      "---\n",
      "5_manierismo_e_barocco\t57 opere totali\n",
      "---\n",
      "6_classicismo_arcadia\t63 opere totali\n",
      "---\n",
      "7_illuminismo_neoclassicismo\t61 opere totali\n",
      "---\n",
      "8_romanticismo\t112 opere totali\n",
      "---\n",
      "9_verismo\t171 opere totali\n",
      "---\n",
      "10_decadentismo\t111 opere totali\n",
      "---\n",
      "11_avanguardie_primo_novecento\t25 opere totali\n",
      "---\n",
      "12_neorealismo\t43 opere totali\n",
      "---\n"
     ]
    }
   ],
   "source": [
    "output_corpora_fasi_letterarie = \"./data/Corpora/fasi_letterarie/\"\n",
    "\n",
    "build_corpus_fasi_letterarie(\n",
    "    vocabolario, opere_autori_generi_testi, opere_aggiuntive, output_corpora_fasi_letterarie)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b68b7df3",
   "metadata": {},
   "source": [
    "## Divisione per Autore"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1265835d",
   "metadata": {},
   "source": [
    "Del tutto analogo il procedimento al precedente"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "f48137e2",
   "metadata": {},
   "outputs": [],
   "source": [
    "autori_selezionati = [\"Dante Alighieri\", \"Francesco Petrarca\", \"Giovanni Boccaccio\", \"Ludovico Ariosto\", \"Torquato Tasso\", \"Giuseppe Parini\", \"Vittorio Alfieri\", \"Ugo Foscolo\", \"Alessandro Manzoni\",\n",
    "                      \"Giacomo Leopardi\", \"Italo Svevo\", \"Luigi Pirandello\", \"Gabriele D'Annunzio\", \"Pier Paolo Pasolini\", \"Italo Calvino\", \"Dino Buzzati\", \"Primo Levi\", \"Umberto Eco\"]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "9c51e4ca",
   "metadata": {},
   "outputs": [],
   "source": [
    "path_libri_trattati = '.\\data\\\\books_after_1922\\\\libri_trattati\\\\tutti'\n",
    "\n",
    "\n",
    "# passare dataframe completo\n",
    "def build_corpus_autori(vocabolario_, meta_data, meta_data_agg, path): \n",
    "    for label in autori_selezionati: # estraggo periodi storici\n",
    "        corpus_title = label  # nome del corpus\n",
    "        # opere relative all'autore specifico\n",
    "        opere_autore = meta_data[meta_data['AUTORE'].str.contains(label, na=False, case = False)]\n",
    "        lista_opere_autore = opere_autore['ID_OPERA'].unique().tolist()\n",
    "\n",
    "        vocabolario_autore = vocabolario_[vocabolario_['ID_OPERA'].isin(\n",
    "            lista_opere_autore)]  # selezione vocaboli delle opere in questione\n",
    "        print(label + \"\\t\" + str(len(opere_autore) + len(meta_data_agg[meta_data_agg['AUTORE'].str.contains(label, na=False, case = False)])) + ' opere totali')\n",
    "        try:\n",
    "            with open(path + corpus_title + '.txt', \"r\", encoding='utf-8') as file:\n",
    "                print('---')\n",
    "                pass\n",
    "        except FileNotFoundError:\n",
    "            # print(vocabolario_autore.head(5))\n",
    "            print('-->')\n",
    "            # Sostituisco eventuali NaN con la sigla MW (Missing Word) o MS (Missing Separator)\n",
    "            if (len(opere_autore) != 0): # check che ci sia almeno un libro in SCRIPTA (altrimenti da errore)\n",
    "                vocabolario_autore.VOCABOLO = vocabolario_autore.VOCABOLO.fillna(\n",
    "                    'MW')\n",
    "                vocabolario_autore.SEPARATORE = vocabolario_autore.SEPARATORE.fillna(\n",
    "                    'MS')\n",
    "\n",
    "                # Traduco le lettere nei separatori\n",
    "                vocabolario_autore['SEPARATORE'] = vocabolario_autore['SEPARATORE'].str.replace(\n",
    "                    'S', ' ', regex=False)\n",
    "                vocabolario_autore['SEPARATORE'] = vocabolario_autore['SEPARATORE'].str.replace(\n",
    "                    'P', '\\n', regex=False)  # uso \\n per andare a capo quando scrivo il .txt\n",
    "\n",
    "                # Creo la lista con VOCABOLO + SEPARATORE\n",
    "                word_list = vocabolario_autore['VOCABOLO']\n",
    "                sep_list = vocabolario_autore['SEPARATORE']\n",
    "                result = [None]*(len(word_list)+len(sep_list))\n",
    "                result[::2] = word_list\n",
    "                result[1::2] = sep_list\n",
    "\n",
    "                # Creo il dataframe necessario, con manipolazione\n",
    "                df_2 = pd.DataFrame(result)\n",
    "                df_2.rename(columns={0: \"PAROLA\"}, inplace=True)\n",
    "                df_2['PARAGRAFO'] = df_2[\"PAROLA\"].str.contains(\n",
    "                    '\\n', regex=False).cumsum()\n",
    "                df_2['PARAGRAFO'] = df_2['PARAGRAFO'].where(\n",
    "                    ~df_2['PAROLA'].str.contains('\\n', regex=False), df_2['PARAGRAFO']-1)\n",
    "                # Riduco di 1 il valore di paragrafo quando ho l'escape character \\n per andare a capo nel punto giusto\n",
    "\n",
    "                # Creo il dataframe per costruire le frasi, con manipolazione\n",
    "                groups = df_2.groupby(\"PARAGRAFO\")\n",
    "                sentences = groups.apply(lambda sdf: \"\".join(sdf.PAROLA))\n",
    "                df_3 = pd.DataFrame(sentences)\n",
    "                df_3.reset_index(inplace=True)\n",
    "                df_3.drop('PARAGRAFO', axis=1, inplace=True)\n",
    "\n",
    "            with open(path + corpus_title + '.txt', \"w\", encoding='utf-8') as file:\n",
    "                # Testo\n",
    "                if (len(opere_autore) != 0): # check che ci sia almeno un libro in SCRIPTA altrimenti da errore\n",
    "                    for index, row in df_3.iterrows():\n",
    "                        file.write(row[0])\n",
    "                # Se e solo se ci sono libri aggiuntivi per quella fase letteraria procedo aggiungendoli\n",
    "                if (label in meta_data_agg['AUTORE'].dropna().unique().tolist()):\n",
    "                    # Dalle opere aggiuntive seleziono solo le rilevanti \n",
    "                    opere_autore = meta_data_agg[meta_data_agg['AUTORE'].str.contains(label, na=False, case = False)]\n",
    "                    # Selezioni i nomi dei file unici\n",
    "                    lista_path_opere_autore = opere_autore['Filename'].unique().tolist()\n",
    "                    # Seleziono uno a uno i diversi file e li aggiungo\n",
    "                    for filename in lista_path_opere_autore:\n",
    "                        filedata = None  # azzero\n",
    "                        with open(f\"{path_libri_trattati}\\{filename}\", \"r\", encoding=\"utf8\") as file_book:\n",
    "                            # filedata = file_book.read()\n",
    "                            for line in file_book:\n",
    "                                file.write(line)        \n",
    "        finally:\n",
    "            pass"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "368ffa59",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Dante Alighieri\t6 opere totali\n",
      "---\n",
      "Francesco Petrarca\t2 opere totali\n",
      "---\n",
      "Giovanni Boccaccio\t14 opere totali\n",
      "---\n",
      "Ludovico Ariosto\t27 opere totali\n",
      "---\n",
      "Torquato Tasso\t10 opere totali\n",
      "---\n",
      "Giuseppe Parini\t10 opere totali\n",
      "---\n",
      "Vittorio Alfieri\t25 opere totali\n",
      "---\n",
      "Ugo Foscolo\t4 opere totali\n",
      "---\n",
      "Alessandro Manzoni\t44 opere totali\n",
      "---\n",
      "Giacomo Leopardi\t12 opere totali\n",
      "---\n",
      "Italo Svevo\t16 opere totali\n",
      "---\n",
      "Luigi Pirandello\t37 opere totali\n",
      "---\n",
      "Gabriele D'Annunzio\t30 opere totali\n",
      "---\n",
      "Pier Paolo Pasolini\t2 opere totali\n",
      "---\n",
      "Italo Calvino\t4 opere totali\n",
      "---\n",
      "Dino Buzzati\t2 opere totali\n",
      "---\n",
      "Primo Levi\t1 opere totali\n",
      "---\n",
      "Umberto Eco\t2 opere totali\n",
      "---\n"
     ]
    }
   ],
   "source": [
    "output_corpora_autori = \"./data/Corpora/autori/\"\n",
    "\n",
    "build_corpus_autori(\n",
    "    vocabolario, opere_autori_generi_testi, opere_aggiuntive, output_corpora_autori)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1017efda",
   "metadata": {},
   "source": [
    "# Salvataggio file OPERE (SCRIPTA e aggiuntive) completi"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 92,
   "id": "51d514eb",
   "metadata": {},
   "outputs": [],
   "source": [
    "opere_autori_generi_testi.to_csv('./data/CSV/OPERE_INTEGRATO.csv', sep='\\t', encoding = 'utf-8', index = False)\n",
    "opere_aggiuntive.to_csv('./data/CSV/OPERE_AGGIUNTIVE_INTEGRATO.csv', sep='\\t', encoding = 'utf-8',  index = False)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "be71dde4",
   "metadata": {},
   "source": [
    "# Lemmario"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 169,
   "id": "66a636c6",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>!</th>\n",
       "      <th>PON</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>39696</th>\n",
       "      <td>zurliniano</td>\n",
       "      <td>ADJ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39697</th>\n",
       "      <td>{</td>\n",
       "      <td>PON</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39698</th>\n",
       "      <td>|</td>\n",
       "      <td>PON</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39699</th>\n",
       "      <td>}</td>\n",
       "      <td>PON</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39700</th>\n",
       "      <td>}:-)</td>\n",
       "      <td>SMI</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39701</th>\n",
       "      <td>~~(=_=)~~</td>\n",
       "      <td>SMI</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39702</th>\n",
       "      <td>«</td>\n",
       "      <td>PON</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39703</th>\n",
       "      <td>»</td>\n",
       "      <td>PON</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39704</th>\n",
       "      <td>àh</td>\n",
       "      <td>INT</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39705</th>\n",
       "      <td>àncora</td>\n",
       "      <td>NOUN-F</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39706</th>\n",
       "      <td>èlite</td>\n",
       "      <td>NOUN-F</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39707</th>\n",
       "      <td>èquipe</td>\n",
       "      <td>NOUN-F</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39708</th>\n",
       "      <td>èra</td>\n",
       "      <td>NOUN-F</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39709</th>\n",
       "      <td>élite</td>\n",
       "      <td>NOUN-F</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39710</th>\n",
       "      <td>équipe</td>\n",
       "      <td>NOUN-F</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                !     PON\n",
       "39696  zurliniano     ADJ\n",
       "39697           {     PON\n",
       "39698           |     PON\n",
       "39699           }     PON\n",
       "39700        }:-)     SMI\n",
       "39701   ~~(=_=)~~     SMI\n",
       "39702           «     PON\n",
       "39703           »     PON\n",
       "39704          àh     INT\n",
       "39705      àncora  NOUN-F\n",
       "39706       èlite  NOUN-F\n",
       "39707      èquipe  NOUN-F\n",
       "39708         èra  NOUN-F\n",
       "39709       élite  NOUN-F\n",
       "39710      équipe  NOUN-F"
      ]
     },
     "execution_count": 169,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lemmario = pd.read_csv(\"./data/Lemmari/lemmario.csv\", sep=\"\\t\", header=1, on_bad_lines='skip', quoting=3)\n",
    "lemmario.tail(15)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 172,
   "id": "2378c024",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>A</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>AA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>AAA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>AAAA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>AAAAA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>AAAAAA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>AAAAAAA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>AAAAAAAA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>AAAAAAAAA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>AAAAAH</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>AAAAAVANTI</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>AAAAH</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>AAAAIIII</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>AAAAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>AAAAREEEEE</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "             0\n",
       "0            A\n",
       "1           AA\n",
       "2          AAA\n",
       "3         AAAA\n",
       "4        AAAAA\n",
       "5       AAAAAA\n",
       "6      AAAAAAA\n",
       "7     AAAAAAAA\n",
       "8    AAAAAAAAA\n",
       "9       AAAAAH\n",
       "10  AAAAAVANTI\n",
       "11       AAAAH\n",
       "12    AAAAIIII\n",
       "13       AAAAL\n",
       "14  AAAAREEEEE"
      ]
     },
     "execution_count": 172,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "parole_distinte = pd.read_csv(\"./data/Lemmari/parole_distinte.csv\", header=None)\n",
    "parole_distinte.head(15)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.10.7 ('semantics310')",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.7"
  },
  "vscode": {
   "interpreter": {
    "hash": "4cd0097cd447d37f93b86013bfa75ba6714b02867fc57650c755d18f8b44cab2"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}