03_NLP_Conceptos_spaCy.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 03 - Conceptos para el Procesamiento del Lenguaje Natural con spaCy\n",
    "\n",
    "* ***spaCy*** es una librería de código abierto en python para el Procesamiento del Lenguaje natural que posee modelos entrenados para varios idiomas, entre ellos el Español.\n",
    "\n",
    "\n",
    "* Es una librería pensada para funcionar en entornos productivos y es una librería con mejor rendimiento que **NLTK**.\n",
    "\n",
    "\n",
    "* Dispone de una web y de una documentación muy buena, incluso se pueden ejecutar ciertos ejemplos en la propia web: https://spacy.io/\n",
    "\n",
    "\n",
    "* Dispone también de un curso online (https://course.spacy.io/) bastante interesante.\n",
    "\n",
    "\n",
    "* Entre otras cosas con ***spaCy*** podemos hacer:\n",
    "    1. Tokenización\n",
    "    2. Lematización\n",
    "    3. Detección de Stop Words\n",
    "    4. Part of Speech (PoS)\n",
    "    5. Named Entity Recognition (NER)\n",
    "\n",
    "\n",
    "* ***spaCy*** puede ser instalado tanto con \"pip\" como con \"conda\" de la siguiente manera respectivamente:\n",
    "\n",
    "```\n",
    ">> pip install spacy\n",
    ">> conda install spacy\n",
    "```\n",
    "\n",
    "\n",
    "* Como se ha comentado anteriormente la ventaja que tiene ***spaCy*** frente a ***NLTK*** en lo que a idiomas se refiere es que permite trabajar con varior idiomas gracias a los modelos que tiene entrenados.\n",
    "\n",
    "\n",
    "* En particular para el Español ***spaCy*** tiene entrenados dos modelos (con Redes Neuronales Convolucionales según su documentación) de pequeño y mediano tamaño con los corpus de **AnCora** (http://clic.ub.edu/corpus/es/ancora) y **WikiNER**.\n",
    "\n",
    "\n",
    "* Estos dos modelos de pequeño y mediano tamaño los podemos encontrar en la web de ***spaCy*** (https://spacy.io/models/es) y son los siguiente:\n",
    "    - es_core_news_md (93 MiB)\n",
    "    - es_core_news_sm (35 MiB)\n",
    "\n",
    "\n",
    "* ***spaCy*** hace uso de estos modelos y tienen que ser descargados, para ello debemos de abrir un terminal en python y ejecutar lo siguiente para descargar el modelo en Español (*NOTA: los que uséis conda, tener activado el entorno*).\n",
    "\n",
    "\n",
    "```\n",
    ">> python3 -m spacy download es\n",
    "```\n",
    "\n",
    "\n",
    "<img src=\"./imgs/005_spacy_es_download.png\" style=\"width: 500px;\"/>\n",
    "\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "#!python -m spacy download es"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "# spaCy - Arquitectura:\n",
    "\n",
    "* ***spaCy*** utiliza dos tipos de estructuras (objetos) llamados **Doc** y **Vocab**:\n",
    "<span></span><br><br>\n",
    "    - ***Doc***: Este objeto esta formado por una secuencia de Tokens (objetos de la clase ***Token***).\n",
    "<span></span><br><br>\n",
    "    - ***Vocab***: Este objeto posee un conjunto de Look-up tables (tablas de consulta) que hacen que la información común esté disponible en todos los documentos (Lemas, Stop Words, PoS, etc.).\n",
    "\n",
    "<img src=\"./imgs/006_spacy_architecture.png\" style=\"width: 600px;\"/>\n",
    "\n",
    "\n",
    "* Una forma sencilla de trabajar con ***spaCy*** es:\n",
    "    1. Cargar un modelo de lenguaje (por ejemplo el Español)\n",
    "    2. Dado un texto plano, crear un objeto de la clase \"Doc\" y pasarle el texto plano. El texto ya quedará tokenizado dentro del objeto \"Doc\".\n",
    "    3. Trabajar sobre las palabras del documento.\n",
    "\n",
    "<hr>\n",
    "\n",
    "\n",
    "\n",
    "# Ejemplos con spaCy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## -Tokenización\n",
    "\n",
    "\n",
    "* Divide las cadenas de texto del documento en piezas más pequeñas o tokens.\n",
    "\n",
    "\n",
    "* Pasos:\n",
    "    1. Importar la librería.\n",
    "    2. Cargar un modelo de lenguaje (el Español).\n",
    "    3. Crear un documento (de la clase \"Doc\") pasándole un texto plano.\n",
    "    4. El objeto de la clase \"Doc\" ya esta tokenizado por palabras y podemos iterar sobre él."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Tipo de dato: <class 'spacy.tokens.doc.Doc'>\n",
      "['Un', 'radar', 'multa', 'a', 'Mariano', '.', 'Rajoy', 'por', 'caminar', 'demasiado', 'rápido']\n"
     ]
    }
   ],
   "source": [
    "import spacy\n",
    "nlp = spacy.load('es_core_news_sm')\n",
    "doc = nlp(\"Un radar multa a Mariano. Rajoy por caminar demasiado rápido\")\n",
    "print('Tipo de dato: ' + str(type(doc)))\n",
    "print([w.text for w in doc])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## -Segmentación\n",
    "\n",
    "\n",
    "* La ***segmentación*** divide las cadenas de texto en frases o párrafos.\n",
    "\n",
    "\n",
    "* Para la segmentación en spaCy hay que usar un componente llamado \"**sentencier**\" que divide los textos por simbolos como puntos, interrogantes, etc."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Frase numero 1.', 'Frase número 2?', 'Frase 3']\n"
     ]
    }
   ],
   "source": [
    "from spacy.pipeline import Sentencizer\n",
    "sentencizer = Sentencizer()\n",
    "doc = nlp(\"Frase numero 1. Frase número 2? Frase 3\")\n",
    "print([s.text for s in doc.sents])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## -Stemming\n",
    "\n",
    "* ***Funcionalidad no disponoble en spaCy***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## -Lematización\n",
    "\n",
    "\n",
    "* Proceso lingüístico que sustituye una palabra con forma flexionada (plurales, femeninos, verbos conjugados, etc.) por su lema; es decir, por una palabra válida en el idioma.\n",
    "\n",
    "\n",
    "* ***spaCy*** hace una lematización muy buena en Español.\n",
    "\n",
    "\n",
    "* Los objetos de la clase ***Token*** tienen la propiedad (o atributo) ***lema_*** que nos devuelve el lema del token (o la palabra)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Unos - uno\n",
      "radares - radar\n",
      "multan - multar\n",
      "a - a\n",
      "Mariano - Mariano\n",
      "Rajoy - Rajoy\n",
      "por - por\n",
      "ir - ir\n",
      "caminando - caminar\n",
      "demasiados - demasiado\n",
      "rápidos - rápido\n"
     ]
    }
   ],
   "source": [
    "doc = nlp(\"Unos radares multan a Mariano Rajoy por ir caminando demasiados rápidos\")\n",
    "for word in doc:  \n",
    "    print(word.text + ' - ' + word.lemma_)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## -Stop words\n",
    "\n",
    "* Son las palabras que no aportan nada al significado de la frase.\n",
    "\n",
    "\n",
    "* spaCy dispone de más de 500 stop words en Español.\n",
    "\n",
    "\n",
    "* Veamos a continuación las Stop Words en Español."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Número de stop words: 551\n",
      "Stop words: ['había', 'ustedes', 'siempre', 'deprisa', 'día', 'mío', 'nadie', 'tambien', 'añadió', 'llevar', 'haber', 'como', 'contra', 'emplear', 'voy', 'ese', 'buenos', 'otras', 'próximos', 'realizar', 'mencionó', 'aquel', 'cierta', 'ella', 'apenas', 'vais', 'tus', 'conseguimos', 'tuyas', 'usamos', 'intentamos', 'ellas', 'dijeron', 'próximo', 'míos', 'quedó', 'agregó', 'ti', 'respecto', 'dejó', 'hace', 'se', 'éste', 'haciendo', 'ni', 'entre', 'esas', 'trabajais', 'da', 'poca', 'informo', 'podriais', 'dijo', 'hoy', 'cualquier', 'fin', 'nosotros', 'última', 'nuevo', 'esto', 'ésos', 'nada', 'propio', 'vuestros', 'hecho', 'sera', 'ocho', 'conmigo', 'aquéllos', 'segunda', 'verdad', 'sean', 'tercera', 'general', 'conocer', 'todavía', 'nuevas', 'mia', 'ha', 'misma', 'ello', 'sé', 'porque', 'aseguró', 'cómo', 'este', 'era', 'propios', 'parte', 'antaño', 'sois', 'ser', 'están', 'trata', 'donde', 'señaló', 'adelante', 'tanto', 'mucho', 'quienes', 'deben', 'dice', 'cual', 'diferentes', 'lado', 'buena', 'esta', 'ningunas', 'hasta', 'soy', 'buen', 'verdadero', 'sí', 'otro', 'aquellas', 'sabeis', 'dias', 'tener', 'después', 'dicho', 'dos', 'excepto', 'los', 'aun', 'cuáles', 'entonces', 'trabajamos', 'cierto', 'arribaabajo', 'intentais', 'tuya', 'parece', 'fuimos', 'las', 'través', 'intento', 'manifestó', 'unos', 'puedo', 'suyas', 'siendo', 'empleo', 'vamos', 'manera', 'qeu', 'por', 'algunos', 'cuenta', 'ahi', 'ejemplo', 'pesar', 'tan', 'mediante', 'vosotros', 'verdadera', 'eso', 'cuántas', 'dar', 'ningún', 'vuestra', 'nueva', 'informó', 'estamos', 'buenas', 'despacio', 'tenemos', 'pronto', 'propias', 'hacen', 'dieron', 'si', 'mayor', 'del', 'repente', 'existe', 'todo', 'sigue', 'nuestro', 'estais', 'eramos', 'último', 'eras', 'pero', 'algunas', 'consigo', 'todavia', 'cuantas', 'fuera', 'quizas', 'fue', 'primero', 'el', 'creo', 'lleva', 'ayer', 'hablan', 'incluso', 'podemos', 'usted', 'vosotras', 'siete', 'sólo', 'lo', 'suya', 'aquella', 'mis', 'ex', 'cuatro', 'intentar', 'quiénes', 'muchos', 'comentó', 'atras', 'ampleamos', 'bajo', 'cuánto', 'durante', 'hizo', 'detrás', 'mas', 'ya', 'dado', 'estuvo', 'enfrente', 'para', 'haceis', 'han', 'podrá', 'aquéllas', 'pasado', 'llegó', 'mismos', 'antes', 'mucha', 'ningunos', 'tengo', 'ésas', 'segundo', 'cuando', 'habrá', 'mi', 'usas', 'van', 'ahora', 'solo', 'ir', 'habia', 'seis', 'cuándo', 'hicieron', 'tendrá', 'ciertos', 'muy', 'toda', 'tuyo', 'realizó', 'todas', 'al', 'hubo', 'podría', 'tiempo', 'consigue', 'sino', 'teneis', 'les', 'supuesto', 'mientras', 'algún', 'asi', 'gueno', 'tenía', 'uno', 'estaba', 'tarde', 'podrias', 'valor', 'solamente', 'él', 'encima', 'nunca', 'paìs', 'principalmente', 'nuestras', 'eres', 'hemos', 'claro', 'cerca', 'no', 'igual', 'lejos', 'momento', 'días', 'hacia', 'quiere', 'son', 'habla', 'menos', 'pocos', 'te', 'nosotras', 'junto', 'cuál', 'intenta', 'saber', 'quizás', 'somos', 'posible', 'cuanto', 'luego', 'mismas', 'ellos', 'nuevos', 'cinco', 'usais', 'quizá', 'intentan', 'mismo', 'diferente', 'debe', 'usar', 'ambos', 'fui', 'horas', 'tiene', 'primer', 'está', 'tampoco', 'medio', 'allí', 'trabajar', 'consideró', 'propia', 'dio', 'debido', 'vaya', 'pueda', 'demasiado', 'pocas', 'estos', 'podrán', 'estas', 'varias', 'va', 'sus', 'aquél', 'será', 'demás', 'estados', 'primeros', 'sabemos', 'consiguen', 'hay', 'alguna', 'podrian', 'ninguno', 'vuestras', 'quien', 'pais', 'esos', 'hacer', 'trabajan', 'ver', 'hago', 'proximo', 'aquí', 'queremos', 'explicó', 'debajo', 'sabes', 'ante', 'qué', 'trabajas', 'esa', 'estaban', 'partir', 'estará', 'siguiente', 'tuyos', 'sola', 'tres', 'largo', 'algo', 'le', 'cuánta', 'nuestros', 'primera', 'trabaja', 'según', 'de', 'considera', 'sería', 'uso', 'dentro', 'despues', 'eran', 'pasada', 'muchas', 'con', 'menudo', 'enseguida', 'casi', 'conseguir', 'poder', 'grandes', 'contigo', 'antano', 'varios', 'tuvo', 'aquélla', 'arriba', 'éstos', 'nos', 'total', 'tienen', 'acuerdo', 'alli', 'últimas', 'ultimo', 'temprano', 'aquellos', 'bastante', 'mejor', 'aún', 'consigues', 'podeis', 'dicen', 'ademas', 'ésta', 'salvo', 'unas', 'en', 'todos', 'ése', 'expresó', 'encuentra', 'podrían', 'estan', 'sabe', 'un', 'tendrán', 'bien', 'habían', 'indicó', 'suyo', 'realizado', 'tenga', 'cosas', 'saben', 'que', 'mal', 'mio', 'mios', 'lugar', 'empleas', 'peor', 'más', 'otra', 'gran', 'es', 'pues', 'fueron', 'me', 'raras', 'desde', 'final', 'sido', 'estar', 'sobre', 'haces', 'alguno', 'dónde', 'su', 'cuántos', 'además', 'solas', 'intentas', 'mías', 'yo', 'quién', 'éstas', 'segun', 'breve', 'usan', 'os', 'aunque', 'haya', 'hacerlo', 'poner', 'veces', 'vuestro', 'sin', 'tu', 'últimos', 'actualmente', 'estoy', 'emplean', 'puede', 'existen', 'tal', 'pudo', 'adrede', 'la', 'mí', 'aproximadamente', 'empleais', 'cuanta', 'vez', 'sea', 'ésa', 'nuestra', 'así', 'otros', 'ciertas', 'podria', 'afirmó', 'tras', 'aquello', 'anterior', 'embargo', 'mias', 'solos', 'cuantos', 'soyos', 'usa', 'podriamos', 'detras', 'hacemos', 'una', 'aqui', 'bueno', 'trabajo', 'poco', 'cada', 'modo', 'tú', 'estado', 'dan', 'serán', 'dia', 'mía', 'tenido', 'alrededor', 'quiza', 'decir', 'ninguna', 'pueden', 'ahí', 'delante', 'también', 'cuales', 'he']\n"
     ]
    }
   ],
   "source": [
    "stopwords = spacy.lang.es.stop_words.STOP_WORDS\n",
    "print('Número de stop words: ' + str(len(stopwords)))\n",
    "print('Stop words: ' + str(list(stopwords)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Los objetos de la clase ***Token*** tienen la propiedad ***is_stop*** que devuelve en Boolean indicando si el token es o no una stop word; es decir, si el ***Token*** (o palabra) esta dentro de la lista antes mostrada.\n",
    "\n",
    "\n",
    "* Veamos a continuación como obtener las stop words de una frase con spaCy:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Un\n",
      "por\n",
      "demasiado\n"
     ]
    }
   ],
   "source": [
    "doc = nlp(\"Un radar multa a Mariano. Rajoy por caminar demasiado rápido\")\n",
    "for word in doc:\n",
    "    if word.is_stop:\n",
    "        print(word)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## -Part of Speech (PoS)\n",
    "\n",
    "* En ***spaCy*** el PoS lo divide en 3 tipos de tags que son:\n",
    "    1. **pos**: etiqueta simple de alto nivel (verbo, nombre, adjetivo, etc).\n",
    "    2. **tag**: etiqueta con más nivel de detalle que el pos.\n",
    "    3. **dep**: dependencia sintáctica para ver la relación entre tokens.\n",
    "\n",
    "\n",
    "* Estos 3 tipos son propiedades de la clase ***Token***:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Text</th>\n",
       "      <th>PoS</th>\n",
       "      <th>TAG</th>\n",
       "      <th>DEP</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Un</td>\n",
       "      <td>DET</td>\n",
       "      <td>DET</td>\n",
       "      <td>det</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>radar</td>\n",
       "      <td>NOUN</td>\n",
       "      <td>NOUN</td>\n",
       "      <td>amod</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>multa</td>\n",
       "      <td>VERB</td>\n",
       "      <td>VERB</td>\n",
       "      <td>ROOT</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>a</td>\n",
       "      <td>ADP</td>\n",
       "      <td>ADP</td>\n",
       "      <td>case</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mariano</td>\n",
       "      <td>PROPN</td>\n",
       "      <td>PROPN</td>\n",
       "      <td>nmod</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>Rajoy</td>\n",
       "      <td>PROPN</td>\n",
       "      <td>PROPN</td>\n",
       "      <td>flat</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>con</td>\n",
       "      <td>ADP</td>\n",
       "      <td>ADP</td>\n",
       "      <td>case</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>300</td>\n",
       "      <td>NUM</td>\n",
       "      <td>NUM</td>\n",
       "      <td>nummod</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>€</td>\n",
       "      <td>NOUN</td>\n",
       "      <td>NOUN</td>\n",
       "      <td>nmod</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>por</td>\n",
       "      <td>ADP</td>\n",
       "      <td>ADP</td>\n",
       "      <td>mark</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>caminar</td>\n",
       "      <td>VERB</td>\n",
       "      <td>VERB</td>\n",
       "      <td>acl</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>demasiado</td>\n",
       "      <td>ADV</td>\n",
       "      <td>ADV</td>\n",
       "      <td>advmod</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>rápido</td>\n",
       "      <td>ADJ</td>\n",
       "      <td>ADJ</td>\n",
       "      <td>amod</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         Text    PoS    TAG     DEP\n",
       "0          Un    DET    DET     det\n",
       "1       radar   NOUN   NOUN    amod\n",
       "2       multa   VERB   VERB    ROOT\n",
       "3           a    ADP    ADP    case\n",
       "4     Mariano  PROPN  PROPN    nmod\n",
       "5       Rajoy  PROPN  PROPN    flat\n",
       "6         con    ADP    ADP    case\n",
       "7         300    NUM    NUM  nummod\n",
       "8           €   NOUN   NOUN    nmod\n",
       "9         por    ADP    ADP    mark\n",
       "10    caminar   VERB   VERB     acl\n",
       "11  demasiado    ADV    ADV  advmod\n",
       "12     rápido    ADJ    ADJ    amod"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "doc = nlp(\"Un radar multa a Mariano Rajoy con 300€ por caminar demasiado rápido\")\n",
    "pos = [[tk.text, tk.pos_, tk.tag_, tk.dep_] for tk in doc]\n",
    "\n",
    "import pandas as pd\n",
    "pd.DataFrame(pos, columns=[\"Text\", \"PoS\", \"TAG\", \"DEP\"])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## -Named Entity Recognition (NER)\n",
    "\n",
    "* Named Entity Recognition (Reconocimiento de Entidades Nombradas) es una tarea de extracción de información que busca localizar y clasificar en categorías predefinidas, como personas, organizaciones, lugares, expresiones de tiempo y cantidades, las entidades nombradas encontradas en un texto."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Leo Messi - PER - Named person or family.\n",
      "FC Barcelona - ORG - Companies, agencies, institutions, etc.\n",
      "La Liga - MISC - Miscellaneous entities, e.g. events, nationalities, products or works of art\n"
     ]
    }
   ],
   "source": [
    "doc = nlp(\"Leo Messi jugador del FC Barcelona marco 34 en La Liga 2017-18\")\n",
    "for entity in doc.ents:  \n",
    "    print(entity.text + ' - ' + entity.label_ + ' - ' + str(spacy.explain(entity.label_)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<hr>\n",
    "\n",
    "\n",
    "# -Resumen\n",
    "\n",
    "* Una vez creado el documento a partir del texto plano, tenemos ese texto tokenizado.\n",
    "\n",
    "\n",
    "* Los objetos de la clase ***Token*** tienen una serie de propiedades que permiten obtener mucha información relativa a los tokens (o palabras).\n",
    "\n",
    "\n",
    "* Haciendo un resumen de lo visto anteriormente podemos obtener la siguiente información de las palabras de un texto:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Text</th>\n",
       "      <th>Lema</th>\n",
       "      <th>PoS</th>\n",
       "      <th>TAG</th>\n",
       "      <th>DEP</th>\n",
       "      <th>Shape</th>\n",
       "      <th>Alpha</th>\n",
       "      <th>is Stop word</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Un</td>\n",
       "      <td>uno</td>\n",
       "      <td>DET</td>\n",
       "      <td>DET</td>\n",
       "      <td>det</td>\n",
       "      <td>Xx</td>\n",
       "      <td>True</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>radar</td>\n",
       "      <td>radar</td>\n",
       "      <td>NOUN</td>\n",
       "      <td>NOUN</td>\n",
       "      <td>amod</td>\n",
       "      <td>xxxx</td>\n",
       "      <td>True</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>multa</td>\n",
       "      <td>multar</td>\n",
       "      <td>VERB</td>\n",
       "      <td>VERB</td>\n",
       "      <td>ROOT</td>\n",
       "      <td>xxxx</td>\n",
       "      <td>True</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>a</td>\n",
       "      <td>a</td>\n",
       "      <td>ADP</td>\n",
       "      <td>ADP</td>\n",
       "      <td>case</td>\n",
       "      <td>x</td>\n",
       "      <td>True</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mariano</td>\n",
       "      <td>Mariano</td>\n",
       "      <td>PROPN</td>\n",
       "      <td>PROPN</td>\n",
       "      <td>nmod</td>\n",
       "      <td>Xxxxx</td>\n",
       "      <td>True</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>Rajoy</td>\n",
       "      <td>Rajoy</td>\n",
       "      <td>PROPN</td>\n",
       "      <td>PROPN</td>\n",
       "      <td>flat</td>\n",
       "      <td>Xxxxx</td>\n",
       "      <td>True</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>con</td>\n",
       "      <td>con</td>\n",
       "      <td>ADP</td>\n",
       "      <td>ADP</td>\n",
       "      <td>case</td>\n",
       "      <td>xxx</td>\n",
       "      <td>True</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>300</td>\n",
       "      <td>300</td>\n",
       "      <td>NUM</td>\n",
       "      <td>NUM</td>\n",
       "      <td>nummod</td>\n",
       "      <td>ddd</td>\n",
       "      <td>False</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>€</td>\n",
       "      <td>€</td>\n",
       "      <td>NOUN</td>\n",
       "      <td>NOUN</td>\n",
       "      <td>nmod</td>\n",
       "      <td>€</td>\n",
       "      <td>False</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>por</td>\n",
       "      <td>por</td>\n",
       "      <td>ADP</td>\n",
       "      <td>ADP</td>\n",
       "      <td>mark</td>\n",
       "      <td>xxx</td>\n",
       "      <td>True</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>caminar</td>\n",
       "      <td>caminar</td>\n",
       "      <td>VERB</td>\n",
       "      <td>VERB</td>\n",
       "      <td>acl</td>\n",
       "      <td>xxxx</td>\n",
       "      <td>True</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>demasiado</td>\n",
       "      <td>demasiado</td>\n",
       "      <td>ADV</td>\n",
       "      <td>ADV</td>\n",
       "      <td>advmod</td>\n",
       "      <td>xxxx</td>\n",
       "      <td>True</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>rápido</td>\n",
       "      <td>rápido</td>\n",
       "      <td>ADJ</td>\n",
       "      <td>ADJ</td>\n",
       "      <td>amod</td>\n",
       "      <td>xxxx</td>\n",
       "      <td>True</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         Text       Lema    PoS    TAG     DEP  Shape  Alpha  is Stop word\n",
       "0          Un        uno    DET    DET     det     Xx   True          True\n",
       "1       radar      radar   NOUN   NOUN    amod   xxxx   True         False\n",
       "2       multa     multar   VERB   VERB    ROOT   xxxx   True         False\n",
       "3           a          a    ADP    ADP    case      x   True         False\n",
       "4     Mariano    Mariano  PROPN  PROPN    nmod  Xxxxx   True         False\n",
       "5       Rajoy      Rajoy  PROPN  PROPN    flat  Xxxxx   True         False\n",
       "6         con        con    ADP    ADP    case    xxx   True          True\n",
       "7         300        300    NUM    NUM  nummod    ddd  False         False\n",
       "8           €          €   NOUN   NOUN    nmod      €  False         False\n",
       "9         por        por    ADP    ADP    mark    xxx   True          True\n",
       "10    caminar    caminar   VERB   VERB     acl   xxxx   True         False\n",
       "11  demasiado  demasiado    ADV    ADV  advmod   xxxx   True          True\n",
       "12     rápido     rápido    ADJ    ADJ    amod   xxxx   True         False"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import spacy\n",
    "import pandas as pd\n",
    "\n",
    "nlp = spacy.load('es_core_news_sm')\n",
    "doc = nlp(\"Un radar multa a Mariano Rajoy con 300€ por caminar demasiado rápido\")\n",
    "\n",
    "result = [[tk.text, tk.lemma_, tk.pos_, tk.tag_, tk.dep_, tk.shape_, tk.is_alpha, tk.is_stop] for tk in doc]\n",
    "pd.DataFrame(result, columns=[\"Text\", \"Lema\", \"PoS\", \"TAG\", \"DEP\", \"Shape\", \"Alpha\", \"is Stop word\"])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Para más información visitar el siguiente enlace: https://spacy.io/usage/spacy-101#annotations"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}