Skip to content

Latest commit

 

History

History
48 lines (37 loc) · 1.66 KB

README.md

File metadata and controls

48 lines (37 loc) · 1.66 KB

Web Scraper senado - Chile

Web scrapper para conseguir todos los resultados de las votaciones del senado en Chile.

Importante

  • Los archivos que estan subidos aqui tienen los datos hasta (21/11/2020), fecha cuando lo corri por ultima vez
  • Esto fue hecho como un proyecto de prueba, cosas importantes que agregaria si fuera a usar los datos
    • Guardar mejor los archivos csv
      • Crear un diagrama de entidad relacion
      • Guardar en csv (o alguna base de datos) los datos normalizados
    • Agregar campos importantes (.json y .csv)
      • Parsear fechas, numeros de sesiones y votos
      • Agregar campos como temas de votaciones

Tecnologias

  • Python
    • Requests (Para conseguir la informacion)
    • beautiful soup (Para parsear html)
    • pandas (Para guardar como .csv)
    • json (Para guardar .json)
    • jupyter notebook (Para desarrollo)

Como funciona

  • Una clase para cada entidad
    • Legislatura, Sesion, Votacion
  • Primero obtenemos todas las legislaturas disponibles, desde el select principal
  • Luego por cada una de estas legislaturas, cargamos su pagina base
    • Leemos el select para ver todas las sesiones
    • Por cada sesion entramos a cada votacion

Encoding resultados

  • 1: Si
  • 2: No
  • 3: Abstencion
  • 4: Pareo
  • -1: No disponible (En caso de que un senador no haya participado de una votacion, por ahora solo disponible en csv)