Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Ajuste de São Paulo, SP para funcionar nos moldes atuais do QD (de 2017-06-01 em diante) #775

Closed
wants to merge 3 commits into from

Conversation

ayharano
Copy link
Contributor

AO ABRIR um Pull Request de um novo raspador (spider), marque com um X cada um dos items do checklist
abaixo. NÃO ABRA um novo Pull Request antes de completar todos os items abaixo.

Checklist - Novo spider

  • Você executou uma extração completa do spider localmente e os dados retornados estavam corretos.
  • Você executou uma extração por período (start_date e end_date definidos) ao menos uma vez e os dados retornados estavam corretos.
  • Você verificou que não existe nenhum erro nos logs (log/ERROR igual a zero).
  • Você definiu o atributo de classe start_date no seu spider com a data do Diário Oficial mais antigo disponível na página da cidade.
  • Você garantiu que todos os campos que poderiam ser extraídos foram extraídos de acordo com a documentação.

Descrição

De acordo com http://www.docidadesp.imprensaoficial.com.br/Busca.aspx (sim, sem s de https), o serviço de diários oficiais da cidade de São Paulo, SP fornece arquivos dos diários oficiais desde 1975-12-02. Eu verifiquei o spider existente e fiz ajustes para atender a solicitação de períodos arbitrários.

Algo que gostaria de discutir é se seria o caso de fazer modificações para incluir o intervalo pendente de 1975-12-02 até 2017-05-31. Pela minha triagem inicial precisaria fazer tratamento de ViewState, similar a alguns municipios que usam esse tipo de mecanismo mas exige um pouco mais de análise.

@trevineju
Copy link
Member

São Paulo mudou (mais uma vez 😢) o local de publicação dos diários. Por isso, fecho esta PR.
A integração do novo raspador foi começada por @valeriow e está em -wip- na PR #1143

@trevineju trevineju closed this May 29, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

[Revisão retroativa] São Paulo-SP
2 participants