As principais mudanças realizadas no repositório do Ro-dou estão documentadas aqui a partir de 25/04/2023.
-
Permitir busca no Querido Diário para um grupo de municípios by @slfabio in #148 A partir desta mudança, é permitido informar uma lista de municípios para buscas no Querido Diário.
-
Cria novo parâmetro de filtro por tipo de publicação by @edulauer in #154 O parâmetro pubtype permite filtrar publicações tanto no DOU quanto no INLABS com base no tipo (Decreto, Lei, Ata, etc.).
-
Melhorias no deployment local by @edulauer in #156
- Update CHANGELOG.md for 0.2.4 by @github-actions in #145
- @slfabio made their first contribution in #148
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.2.4...0.2.5
Corrige resultados incompletos na busca com filtros por unidades b57b486a2fb692e3e664e764dcc5e2c0f83c9948
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.2.3...0.2.4
- Ajusta o código para utilizar XCom_pull de múltiplos Tasks IDs no Airflow 2.10.0. by @edulauer in #140
- Ignore markdown files in CI Tests by @augusto-herrmann in #141
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.2.2...0.2.3
- Upgrade Airflow to 2.10.0 by @augusto-herrmann in #137
- Cast tags to a list when generating dags by @augusto-herrmann in #135
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.2.1...0.2.2
- Criar busca de exemplo para DOU e Querido Diário (modo misto) by @edulauer in #132
- Hotfix by @edulauer in #131
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.2.0...0.2.1
- Os resultados agora são agrupados por unidade, quando informada.
- Utilização do Pydantic para validação dos campos do yaml.
- Agrupar resultados por unidade by @edulauer in #122
- Migrate yaml file validation from JSON schema to Pydantic schemas by @augusto-herrmann in #118
- Fix logic operators in result_as_html function by @augusto-herrmann in #123
- Add syspath for schemas and change dag.owners to string by @edulauer in #125
- Alter trigger to run CI Tests on push only to main branch by @augusto-herrmann in #127
- Hotfix para correção de variável no módulo de envio de email by @edulauer in #128
- Corrige as linhas e colunas na exportação via CSV by @edulauer in #129
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.1.5...0.2.0
- Cria parâmetro opcional para uso da ementa (se houver) da publicação ao invés da janela de contexto ou texto completo. by @edulauer in #113
- Cria parâmetro para uso de dataset no Data-Aware Schedulling. O schedule da DAG agora pode ser definido por três meios: cron, dataset ou cron + dataset
- by @edulauer in #115
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.1.4...0.1.5
- Close p tag in watermark by @augusto-herrmann in #109
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.1.3...0.1.4
- Cria a nova página de documentação do Ro-DOU no Github Pages
- Cria a marca d'agua do Ro-DOU no template do email
- Adiciona quebra de linhas no texto no modo full_text (INLABS)
- Corrige bug quando a paginação de resultados é igual a 2 (DOU)
- Update README.md by @marcelosinnerworkings in #95
- Fix format for Outlook display by @edulauer in #96
- Force justify text by @edulauer in #97
- Include parameter for dynamic no result text in notification by @edulauer in #98
- add dataset trigger scheduler by @vitorbellini in #99
- Fix pagination by @edulauer in #104
- Keep line breaks in full text mode by @edulauer in #105
- Add watermark in email template by @edulauer in #108
- @marcelosinnerworkings made their first contribution in #95
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.1.2...0.1.3
- Integração com o portal INLABS, da Imprensa Nacional, permitindo a leitura das edições do DOU pelos arquivos XML
- Remove dependências com o framework FastETL
- Cria filtro de pesquisa por unidade (department)
- Cria opção de exibição de texto completo da publicação
- Cria opção de busca avançada usando operadores lógicos (INLABS)
- Implementa a opção de múltiplos searchs no mesmo YAML
- Cria opção para omitir metadados (hide_filter) no relatório do clipping
- Cria opção para permitir inclusão de cabeçalho e rodapé no corpo do relatório
- Formata o texto para modo justificado
- Move DOUhook from FastETL to Ro-dou src by @edulauer in #66
- Validate yaml by @vitorbellini in #75
- Create filter for department by @edulauer in #77
- change exact search to consider special characters by @gutaors in #80
- Inlabs db by @vitorbellini in #81
- add full_text option by @vitorbellini in #82
- Implement search with logical operators by @edulauer in #85
- Implement subsearchs by @edulauer in #87
- Fix select_terms_from_db bug by @edulauer in #88
- Create param hide_filter by @edulauer in #90
- Hide filters for slack and discord by @edulauer in #91
- Add Header and footer text by @edulauer in #93
- Justify text in email report by @edulauer in #94
- @gutaors made their first contribution in #80
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.1.1...0.1.2
fix css file access
Altera a forma de encontrar os arquivos de configuração das DAGs (dag_confs/*.yml
).
Antes considerava que a pasta dag_confs/
estava na mesma raiz que os arquivos do ro-dou em ./src
. Agora o caminho da(s) pasta(s) deve ser informado pela variável de ambiente RO_DOU__DAG_CONF_DIR
e separado por :
quando mais de um.
Exemplo:
As pastas /opt/airflow/dags/repo1/dag_confs
e /opt/airflow/dags/repo2/dag_confs
possuem arquivos de configuração (yaml) para geração das DAGs do rodou. A variável de ambiente RO_DOU__DAG_CONF_DIR
deve ser atribuída assim:
RO_DOU__DAG_CONF_DIR=/opt/airflow/dags/repo1/dag_confs:/opt/airflow/dags/repo2/dag_confs
Esta alteração permite que os arquivos de configuração das DAGs (dag_confs/*.yml
) estejam em qualquer pasta da máquina ou container.
- Change name organization economia to gestao by @salomaolopes in #60
- change dag_confs search by @vitorbellini in #62
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.0.7...0.1.0
- fix workflow docker build publish
- fix workflow docker build publish
- fix workflow docker build publish
- fix workflow docker build publish
- fix workflow docker build publish
- Conjunto de mudanças para v.1 by @nitaibezerra in #4
- Cria resiliência na chamada da API do DOU by @nitaibezerra in #5
- Cria opção de pesquisa no Querido Diário by @nitaibezerra in #14
- Trigger date horario local by @edulauer in #17
- altera template de data do título do email by @salomaolopes in #18
- Incluir serviço do selenium no docker-compose.yml by @nitaibezerra in #22
- Adiciona tentativas de execução na função search_text_with_retry by @edulauer in #23
- Criar parâmetro para enviar email by @salomaolopes in #24
- Make tests run in colored output by @augusto-herrmann in #25
- Implementa feature de documentação markdown e informações úteis by @augusto-herrmann in #31
- Add documentation and separate tests for DAG Docs by @augusto-herrmann in #34
- Fix spelling in "links" by @augusto-herrmann in #35
- Fix searching terms read from database by @augusto-herrmann in #39
- remove selenium from Ro-dou by @vitorbellini in #40
- Mount as a volume only the modules used by Ro-DOU by @augusto-herrmann in #44
- Upgrade actions/checkout to v3 in CI by @augusto-herrmann in #47
- [dou_dag_generator] enables to find ro_dou folder inside airflow dags… by @vitorbellini in #49
- Decouple this project from the airflow2-docker image by @nitaibezerra in #51
- Bundle src code and plugin into docker image by @nitaibezerra in #53
- [WIP] Discord Integration by @nitaibezerra in #50
- Workflow to build and publish docker image by @nitaibezerra in #54
- update fastetl import by @vitorbellini in #56
- Slack integration by @nitaibezerra in #58
- @nitaibezerra made their first contribution in #4
Full Changelog: https://github.com/gestaogovbr/Ro-dou/commits/0.0.2
- Conjunto de mudanças para v.1 by @nitaibezerra in #4
- Cria resiliência na chamada da API do DOU by @nitaibezerra in #5
- Cria opção de pesquisa no Querido Diário by @nitaibezerra in #14
- Trigger date horario local by @edulauer in #17
- altera template de data do título do email by @salomaolopes in #18
- Incluir serviço do selenium no docker-compose.yml by @nitaibezerra in #22
- Adiciona tentativas de execução na função search_text_with_retry by @edulauer in #23
- Criar parâmetro para enviar email by @salomaolopes in #24
- Make tests run in colored output by @augusto-herrmann in #25
- Implementa feature de documentação markdown e informações úteis by @augusto-herrmann in #31
- Add documentation and separate tests for DAG Docs by @augusto-herrmann in #34
- Fix spelling in "links" by @augusto-herrmann in #35
- Fix searching terms read from database by @augusto-herrmann in #39
- remove selenium from Ro-dou by @vitorbellini in #40
- Mount as a volume only the modules used by Ro-DOU by @augusto-herrmann in #44
- Upgrade actions/checkout to v3 in CI by @augusto-herrmann in #47
- [dou_dag_generator] enables to find ro_dou folder inside airflow dags… by @vitorbellini in #49
- Decouple this project from the airflow2-docker image by @nitaibezerra in #51
- Bundle src code and plugin into docker image by @nitaibezerra in #53
- [WIP] Discord Integration by @nitaibezerra in #50
- Workflow to build and publish docker image by @nitaibezerra in #54
- update fastetl import by @vitorbellini in #56
- Slack integration by @nitaibezerra in #58
- @nitaibezerra made their first contribution in #4
Full Changelog: https://github.com/gestaogovbr/Ro-dou/commits/0.0.1