Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[smtr][gps] Mudar o flow de recapturas para criar novas flow runs #164

Open
Hellcassius opened this issue Aug 10, 2022 · 1 comment
Open
Assignees
Labels
enhancement New feature or request rj-smtr

Comments

@Hellcassius
Copy link
Contributor

Essa funcionalidade está relacionada a um problema?
O flow de recaptura hoje, é executado usando o .map em cada task utilizada no flow de captura. Isso faz com que o uso de memória escale muito rápido, além de ser demorado, pelo fato de cada task precisar ser executada iterativamente sobre todos os inputs (timestamps)

Descreva a solução ideal para você
Refatorar as recapturas para que seja gerada uma flow run (create_flow_run) para cada timestamp identificada como erro na task query_logs. Para isso, precisamos mudar timestamp (captura_sppo_v2, L147) para ser um parâmetro do flow. Desse modo, usaremos o flow de captura para as recapturas \o/ elegante!

Descreva alternativas que você considerou
Utilizar algum tipo de garbage collection manual, limpar as variáveis da memória entre as tasks ou salvar os resultados de cada iteração localmente para ser lido do disco quando fosse necessário.

Contexto adicional
Qualquer outra informação relevante.

@Hellcassius Hellcassius added the enhancement New feature or request label Aug 10, 2022
@fernandascovino
Copy link
Collaborator

closed by #168

@fernandascovino fernandascovino linked a pull request Sep 19, 2022 that will close this issue
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request rj-smtr
Projects
None yet
Development

Successfully merging a pull request may close this issue.

3 participants