-
Notifications
You must be signed in to change notification settings - Fork 1
/
dbt_project.yml
285 lines (263 loc) · 11.5 KB
/
dbt_project.yml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
name: "rj_smtr"
version: "1.0.0"
config-version: 2
profile: "default"
source-paths: ["models"]
analysis-paths: ["analysis"]
test-paths: ["tests"]
data-paths: ["data"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]
target-path: "target"
clean-targets:
- "target"
- "dbt_modules"
vars:
### Date default variables ###
date_range_start: "2022-01-01T00:00:00"
date_range_end: "2022-01-01T01:00:00"
start_date: "2022-01-01T01:00:00"
end_date: "2022-01-01T01:00:00"
run_date: "2022-01-01T01:00:00"
### Version default variable (replaced on deploy) ###
version: ""
### GPS ###
brt_terminais: "rj-smtr.br_rj_riodejaneiro_transporte.estacoes_e_terminais_brt" # aux_registros_parada
brt_registros_staging: rj-smtr-staging.br_rj_riodejaneiro_brt_gps_staging.registros
limites_caixa: "rj-smtr.br_rj_riodejaneiro_geo.limites_geograficos_caixa" # registros_filtrada
linhas_sppo: "rj-smtr.br_rj_riodejaneiro_transporte.linhas_sppo" # registros_agg_data_hora_consorcio
polygon_garagem: "rj-smtr.br_rj_riodejaneiro_geo.garagens_polygon" # aux_registros_parada
sppo_terminais: "rj-smtr.br_rj_riodejaneiro_transporte.terminais_onibus_coordenadas" # aux_registros_parada
sppo_registros_staging: "rj-smtr-staging.br_rj_riodejaneiro_onibus_gps_staging.registros"
sppo_realocacao_staging: "rj-smtr-staging.br_rj_riodejaneiro_onibus_gps_staging.realocacao"
data_inicio_realocacao: "2022-11-15"
# Parametros de intersecção do ônibus com rota
## Tamanho do buffer da rota
tamanho_buffer_metros: 500 # flag_trajeto_correto
## Intervalo máximo que um veículo pode ficar fora da rota para ser considerado
## dentro da rota. Afeta a flag flag_trajeto_correto_hist
intervalo_max_desvio_segundos: 600 # flag_trajeto_correto
## Tamanho da janela de tempo (em segundos) para cálculo da média móvel de velocidade do veículo
janela_movel_velocidade: 600 # aux_registros_velocidade
## Velocidade máxima média que o veículo pode atingir para evitar outliers provenientes de túneis
velocidade_maxima: 60
## Velocidade mínima para que o carro seja considerado em movimento em aux_registros_velocidade
velocidade_limiar_parado: 3
## Distância mínima para que o veículo seja identificado parado em um terminal ou garagem em aux_registros_parada
distancia_limiar_parada: 250
### [ANTIGO] SIGMOB ###
# Modal SPPO (ônibus)
sppo_id_modal_smtr: ["'22'", "'23'", "'O'"]
# Modal BRT
brt_id_modal_smtr: ["'20'", "'B'"]
# data_versao fixada para operações que envolvem o uso do SIGMOB
versao_fixa_sigmob: "2022-06-10"
data_inclusao_agency: "2021-08-03"
data_inclusao_stop_times: "2021-08-03"
data_inclusao_linhas: "2021-08-03"
data_inclusao_routes: "2021-08-03"
data_inclusao_trips: "2021-08-03"
data_inclusao_shapes: "2021-08-24"
data_inclusao_stops: "2021-08-24"
data_inclusao_calendar: "2021-09-30"
data_inclusao_frota_determinada: "2021-09-30"
data_inclusao_stop_details: "2021-09-30"
data_inclusao_holidays: "2021-11-05"
agency_staging: "rj-smtr-staging.br_rj_riodejaneiro_sigmob_staging.agency"
calendar_staging: "rj-smtr-staging.br_rj_riodejaneiro_sigmob_staging.calendar"
frota_determinada_staging: "rj-smtr-staging.br_rj_riodejaneiro_sigmob_staging.frota_determinada"
holidays_staging: "rj-smtr-staging.br_rj_riodejaneiro_sigmob_staging.holidays"
linhas_staging: "rj-smtr-staging.br_rj_riodejaneiro_sigmob_staging.linhas"
routes_staging: "rj-smtr-staging.br_rj_riodejaneiro_sigmob_staging.routes"
shapes_staging: "rj-smtr-staging.br_rj_riodejaneiro_sigmob_staging.shapes"
shapes_geom_staging: "rj-smtr-staging.br_rj_riodejaneiro_sigmob_staging.shapes_geom"
stop_times_staging: "rj-smtr-staging.br_rj_riodejaneiro_sigmob_staging.stop_times"
stop_details_staging: "rj-smtr-staging.br_rj_riodejaneiro_sigmob_staging.stop_details"
stops_staging: "rj-smtr-staging.br_rj_riodejaneiro_sigmob_staging.stops"
trips_staging: "rj-smtr-staging.br_rj_riodejaneiro_sigmob_staging.trips"
## GTFS
data_versao_gtfs: "2024-05-03" # fixada última data disponível
### Subsídio SPPO (Ônibus) ###
buffer: 500 # distância em metros para buffer
perc_conformidade_distancia_min: 0
perc_conformidade_shape_min: 80
perc_conformidade_registros_min: 50
perc_distancia_total_subsidio: 80
quadro_horario: "`rj-smtr-staging.projeto_subsidio_sppo_staging.quadro_horario`"
subsidio_shapes: "`rj-smtr-staging.projeto_subsidio_sppo_staging.shapes`"
subsidio_trips: "`rj-smtr-staging.projeto_subsidio_sppo_staging.trips`"
subsidio_parametros: "`rj-smtr-staging.dashboard_subsidio_sppo_staging.subsidio_parametros`"
shapes_version: "YYYY-MM-DD"
frequencies_version: "YYYY-MM-DD"
# Feature penalidade de autuação por inoperância do ar condicionado (DECRETO RIO 51940/2023)
DATA_SUBSIDIO_V2_INICIO: "2023-01-16"
# Feature penalidade de autuação por segurança e limpeza/equipamento (DECRETO RIO 52820/2023)
DATA_SUBSIDIO_V3_INICIO: "2023-07-04"
# Feature penalidade aplicada por agente de verão (DECRETO RIO 53856/2023 e RESOLUÇÃO SMTR 3682/2024)
DATA_SUBSIDIO_V4_INICIO: "2024-01-04"
# Feature penalidade de vistoria (RESOLUÇÃO SMTR 3683/2024)
DATA_SUBSIDIO_V5_INICIO: "2024-03-01"
# Feature trajetos alternativos
DATA_SUBSIDIO_V6_INICIO: "2024-04-01"
# Feature Apuração Madonna · The Celebration Tour in Rio
DATA_SUBSIDIO_V7_INICIO: "2024-05-01"
# valor_subsidio: "`rj-smtr-dev.projeto_subsidio_sppo.valor_subsidio`"
# Recursos #
recurso_staging: "rj-smtr-staging.projeto_subsidio_sppo_staging.recurso"
recurso_prazo: "rj-smtr.projeto_subsidio_sppo.recurso_prazo"
recurso_julgamento: "rj-smtr.projeto_subsidio_sppo.recurso_julgamento"
recurso_viagem_start: "2022-07-01 00:00:00"
recurso_viagem_end: "2022-07-15 00:00:00"
recurso_timestamp_captura: "2022-11-04T14:17:00"
perc_conformidade_distancia_recurso_min: 50
### Veiculos ###
sppo_licenciamento_stu_staging: "rj-smtr-staging.veiculo_staging.sppo_licenciamento_stu"
sppo_licenciamento_solicitacao_staging: "rj-smtr-staging.veiculo_staging.sppo_licenciamento_solicitacao"
sppo_infracao_staging: "rj-smtr-staging.veiculo_staging.sppo_infracao"
sppo_registro_agente_verao_staging: "rj-smtr-staging.veiculo_staging.sppo_registro_agente_verao"
sppo_licenciamento_solicitacao_data_versao: "2023-02-06"
stu_data_versao: ""
# Prazo para última vistoria realizada dentro do período válido
sppo_licenciamento_validade_vistoria_ano: 1
# Tolerância de vistoria para veículos novos
sppo_licenciamento_tolerancia_primeira_vistoria_dia: 15
### RDO ###
rho_registros_sppo_staging: "rj-smtr-staging.br_rj_riodejaneiro_rdo_staging.rho_registros_sppo"
rho_max_processing_interval: 7
rho_sppo_start_date: "2021-03-01"
### Bilhetagem ###
var_percentual_tarifa_cbd: 0.04
quantidade_integracoes_max: 5
colunas_integracao: {
"data_transacao": {"type": "DATETIME", "select": true},
"id_aplicacao": {"type": "ID", "select": false},
"id_consorcio": {"type": "ID", "select": true},
"id_emissor": {"type": "ID", "select": false},
"id_linha": {"type": "ID", "select": true},
"id_matriz_integracao": {"type": "ID", "select": false},
"id_operadora": {"type": "ID", "select": true},
"id_ordem_rateio": {"type": "ID", "select": false},
"id_secao": {"type": "STRING", "select": false},
"id_servico": {"type": "ID", "select": false},
"id_tipo_modal": {"type": "ID", "select": true},
"id_transacao": {"type": "STRING", "select": true},
"latitude_trx": {"type": "FLOAT64", "select": false},
"longitude_trx": {"type": "FLOAT64", "select": false},
"nr_logico_midia_operador": {"type": "STRING", "select": false},
"perc_rateio": {"type": "FLOAT64", "select": true},
"posicao_validador": {"type": "STRING", "select": false},
"sentido": {"type": "ID", "select": true},
"valor_rateio_compensacao": {"type": "FLOAT64", "select": true},
"valor_rateio": {"type": "FLOAT64", "select": true},
"valor_tarifa": {"type": "FLOAT64", "select": true},
"valor_transacao": {"type": "FLOAT64", "select": true},
"veiculo_id": {"type": "ID", "select": false},
}
### Diretorios ###
ids_consorcios: {"'221000014'": "'6'", "'221000023'": "'4'", "'221000032'": "'3'", "'221000041'": "'5'", "'221000050'": "NULL", "'229000010'": "'1'"}
### Encontro de Contas ###
encontro_contas_modo: ""
models:
+persist_docs:
relation: true
columns: true
rj_smtr:
projeto_subsidio_sppo:
+materialized: view
+schema: projeto_subsidio_sppo
deprecated:
+materialized: view
+schema: projeto_subsidio_sppo
br_rj_riodejaneiro_sigmob:
+materialized: view
+schema: br_rj_riodejaneiro_sigmob
br_rj_riodejaneiro_onibus_gps:
+materialized: view
+schema: br_rj_riodejaneiro_onibus_gps
br_rj_riodejaneiro_onibus_gps_zirix:
+materialized: view
+schema: br_rj_riodejaneiro_onibus_gps_zirix
br_rj_riodejaneiro_brt_gps:
+materialized: view
+schema: br_rj_riodejaneiro_brt_gps
br_rj_riodejaneiro_veiculos:
+materialized: view
+schema: br_rj_riodejaneiro_veiculos
dashboard_subsidio_sppo:
+materialized: view
+schema: dashboard_subsidio_sppo
dashboard_subsidio_sppo_staging:
+materialized: view
+schema: dashboard_subsidio_sppo_staging
veiculo:
+materialized: view
+schema: veiculo
staging:
+materialized: view
+schema: veiculo_staging
br_rj_riodejaneiro_rdo:
+materialized: view
+schema: br_rj_riodejaneiro_rdo
br_rj_riodejaneiro_rdo_staging:
+materialized: view
+schema: br_rj_riodejaneiro_rdo_staging
br_rj_riodejaneiro_bilhetagem:
+materialized: incremental
+schema: br_rj_riodejaneiro_bilhetagem
br_rj_riodejaneiro_bilhetagem_staging:
+materialized: view
+schema: br_rj_riodejaneiro_bilhetagem_staging
dashboard_bilhetagem_implantacao_jae:
+materialized: table
+schema: dashboard_bilhetagem_implantacao_jae
dashboard_bilhetagem_jae:
+materialized: view
+schema: dashboard_bilhetagem_jae
br_rj_riodejaneiro_stu:
+materialized: view
+schema: br_rj_riodejaneiro_stu
cadastro_staging:
+schema: cadastro_staging
cadastro:
+schema: cadastro
br_rj_riodejaneiro_recursos:
+materialized: incremental
+schema: br_rj_riodejaneiro_recursos
br_rj_riodejaneiro_recursos_staging:
+materialized: incremental
+schema: br_rj_riodejaneiro_recursos_staging
gtfs:
+materialized: incremental
+incremental_strategy: insert_overwrite
+schema: gtfs
indicadores_continuados_egp_staging:
+materialized: incremental
+incremental_strategy: insert_overwrite
+schema: indicadores_continuados_egp_staging
indicadores_continuados_egp:
+materialized: view
+schema: indicadores_continuados_egp
projeto_subsidio_sppo_encontro_contas:
+materialized: table
+schema: projeto_subsidio_sppo_encontro_contas
staging:
+materialized: view
+schema: projeto_subsidio_sppo_encontro_contas_staging
dashboard_controle_vinculo_jae_riocard:
+materialized: incremental
+schema: dashboard_controle_vinculo_jae_riocard
validacao_dados_jae:
+materialized: incremental
+schema: validacao_dados_jae
staging:
+materialized: incremental
+schema: validacao_dados_jae_staging
controle_financeiro:
+materialized: view
+schema: controle_financeiro
staging:
+materialized: view
+schema: controle_financeiro_staging
mit_ipea_project:
+materialized: view
+schema: mit_ipea_project