Bilhetagem - Adiciona coluna servico nas tabelas da Jaé (#311)

* adiciona coluna servico nas tabelas da jae

* adiciona changelog

* Corrige CHANGELOG.md

* altera serviços para os dados da jae

* adiciona colunas novas no schema

* altera changelog

* correções validação

* corrigir referencia das colunas do gps_validador

* corrigir nome das colunas gps_validador

models/br_rj_riodejaneiro_bilhetagem/CHANGELOG.md

@@ -1,7 +1,26 @@
 # Changelog - bilhetagem
 
+## [1.2.0] - 2024-05-20
+
+### Alterado
+- Adiciona colunas `servico_jae` e `descricao_servico_jae` nos modelos (https://github.com/prefeitura-rio/queries-rj-smtr/pull/311):
+  - `transacao.sql`
+  - `integracao.sql`
+  - `ordem_pagamento_servico_operador_dia.sql`
+  - `passageiros_hora.sql`
+  -  `gps_validador.sql`
+  -  `gps_validador_van.sql`
+  -  `staging/gps_validador_aux.sql`
+- Adiciona coluna id_servico_jae nos modelos (https://github.com/prefeitura-rio/queries-rj-smtr/pull/311):
+  -  `gps_validador.sql`
+  -  `gps_validador_van.sql`
+  -  `staging/gps_validador_aux.sql`
+
+- Remove coluna `servico` no modelo de `staging/gps_validador_aux.sql` para pegar o dado da tabela de cadastro 
+
 ## [1.1.0] - 2024-05-16
 
+### Alterado
 - Adiciona tratamento da coluna id_veiculo nos modelos ` transacao.sql` e `gps_validador.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/297)
 - Adiciona coluna `quantidade_total_transacao` nos modelos `ordem_pagamento_consorcio_dia.sql`, `ordem_pagamento_consorcio_operador_dia.sql` e `ordem_pagamento_dia.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/297)
 - Remove validação do modelo `ordem_pagamento_servico_operador_dia.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/297)
@@ -45,4 +64,4 @@
 
 ### Adicionado
 - Nova view para consultar os dados staging de transações do RioCard capturados pela Jaé: `br_rj_riodejaneiro_bilhetagem_staging/staging_transacao_riocard.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/254)
-- Tabela tratada de transações do RioCard capturados pela Jaé: `transacao_riocard.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/254)
+- Tabela tratada de transações do RioCard capturados pela Jaé: `transacao_riocard.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/254)

models/br_rj_riodejaneiro_bilhetagem/gps_validador.sql

@@ -17,7 +17,10 @@ SELECT
     datetime_captura,
     id_operadora,
     operadora,
-    servico,
+    id_servico_jae,
+    -- s.servico,
+    servico_jae,
+    descricao_servico_jae,
     CASE
       WHEN modo = "VLT" THEN SUBSTRING(id_veiculo, 1, 3)
       WHEN modo = "BRT" THEN NULL

models/br_rj_riodejaneiro_bilhetagem/gps_validador_van.sql

@@ -17,7 +17,10 @@ SELECT
     datetime_captura,
     id_operadora,
     operadora,
-    servico,
+    id_servico_jae,
+    -- s.servico,
+    servico_jae,
+    descricao_servico_jae,
     id_veiculo,
     id_validador,
     id_transmissao_gps,

models/br_rj_riodejaneiro_bilhetagem/integracao.sql

@@ -90,6 +90,9 @@ integracao_rn AS (
     do.id_operadora,
     do.operadora,
     i.id_linha AS id_servico_jae,
+    -- s.servico,
+    l.nr_linha AS servico_jae,
+    l.nm_linha AS descricao_servico_jae,
     i.id_transacao,
     i.sentido,
     i.perc_rateio AS percentual_rateio,
@@ -114,6 +117,14 @@ integracao_rn AS (
     {{ ref("consorcios") }} AS dc
   ON
     i.id_consorcio = dc.id_consorcio_jae
+  LEFT JOIN
+    {{ ref("staging_linha") }} AS l
+  ON
+      i.id_linha = l.cd_linha
+  -- LEFT JOIN
+  --   {{ ref("servicos") }} AS s
+  -- ON
+  --   i.id_linha = s.id_servico_jae
   WHERE i.id_transacao IS NOT NULL
 ),
 integracoes_teste_invalidas AS (

models/br_rj_riodejaneiro_bilhetagem/ordem_pagamento_servico_operador_dia.sql

@@ -18,6 +18,9 @@ WITH ordem_pagamento AS (
         do.id_operadora,
         do.operadora,
         r.id_linha AS id_servico_jae,
+        -- s.servico,
+        l.nr_linha AS servico_jae,
+        l.nm_linha AS descricao_servico_jae,
         r.id_ordem_pagamento AS id_ordem_pagamento,
         r.id_ordem_ressarcimento AS id_ordem_ressarcimento,
         r.qtd_debito AS quantidade_transacao_debito,
@@ -54,6 +57,14 @@ WITH ordem_pagamento AS (
         {{ ref("consorcios") }} AS dc
     ON
         r.id_consorcio = dc.id_consorcio_jae
+    LEFT JOIN
+        {{ ref("staging_linha") }} AS l
+    ON
+        r.id_linha = l.cd_linha
+    -- LEFT JOIN
+    --     {{ ref("servicos") }} AS s
+    -- ON
+    --     r.id_linha = s.id_servico_jae
     {% if is_incremental() %}
         WHERE
             DATE(r.data) BETWEEN DATE("{{var('date_range_start')}}") AND DATE("{{var('date_range_end')}}")
@@ -66,6 +77,7 @@ SELECT
     o.id_operadora,
     o.operadora,
     o.id_servico_jae,
+    o.servico,
     o.id_ordem_pagamento,
     o.id_ordem_ressarcimento,
     o.quantidade_transacao_debito,

models/br_rj_riodejaneiro_bilhetagem/passageiros_hora.sql

@@ -82,6 +82,8 @@ transacao_agrupada AS (
         t.modo,
         t.consorcio,
         t.id_servico_jae,
+        t.servico_jae,
+        t.descricao_servico_jae,
         t.sentido,
         CASE
             WHEN i.id_integracao IS NOT NULL THEN "Integração"
@@ -119,7 +121,9 @@ transacao_agrupada AS (
         6,
         7,
         8,
-        9
+        9,
+        10,
+        11
 ),
 transacao_tratada AS (
     SELECT
@@ -128,6 +132,8 @@ transacao_tratada AS (
         t.modo,
         t.consorcio,
         t.id_servico_jae,
+        t.servico_jae,
+        t.descricao_servico_jae,
         t.sentido,
         CASE
             WHEN t.tipo_transacao = "Integração" THEN "Integração"
@@ -146,6 +152,8 @@ SELECT
     t.modo,
     t.consorcio,
     t.id_servico_jae,
+    t.servico_jae,
+    t.descricao_servico_jae,
     t.sentido,
     t.tipo_transacao_smtr,
     CASE

models/br_rj_riodejaneiro_bilhetagem/schema.yml

@@ -25,9 +25,13 @@ models:
       - name: operadora
         description: "Nome da operadora de transporte (mascarado se for pessoa física)"
       # - name: servico
-      #   description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...)"
+      #   description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação"
       - name: id_servico_jae
         description: "Identificador da linha no banco de dados da jaé (É possível cruzar os dados com a tabela rj-smtr.cadastro.servicos usando a coluna id_servico_jae)"
+      - name: servico_jae
+        description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação de BRT na Jaé"
+      - name: descricao_servico_jae
+        description: "Nome longo da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou nome da estação de BRT na Jaé"
       - name: sentido
         description: "Sentido de operação do serviço (0 = ida, 1 = volta)"
       - name: id_veiculo
@@ -94,9 +98,13 @@ models:
       - name: operadora
         description: "Nome da operadora de transporte (mascarado se for pessoa física)"
       # - name: servico
-      #   description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...)"
+      #   description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação"
       - name: id_servico_jae
         description: "Identificador da linha no banco de dados da jaé (É possível cruzar os dados com a tabela rj-smtr.cadastro.servicos usando a coluna id_servico_jae)"
+      - name: servico_jae
+        description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação de BRT na Jaé"
+      - name: descricao_servico_jae
+        description: "Nome longo da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou nome da estação de BRT na Jaé"
       - name: id_transacao
         description: "Identificador único da transação"
       - name: sentido
@@ -149,8 +157,14 @@ models:
         description: "Identificador da operadora na tabela cadastro.operadoras"
       - name: operadora
         description: "Nome da operadora de transporte (mascarado se for pessoa física)"
-      - name: servico
-        description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...)"
+      # - name: servico
+      #   description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação"
+      - name: id_servico_jae
+        description: "Identificador da linha no banco de dados da jaé (É possível cruzar os dados com a tabela rj-smtr.cadastro.servicos usando a coluna id_servico_jae)"
+      - name: servico_jae
+        description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação de BRT na Jaé"
+      - name: descricao_servico_jae
+        description: "Nome longo da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou nome da estação de BRT na Jaé"
       - name: id_validador
         description: "Número de série do validador"
       - name: id_transmissao_gps
@@ -186,8 +200,14 @@ models:
         description: "Identificador da operadora na tabela cadastro.operadoras"
       - name: operadora
         description: "Nome da operadora de transporte (mascarado se for pessoa física)"
-      - name: servico
-        description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...)"
+      # - name: servico
+      #   description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...)"
+      - name: id_servico_jae
+        description: "Identificador da linha no banco de dados da jaé (É possível cruzar os dados com a tabela rj-smtr.cadastro.servicos usando a coluna id_servico_jae)"
+      - name: servico_jae
+        description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação de BRT na Jaé"
+      - name: descricao_servico_jae
+        description: "Nome longo da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou nome da estação de BRT na Jaé"
       - name: id_validador
         description: "Número de série do validador"
       - name: id_transmissao_gps
@@ -225,6 +245,10 @@ models:
         description: "Nome da operadora de transporte (mascarado se for pessoa física)"
       - name: id_servico_jae
         description: "Identificador da linha no banco de dados da jaé (É possível cruzar os dados com a tabela rj-smtr.cadastro.servicos usando a coluna id_servico_jae)"
+      - name: servico_jae
+        description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação de BRT na Jaé"
+      - name: descricao_servico_jae
+        description: "Nome longo da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou nome da estação de BRT na Jaé"
       - name: sentido
         description: "Sentido de operação do serviço (0 = ida, 1 = volta)"
       - name: tipo_transacao_smtr
@@ -394,6 +418,12 @@ models:
         description: "Nome da operadora de transporte (mascarado se for pessoa física)"
       - name: id_servico_jae
         description: "Identificador da linha no banco de dados da jaé (É possível cruzar os dados com a tabela rj-smtr.cadastro.servicos usando a coluna id_servico_jae)"
+      - name: servico_jae
+        description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação de BRT na Jaé"
+      - name: descricao_servico_jae
+        description: "Nome longo da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou nome da estação de BRT na Jaé"
+      # - name: servico
+      #   description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação"
       - name: id_ordem_pagamento
         description: "Identificador da ordem pagamento no banco de dados da Jaé"
       - name: id_ordem_ressarcimento

models/br_rj_riodejaneiro_bilhetagem/transacao.sql

@@ -105,6 +105,9 @@ SELECT
     do.id_operadora,
     do.operadora,
     t.cd_linha AS id_servico_jae,
+    -- s.servico,
+    l.nr_linha AS servico_jae,
+    l.nm_linha AS descricao_servico_jae,
     sentido,
     CASE
       WHEN m.modo = "VLT" THEN SUBSTRING(t.veiculo_id, 1, 3)
@@ -140,6 +143,14 @@ LEFT JOIN
     {{ ref("consorcios") }} AS dc
 ON
     t.cd_consorcio = dc.id_consorcio_jae
+LEFT JOIN
+    {{ ref("staging_linha") }} AS l
+ON
+    t.cd_linha = l.cd_linha
+-- LEFT JOIN
+--     {{ ref("servicos") }} AS s
+-- ON
+--     t.cd_linha = s.id_servico_jae
 LEFT JOIN
     tipo_transacao AS tt
 ON

models/br_rj_riodejaneiro_bilhetagem_staging/gps_validador_aux.sql

@@ -12,7 +12,10 @@ SELECT
     g.timestamp_captura AS datetime_captura,
     do.id_operadora,
     do.operadora,
-    l.nr_linha AS servico,
+    g.codigo_linha_veiculo AS id_servico_jae,
+    -- s.servico,
+    l.nr_linha AS servico_jae,
+    l.nm_linha AS descricao_servico_jae,
     prefixo_veiculo AS id_veiculo,
     g.numero_serie_equipamento AS id_validador,
     g.id AS id_transmissao_gps,
@@ -30,4 +33,8 @@ ON
 LEFT JOIN
     {{ ref("staging_linha") }} AS l
 ON
-    g.codigo_linha_veiculo = l.cd_linha
+    g.codigo_linha_veiculo = l.cd_linha
+-- LEFT JOIN
+--     {{ ref("servicos") }} AS s
+-- ON
+--     g.codigo_linha_veiculo = s.id_servico_jae

models/validacao_dados_jae/CHANGELOG.md

@@ -1,5 +1,15 @@
 # Changelog - validacao_dados_jae
 
+## [1.0.1] - 2024-05-20
+
+### Alterado
+- Adiciona colunas `servico_jae` e `descricao_servico_jae` do modelo `transacao_invalida.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/311)
+- Altera nome da coluna `indicador_geolocalizacao_fora_rj` para `indicador_geolocalizacao_fora_rio` no modelo `transacao_invalida.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/311)
+
+ ### Corrigido
+- Remove comentários do modelo `ordem_pagamento_validacao.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/311)
+- Corrige nome da coluna `indicador_intervalo_transacao_suspeito` no filtro final do modelo `integracao_invalida.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/311)
+
 ## [1.0.0] - 2024-05-16
 
 ### Adicionado

models/validacao_dados_jae/integracao_invalida.sql

@@ -56,4 +56,4 @@ FROM
 WHERE
   indicador_fora_matriz = TRUE
   OR indicador_tempo_integracao_invalido = TRUE
-  OR indicador_intervalo_transacao_baixo = TRUE
+  OR indicador_intervalo_transacao_suspeito = TRUE

models/validacao_dados_jae/ordem_pagamento_validacao.sql

@@ -19,7 +19,6 @@ WITH servico_operador_dia_validacao AS (
   {% if is_incremental() %}
     WHERE
       data_ordem = DATE("{{var('run_date')}}")
-      -- data_ordem BETWEEN DATE("{{var('date_range_start')}}") AND DATE("{{var('date_range_end')}}")
   {% endif %}
   GROUP BY
     1,
@@ -35,7 +34,6 @@ consorcio_operador_dia_validacao AS (
   {% if is_incremental() %}
     WHERE
       data_ordem = DATE("{{var('run_date')}}")
-      -- data_ordem BETWEEN DATE("{{var('date_range_start')}}") AND DATE("{{var('date_range_end')}}")
   {% endif %}
   GROUP BY
     1,

models/validacao_dados_jae/schema.yml

@@ -43,8 +43,12 @@ models:
         description: "Nome da operadora de transporte (mascarado se for pessoa física)"
       - name: id_servico_jae
         description: "Identificador da linha no banco de dados da jaé (É possível cruzar os dados com a tabela rj-smtr.cadastro.servicos usando a coluna id_servico_jae)"
-      - name: servico
-        description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação no caso de BRT"
+      - name: servico_jae
+        description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação de BRT na Jaé"
+      - name: descricao_servico_jae
+        description: "Nome longo da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou nome da estação de BRT na Jaé"
+      # - name: servico
+      #   description: "Nome curto da linha operada pelo veículo com variação de serviço (ex: 010, 011SN, ...) ou código da estação no caso de BRT"
       - name: descricao_servico
         description: "Nome completo da linha ou estação"
       - name: id_transacao
@@ -59,7 +63,7 @@ models:
         description: "Latitude do stop no GTFS (WGS84)"
       - name: indicador_geolocalizacao_zerada
         description: "Indica se a transação está com geolocalização zerada ou nula"
-      - name: indicador_geolocalizacao_fora_rj
+      - name: indicador_geolocalizacao_fora_rio
         description: "Indica se a transação está com geolocalização fora do município (transações com geolocalização zeradas não se enquadram)"
       - name: indicador_geolocalizacao_fora_stop
         description: "Indica se a transação do modo BRT está com geolocalização a mais de 100m da estação (transações com geolocalização zeradas não se enquadram)"

models/validacao_dados_jae/transacao_invalida.sql

@@ -22,8 +22,10 @@ WITH transacao AS (
     t.id_operadora,
     t.operadora,
     t.id_servico_jae,
-    s.servico,
-    s.descricao_servico,
+    t.servico_jae,
+    t.descricao_servico_jae,
+    -- t.servico,
+    -- s.descricao_servico,
     t.id_transacao,
     t.longitude,
     t.latitude,
@@ -49,7 +51,7 @@ indicadores AS (
     (
       (latitude_tratada != 0 OR longitude_tratada != 0)
       AND NOT ST_INTERSECTSBOX(ST_GEOGPOINT(longitude_tratada, latitude_tratada), -43.87, -23.13, -43.0, -22.59)
-    ) AS indicador_geolocalizacao_fora_rj,
+    ) AS indicador_geolocalizacao_fora_rio,
     (
       (latitude_tratada != 0 OR longitude_tratada != 0)
       AND modo = "BRT"
@@ -63,7 +65,7 @@ SELECT
   * EXCEPT(indicador_servico_fora_gtfs),
   CASE
     WHEN indicador_geolocalizacao_zerada = TRUE THEN "Geolocalização zerada"
-    WHEN indicador_geolocalizacao_fora_rj = TRUE THEN "Geolocalização fora do município"
+    WHEN indicador_geolocalizacao_fora_rio = TRUE THEN "Geolocalização fora do município"
     WHEN indicador_geolocalizacao_fora_stop = TRUE THEN "Geolocalização fora do stop"
   END AS descricao_geolocalizacao_invalida,
   indicador_servico_fora_gtfs,
@@ -72,6 +74,6 @@ FROM
   indicadores
 WHERE
   indicador_geolocalizacao_zerada = TRUE
-  OR indicador_geolocalizacao_fora_rj = TRUE
+  OR indicador_geolocalizacao_fora_rio = TRUE
   OR indicador_geolocalizacao_fora_stop = TRUE
   OR indicador_servico_fora_gtfs = TRUE