-
Notifications
You must be signed in to change notification settings - Fork 0
/
README.Rmd
169 lines (125 loc) · 7.1 KB
/
README.Rmd
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
---
title: 'Negativas de acesso a informação no governo Federal'
subtite: '2015 até 04/2021'
output:
github_document:
toc: true
toc_depth: 3
---
```{r setup, include=FALSE}
knitr::opts_chunk$set(
collapse = T,
comment = "#>",
message = F,
warning = F,
fig.align = "center",
echo = F
)
```
## Base de dados
Foram utilizadas duas bases de dados para as análises deste repositório:
### Base anonimizada
* Base de dados da CGU com pedidos e respostas [clique aqui](http://www.consultaesic.cgu.gov.br/busca/_layouts/15/DownloadPedidos/DownloadDados.aspx)
+ Esses dados vão de 2015 até 2021 e possuem os campos de texto dos pedidos, das resposta e dos recursos completos.
+ Dicionário de variáveis - [clique aqui](http://www.consultaesic.cgu.gov.br/arquivosRelatorios/PedidosRespostas/Dicionario-Dados-Exportacao.txt)
### Base completa (painel CGU)
* Base de dados do [painel da cgu](http://paineis.cgu.gov.br/lai/index.htm), disponível para download [neste link](https://falabr.cgu.gov.br/publico/DownloadDados/DownloadDadosLai.aspx)
+ Esses dados vão de 2012 até 2021 mas não possuem os campos de texto dos pedidos, das respostas e dos recursos.
+ Dicionário de variáveis:
+ [Pedidos](https://falabr.cgu.gov.br/publico/DownloadDados/Pedidos-Formato.txt)
+ [Recursos](https://falabr.cgu.gov.br/publico/DownloadDados/Recursos-Formato.txt)
+ [Solicitantes](https://falabr.cgu.gov.br/publico/DownloadDados/Solicitantes-Formato.txt)
> De acordo com a própria CGU, diferença principal entre as duas bases existem devido a divulgação de dados sensíveis nos campos de pedidos e respostas. Para a base **anonimizada** são retirados pedidos que possuam esses dados e mantidos somente aqueles com informações públicas.
## Relatórios analíticos
```{r eval = FALSE}
url_base <- "https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/"
library(tidyverse)
library(here)
docs <- "docs" %>%
here() %>%
list.files(pattern = "^\\d")
url <- paste0(url_base, docs)
docs_fmt <- docs %>%
str_replace("-", ". ") %>%
str_replace_all("-", " ") %>%
str_remove("\\.html$") %>%
str_to_sentence()
glue::glue(
"[{docs_fmt}]({url})\n"
)
```
- **Base completa e anonimizada**
- [**Comparativo entre as bases disponíveis no FalaBr**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/6-comparativo-entre-bases-do-falabr.html)
- **Pedidos de acesso a informação via LAI no FalaBr**
- [**Base anonimizada**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/1-pedidos-decisoes.html)
- [**Base completa (painel CGU)**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/1-b-pedidos-decisoes-painel.html)
- **Acesso negado nos órgãos**
- Acessos negados **geral:**
- [**Base anonimizada**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/2-pedidos-orgaos-acesso-negado.html)
- [**Base completa (painel CGU)**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/2-b-pedidos-orgaos-acesso-negado.html)
- Acessos negados para **cada órgão:**
- [**Base anonimizada**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/3-acesso-negado-para-cada-orgao.html)
- [**Base completa (painel CGU)**](https://rdurl0.shinyapps.io/cgu-interact/): gráficos interativos com shiny app.
- [**Órgão a órgão - heatmaps**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/3-acesso-negado-heatmaps.html)
- [**Ministérios - heatmaps**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/3-acesso-negado-heatmaps-ministerios.html)
- [**Militares - heatmaps**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/3-acesso-negado-heatmaps-militares.html)
- **Uso da LGPD nas respostas aos pedidos de acesso a informação via LAI**
- [**Base anonimizada - nova versão**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/4-b-controversos-lgpd.html)
- [**Mapeamento das interações**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/4-b-controversos-lgpd-mapeamento-pedidos.html)
- [**Visão geral**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/4-b-controversos-lgpd-aspectos-gerais.html)
- [**Acesso Negado**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/4-b-controversos-lgpd-acesso-negado.html)
- [**Acesso Negado - Wordclouds**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/4-b-controversos-lgpd-acesso-negado-wordclouds.html)
- **Recursos**
- [**Base anonimizada**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/5-recursos.html)
- [**Base completa (Painel CGU)**](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/5-b-recursos.html)
- **Tempo de resposta**
- [7. tempo de resposta pedidos](https://transparencia-brasil.github.io/negativas-acesso-informacao-Executivo-federal-2021-1/7-tempo-de-resposta-pedidos.html)
## Download
### Download da base bruta
* Os dados brutos estão disponíveis ano a ano no site do e-sic da Controladoria Geral da União. Para baixar manualmente [acesse o site do esic](http://www.consultaesic.cgu.gov.br/busca/_layouts/15/DownloadPedidos/DownloadDados.aspx), selecione ano e formato (trabalhamos com XML) e clique em download.
### Arquivos:
```{r fig.width=15}
library(here)
library(tibble)
library(dplyr)
library(stringr)
library(glue)
```
```{r eval = TRUE}
### Descrição dos arquivos XML
here(glue("dados/load/xml")) %>%
list.files(pattern = ".xml$", full.names = T) %>%
file.info() %>%
tibble(Arquivo = str_remove(rownames(.), "^.+dados\\/load\\/xml\\/")) %>%
as_tibble() %>%
transmute(
Tipo = str_extract(Arquivo, "Pedidos|Recursos"),
Ano = str_extract(Arquivo, "_\\d{4}") %>% str_remove("_"),
Arquivo,
`Tamanho (mb)` = round(size/(1024^2),1)
) %>%
arrange(Tipo, Ano) %>%
kableExtra::kbl(format = "pipe", align = "cccr", format.args = list(decimal.mark = ","))
```
### Download da base pré-processada
Disponibilzamos a base de dados em formatos `csv` e `rds`: [CLIQUE AQUI](https://drive.google.com/drive/folders/12a0qO8Spxc8IE_Wdlb0fjm88kD6JjVgk)
#### Preview: pedidos
```{r}
glimpse(readRDS(here("dados/load/rds/pedidos-cgu.rds")))
```
#### Preview: recursos
```{r}
glimpse(readRDS(here("dados/load/rds/recursos-cgu.rds")))
```
### Código para download e sanitização dos campos para análise
```{r echo = FALSE, eval = FALSE}
cat(paste("* ", list.files(here('src')), "\n"))
```
* 1-download-funcao-crawler-esic.R
* 2-download-crawler-exec.R
* 3-pedidos-cgu-pre-processamento.R
* 4-lista-de-regex.R
* 5-nlp.R
* 5-pedidos-cgu-nlp.R
* 6-termos-controversos.R
* 7-base-alternativa.R