Sérgio Spagnuolo sergiospagnuolo

## analises.R
library(tidyverse)
library(scales)
library(clipr)
library(ggthemes)

# total de famílias recipientes, por mes
benf_mes_pessoas <- total %>%
  drop_na() %>%
  filter(data > "2011-01-01") %>%
  group_by(data) %>%

## nucleo_atlas_analise.R
library(tidyverse)
library(cepespR)
library(httr)
library(jsonlite)
library(knitr)

codmun <- read.csv("http://cepespdata.io/static/docs/cod_municipios.csv", header = T, sep = ";")
codmun <- codmun %>% filter(ANO_ELEICAO == 2016)

# do CEPESP: retorna apenas prefeitos eleitos em 2016

## atlas_connect.R
# Força o encoding para UTF-8, default do banco de dados
# Colaboração de Sérgio Spagnuolo (sergio@voltdata.info)
# Programa acessar a API do Atlas da Notícia (https://www.atlas.jor.br/)
# É necessário antes se cadastrar, veja como aqui: https://www.atlas.jor.br/plataforma/utilizarAPI/

library(httr)
library(jsonlite)

# Puxa os dados da sua credencial
token = content(

## beneficios.R
library(tidyverse)
library(jsonlite)
library(lubridate)
library(deflateBR)
library(scales)

# contexto: http://www.agricultura.gov.br/noticias/decreto-permite-pagamento-do-seguro-defeso-aos-pescadores-afetados-pelo-oleo
# http://www.portaltransparencia.gov.br/beneficios/consulta
url1 <- "http://www.portaltransparencia.gov.br/beneficios/consulta/resultado?paginacaoSimples=false&tamanhoPagina=250000&offset=0&direcaoOrdenacao=desc&colunaOrdenacao=mesAno&de="
url2 <- "&colunasSelecionadas=linkDetalhamento%2ClinguagemCidada%2CmesAno%2Cuf%2Cmunicipio%2Cvalor&_=1574703194664"

## notas.md

      
              2 files
            
          
              0 forks
            
          
              0 comments
            
          
              6 stars
            
          
                sergiospagnuolo
                / notas.md
            
            
              Last active
              April 29, 2020 01:33
            
              
                Buscas no Twitter por minuto
              
          
    Análise de buscas no Twitter no calor do momento

Este caderno contém funções para que seja possível medir o interesse de buscas no Twitter, com a finalidade de saber de algum assunto está realmente popular na rede social em certo momento. Por conta de limitações na API gratuita do Twitter, recomenda-se a utilização dessa metodologia para saber se um tópico foi popular no último dia ou período do dia.
Um exemplo de como isso foi usado pode ser visto neste tweet
Esta metodologia utiliza as bibliotecas de R Tidyverse e TwitteR para acessar os dados do Twitter.
Você também vai precisar de uma conta de desenvolvedor, a fim de conseguir todas as chaves de API para fazer as buscas (caso não tenha, garanto que é bem fácil).

  
## cnpq_bolsas.R
# dados podem ser obtidos em: http://memoria.cnpq.br/painel-de-investimentos

library(tidyverse)
library(deflateBR)
library(lubridate)

d <- read.csv("cnpq_investimentos.csv", header = T)

d$Ano.Referência <- gsub("206", "2006", d$Ano.Referência)
d$ano <- as.Date(d$Ano.Referência, origin="2002-09-11", format = "%Y")

## previdencia.r
library(tidyverse)

# Distribuição de contribuintes previdenciários
# ref http://dados.gov.br/dataset/estatisticas-contrib-pessoas-fisicas-por-uf/resource/6b498c82-dbd9-42b4-8a7e-d04967c6cff1
# manual das colunas http://www.previdencia.gov.br/dados-abertos/aeps-2007-anuario-estatistico-da-previdencia-social-2007/anuario-estatistico-da-previdencia-social-2007-contribuintes-da-previdencia-social/

d <- read.csv("CTB21.csv", header = T, fileEncoding = "ISO-8859-1", dec = ",")

ufs_abrev <- c("Acre", "Alagoas", "Amazonas", "Amapá", "Bahia", "Ceará", "Distrito Federal", "Espírito Santo", "Goiás", "Maranhão", "Mato Grosso", "Mato Grosso do Sul", "Minas Gerais", "Pará", "Paraíba", "Paraná", "Pernambuco", "Piauí", "Rio de Janeiro", "Rio Grande do Norte", "Rondônia", "Rio Grande do Sul", "Roraima", "Santa Catarina", "Sergipe", "São Paulo", "Tocantins")
ufs_siglas <- c("AC", "AL", "AM", "AP", "BA", "CE", "DF", "ES", "GO", "MA", "MT", "MS", "MG", "PA", "PB", "PR", "PE", "PI", "RJ", "RN", "RO", "RS", "RR", "SC", "SE", "S

## bolsas_capes.r
library(readxl)
library(tidyverse)

# Distribuição de Bolsas de Pós-graduação no Brasil
# ref https://geocapes.capes.gov.br/geocapes/

url <- "https://geocapes.capes.gov.br/geocapes/rest/fotoDados/indicador/1/false/download?[]"
download.file(url, basename(url))
d <- read_excel("download?[]")

## analisa_capacidade_estatistica.Rmd
---
title: "Capacidade estatística"
output: html_notebook
---

```{r}
library(tidyverse)
library(directlabels)
```

## readme.md

      
              3 files
            
          
              0 forks
            
          
              0 comments
            
          
              1 star
            
          
                sergiospagnuolo
                / readme.md
            
            
              Last active
              February 17, 2020 13:31
            
              
                Códigos para extração de dados da API do Portal da Transparência e também raspa descrições do site (que não constam na API)
              
          
    Dados utilizados em reportagem do Intercept Brasil sobre gastos com viagem CPEAEX/ECEME.


valor R$
ano
tipo
link


R$ 20.000,00
2017
diarias no exterior
http://www.portaltransparencia.gov.br/despesas/empenho/160313000012017NE000132?ordenarPor=fase&direcao=desc


R$ 70.000,00
2017
diarias no exterior
http://www.portaltransparencia.gov.br/despesas/empenho/167313000012017NE000004?ordenarPor=fase&direcao=desc


R$ 710.000,00
2017
diarias no exterior
http://www.portaltransparencia.gov.br/despesas/empenho/160313000012017NE000088?ordenarPor=fase&direcao=desc


R$ 101.077,34
2017
passagens
http://www.portaltransparencia.gov.br/despesas/empenho/167313000012017NE800001?ordenarPor=fase&amp;direcao
	library(tidyverse)
	library(scales)
	library(clipr)
	library(ggthemes)

	# total de famílias recipientes, por mes
	benf_mes_pessoas <- total %>%
	drop_na() %>%
	filter(data > "2011-01-01") %>%
	group_by(data) %>%
	library(tidyverse)
	library(cepespR)
	library(httr)
	library(jsonlite)
	library(knitr)

	codmun <- read.csv("http://cepespdata.io/static/docs/cod_municipios.csv", header = T, sep = ";")
	codmun <- codmun %>% filter(ANO_ELEICAO == 2016)

	# do CEPESP: retorna apenas prefeitos eleitos em 2016
	# Força o encoding para UTF-8, default do banco de dados
	# Colaboração de Sérgio Spagnuolo (sergio@voltdata.info)
	# Programa acessar a API do Atlas da Notícia (https://www.atlas.jor.br/)
	# É necessário antes se cadastrar, veja como aqui: https://www.atlas.jor.br/plataforma/utilizarAPI/

	library(httr)
	library(jsonlite)

	# Puxa os dados da sua credencial
	token = content(
	library(tidyverse)
	library(jsonlite)
	library(lubridate)
	library(deflateBR)
	library(scales)

	# contexto: http://www.agricultura.gov.br/noticias/decreto-permite-pagamento-do-seguro-defeso-aos-pescadores-afetados-pelo-oleo
	# http://www.portaltransparencia.gov.br/beneficios/consulta
	url1 <- "http://www.portaltransparencia.gov.br/beneficios/consulta/resultado?paginacaoSimples=false&tamanhoPagina=250000&offset=0&direcaoOrdenacao=desc&colunaOrdenacao=mesAno&de="
	url2 <- "&colunasSelecionadas=linkDetalhamento%2ClinguagemCidada%2CmesAno%2Cuf%2Cmunicipio%2Cvalor&_=1574703194664"
	# dados podem ser obtidos em: http://memoria.cnpq.br/painel-de-investimentos

	library(tidyverse)
	library(deflateBR)
	library(lubridate)

	d <- read.csv("cnpq_investimentos.csv", header = T)

	d$Ano.Referência <- gsub("206", "2006", d$Ano.Referência)
	d$ano <- as.Date(d$Ano.Referência, origin="2002-09-11", format = "%Y")
	library(tidyverse)

	# Distribuição de contribuintes previdenciários
	# ref http://dados.gov.br/dataset/estatisticas-contrib-pessoas-fisicas-por-uf/resource/6b498c82-dbd9-42b4-8a7e-d04967c6cff1
	# manual das colunas http://www.previdencia.gov.br/dados-abertos/aeps-2007-anuario-estatistico-da-previdencia-social-2007/anuario-estatistico-da-previdencia-social-2007-contribuintes-da-previdencia-social/

	d <- read.csv("CTB21.csv", header = T, fileEncoding = "ISO-8859-1", dec = ",")

	ufs_abrev <- c("Acre", "Alagoas", "Amazonas", "Amapá", "Bahia", "Ceará", "Distrito Federal", "Espírito Santo", "Goiás", "Maranhão", "Mato Grosso", "Mato Grosso do Sul", "Minas Gerais", "Pará", "Paraíba", "Paraná", "Pernambuco", "Piauí", "Rio de Janeiro", "Rio Grande do Norte", "Rondônia", "Rio Grande do Sul", "Roraima", "Santa Catarina", "Sergipe", "São Paulo", "Tocantins")
	ufs_siglas <- c("AC", "AL", "AM", "AP", "BA", "CE", "DF", "ES", "GO", "MA", "MT", "MS", "MG", "PA", "PB", "PR", "PE", "PI", "RJ", "RN", "RO", "RS", "RR", "SC", "SE", "S
	library(readxl)
	library(tidyverse)

	# Distribuição de Bolsas de Pós-graduação no Brasil
	# ref https://geocapes.capes.gov.br/geocapes/

	url <- "https://geocapes.capes.gov.br/geocapes/rest/fotoDados/indicador/1/false/download?[]"
	download.file(url, basename(url))
	d <- read_excel("download?[]")
	---
	title: "Capacidade estatística"
	output: html_notebook
	---

	```{r}
	library(tidyverse)
	library(directlabels)
	```
valor R$	ano	tipo	link
R$ 20.000,00	2017	diarias no exterior	http://www.portaltransparencia.gov.br/despesas/empenho/160313000012017NE000132?ordenarPor=fase&direcao=desc
R$ 70.000,00	2017	diarias no exterior	http://www.portaltransparencia.gov.br/despesas/empenho/167313000012017NE000004?ordenarPor=fase&direcao=desc
R$ 710.000,00	2017	diarias no exterior	http://www.portaltransparencia.gov.br/despesas/empenho/160313000012017NE000088?ordenarPor=fase&direcao=desc
R$ 101.077,34	2017	passagens	http://www.portaltransparencia.gov.br/despesas/empenho/167313000012017NE800001?ordenarPor=fase&direcao