Skip to content

Instantly share code, notes, and snippets.

Fernando Almeida Barbalho fernandobarbalho

Block or report user

Report or block fernandobarbalho

Hide content and notifications from this user.

Learn more about blocking users

Contact Support about this user’s behavior.

Learn more about reporting abuse

Report abuse
View GitHub Profile
@fernandobarbalho
fernandobarbalho / gist:40f7e6c0cf925065e21084062e5ad513
Created Oct 29, 2019
scipt para leitura e tratamento de tabela do ibama sobre oleamento de praias do NE
View gist:40f7e6c0cf925065e21084062e5ad513
library(tabulizer)
library(dplyr)
setwd("~/GitHub/oleogate/data")
#Extrai tabelas do arquivo pdf.
#Esse arquivo foi baixado do seguinte link
# https://politica.estadao.com.br/blogs/estadao-verifica/wp-content/uploads/sites/690/2019/10/Ibama.pdf
#A tabela é extraída para um arquivo csv de forma a poder trabalhar melhor questões de encoding
tabulizer::extract_tables("ibama.pdf", output = "csv",outdir = getwd())
@fernandobarbalho
fernandobarbalho / gist:0cf27d994e39700663551b2d14387b08
Created Aug 5, 2019
Com essa função é possível programaticamente baixar todos os dados que se queira do datasus apenas alterando os parâmetros de uma função.
View gist:0cf27d994e39700663551b2d14387b08
hack_datasus <- function(sistema, modalidade, tipo_arquivo, ano, UF, mes){
#Função gera dataframe a partir de ftp feita na página do datasus
#sistema ex:'SIHSUS' Verificar os sistemas disponíveis em http://www2.datasus.gov.br/DATASUS/index.php?area=0901&item=1
#modalidade 'dados'
#tipo_arquivo ex: 'RD'#Varia conforme o sistema
#ano ex: 17 Dois últimos dígitos do ano
#UF ex:'AL' Sigla de UF Brasileira
#mes ex:'12' strings entre 01 e 12
@fernandobarbalho
fernandobarbalho / gist:be7a88848a645883cf97168f8ca18d2a
Created Aug 9, 2019
Script para download de dados do microcenso
View gist:be7a88848a645883cf97168f8ca18d2a
#Extração dos arquivos do censo escolar
library(purrr)
#Downloads
#Informe ano inicial e ano final. Os limites são 1995 e 2018
ano_ini<- 1995
ano_fim<-2018
map(ano_ini:ano_fim, function(ano){
@fernandobarbalho
fernandobarbalho / gist:c814fdb794907645cae1978c096cdf8a
Last active May 2, 2019
Função para atualizar informações de licença todos os datasets de uma URL de ckan
View gist:c814fdb794907645cae1978c096cdf8a
update_all_licence <- function(key, url, limit=1000, license_title,license_id,license_url ){
#key: chave do usuário que tem direitos de atualizações sobre datasets
#url: url principal do índice do ckan
#license_title: título da licença
#license_id: id da licença
#license_url: url da licença
#limite: normalmente está associado ao número de datasets do usuário. Atribui-se um valor default de 1000
#Esse vetor registrará os erros ocorridos durante o processo de atualização
@fernandobarbalho
fernandobarbalho / tradutor_pdf_tabela
Created Feb 20, 2019
Função para leitura de uma tabela de arquivo pdf e conversão para dataframe
View tradutor_pdf_tabela
#Função para leitura de uma tabela de arquivo pdf e conversão para dataframe
tradutor_pdf_tabela <- function(arquivo_pdf, delimitador_ini,delimitador_fim,rubricas){
library(pdftools)
txt <- pdf_text(arquivo_pdf)
#Localiza o ponto inicail de tratamento do arquivo
@fernandobarbalho
fernandobarbalho / gist:e4bd2d70153a4ad0a5097e2ac02589d1
Last active Feb 1, 2019
Função que faz gráfico a partir de uma fórmula para análise ANOVA
View gist:e4bd2d70153a4ad0a5097e2ac02589d1
grafico_serie_anova<- function(formula, dados_origem){
library(agricolae)
library(ggplot2)
res.aov <- aov( formula, data =dados_origem )
out<-HSD.test(res.aov,res.aov[["terms"]][[3]])
grupos <- out$groups[2]
View Extrair_dados_Porta_transparencia
mudou_estrutura <- FALSE
tipo_nova_estrutura <- c(character(1))
mes_fim<-12
for (ano in 2013:2018){
if (ano == 2018) {mes_fim<-ult_mes_disp}
ifelse(ano==2012, mes_ini <-12, mes_ini<-1)
You can’t perform that action at this time.