Skip to content

Instantly share code, notes, and snippets.

View sergiospagnuolo's full-sized avatar
🐕‍🦺

Sérgio Spagnuolo sergiospagnuolo

🐕‍🦺
View GitHub Profile
@jlomako
jlomako / openai_in_R.R
Created October 27, 2022 15:34
use GPT-3 in R with the OpenAI API
View openai_in_R.R
#####################################################
# Use GPT-3 in R with the OpenAI API. You need to install the reticulate package.
# Additionally, an API key is required that must be saved in a separate file, called .openaikey
# Get your API key here: https://openai.com/api/
#####################################################
# install.packages("reticulate") # run only once
library(reticulate)
# create python env
@fernandobarbalho
fernandobarbalho / get_cofog_data.r
Created July 14, 2021 15:02
Extração de dados do cofog diretamente da base de dados abertos do Tesouro Transparente
View get_cofog_data.r
library(readxl)
library(ckanr)
library(purrr)
ckanr::package_search()
package<- ckanr::package_show(id= "22d13d17-bf69-4a1a-add2-25cc1e25f2d7",
url= "https://www.tesourotransparente.gov.br/ckan") #busca todos os dados do dataset que se refere aos dados de COFOG
@lgelape
lgelape / stopwords_pt.R
Last active March 7, 2023 18:45
Create a dataset with stopwords in Portuguese (from Stopwords ISO, tidytext and tm packages)
View stopwords_pt.R
### STOPWORDS IN PORTUGUESE
## Create a unique dataset from several datasets with stopwords in Portuguese
# Lucas Gelape
# Packages
library(dplyr)
library(stringi)
library(readr)
@fernandobarbalho
fernandobarbalho / get_last_covid_rt.r
Last active April 16, 2020 19:15
Function that returns the last estimated rt from a time series of cummulative number of COVID-19 cases
View get_last_covid_rt.r
#based on this method: https://github.com/k-sys/covid-19/blob/master/Realtime%20R0.ipynb
# In fact it is a translation from python to R of some parts of the code explained in the link above.
get_last_covid_rt<- function(df_days_case){ #this dataset must have a structre with a collumn no_cases (accumulated number of cases on a given sequence day)
#smooth the data
x <- 1:NROW(df_days_case)
y<-df_days_case$no_cases
@fernandobarbalho
fernandobarbalho / ETL_pensionistas.R
Created January 14, 2020 15:05
ETL para tratar dados de pensionsitas
View ETL_pensionistas.R
library(readr)
library(dplyr)
PENSIONISTAS_112019 <- read_delim("Data/PENSIONISTAS_112019.csv",
";", escape_double = FALSE, locale = locale(decimal_mark = ",",
grouping_mark = ".", encoding = "LATIN1"),
trim_ws = TRUE)
PENSIONISTAS_122019 <- read_delim("Data/PENSIONISTAS_122019.csv",
";", escape_double = FALSE, locale = locale(decimal_mark = ",",
@sergiospagnuolo
sergiospagnuolo / atlas_connect.R
Last active October 23, 2020 16:53
Acessando API do Atlas da Notícia via R
View atlas_connect.R
# Força o encoding para UTF-8, default do banco de dados
# Colaboração de Sérgio Spagnuolo (sergio@voltdata.info)
# Programa acessar a API do Atlas da Notícia (https://www.atlas.jor.br/)
# É necessário antes se cadastrar, veja como aqui: https://www.atlas.jor.br/plataforma/utilizarAPI/
library(httr)
library(jsonlite)
# Puxa os dados da sua credencial
token = content(
@fernandobarbalho
fernandobarbalho / script_indice_FIRJAN.R
Last active May 25, 2021 17:33
Script para cálculo do índice de autonomia da FIRJAN usando o pacote rsiconfi
View script_indice_FIRJAN.R
# install.packages("devtools")
devtools::install_github("tchiluanda/rsiconfi")
library(rsiconfi)
library(dplyr)
library(tidyr)
###########Trabalhando as despesas
#Monta um vetor com todos os códigos de UFs do Brasil
@fernandobarbalho
fernandobarbalho / gist:40f7e6c0cf925065e21084062e5ad513
Last active August 9, 2022 20:55
script para leitura e tratamento de tabela do ibama sobre oleamento de praias do NE
View gist:40f7e6c0cf925065e21084062e5ad513
library(tabulizer)
library(dplyr)
setwd("~/GitHub/oleogate/data")
#Extrai tabelas do arquivo pdf.
#Esse arquivo foi baixado do seguinte link
# https://politica.estadao.com.br/blogs/estadao-verifica/wp-content/uploads/sites/690/2019/10/Ibama.pdf
#A tabela é extraída para um arquivo csv de forma a poder trabalhar melhor questões de encoding
tabulizer::extract_tables("ibama.pdf", output = "csv",outdir = getwd())
@sergiospagnuolo
sergiospagnuolo / notas.md
Last active April 29, 2020 01:33
Buscas no Twitter por minuto
View notas.md

Análise de buscas no Twitter no calor do momento

Este caderno contém funções para que seja possível medir o interesse de buscas no Twitter, com a finalidade de saber de algum assunto está realmente popular na rede social em certo momento. Por conta de limitações na API gratuita do Twitter, recomenda-se a utilização dessa metodologia para saber se um tópico foi popular no último dia ou período do dia.

Um exemplo de como isso foi usado pode ser visto neste tweet

Esta metodologia utiliza as bibliotecas de R Tidyverse e TwitteR para acessar os dados do Twitter.

Você também vai precisar de uma conta de desenvolvedor, a fim de conseguir todas as chaves de API para fazer as buscas (caso não tenha, garanto que é bem fácil).

@nportinari
nportinari / verba_ministerio_saude.ipynb
Last active March 12, 2020 17:40
Verba - Ministério da Saúde
View verba_ministerio_saude.ipynb
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.