Skip to content

Instantly share code, notes, and snippets.

View sergiospagnuolo's full-sized avatar
🐕‍🦺

Sérgio Spagnuolo sergiospagnuolo

🐕‍🦺
View GitHub Profile
@Irio
Irio / normalize_string.py
Created December 12, 2017 15:53
normalize_string.py
import unicodedata
def normalize_string(string):
if isinstance(string, str):
nfkd_form = unicodedata.normalize('NFKD', string.lower())
return nfkd_form.encode('ASCII', 'ignore').decode('utf-8')
@fernandobarbalho
fernandobarbalho / gist:0cf27d994e39700663551b2d14387b08
Created August 5, 2019 15:20
Com essa função é possível programaticamente baixar todos os dados que se queira do datasus apenas alterando os parâmetros de uma função.
hack_datasus <- function(sistema, modalidade, tipo_arquivo, ano, UF, mes){
#Função gera dataframe a partir de ftp feita na página do datasus
#sistema ex:'SIHSUS' Verificar os sistemas disponíveis em http://www2.datasus.gov.br/DATASUS/index.php?area=0901&item=1
#modalidade 'dados'
#tipo_arquivo ex: 'RD'#Varia conforme o sistema
#ano ex: 17 Dois últimos dígitos do ano
#UF ex:'AL' Sigla de UF Brasileira
#mes ex:'12' strings entre 01 e 12
@fernandobarbalho
fernandobarbalho / ETL_pensionistas.R
Created January 14, 2020 15:05
ETL para tratar dados de pensionsitas
library(readr)
library(dplyr)
PENSIONISTAS_112019 <- read_delim("Data/PENSIONISTAS_112019.csv",
";", escape_double = FALSE, locale = locale(decimal_mark = ",",
grouping_mark = ".", encoding = "LATIN1"),
trim_ws = TRUE)
PENSIONISTAS_122019 <- read_delim("Data/PENSIONISTAS_122019.csv",
";", escape_double = FALSE, locale = locale(decimal_mark = ",",
@nportinari
nportinari / verba_ministerio_saude.ipynb
Last active March 12, 2020 17:40
Verba - Ministério da Saúde
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@fernandobarbalho
fernandobarbalho / get_last_covid_rt.r
Last active April 16, 2020 19:15
Function that returns the last estimated rt from a time series of cummulative number of COVID-19 cases
#based on this method: https://github.com/k-sys/covid-19/blob/master/Realtime%20R0.ipynb
# In fact it is a translation from python to R of some parts of the code explained in the link above.
get_last_covid_rt<- function(df_days_case){ #this dataset must have a structre with a collumn no_cases (accumulated number of cases on a given sequence day)
#smooth the data
x <- 1:NROW(df_days_case)
y<-df_days_case$no_cases
@sergiospagnuolo
sergiospagnuolo / notas.md
Last active April 29, 2020 01:33
Buscas no Twitter por minuto

Análise de buscas no Twitter no calor do momento

Este caderno contém funções para que seja possível medir o interesse de buscas no Twitter, com a finalidade de saber de algum assunto está realmente popular na rede social em certo momento. Por conta de limitações na API gratuita do Twitter, recomenda-se a utilização dessa metodologia para saber se um tópico foi popular no último dia ou período do dia.

Um exemplo de como isso foi usado pode ser visto neste tweet

Esta metodologia utiliza as bibliotecas de R Tidyverse e TwitteR para acessar os dados do Twitter.

Você também vai precisar de uma conta de desenvolvedor, a fim de conseguir todas as chaves de API para fazer as buscas (caso não tenha, garanto que é bem fácil).

@voltek62
voltek62 / api-similarweb.R
Last active June 4, 2020 16:09
get Web Traffic Data from SimilarWeb API with R
library(httr)
library(jsonlite)
# https://dataseolabs.com
# Doc : https://www.similarweb.com/corp/developer/
# Create your key here : https://pro.similarweb.com/#/account/api-management
# You can have freely 3 Months of Web Traffic Data
# conf
myList <- c("cuisineaz.com","marmiton.org","odelices.com","allrecipes.fr")
@sergiospagnuolo
sergiospagnuolo / atlas_connect.R
Last active October 23, 2020 16:53
Acessando API do Atlas da Notícia via R
# Força o encoding para UTF-8, default do banco de dados
# Colaboração de Sérgio Spagnuolo (sergio@voltdata.info)
# Programa acessar a API do Atlas da Notícia (https://www.atlas.jor.br/)
# É necessário antes se cadastrar, veja como aqui: https://www.atlas.jor.br/plataforma/utilizarAPI/
library(httr)
library(jsonlite)
# Puxa os dados da sua credencial
token = content(
@fernandobarbalho
fernandobarbalho / script_indice_FIRJAN.R
Last active May 25, 2021 17:33
Script para cálculo do índice de autonomia da FIRJAN usando o pacote rsiconfi
# install.packages("devtools")
devtools::install_github("tchiluanda/rsiconfi")
library(rsiconfi)
library(dplyr)
library(tidyr)
###########Trabalhando as despesas
#Monta um vetor com todos os códigos de UFs do Brasil
@jpravetz
jpravetz / product_generator.rb
Created December 2, 2011 21:24
Jekyll generator to read json data file and generate product and ingredient pages
#------------------------------------------------------------------------
# encoding: utf-8
# @(#)product_generator.rb 1.00 29-Nov-2011 16:38
#
# Copyright (c) 2011 Jim Pravetz. All Rights Reserved.
# Licensed under the MIT license (http://www.opensource.org/licenses/mit-license.php)
#
# Description: A generator that creates product, products and
# ingredients pages for jekyll sites. Uses a JSON data
# file as the database file from which to read and