Skip to content

Instantly share code, notes, and snippets.

@vitorbaptista
Last active December 13, 2021 23:36
Show Gist options
  • Save vitorbaptista/b415c3682c00d934757b698b5ec1009c to your computer and use it in GitHub Desktop.
Save vitorbaptista/b415c3682c00d934757b698b5ec1009c to your computer and use it in GitHub Desktop.
Lista de links .gov.br
# Source: https://stackoverflow.com/a/67700991
from bs4 import BeautifulSoup
import requests, urllib.parse
import lxml
def print_extracted_data_from_url(url):
headers = {
"User-Agent":
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19582"
}
response = requests.get(url, headers=headers).text
soup = BeautifulSoup(response, 'lxml')
print(f'Current page: {int(soup.select_one(".YyVfkd").text)}')
print(f'Current URL: {url}')
print()
for container in soup.findAll('div', class_='tF2Cxc'):
head_link = container.a['href']
print(head_link)
return soup.select_one('a#pnnext')
def scrape():
next_page_node = print_extracted_data_from_url(
'https://www.google.com/search?hl=en-US&q=site:.gov.br')
while next_page_node is not None:
next_page_url = urllib.parse.urljoin('https://www.google.com.br', next_page_node['href'])
next_page_node = print_extracted_data_from_url(next_page_url)
scrape()
http://antigo.anvisa.gov.br/propostas-regulatorias
http://antigo.cnen.gov.br/dose-ocupacional
http://antigo.cnen.gov.br/fale-conosco
http://antigo.cnen.gov.br/licitacoes-e-contratos
http://antigo.cnen.gov.br/ouvidoria-acesso-informacao
http://antigo.cnen.gov.br/pos-graduacao
http://antigo.cnen.gov.br/ultimo-concurso
http://barbacena.mg.gov.br/url/1eg9
http://bd.camara.gov.br/
http://bndigital.bn.gov.br/artigos/
http://bndigital.bn.gov.br/dossies/
http://cidadania.gov.br/documentarioauxilioemergencial/
http://cndonline.siatu.pbh.gov.br/
http://comexstat.mdic.gov.br/pt/faq
http://conitec.gov.br/index.php/monitoramento-de-tecnologias
http://cp2.gov.br/
http://dap.mda.gov.br/
http://enade.inep.gov.br/enadeIes/
http://gps.receita.fazenda.gov.br/
http://mailer.periodicos.capes.gov.br/lt.php?id=fEUCUA9MBFxMBVFRDwYB
http://mailer.periodicos.capes.gov.br/lt.php?id=fEUCUA9MBFxMBVFRDwYB
http://mailer.periodicos.capes.gov.br/lt.php?id=fEUCUwBMBFxMBVFRDwYB
http://mailer.periodicos.capes.gov.br/lt.php?id=fEUCUwJMBFxMA1FdCAE
http://mailer.periodicos.capes.gov.br/lt.php?id=fEUCVgJMBFxMBVFRDwYB
http://mds.gov.br/acesso-a-informacao/convenios
http://mds.gov.br/acesso-a-informacao/legislacao
http://mds.gov.br/acesso-a-informacao/servidores
http://mds.gov.br/area-de-imprensa/atendimento
http://mds.gov.br/area-de-imprensa/boletins
http://mds.gov.br/central-de-conteudo/publicacoes
http://notadomilhao.prefeitura.sp.gov.br/
http://paineldecompras.economia.gov.br/ata-precos
http://paineldecompras.economia.gov.br/licitacao-sessao
http://paineldecompras.economia.gov.br/perguntas
http://portal.mec.gov.br/auditorias
http://portal.mec.gov.br/convenios
http://portal.mec.gov.br/dia-a-dia-do-seu-filho
http://portal.mec.gov.br/gabinete-do-ministro
http://portal.mec.gov.br/portal-do-professor
http://portal.mec.gov.br/pradime
http://portal.mec.gov.br/proinfo/proinfo
http://professoronline.sed.sc.gov.br/
http://reflora.jbrj.gov.br/downloads/APG1.pdf
http://reflora.jbrj.gov.br/downloads/PTER1.pdf
http://repositorio.ipea.gov.br/handle/11058/10155
http://rj.corens.portalcofen.gov.br/
https://agencia.sanesul.ms.gov.br/
https://alemparaiba.mg.gov.br/
https://alfa.portoalegre.rs.gov.br/
https://antigo.mma.gov.br/agua.html
https://antigo.mma.gov.br/cidades-sustentaveis.html
https://antigo.plataformamaisbrasil.gov.br/ajuda/tutoriais
https://antigo.plataformamaisbrasil.gov.br/mapeamento-de-processos
https://antigo.plataformamaisbrasil.gov.br/noticias
https://antigo.plataformamaisbrasil.gov.br/sobre-a-plataforma
https://aps.saude.gov.br/ape/consultoriorua/
https://atlassocioeconomico.rs.gov.br/coeficiente-de-mortalidade-geral-e-por-causas
https://bndigital.bn.gov.br/exposicoes/
https://brasilemsintese.ibge.gov.br/
https://campinagrande.pb.gov.br/
https://capivari.sp.gov.br/portal/servicos/conselhos/
https://ceagesp.gov.br/armazens/unidades/sao-jose-do-rio-preto/
https://cidades.ibge.gov.br/
https://cidades.ibge.gov.br/brasil/mg/frutal/historico
https://cidades.ibge.gov.br/brasil/ms/navirai/historico
https://cidades.ibge.gov.br/brasil/mt/rondonopolis/historico
https://cidades.ibge.gov.br/brasil/sp/sao-paulo/historico
https://concordia.itamaraty.gov.br/atos-internacionais
https://conselhodeusuarios.cgu.gov.br/
https://consultacadastral.inss.gov.br/
https://consultasisreg.manaus.am.gov.br/
https://coronavirus.es.gov.br/
https://coronavirus.rs.gov.br/
https://credenciamento.bcb.gov.br/
https://dados.gov.br/dataset/ccar_bc250_municipio_a
https://dados.gov.br/group/dados-em-destaque
https://deleste1.educacao.sp.gov.br/
https://diariooficial.fortaleza.ce.gov.br/
https://diariooficial.to.gov.br/
https://digital.fortaleza.ce.gov.br/servidor/contracheque-online
https://dspace.mj.gov.br/handle/1/2658
https://eaud.cgu.gov.br/
https://eb.capes.gov.br/
https://educacao.rs.gov.br/contratos-temporarios
https://educapes.capes.gov.br/redirect?action=about
https://educapes.capes.gov.br/redirect?action=search
https://efisc.sefaz.ba.gov.br/
http://servidor.rj.gov.br/
https://falabr.cgu.gov.br/publico/acessibilidade.aspx
https://goianesia.go.gov.br/secretaria/secretaria-de-habitacao/
http://sigeduca.seduc.mt.gov.br/
https://imunizaja.curitiba.pr.gov.br/
https://incom.in.gov.br/cadOrigem.do
https://inis.itajai.sc.gov.br/c/rcc
http://sistema.seia.ba.gov.br/
https://itapejaradoeste.pr.gov.br/licitacoes
https://jucemg.mg.gov.br/
https://login.sp.gov.br/sts/Senha/Recuperar
https://matriculadigital.rioeduca.rio.gov.br/
https://mbt.cgu.gov.br/
https://mtr.meioambiente.mg.gov.br/
https://nota.manaus.am.gov.br/
http://solicito.inep.gov.br/
http://sped.rfb.gov.br/item/show/1285
https://pesquisa.in.gov.br/imprensa/
https://pmt.pi.gov.br/
https://portal.coren-sp.gov.br/consulta-de-inscritos/
https://portal.sefaz.pi.gov.br/
https://portal.tce.go.gov.br/
https://portal.tcu.gov.br/jurisprudencia/boletins-e-informativos/boletim-de-pessoal.htm
https://portal.tcu.gov.br/normativos/
https://quirinopolis.go.gov.br/
https://redevirus.mcti.gov.br/laboratorios-de-campanha/
https://rondonia.ro.gov.br/
https://saude.es.gov.br/sifilis
https://scaweb.saude.gov.br/scaweb/
https://sgt4.bcb.gov.br/es-es
https://sidago.agrodefesa.go.gov.br/
https://sidra.ibge.gov.br/pesquisa/lspa
https://sisconare.mj.gov.br/
https://sites.tcu.gov.br/fatos-fiscais/
https://smaonline.rio.rj.gov.br/sispa/
https://tj.sp.gov.br/UtilidadePublica/UtilidadePublica/CartasPrecatorias
https://visita.sesipe.df.gov.br/
https://www12.senado.gov.br/noticias/noticias-widget
https://www2.anac.gov.br/anacpedia/glossario.htm
https://www2.bauru.sp.gov.br/agendamentovacinas/
https://www2.educacao.mg.gov.br/sobre/servicos-18/legislacao/leis
https://www3.bcb.gov.br/sigef-internet/
https://www5.pmfi.pr.gov.br/
https://www.adasa.df.gov.br/audiencias-publicas
https://www.adasa.df.gov.br/cidadao/13-hidrometracao-individualizada
https://www.al.sp.gov.br/
https://www.bcb.gov.br/acessoinformacao/bis
https://www.bcb.gov.br/acessoinformacao/ccsestatisticas
https://www.bcb.gov.br/acessoinformacao/comite_etica
https://www.bcb.gov.br/acessoinformacao/discursos
https://www.bcb.gov.br/acessoinformacao/discursos
https://www.bcb.gov.br/acessoinformacao/procuradoriageralbancocentral
https://www.bcb.gov.br/cidadaniafinanceira/cidadania_biblioteca
https://www.bcb.gov.br/controleinflacao/25anosreal
https://www.bcb.gov.br/controleinflacao/focustop5anual
https://www.bcb.gov.br/controleinflacao/planoreal
https://www.bcb.gov.br/en/financialstability/financialstabilitycommittee
https://www.bcb.gov.br/en/financialstability/irmr
https://www.bcb.gov.br/en/statistics/nsdp
https://www.bcb.gov.br/estabilidadefinanceira/arranjosnaointegrantesspb
https://www.bcb.gov.br/estabilidadefinanceira/cambioecapitais
https://www.bcb.gov.br/estabilidadefinanceira/cdsfn
https://www.bcb.gov.br/estabilidadefinanceira/certidaonegativaliquidacao
https://www.bcb.gov.br/estabilidadefinanceira/controledocumentosif
https://www.bcb.gov.br/estabilidadefinanceira/corretorascambio
https://www.bcb.gov.br/estabilidadefinanceira/dealerscambio
https://www.bcb.gov.br/estabilidadefinanceira/encontreinstituicao
https://www.bcb.gov.br/estabilidadefinanceira/estatisticasspb
https://www.bcb.gov.br/estabilidadefinanceira/ISO20022
https://www.bcb.gov.br/estabilidadefinanceira/lift
https://www.bcb.gov.br/estabilidadefinanceira/manualcbe
https://www.bcb.gov.br/estabilidadefinanceira/mcc
https://www.bcb.gov.br/estabilidadefinanceira/monitoramento
https://www.bcb.gov.br/estabilidadefinanceira/prestacaoinformacoes
https://www.bcb.gov.br/estabilidadefinanceira/processossfn
https://www.bcb.gov.br/estabilidadefinanceira/relgestaoreservas
https://www.bcb.gov.br/estabilidadefinanceira/selicestatisticasoperacoes
https://www.bcb.gov.br/estatisticas/dadoshistoricos
https://www.bcb.gov.br/estatisticas/estatisticabancariamunicipios
https://www.bcb.gov.br/estatisticas/estatisticascambio
https://www.bcb.gov.br/estatisticas/estats_deposito_a_prazo
https://www.bcb.gov.br/estatisticas/historicoestatisticas
https://www.bcb.gov.br/estatisticas/investimento_estrangeiro_direto
https://www.bcb.gov.br/estatisticas/notas_calendario
https://www.bcb.gov.br/publicacoes
https://www.bcb.gov.br/publicacoes/boletimderop
https://www.bcb.gov.br/publicacoes/boletimregional
https://www.bcb.gov.br/publicacoes/pesquisa
https://www.bcb.gov.br/publicacoes/publicacoesrelatorios
https://www.bcb.gov.br/publicacoes/relatoriogestao
https://www.bcb.gov.br/publicacoes/relatoriointegrado2020
https://www.bcb.gov.br/publicacoes/relatorio-risco-oportunidade
https://www.bn.gov.br/acesso-informacao/institucional
https://www.bn.gov.br/acontece/noticias
https://www.bn.gov.br/acontece/noticias
https://www.bn.gov.br/sobre-bn/doacoes
https://www.bn.gov.br/visite/espacos
https://www.bombeiros.mg.gov.br/
https://www.bombeiros.pr.gov.br/PrevFogo/Pagina/Acompanhar-Processo
https://www.caesb.df.gov.br/
https://www.caixa.gov.br/voce/habitacao/paginas/utilizacao-fgts.aspx
https://www.campogrande.ms.gov.br/
https://www.canaadoscarajas.pa.gov.br/
https://www.cangucu.rs.gov.br/
https://www.conab.gov.br/dados-abertos-m
https://www.conab.gov.br/estoques
https://www.confaz.fazenda.gov.br/legislacao/convenios_arrecadacao
https://www.confaz.fazenda.gov.br/legislacao/despacho
https://www.covid-19.pa.gov.br/
https://www.detran.ce.gov.br/
https://www.detran.ce.gov.br/agendar-atendimentos/
https://www.detran.ms.gov.br/habilitacao-2/
https://www.detran.pr.gov.br/
https://www.detran.rj.gov.br/_documento.asp?cod=2170
https://www.detran.rj.gov.br/_documento.asp?cod=7622
https://www.df.gov.br/autoridade-de-monitoramento/
https://www.df.gov.br/category/sobre-o-governo/
https://www.e-folha.prodesp.sp.gov.br/
https://www.embrapa.gov.br/en/web/portal/esclarecimentos-oficiais
https://www.embrapa.gov.br/web/portal/dirigentes
https://www.embrapa.gov.br/web/portal/metodologias
https://www.embrapa.gov.br/web/portal/pesquisa-e-desenvolvimento
https://www.enap.gov.br/pt/acesso-a-informacao/convenios-e-transferencias
https://www.enap.gov.br/pt/a-escola
https://www.fazenda.sp.gov.br/folha/nova_folha/
https://www.fnde.gov.br/mavs/
https://www.fumec.sp.gov.br/
https://www.goiania.go.gov.br/casa-civil/diario-oficial/
https://www.goiania.go.gov.br/imunizagyn/
https://www.goiania.go.gov.br/mapa-vacinacao/
https://www.gov.br/agricultura/pt-br/assuntos/aquicultura-e-pesca/a-secretaria
https://www.gov.br/anvisa/pt-br/acessoainformacao/transparencia-e-prestacao-de-contas
https://www.gov.br/anvisa/pt-br/composicao
https://www.gov.br/anvisa/pt-br/composicao/diretoria-colegiada/diretoria-colegiada
https://www.gov.br/cgu/pt-br/coronavirus
https://www.gov.br/cgu/pt-br/rss
https://www.gov.br/economia/pt-br/canais_atendimento/presencial
https://www.gov.br/economia/pt-br/centrais-de-conteudo/fotos/flickr
https://www.gov.br/governodigital/pt-br/EGD2020/integrado
https://www.gov.br/inep/pt-br/acesso-a-informacao/convenios-e-transferencias
https://www.gov.br/mdh/pt-br/acesso-a-informacao/dados-abertos
https://www.gov.br/participamaisbrasil/opine-aqui
https://www.gov.br/participamaisbrasil/termo-de-uso-e-politica-de-privacidade
https://www.gov.br/receitafederal/pt-br/assuntos/processos-digitais/legislacao
https://www.gov.br/receitafederal/pt-br/servicos/declaracoes-e-demonstrativos/dirpf
https://www.ibge.gov.br/en/cities-and-states.html?c=4106902
https://www.ibge.gov.br/links-ibge.html
https://www.icmbio.gov.br/portal/
https://www.igp.sc.gov.br/carteira-de-identidade/
https://www.ima.sc.gov.br/
https://www.inas.df.gov.br/legislacao/
https://www.inca.gov.br/audios
https://www.inca.gov.br/educacao-a-distancia
https://www.inca.gov.br/en
https://www.inca.gov.br/estagio-pos-graduacao
https://www.inca.gov.br/fale-conosco
https://www.inca.gov.br/mapa-do-site
https://www.inca.gov.br/utero
https://www.indaiatuba.sp.gov.br/saude/minha-vacina/
https://www.in.gov.br/inicio
https://www.iomat.mt.gov.br/
https://www.ipea.gov.br/acessooportunidades/
https://www.ipea.gov.br/etica/
https://www.ipea.gov.br/ipeageo/
https://www.ipea.gov.br/redeipea/
https://www.joaopessoa.pb.gov.br/
https://www.jucec.ce.gov.br/
https://www.juceg.go.gov.br/
https://www.ma.gov.br/agenciadenoticias/?p=325660
https://www.mangaratiba.rj.gov.br/novoportal/publicacoes
https://www.marilia.sp.gov.br/
https://www.mme.gov.br/SIEBRASIL/
https://www.natal.rn.gov.br/news/post2/35885
https://www.pagamentos.fazenda.sp.gov.br/
https://www.policiacientifica.go.gov.br/
https://www.portaldoservidor.mg.gov.br/
https://www.portaltransparencia.gov.br/api-de-dados
https://www.portaltransparencia.gov.br/imoveis-funcionais/permissionarios
https://www.portaltransparencia.gov.br/localidades/busca/lista
https://www.praiagrande.sp.gov.br/
https://www.prefeitura.sp.gov.br/cidade/secretarias/fazenda/
https://www.procon.sp.gov.br/espaco-consumidor/
https://www.saude.df.gov.br/paciente-recebe-alta-apos-48-dias-internado/
https://www.sjc.sp.gov.br/
https://www.sjc.sp.gov.br/servicos/saude/vacinacao/
https://www.spsempapel.sp.gov.br/
https://www.superarj.rj.gov.br/
https://www.superarj.rj.gov.br/cadastro
https://www.uberlandia.mg.gov.br/
https://www.unasus.gov.br/cursos/
https://www.unasus.gov.br/noticias
http://tabnet.datasus.gov.br/tabnet/tabdescr.htm
http://toronto.itamaraty.gov.br/
http://vacina.jaboticabal.sp.gov.br/
http://www2.camara.gov.br/deputados/pesquisa/layouts_deputados_biografia?pk=178938
http://www2.camara.gov.br/saotomeeprincipe/constituicao
http://www2.hortolandia.sp.gov.br/
http://www2.ipece.ce.gov.br/atlas/capitulo1/12.htm
http://www3.mte.gov.br/sistemas/mediador/ConsultarInstColetivo
http://www4.planalto.gov.br/legislacao/acessibilidade
http://www4.planalto.gov.br/legislacao/legislacao-historica
http://www.araucaria.pr.gov.br/
http://www.blumenau.sc.gov.br/filacei/
http://www.bomjesus.go.gov.br/
http://www.cge.go.gov.br/ouvidoria/faq_corona.php
http://www.cgu.gov.br/rodape/coluna-3/redes-sociais/facebook
http://www.cienciasemfronteiras.gov.br/web/csf/apoio-ao-bolsista-no-exterior
http://www.cienciasemfronteiras.gov.br/web/csf/areas-contempladas
http://www.cienciasemfronteiras.gov.br/web/csf/canada
http://www.cienciasemfronteiras.gov.br/web/csf/chamadas-abertas
http://www.cienciasemfronteiras.gov.br/web/csf/dados-chamadas-graduacao-sanduiche
http://www.cienciasemfronteiras.gov.br/web/csf/estudante
http://www.cienciasemfronteiras.gov.br/web/csf/painel-de-controle
http://www.cienciasemfronteiras.gov.br/web/csf/pesquisador-visitante-especial1
http://www.cienciasemfronteiras.gov.br/web/csf/resultados
http://www.cienciasemfronteiras.gov.br/web/csf/taxas-escolares-/-bancada
http://www.cnfcp.gov.br/tesauro/00001888.htm
http://www.concordia.sc.gov.br/
http://www.dce.mre.gov.br/paeb.php
http://www.dce.mre.gov.br/portugues.php
http://www.detran.df.gov.br/
http://www.diariooficial.sp.gov.br/
http://www.fappr.pr.gov.br/Pagina/Fundacao-Araucaria
http://www.fappr.pr.gov.br/Pagina/Inovacao
http://www.fepam.rs.gov.br/
http://www.finep.gov.br/
http://www.finep.gov.br/a-finep-externo/condicoes-operacionais
http://www.finep.gov.br/a-finep-externo/sobre-a-finep
http://www.finep.gov.br/area-para-clientes-externo/assinatura-digital
http://www.finep.gov.br/chamadas-publicas/chamadapublica/653
http://www.finep.gov.br/chamadas-publicas/chamadapublica/660
http://www.finep.gov.br/chamadas-publicas/chamadapublica/661
http://www.finep.gov.br/licitacoes-e-contratos2
http://www.finep.gov.br/noticias
http://www.finep.gov.br/our-programs
http://www.finep.gov.br/perguntas-frequentes-menu
http://www.institutoriobranco.itamaraty.gov.br/corpo-docente
http://www.investexportbrasil.gov.br/home?l=en
http://www.ipe.rs.gov.br/
http://www.ipe.rs.gov.br/
http://www.iz.sp.gov.br/img_editor/docs/boas_praticas_Fapesp.pdf
http://www.maceio.al.gov.br/
http://www.mp.sp.gov.br/portal/page/portal/CAO%20Tutela
http://www.mp.sp.gov.br/portal/page/portal/cao_criminal/Boas_praticas
http://www.mp.sp.gov.br/portal/page/portal/comunicacao
http://www.mp.sp.gov.br/portal/page/portal/PJ_Comunitaria
http://www.mp.sp.gov.br/portal/page/portal/Saude_Publica
http://www.pesagro.rj.gov.br/milho.html
http://www.pmpf.rs.gov.br/
http://www.recursoshumanos.sp.gov.br/teto_salarial.html
http://www.riocomsaude.rj.gov.br/site/conteudo/Calendario.aspx
http://www.riocomsaude.rj.gov.br/site/conteudo/Calendario.aspx
http://www.rio.rj.gov.br/dlstatic/10112/4446958/4111926/joint.pdf
http://www.saosebastiao.sp.gov.br/
http://www.saude.ba.gov.br/sobre-a-sesab/prosus/
http://www.seap.ba.gov.br/pt-br/unidade/presidio-de-salvador
http://www.sigo.ms.gov.br/
http://www.spprev.sp.gov.br/aviso_boleto_contrib_2.aspx
http://www.spprev.sp.gov.br/pensao_militar.aspx
http://www.sproweb.am.gov.br/
http://www.susep.gov.br/
http://www.transparencia.ma.gov.br/dados-abertos/
http://www.transparencia.pr.gov.br/pte/fale-com-o-ouvidor
gov.br.txt:
python google_search.py | grep http | tee -a gov.br.txt
lxml
BeautifulSoup4
requests
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment