Agenda del Taller de webcrawling con Python y Beautiful Soup [uhu.es/etsi '19]

agenda.md

TALLER DE webcrawling CON PYTHON

Pablo Martín (@pr3ssh)

21 de febrero de 2019

AGENDA

1. Por qué webcrawling
2. Beautiful Soup
3. El flujo básico del webcrawling
4. Ejercicio: Países miembros de la Unión Europera
5. Ejercicio: Tesis doctorales de la Universidad de Huelva
6. Retos
7. Algunos proyectos (cívicos) interesantes
8. Enlaces de referencia

---

Por qué webcrawling

Podemos ver la web como una gran base de datos

---

Beautiful Soup

• Librería para webcrawling
• Escrita en Python
• Fácil de usar
• Educativa
• Documentación

---

El flujo básico

1. Buscar la información en la Web
2. Obtener la url inicial
3. Obtener el HTML de la url
4. Parsear el contenido HTML
5. Seleccionar datos
6. Procesar los datos
7. (Volver a 3 si hay más urls)

---

Ejercicio: Países miembros de la Unión Europea

• Contenido
• Código

---

Ejercicio: Tesis doctorales de la Universidad de Huelva

• Contenido
• Código

---

Retos

• Peticiones POST
• Modificar cabeceras (headers)
• Cookies
• Multi-hilo
• Multi-máquina
• Evitar baneo de IPs
• No parecer robótico
• Cambios en el HTML

---

Algunos proyectos (cívicos) interesantes

• Political Watch
• LibreBORME
• Data Hippo
• Proyecto Colibrí
• BOE API

---

Enlaces de referencia

• Documentación de Beautiful Soup
• Documenatación de Scrapy
• Selenium
• Intro to Web Scraping with Python and Beautiful Soup
• Better web scraping in Python with Selenium, Beautiful Soup, and Pandas