Skip to content

Instantly share code, notes, and snippets.

@fly123
fly123 / gist:24545a3111b5caf25c09
Last active Nov 28, 2017
SuperSpider——打造功能强大的爬虫利器
View gist:24545a3111b5caf25c09

SuperSpider——打造功能强大的爬虫利器

####作者:加菲 摘要: 笔者之前在腾讯的安全部门,需要编写扫描器,而扫描器一个重要的部分就是爬虫,因此此文必是总结笔者在编写爬虫过程中的经验

1.爬虫的介绍

图1-1  爬虫(spider)

网络爬虫(web spider)是一个自动的通过网络抓取互联网上的网页的程序,在当今互联网中得到越来越广泛的使用。这种技术一般用来爬取网页中链接,资源等,当然,更为高级的技术是把网页中的相关数据保存下来,成为搜索引擎,例如著名的google和百度。常见的爬虫应用还有像一淘这样的比价网站,电影推荐网站等。