fly123

SuperSpider——打造功能强大的爬虫利器

####作者:加菲 摘要: 笔者之前在腾讯的安全部门，需要编写扫描器，而扫描器一个重要的部分就是爬虫，因此此文必是总结笔者在编写爬虫过程中的经验

1.爬虫的介绍

网络爬虫(web spider)是一个自动的通过网络抓取互联网上的网页的程序，在当今互联网中得到越来越广泛的使用。这种技术一般用来爬取网页中链接，资源等，当然，更为高级的技术是把网页中的相关数据保存下来，成为搜索引擎，例如著名的google和百度。常见的爬虫应用还有像一淘这样的比价网站，电影推荐网站等。