网络上存在各种各样的爬虫与蜘蛛，有的是对网站有帮助的，譬如说：百度、谷歌，但是也有一些纯粹是垃圾爬虫，不但本身对网站毫无帮助，还大幅损耗服务器资源，所以我们可以通过用户代理 UserAgent 信息来屏蔽垃圾爬虫，本文注…