互联网上有很多的网络爬虫机器人，它们带着各自的任务到处爬行，但这些爬虫机器人有些是有用的，例如Baiduspider、Googlebot、bingbot等。但还有很多垃圾爬虫，对网站没有任何益处，还耗费资源...