一、搜查引擎的蜘蛛，是不是爬得越多越好
当然不是!不管什么搜查引擎的爬虫，来抓取你网站的页面的时候，判断在消耗你的网站资源，例如网站的连接数、网络带宽资源、服务器的负 载、甚至还有盗链等。不是所有的搜查引擎蜘蛛都是有用的。另外，搜查引擎的爬虫来抓取你的页面数据后，它也不一定收用数据。只代表它“到此一游”留下痕迹 罢了，有的搜查引擎室成心过来找它想要的资源，甚至还有很多是开发人员的蜘蛛测试。
对一个原创内容丰富，URL结构公道易于爬取的网站来说，几乎就是各种爬虫的盘中大餐，很多网站的拜访流量形成当中，爬虫带来的流量要远远超过实在 用户拜访流量，甚至爬虫流量要高出实在流量一个数量级。像进步网站有效利用率诚然设置了相称严格的反爬虫策略，然而网站处理的动态恳求数量仍然是实在用户 拜访流量的2倍。可能判断的说，当今互联网的网络流量至少有2/3的流量爬虫带来的。因此反搜查引擎爬虫是一个值得网站长期摸索跟解决的问题。
搜查引擎爬虫对网站的负面影响
1.网站有限的带宽资源，而爬虫的量过多，导致畸形用户拜访缓慢。原本虚构主机主机的连接数受限，带宽资源也是有限。这种情况搜查引擎爬虫受影响显现更明显。
2.搜查引擎爬虫过频密，抓取扫描很多无效页面。甚至抓页面抓到服务器报502、500 、504 等服务器内部错误了，蜘蛛爬虫还在不停使劲抓取。
3.与网站主题不相干的搜查引擎爬虫消耗资源。
典范的例子搜查引擎“一淘网蜘蛛为一淘网抓取工具。被各大电子商务购物网站屏蔽。拒绝一淘网抓取其商品信息及用户产生的点评 内容。被禁止的起因首先应当是它们之间不配合互利的关联，还有就是EtaoSpider爬虫是一个抓取猖狂的蜘蛛。统计发明EtaoSpider爬虫 的一天爬行量比“百度蜘蛛：Baiduspider”“360蜘蛛：360Spider”“SOSO蜘蛛：Sosospider”等主流蜘蛛爬虫多多少倍， 并且是远远的多。重点是EtaoSpider被抓取只会消耗你的网站资源，它不会给你带来拜访量，或者其它对你有利用的。
4.一些搜查引擎开发程序员，它们写的爬虫程序在测试爬行。
5.robots.txt文件不是!
判断有很多人认为，在robots.txt设置屏蔽搜查引擎爬虫即可，或者容许某些特定的搜查引擎爬虫，能达到你料想后果。不错正规搜查引擎会依照规 则，不过不会及时生效。然而实际中某些蜘蛛往往不是这样的，先扫描抓取你的页面，疏忽你的robots.txt。也可能它抓取后不一定留用;或者它只是统 计信息，收集互联网行业趋势剖析统计。
6.还有一种它们不是蜘蛛，但其有蜘蛛的特点。例如采集软件，采集程序，网络扫描e-mail地址的工具，各式各样的SEO剖析统计工具，千奇百怪的网站漏洞扫描工具等等。
二、有效指引搜查引擎对应的办法，及解决方法：
1.依据空间流量实际情况，就保存多少个常用的屏蔽掉其它蜘蛛以节俭流量。以临时空间流量还足够利用，先保障畸形浏览器优先。
2.从服务器防火墙iptable直接屏蔽蜘蛛IP段、具体的IP。这是直接、有效的屏蔽方法。
3.WWW服务器层面做限度。例如Nginx，Squid，Lighttpd，直接通过“http_user_agent”屏蔽搜查引擎爬虫。
4.后robots.txt文件做限度。搜查引擎国际规矩还是要遵守规矩的。
