以前做网站经常会去研究百度站长后台，尤其是刚开始做一个新赚钱网站的时候最喜欢看百度抓取频次了，从0到10基本是一个砍，过去之后就是希望的开始，慢慢的看到百度频次是几十个基本就放心了，当网站频次是几百个的时候算是一个稳定期吧，说明网站基本稳定了。
有时候抓取频次从几千掉到了几百，就感觉到了危机感了，说明网站出问题了。但是今天出问题的不是频次太少，而是百度抓取频次太多，我一个不大不小的网站，抓取频次愣是给我一天赚取上万次，这两天网站负载居高不下，一直以为是服务器被攻击了，还是别人在恶意CC我的网站，当时分析了好几次访问记录就是没发现什么。
后面做了网站基本的防护，包括网站的图片基本都关的差不多了，还是一卡一卡的，有时候想进去看看，就是进不去。白天就想设置一下抓取频次调整一下，但是看了下教程，说可能会影响收录。其实说的也对，本来一天可以来1万蜘蛛，但是突然变成了5000肯定会影响。
下午的时候还是一卡一卡打不开，有时候要大半天，晚上的时候没办法了，设置一下看看吧，结果把我的上限从10万调整了5万，去空间一看，负载就下来了。以前负载经常98%，设置以后基本上都是最高60%徘徊，所以大家如果网站比较卡的话不妨看看是不是百度蜘蛛抓取太频繁了导致的。
百度蜘蛛都这么费服务器，其它更多国外的垃圾蜘蛛防不胜防，所以大家可以经常看下服务器日志，如果国外垃圾蜘蛛多的话赶紧禁止了吧。
评论