http://www.tuituiwa.com

百度渲染蜘蛛爬行过于厉害怎么办?如何解决?

百度渲染蜘蛛爬行过于厉害怎么办?如何解决?_推推蛙SEO问答
 
问:每天打开网站蜘蛛统计,会发现蜘蛛来访上百万,在对网站日志分析,发现来访的蜘蛛IP段都是111.206.221.*、111.206.198.* ,因为爬行的太厉害了,如何降低或者屏蔽掉这2个IP蜘蛛的来访,已设置了robots,但是仍旧爬行的百度渲染蜘蛛越来越多,每分钟来访数量达上千,请问SEOer大佬我该怎么处理?
 
推推蛙SEO优化问答
 
推推蛙答:
 
1、百度高级爬虫UA匹配的IP段:111.206.221.* ,111.206.198.*,两个IP段经常同时出现;
2、高级爬虫爬行你的站点说明你的站点优质,百度官方文档说会不定期爬行高质量站点;
3、对于是否屏蔽这2个蜘蛛IP端,不建议屏蔽,渲染蜘蛛主要是爬行css、js、图片这些,且渲染蜘蛛量大,一般不会经常频繁的抓取爬行,因此无需屏蔽;
4、如果爬行返回码出现404,那么就需要参考百度渲染蜘蛛抓取到的页面返回码404怎么办?来解决和处理返回码异常问题;
5、这类高级爬虫蜘蛛不会一直爬行你的站点,先观察,如果每天一直爬,导致你的服务器不稳定,就去百度站长反馈。
 
推推蛙总结:百度渲染蜘蛛爬行的站点都是质量比较高的站点,因此服务器应该在承受范围之内,如果高级爬虫爬行返回404异常要即使处理,以防对搜索引擎不好。
 
全网优化建站推广找推推蛙

郑重声明:本文由推推蛙整理编写推送,未经允许请勿转载,如文章信息有误,请第一时间联系微信:tuituiwaseo修改或删除,多谢。