http://www.tuituiwa.com

搜索引擎蜘蛛_推推蛙SEO名词解释

推推蛙SEO为大家第一个收集整理的SEO相关名词解释是"蜘蛛"也成爬虫、机器人,为了爬行识别网站而各大搜索引擎创建的一个程序。
 
搜索引擎蜘蛛

推推蛙SEO优化→模拟搜索引擎蜘蛛通道
 
模拟搜索引擎蜘蛛

搜索引擎必须有内容给用户搜索才可以称之为搜索引擎。所以每个搜索引擎都需要开发自己的一套程序,用于抓取互联网上数以亿计的网页,这个程序通常称之为“蜘蛛”,也有人称之为“爬虫”。
 
这样命名主要是因为百度给自己的抓取程序取名为Baiduspider,中文译作“百度蜘蛛”。因为国内大部分SEO人员做得是百度搜索引擎的排名,所以普遍把搜索引擎的抓取程序称之为蜘蛛了。不同搜索引擎命名不同,像谷歌的抓取程序取名是GoogleBot,中文译作:“谷歌机器人”
 
我们做SEO只需要知道蜘蛛、爬虫、机器人这些都是代表搜索引擎抓取页面用的程序就足够了。

 

补充搜索引擎蜘蛛知识(供参考):
 
1、百度蜘蛛:BaiduSpider
 
常见的Baiduspider和Baiduspider-image(抓取图片)
 
百度公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见
 
百度蜘蛛爬虫UA:
 
PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
 
移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
 
图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”
 
2、谷歌蜘蛛:Googlebot
 
有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的
 
谷歌蜘蛛爬虫UA:
 
“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
 
图片:“Googlebot-Image/1.0”
 
3、360蜘蛛:360Spider
 
它是一个十分“勤奋抓爬”的蜘蛛
 
360蜘蛛爬虫UA:
 
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);
 
4、搜狗蜘蛛:Sogou News Spider
 
搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider,在日志中只发现了常见的Sogou News Spider。
 
搜狗蜘蛛爬虫UA:
 
“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”
 
5、必应蜘蛛:bingbot
 
必应蜘蛛爬虫UA:
 
“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”
 
6、SOSO蜘蛛:Sosospider【消失啦】
 
腾讯已转交给搜狗公司了(已消失)
 
soso蜘蛛爬虫UA:
 
“Sosospider+(+http://help.soso.com/webspider.htm)”
 
7、雅虎蜘蛛:Yahoo! Slurp China(雅虎中国)或Yahoo! Slurp(雅虎英文)
 
雅虎蜘蛛爬虫UA:
 
雅虎中国:“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”
 
雅虎英文:“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”
 
8、MSN蜘蛛:msnbot,msnbot-media
 
MSN蜘蛛爬虫UA:
 
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

AD: heart推推蛙SEO专注服务于中小企业网站优化、网站建设、新媒体运营、企业品牌设计推广,坚持用蓝帽SEO优化服务于各大行业,为其提供高质量的文章及网页建设优化技术。

 
推推蛙微信公众号

郑重声明:本文由推推蛙整理编写推送,未经允许请勿转载,如文章信息有误,请第一时间联系微信:tuituiwaseo修改或删除,多谢。